JP2005333412A - 多重ストリーム作成装置 - Google Patents

Abstract

【課題】符号化ビデオ・データと符号化オーディオ・データを多重化する場合、符号化ビデオ・データが時間情報を含むか否かに関わらず、フレーム・スキップを考慮した時間情報を多重ストリームに挿入し、再生時におけるＡＶ同期を取ることができるようにした多重ストリーム作成装置を提供する。
【解決手段】フレーム・メモリ監視部１９は、フレーム・メモリ１１を監視し、ビデオ・エンコーダ１０でフレーム・スキップが発生した場合、どのビデオＥＳの後にフレーム・スキップが発生したかを示すフレーム・スキップ・メッセージを多重化タイミング生成部２０に送る。多重化タイミング生成部２０は、フレーム・スキップ・メッセージを受けたときは、フレーム・スキップされたビデオＥＳの次のビデオＥＳの多重化タイミング及びそのＰＥＳのタイム・スタンプ（ＰＴＳ、ＤＴＳ）を１フレーム分遅らせる。
【選択図】 図１

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）ストリーム作成装置のように、ビデオ・データ及びオーディオ・データを符号化・多重化してビデオとオーディオの多重ストリームを作成する多重ストリーム作成装置に関する。

図３は従来のＭＰＥＧストリーム作成装置の一例の要部を示す回路図である。図３中、１０は入力されるビデオ・データを符号化してビデオ・エレメンタリ・ストリーム（以下、ビデオＥＳという）を出力するビデオ符号化部をなすビデオ・エンコーダ、１１はビデオ・エンコーダ１０に入力されるビデオ・データを一時的に記憶するフレーム・メモリ、１２、１３はそれぞれ１フレーム分のビデオ・データを記憶可能とされた記憶領域であるバンク、１４はビデオ・エンコーダ１０が出力するビデオＥＳを一時的に記憶するビデオＥＳバッファである。

１５は入力されるオーディオ・データを符号化してオーディオ・エレメンタリ・ストリーム（以下、オーディオＥＳという）を出力するオーディオ符号化部をなすオーディオ・エンコーダ、１６はオーディオ・エンコーダ１５が出力するオーディオＥＳを一時的に記憶するオーディオＥＳバッファ、１７はビデオＥＳバッファ１４が記憶するビデオＥＳとオーディオＥＳバッファ１６が記憶するオーディオＥＳを多重化してＭＰＥＧストリームを作成する多重化部、１８は多重化部１７における多重化タイミングを生成する多重化タイミング生成部である。

ビデオ・エンコーダ１０は、入力されるビデオ・データを１フレーム分ずつバンク１２、１３に交互に取り込ませると共に、バンク１２、１３内のビデオ・データを交互に符号化する。図４はビデオ・エンコーダ１０でフレーム・スキップ（ビデオ・フレームの符号化が省略される現象）が発生していない場合の多重化部１７での多重化タイミングを示すタイムチャートである。なお、時刻軸は、実時刻軸ではなく、ＭＰＥＧストリーム上の時刻軸である（図２、図６においても同様）。

図４中、ビデオＥＳ１、ビデオＥＳ２、ビデオＥＳ３、ビデオＥＳ４は、ビデオ・エンコーダ１０から順に出力されるビデオＥＳを示し、オーディオＥＳ１、オーディオＥＳ２、オーディオＥＳ３、オーディオＥＳ４は、オーディオ・エンコーダ１５から順に出力されるオーディオＥＳを示している。なお、オーディオＥＳｉ内のオーディオ・データは、ビデオＥＳｉ内のビデオ・データが示す映像のシーンに対応するものである。

図４の例はビデオ・エンコーダ１０でフレーム・スキップが発生していない場合であるから、この場合には、多重化部１７は、多重化タイミング生成部１８が生成する多重化タイミングに従って、ビデオＥＳ１、オーディオＥＳ１、ビデオＥＳ２、オーディオＥＳ２、ビデオＥＳ３、オーディオＥＳ３、ビデオＥＳ４、オーディオＥＳ４の順に多重化し、ＭＰＥＧストリームを作成することになる。

ここで、例えば、１フレーム毎に異なるシーンとなるコマーシャルのような映像では、映像内容の変化が大きく、ビデオ・エンコーダ１０の処理が極端に重くなる。その際、１フレーム時間（３３ミリ秒程度）の間に１フレーム分のビデオ・データの符号化が完了しないと、ビデオ・エンコーダ１０でフレーム・スキップが発生することになる。

図５はビデオ・エンコーダ１０でのフレーム・スキップの発生原因例を説明するためのタイムチャートである。例えば、時刻Ｔ１で、バンク１２に１フレーム分のビデオ・データＶＤ１の取り込みが開始され、時刻Ｔ２で、バンク１２へのビデオ・データＶＤ１の取り込みが完了した場合において、次のフレームのビデオ・データＶＤ２のバンク１３への取り込みが可能である場合には、ビデオ・データＶＤ２のバンク１３への取り込みが開始される。

そして、例えば、時刻Ｔ３で、バンク１２に取り込まれているビデオ・データＶＤ１の符号化が開始され、時刻Ｔ４で、バンク１３へのビデオ・データＶＤ２の取り込みが完了した場合において、バンク１２に記憶されているビデオ・データＶＤ１の符号化が完了していない場合には、次のフレームのビデオ・データＶＤ３のバンク１２への取り込みは不可能であるから、バンク１３へのビデオ・データＶＤ３の取り込みが開始され、ビデオ・データＶＤ３は、ビデオ・データＶＤ２に上書きされることになる。

その後、例えば、時刻Ｔ５で、バンク１２に取り込まれているビデオ・データＶＤ１の符号化が完了した場合において、ビデオ・データＶＤ３のバンク１３への取り込みが完了していない場合には、ビデオ・エンコーダ１０は、符号化動作の待ち状態となり、時刻Ｔ６で、ビデオ・データＶＤ３のバンク１３への取り込みが完了すると、例えば、時刻Ｔ７で、バンク１３に取り込まれているビデオ・データＶＤ３の符号化が開始される。この例では、ビデオ・データＶＤ２のフレーム・スキップが発生し、１フレーム分のビデオＥＳの欠落が発生する。

図３に示す従来のＭＰＥＧストリーム作成装置では、多重化タイミング生成部１８は、ビデオ・エンコーダ１０でフレーム・スキップが発生し、１フレーム分のビデオＥＳが欠落した場合においても、生成する多重化タイミングを変化させることがない。このため、多重化部１７では、ビデオ・エンコーダ１０におけるフレーム・スキップにより欠落したビデオＥＳの次のビデオＥＳを、欠落したビデオＥＳの多重化タイミングで多重化しようとする。

この場合、欠落したビデオＥＳの次のビデオＥＳの生成時刻は、欠落したビデオＥＳよりも１フレーム時間遅くなるが、オーディオ・エンコーダ１５では、ビデオ・エンコーダ１０でのフレーム・スキップとは無関係に、即ち、ビデオ・エンコーダ１０でのフレーム・スキップによってビデオＥＳが存在しない時間帯でも、オーディオＥＳを生成し続けることになる。

ここに、多重化タイミング生成部１８は、もともと想定していた次に多重化すべきビデオＥＳの多重化時刻と、もともと想定していた次に多重化すべきオーディオＥＳの多重化時刻を変えることがないので、欠落したビデオＥＳに対応するオーディオＥＳを、欠落したビデオＥＳの次のビデオＥＳよりも先に多重化することはできず、欠落したビデオＥＳの次のビデオＥＳの生成が遅れる時間分、欠落したビデオＥＳに対応するオーディオＥＳは、オーディオＥＳバッファ１６で多重化を待たされることになる。

この結果、オーディオＥＳバッファ１６では、オーバーフローが起こる可能性がある。また、仮に、オーディオＥＳバッファ１６がオーバーフローせず、多重化部１７でビデオＥＳとオーディオＥＳの多重化ができたとしても、ビデオＥＳは１フレーム、スキップしているにも関わらず、そのＰＥＳ（packetized elementary stream）のタイム・スタンプ（ＰＴＳ[presentation time stamp]、ＤＴＳ[decoding time stamp]）は１フレーム時間ごとに連続してセットされることになるため、再生時に、ビデオがオーディオよりも１フレーム時間分だけ先に再生され、ＡＶ（オーディオ・ビデオ）同期がずれることになる。

図６は図３に示す従来のＭＰＥＧストリーム作成装置においてビデオ・エンコーダ１０が図４の例でビデオＥＳ２をスキップした場合の多重化部１７での多重化タイミングを示すタイムチャートである。例えば、ビデオ・エンコーダ１０がビデオＥＳ２をスキップすると、ビデオＥＳ１、オーディオＥＳ１、ビデオＥＳ３、オーディオＥＳ２、ビデオＥＳ４、オーディオＥＳ３の順に多重化されてしまう。この例では、再生時に、ビデオＥＳ３以降では、ビデオＥＳはオーディオＥＳよりも１フレーム時間だけ先に再生されることになり、ＡＶ同期がずれることになる。

特許文献１には、ビデオ・エンコーダで発生したフレーム・スキップを考慮した時間情報をＰＥＳに挿入し、ＡＶ同期を取る技術が開示されている。具体的には、パース・ＰＥＳ生成部において、入力されるビデオＥＳからフレーム・スキップ情報を抽出し、この情報を使用してタイム・スタンプ（ＰＴＳ）を計算し、ＰＥＳヘッダに、計算したタイム・スタンプ（ＰＴＳ）を乗せるというものである。
特開２００２―１６９１８号公報

特許文献１に記載の技術は、ＭＰＥＧ４ visual等のように、ビデオＥＳ内に時間情報を持つものを対象としており、このようなものを対象とする場合には、多重化部１７でビデオＥＳ内の時間情報を解読することにより、ビデオＥＳがフレーム・スキップをしているか否かを判定することができ、ＡＶ同期を取るための時間情報をＰＥＳに挿入することができる。しかし、ＭＰＥＧ２のように、ビデオ・エンコーダから出力されるビデオＥＳ内に時間情報を持たないものを対象とする場合には、特許文献１に記載の技術を適用してもＡＶ同期を取ることができない。

本発明は、かかる点に鑑み、符号化ビデオ・データと符号化オーディオ・データとを多重化する場合、符号化ビデオ・データが時間情報を含むか否かに関わらず、ビデオ符号化部で発生したフレーム・スキップを考慮した時間情報を多重ストリームに挿入し、再生時にＡＶ同期を取ることができる多重ストリームを作成できるようにした多重ストリーム作成装置を提供することを目的とする。

本発明は、ビデオ・データを符号化するビデオ符号化部と、オーディオ・データを符号化するオーディオ符号化部と、ビデオ符号化部が出力する符号化ビデオ・データとオーディオ符号化部が出力する符号化オーディオ・データとを多重化する多重化部を有する多重ストリーム作成装置であって、ビデオ符号化部内のフレーム・メモリを監視し、ビデオ符号化部でフレーム・スキップが発生した場合は、スキップが発生したことを多重化部に知らせるフレーム・メモリ監視部を有するというものである。

本発明によれば、フレーム・メモリ監視部は、ビデオ符号化部でフレーム・スキップが発生した場合は、スキップが発生したことを多重化部に知らせるので、多重化部は、これを受けて、フレーム・スキップされた符号化ビデオ・データの次の符号化ビデオ・データの多重化タイミング及び時間情報を１フレーム分遅らせる措置を取ることができる。したがって、符号化ビデオ・データが時間情報を含むか否かに関わらず、ビデオ符号化部で発生したフレーム・スキップを考慮した時間情報を多重ストリームに挿入することができ、再生時におけるＡＶ同期を取ることができる。

以下、図１及び図２を参照して、本発明の一実施形態について、本発明をＭＰＥＧストリーム作成装置に適用した場合を例にして説明する。

図１は本発明の一実施形態の要部を示す回路図である。本発明の一実施形態は、フレーム・メモリ監視部１９を設けると共に、図３に示す多重化部１７の代わりに、フレーム・メモリ監視部１９からのフレーム・スキップ・メッセージを受ける多重化タイミング生成部２０を有してなる多重化部２１を設け、その他については、図３に示す従来のＭＰＥＧストリーム作成装置と同様に構成したものである。

フレーム・メモリ監視部１９は、ビデオ・エンコーダ１０内のフレーム・メモリ１１を監視し、ビデオ・エンコーダ１０が連続してビデオ・フレームを符号化できず、ビデオ・エンコーダ１０でフレーム・スキップが発生した場合、どのビデオＥＳの後にフレーム・スキップが発生したかを示すフレーム・スキップ・メッセージを生成し、これを多重化タイミング生成部２０へ送るものである。

多重化タイミング生成部２０は、フレーム・メモリ監視部１９からフレーム・スキップ・メッセージを受けたときは、多重化部２１における多重化タイミング及びタイム・スタンプの付加について、フレーム・スキップされたビデオＥＳの次のビデオＥＳの多重化タイミングを１フレーム分遅らせ、更に、そのＰＥＳのタイム・スタンプ（ＰＴＳ、ＤＴＳ）も１フレーム分遅らせ、その他の場合には、従来周知のように機能するものである。

ここで、図３に示す従来のＭＰＥＧストリーム作成装置において、多重化部１７が、もともと想定していた次に多重化すべきビデオＥＳの多重化時刻（time video）をＴｖ、もともと想定していた次に多重化すべきオーディオＥＳの多重化時刻（time audio）をＴａとすると、これらは、多重化タイミング生成部１８により決定されるが、現在時刻をＴｐとすると、図３に示す従来のＭＰＥＧストリーム作成装置では、Ｔｐ＜Ｔｖ＜Ｔａの関係が完全に維持されることになる。

ここで、ビデオ・エンコーダ１０で１フレーム・スキップが起こった場合、ビデオ多重化時刻Ｔｖで多重化すべきビデオＥＳがビデオＥＳバッファ１６に入ってくる時刻がほぼ１フレーム時間分遅れることになるので、図３に示す従来のＭＰＥＧストリーム作成装置では、ビデオＥＳより先にオーディオＥＳを多重化することはできないことになる（問題点１）。この場合、オーディオＥＳを１フレーム時間分、通常より余計にオーディオＥＳバッファ１６で保持する必要が発生し、オーディオＥＳバッファ１６がオーバーフローする可能性がある（問題点２）。

また、仮に、図３に示す従来のＭＰＥＧストリーム作成装置において、オーディオＥＳバッファ１６がオーバーフローせず、多重化部１７でビデオＥＳとオーディオＥＳを多重化してＭＰＥＧストリームを生成することができたとしても、ビデオ・データが１フレーム・スキップしているため、スキップ後のＭＰＥＧストリームはＡＶ同期がずれ、再生時にビデオが１フレーム分早く再生されてしまうことになる（問題点３）。

これに対して、本発明の一実施形態においては、フレーム・メモリ監視部１９は、ビデオ・エンコーダ１０でフレーム・スキップが発生したときは、どのビデオＥＳの後にフレーム・スキップが発生したかを示すフレーム・スキップ・メッセージを生成し、これを多重化タイミング生成部２０に送り、多重化タイミング生成部２０は、フレーム・スキップ・メッセージを受けて、フレーム・スキップされたビデオＥＳの次のビデオＥＳの多重化タイミングを１フレーム分遅らせ、更に、そのＰＥＳのタイム・スタンプ（ＰＴＳ、ＤＴＳ）も１フレーム分遅らせることになる。

即ち、本発明の一実施形態においては、現在時刻Ｔｐがほぼビデオ多重化時刻Ｔｖと等しいとき、多重化タイミング生成部２０がフレーム・スキップ・メッセージを受けると、多重化タイミング生成部２０は、ビデオ多重化時刻Ｔｖを「Ｔｖ＋１フレーム時間」とし、ビデオＥＳの多重化タイミングを１フレーム分遅らせ、さらに、ビデオＥＳに対応するＰＥＳのタイム・スタンプ（ＰＴＳ、ＤＴＳ）も１フレーム分遅らせる。

これにより、「Ｔｐ＜Ｔａ＜Ｔｖ」という状況になれば、オーディオＥＳバッファ１６に記憶しているオーディオＥＳをビデオＥＳより先に多重化することができ、オーディオＥＳバッファ１６のオーバーフローを回避することができる（問題点１、２の解消)。また、ビデオＥＳに対応するタイム・スタンプ（ＰＴＳ、ＤＴＳ）も１フレーム分遅れるので、実際に、スキップしたフレームのデータは消失するが、次のフレーム以降については、ＡＶ同期を維持したまま再生が可能となる(問題点３の解消)。

図２は本発明の一実施形態における多重化タイミング例を示すタイムチャートであり、図４の例でビデオ・エンコーダ１０がビデオＥＳ２をスキップした場合の多重化部２１での多重化タイミングを示すタイムチャートである。例えば、ビデオ・エンコーダ１０がビデオＥＳ２をスキップすると、本発明の一実施形態では、ビデオＥＳ１、オーディオＥＳ１、オーディオＥＳ２、ビデオＥＳ３、オーディオＥＳ３、ビデオＥＳ４、オーディオＥＳ４の順に多重化される。この例では、スキップしたフレームのビデオＥＳ２は消失するが、ビデオＥＳ３以降については、ＡＶ同期を維持したまま再生が可能である。

以上のように、本発明の一実施形態によれば、フレーム・メモリ監視部１９は、ビデオ・エンコーダ１０でフレーム・スキップが発生したときは、どのビデオＥＳの後にフレーム・スキップが発生したかを示すフレーム・スキップ・メッセージを生成し、これを多重化タイミング生成部２０に送り、多重化タイミング生成部２０は、フレーム・スキップ・メッセージを受けて、フレーム・スキップされたビデオＥＳの次のビデオＥＳの多重化タイミングを１フレーム分遅らせ、更に、そのＰＥＳのタイム・スタンプ（ＰＴＳ、ＤＴＳ）も１フレーム分遅らせる。

したがって、ビデオＥＳが、例えば、ＭＰＥＧ２のビデオＥＳのように時間情報を含むものであっても、ＭＰＥＧ４ visualのビデオＥＳのように時間情報を含むものであっても、即ち、ビデオＥＳが時間情報を含むか否かに関わらず、ビデオ・エンコーダ１０で発生したフレーム・スキップを考慮した時間情報をＭＰＥＧストリームに挿入することができ、再生時におけるＡＶ同期を取ることができる。

なお、本発明の一実施形態では、本発明をＭＰＥＧストリーム作成装置に適用した場合を例にして説明したが、本発明は、ビデオ・データ及びオーディオ・データを符号化・多重化してビデオとオーディオの多重ストリームを作成する多重ストリーム作成装置に広く適用することができる。

本発明の一実施形態の要部を示す回路図である。 本発明の一実施形態における多重化タイミング例（ビデオ・エンコーダがビデオＥＳをスキップした場合の多重化部での多重化タイミング）を示すタイムチャートである。 従来のＭＰＥＧストリーム作成装置の一例の要部を示す回路図である。 図３に示す従来のＭＰＥＧストリーム作成装置においてビデオ・エンコーダでフレーム・スキップが発生していない場合の多重化部での多重化タイミングを示すタイムチャートである。 図３に示す従来のＭＰＥＧストリーム作成装置が備えるビデオ・エンコーダでのフレーム・スキップの発生原因例を説明するためのタイムチャートである。 図３に示す従来のＭＰＥＧストリーム作成装置においてビデオ・エンコーダがビデオＥＳをスキップした場合の多重化部での多重化タイミングを示すタイムチャートである。

符号の説明

１０…ビデオ・エンコーダ
１１…フレーム・メモリ
１２、１３…バンク
１４…ビデオＥＳバッファ
１５…オーディオ・エンコーダ
１６…オーディオＥＳバッファ
１７…多重化部
１８…多重化タイミング生成部
１９…フレーム・メモリ監視部
２０…多重化タイミング生成部
２１…多重化部

Claims (2)

1. ビデオ・データを符号化するビデオ符号化部と、
   オーディオ・データを符号化するオーディオ符号化部と、
   前記ビデオ符号化部が出力する符号化ビデオ・データと前記オーディオ符号化部が出力する符号化オーディオ・データとを多重化する多重化部を有する多重ストリーム作成装置であって、
   前記ビデオ符号化部内のフレーム・メモリを監視し、前記ビデオ符号化部でフレーム・スキップが発生した場合は、スキップが発生したことを前記多重化部に知らせるフレーム・メモリ監視部を有することを特徴とする多重ストリーム作成装置。
2. 前記多重化部は、前記フレーム・メモリ監視部からスキップが発生したことを知らされた場合は、フレーム・スキップされた符号化ビデオ・データの次の符号化ビデオ・データの多重化タイミング及び時間情報を１フレーム分遅らせる機能を有することを特徴とする請求項１記載の多重ストリーム作成装置。
   

Images