JP2008518544A - Ｍｐｅｇストリームのスライシング - Google Patents

Abstract

本発明は、第１データストリーム(ds1)と第２データストリーム(ds2)とを集結する方法に関するものであり、各データストリームは符号化フレーム(I, P)から成り、各符号化フレームは相対時刻値に関連し、データストリームの特定の符号化フレームに絶対時刻値が先行する。この方法は：現在の符号化フレームに対する現在基準時刻値を、前の基準時刻値及び現在の相対時刻値の整数部に基づいて計算するステップと；第１データストリームにおける表示順の最終フレームの基準時刻値に基づいてオフセット時間値を計算するステップと；第２データストリームの前記特定の符号化フレームの絶対時刻値を、これらの絶対時刻値に前記オフセット値を加算することによって修正するステップとを具えている。

Description

（発明の分野）
本発明は２つのデータストリームを集結する方法に関するものである。この方法はあらゆるＭＰＥＧ４エディタ（編集機）に使用することができ、このエディタはモバイル（移動）電話機のような装置に埋め込まれる。

（発明の背景）
２つのビデオストリームを圧縮領域で集結することは現在研究されているが、その実現方法はまだ提案されていない。両方のストリームが同じパラメータで符号化されていても、ＭＰＥＧ４規格の場合には、これらのストリームを単に連結することはできない。実際に、ＭＰＥＧ４ビデオストリームはビデオオブジェクト・プレーンＶＯＰ（Video Object Plane）から成り、各ＶＯＰはタイムスタンプ（日時印）に関連する。これらのタイムスタンプは、時間軸の連続性を保証するために必要である。ＭＰＥＧ４ビデオストリームでは、このタイムスタンプは可変長符号を用いて符号化される。従って、単に各ＶＯＰヘッダ中の一部のビットを変更するだけでは、時間軸の連続性を保証することはできない。

明白な取り組み方法は、集結すべき２つのビデオストリームの第２の方の各ＶＯＰを復号化し、そしてこれを、上記２つのビデオストリームの第１の方の最後のタイムスタンプを考慮して修正したタイムスタンプで再符号化することである。

しかし、この解決法は不満足なものである、というのは、この方法は、一方では第２ビデオストリームの視覚品質を劣化させ、他方ではリソース（資源）を消費するからである。

（発明の概要）
本発明の目的は、２つのデータストリームを集結する方法及び装置であって、従来技術の方法及び装置より良好な品質を提供する方法及び装置を提案することにある。

本発明の他の目的は、２つのデータストリームを集結する方法及び装置であって、従来技術の方法及び装置よりリソースを消費しない方法及び装置を提案することにある。

この目的のために、本発明による２つのデータストリームを集結する方法は：
現在の符号化フレームに対する基準時刻値を、前の基準時刻値、及び現在の相対時刻値の整数部に基づいて計算するステップと；
前記第１データストリームにおける表示順の最終フレームの前記基準時刻値に基づいて、オフセット時間値を計算するステップと；
前記第２データストリームの特定の符号化フレームの絶対時刻値を、これらの絶対時刻値に前記オフセット時間値を加算することによって修正するステップと
を具えている。

結果として、本発明による方法は、２つのデータストリームを圧縮領域で、符号化されたフレームを復号化も符号化もすることなしに、時間軸の連続性を保証しつつ、集結することができる。従ってこの方法は、従来技術の方法より良好な品質を提供し、かつリソースを消費しない、というのは、本発明の方法は完全な復号化及び再符号化を必要としないからである。

本発明の好適例によれば、上記集結方法はさらに：
前記第２データストリームにおける表示順の第１フレームに対する修正相対時刻値を、前記第１フレームの初期相対時刻値から計算し、前記第１フレームが前記第１データストリームの最終フレームと前記第１フレーム（の初期相対時刻値）との間の時間的ギャップ（間隙）の中央にシフト（移動）されるような値にするステップと；
ヌル（０）データの内容を有する非符号化フレームを前記第２データストリーム中に加え、前記非符号化フレームは前記初期相対時刻値に関連するステップと
を具えている。

本発明の他の好適例によれば、前記集結方法がさらに：
前記第１データストリーム終わりにある第１組の符号化フレームを復号化し、前記第２データストリームの初めにある第２組の符号化フレームを復号化するステップと；
復号化した前記第１組のフレーム及び前記第２組のフレームを、前記第１組のフレームと前記第２組のフレームとの間の滑らかな遷移が保証される方法で修正するステップと；
前記復号化し修正したフレームを符号化し、これらのフレームに関連する相対時刻値を符号化するステップと
を具えている。

上記他の好適例による集結は、さらに、前記復号化した第１組のフレームと前記復号化した第２組のフレームとの間に少なくとも１つの追加的フレームを生成するステップを具えていることが有益である。前記第２組の最後の復号化フレームも修正しない。

本発明は、２つのデータストリームを集結する方法を実現する装置、及びこうした装置を含むモバイル（移動）装置、及び上記方法を実現するためのプログラム命令を含むコンピュータプログラム製品にも関するものである。

本発明のこれら及び他の態様は、以下に述べる実施例を参照した説明より明らかになる。

以下、本発明の実施例を、図面を参照しながら詳細に説明する

（実施例の詳細な説明）
本発明を、２つのＭＰＥＧ４ビデオストリームを集結する場合について説明する。しかし、本発明は、より一般的な第１データストリームと第２データストリームとの集結に適用されることは当業者にとって明らかであり、ここで各データストリームは符号化フレームから成り、各符号化フレームは相対時刻値に関連し、データストリームの特定の符号化フレームに絶対時刻値が先行する。他の例として、上記データストリームがオーディオ・ストリームである。上記絶対時刻値は、例えば、データストリームにランダムアクセスするために使用する。２つのＭＰＥＧ４ビデオストリームを集結する場合には、上記符号化フレームはビデオオブジェクト・プレーン（ＶＯＰ）と称される。

ＭＰＥＧ４は、非常にフレキシブルな符号化のフレームワーク（枠組）を提供することを目標とし、機能性、フォーマット、ビットレート、またはフレームレートの意味で広範囲の応用をカバーする。フレームレートに関しては、ＭＰＥＧ４は65,535フレーム／秒（fps）までのあらゆるレートをカバーし、そしてこのフレームレートは可変かつ非整数とすることができる。結果として、デコーダ（復号化器）側で時間的に一貫した表示を可能にするために、各ＶＯＰの合成時刻をビットストリーム内で伝送しなければならない。広範囲のフレームレートをカバーすることを考えて、時間を符号化するための効率的な方法が設計されている。

ＭＰＥＧ４ビデオの基本時間単位は秒である。１fpsより大きいあらゆるフレームレートをカバーするためには、秒の再分割を規定しなければならず、この再分割をチック（刻み）と称する。図１は時間分割を示す。チックticは時間符号化の基本要素であり、このことは、すべての時間値がチックの整数倍として表現されることを意味する。チックの数は、vop_time_increment_resolution（ＶＯＰ時間増分分解能）vtirフィールドを用いてビデオオブジェクト層ＶＯＬ（Video Object Layer）内に伝送される。このvtirフィールドは、１秒（ｓ）に含まれるチック数ticを示す。従って、vitrフィールドは1000／vtir(ms)のチック持続時間を与える。このvtirフィールドは符号化フレームレートを示さず、ＶＯＬ中で見つかる最大フレームレートを示すに過ぎない、というのは、最大でもＶＯＰが各チックに対応するからである。図１の例では、１秒間にvtir＝６チックが存在し、このためチック持続時間は166msである。

ビデオストリーム中では、時刻はＧＯＶ（ＶＯＰのグループ用）と称される特定ヘッダによっても搬送される。ＧＯＶヘッダは、時／分／秒として符号化された絶対時刻値を搬送するヘッダである。このＧＯＶヘッダはビデオストリームにおけるランダムアクセスを可能にする、というのは、ＧＯＶヘッダには常に、内部符号化されたＩ−ＶＯＰ（即ち、他のＶＯＰを参照せずに符号化されたＶＯＰ）が続き、このため復号化を開始するために前の復号化情報を必要としないからである。

そして、各ＶＯＰの合成時刻（またはタイムスタンプ）を、ＶＯＰヘッダの２フィールド、即ちvop_time_increment（ＶＯＰ時間増分）vti及びmodulo_time_base（モジュロ・タイムベース）mtbを通して符号化する。mtbフィールドは、ＶＯＰが属する秒を定めることを可能にし、そしてvtiフィールドは、この秒内のＶＯＰの正確な位置をチック数で定める。

ＶＯＰの合成時刻は差分的に符号化される：このことは、あるＶＯＰに関連するvti及びmtbフィールドが、整数の秒数で表現される基準の秒の値srefに対して相対的に符号化される（即ち、vti及びmtbフィールドは相対時刻値を与える）ことを意味する。

Ｉ−ＶＯＰ及び予測符号化されたＰ−ＶＯＰ（即ち、前のＰ−ＶＯＰまたはＩ−ＶＯＰを参照して符号化されたＶＯＰ）用のベース（基本）層では、この基準の秒srefは秒未満を切り捨てた時刻によって規定され、前のＧＯＶ、Ｉ−ＶＯＰまたはＰ−ＶＯＰ中で復号化順に復号化される。双方向的に予測され符号化されたＢ−ＶＯＰ（即ち、以前及び将来のＰ−ＶＯＰまたはＩ−ＶＯＰを参照して符号化されたＶＯＰ）については、この基準の秒srefは秒未満を切り捨てた時刻によって規定され、前のＧＯＶ、Ｉ−ＶＯＰまたはＰ−ＶＯＰ中で表示順に復号化される。図２に、所定のビデオストリームのベース層についての、基準の秒の値の進展を示す。エンハンス（拡張）層では、すべてのＶＯＰについて、この基準の秒srefは秒未満を切り捨てた時刻によって規定され、前のＧＯＶまたはＶＯＰ中で表示順に符号化される。

mtbフィールドは、秒未満を切り捨てたＶＯＰの合成時刻と前記基準の秒の値との差を示す。ビデオストリーム中では、このmtbフィールドは、この差の値と同数の’1’で符号化され、これに’0’が続く。vtiフィールドは、vtir値を符号化することができるために必要なビット数を用いて符号化される。例えば、１秒当たり２チックしかない場合には、２ビットのみを用いてvop_time_incrementフィールドを符号化するのに対し、１秒当たり25チックが存在する場合には５ビットを必要とする。

ＶＯＰの合成時刻は、秒数とvtir値未満のチック数の合計として表現される。

ＶＯＰの合成時刻は、各ＶＯＰを復号化した後に、あるいはＧＯＶヘッダに出会った際に更新される。

第１のＭＰＥＧ４ビデオストリームと第２のＭＰＥＧ４ビデオストリームとを集結するために、本発明による方法は次のステップを具えている。

第１ステップでは、合成時刻または現在時刻値ｔ[ｉ]を、最後のＧＯＶヘッダ、Ｉ−ＶＯＰ、Ｐ−ＶＯＰまたはＢ−ＶＯＰによって与えられる前の基準時刻値（即ち基準の秒）sref[ｔ−ｋ]に基づいて、第１ビデオストリームds1の符号化ＶＯＰ Ｆ[ｉ]（ここにＦはＩ、ＰまたはＢ−ＶＯＰである）毎に計算し、ここにｋはＧＯＶ当りのＢフレーム数及び符号化層（ベースまたはエンハンス）、及び上述したように値mtb[ｉ]及びvti[ｉ]によって与えられる現在の相対時刻値に依存する整数である。換言すれば、チック数で表現される現在の合成時刻は次式により計算される：
ｔ[ｉ]＝(sref[ｉ−ｋ]＋mtb[ｉ])×vtir＋vti[ｉ]

そして、現在の基準時刻値sref[ｉ]は、Ｉ−ＶＯＰについてはベース層において、あるいはあらゆるＶＯＰについてはエンハンス層において、次式のように導出される：
sref[ｉ]＝sref[ｉ−ｋ]＋mtb[ｉ]

第２のステップでは、オフセット時間値を、第１ビデオストリームにおける表示順の最後のＶＯＰ Ｐ[ｎ]基準時刻値sref[ｎ]に基づいて計算する。このオフセット時間値offは次式のように計算する：
vti[ｎ]＜vti[ｎ＋１]の場合には、off＝sref[ｎ]、
vti[ｎ]≧vti[ｎ＋１]の場合には、off＝sref[ｎ]＋１
ここに、ｎ＋１は第２ビデオストリームds2の最初のＶＯＰの指標（インデックス）である。

第３のステップでは、第２ビデオストリームds2のＧＯＶに含まれる初期絶対時刻値tgov2_iniを、次式のように前記オフセット時間値offをこれらの初期絶対時刻値に加算して、修正した絶対時刻値tgov2_modを得ることによって修正する：
tgov2_mod＝tgov2_ini＋off

従って、第２ビデオストリームds2の、第１Ｉ−ＶＯＰ Ｉ[ｎ＋１]の直前の第１ＧＯＶ中で搬送される絶対時刻値は、第２ビデオストリームの最初のＶＯＰの合成時刻が第１ビデオストリームの最後のＶＯＰの合成時刻にすぐ続くように、そして第１ビデオストリームを再生した直後に第２ビデオストリームを再生することができるような値に計算する。そして、第２ビデオストリーム中で出会う各ＧＯＶによって搬送される値は、計算したオフセット時間値を加算することによって修正される。

ＶＯＰに関連する相対時刻値は基準の秒中の位置として与えられるので、第１データストリームの最終フレームと第２データストリームの第１フレームとの間に時間的ギャップδｔが存在し得る。このギャップδｔはチック数で表現され、そして１秒までに及び得る。エンドユーザの視点からは、この結果は、この時間的ギャップの長さ中には、第１データストリームの最終フレーム上でのフリーズ（静止）を生じさせ、そして通常のように再生が再開される。

この問題を克服するために、本発明の実施例による方法はさらに、次のステップを具えている。

第１ステップでは、第２データストリームの第１フレームＩ[ｎ＋１]に対して新たな基準時刻値sref’[ｎ＋１]を計算し、即ち、新たな値mtb’[ｎ＋１]及びvti’[ｎ＋１]を計算し、Ｉ[ｎ＋１]が上記時間的ギャップの中央に移動する値にする。

このことを図３に示す。第１データストリームにおける表示順の最終フレームＰ[ｎ]の合成時刻はｔ[ｎ]であり、第２データストリームの第１フレームＩ[ｎ＋１]の合成時刻はｔ[ｎ＋１]＝ｔ[ｎ]＋δｔである。チック数が偶数である場合には、フレームＩ[ｎ＋１]は合成時刻ｔ’[ｎ＋１]＝ｔ[ｎ]＋δｔ／２にシフトされる。対応する相対時刻値（即ちmtb’[ｎ＋１]及びvti’[ｎ＋１]）は、これに応じて導出される。チック数が奇数である場合には、フレームＩ[ｎ＋１]は合成時刻ｔ’[ｎ＋１]＝ｔ[ｎ]＋(δｔ±１)／２にシフトされる。対応する相対時刻値（即ちmtb’[ｎ＋１]及びvti’[ｎ＋１]）も、これに応じて導出される。

そして、第２のステップでは、新たなフレームＮＣＦ、例えば非符号化フレーム（即ち、ＭＰＥＧ規格において符号化されないＶＯＰとも称されるヌル（０）の内容を有するフレーム）を加える。この非符号化フレームは、第２データストリームの第１フレームＩ[ｎ＋１]の初期合成時刻ｔ[ｎ＋１]を有し、従って、同じ相対時刻値（即ち、mtb[ｎ＋１]及びvti[ｎ＋１]フィールドと同じ値）を有する。この非符号化フレームは、第２データストリームのすべての後続フレームの時間軸の連続性を保証する。エンドユーザにとっては、このことは、フリーズ（静止）が上記時間的ギャップの半分の持続時間中継続する印象を生じさせる、というのは、エンドユーザは時間的ギャップの１／２のフリーズを２回観測するからである。

図４に、本発明の他の実施例を表わす。本実施例によれば、２つのデータストリームを集結する方法が次のステップを具えている。

最初のステップ４１０では、第１データストリームの終わりにある第１組Ｓ１の符号化フレーム及び第２データストリームの初めにある第２組Ｓ２の符号化フレームを復号化する。この復号化は、予測符号化技法に課せられた制約を考慮に入れなければならないことは、当業者にとって明らかである。ＭＰＥＧ４の場合は、例えば、Ｂ−ＶＯＰ Ｂ[ｎ−１]は、その前後の基準ＶＯＰ、即ち図４ではそれぞれＩ[ｎ−３]及びＰ[ｎ]で表わされるＶＯＰが復号化されている場合のみに復号化することができる。同様に、Ｐ−ＶＯＰ Ｐ[ｎ]は、その前のＶＯＰ、即ち図４ではＩ[ｎ−３]で表わされるＶＯＰが復号化されている場合のみに復号化することができる。第１組及び第２組の符号化フレームは中間データストリームを構成する。

第２ステップ４２０では、この中間データストリームを、復号化した第１組の符号化
フレームと第２組の符号化フレームとの間の滑らかな遷移が保証される方法で修正する。例えば、図４に示すように、復号化したフレームにある種の黒幕を加え、この黒幕を徐々に「閉じ」そして徐々に「開く」ことができる。あるいはまた、復号化したフレームを徐々に暗くし、そして徐々に再びオン状態にすることができる。

随意的な第３のステップでは、少なくとも１つの追加的フレームを、上記第１組のフレームと第２組のフレームとの間の時間的ギャップ中に加える。これらの追加的フレームは、これら２組のフレーム間の遷移を改善し、そして第１データストリームにおける表示順の最後の復号化フレーム及び／または第２データストリームにおける表示順の最初の復号化フレームから計算される。

次のステップでは、上記中間データストリームを構成する上記修正した復号化フレーム及び存在すれば上記追加的フレームを符号化し、そしてこれらに関連する相対時刻値も、時間軸におけるこれらのそれぞれの位置に応じて符号化する。

最後のステップでは、第２データストリームのＧＯＶヘッダに含まれる絶対時刻値を、上述したようにこれらの時刻値に上記オフセット時間値を加算することによって修正する。

なお、第２ステップに後続する、上記第１組の符号化フレームを除いた第１データストリーム、上記中間データストリーム、及び上記第２組の符号化フレームを除いた第２データストリームの連結の復号化を変化させないために、第２データストリームの最後の復号化フレームは第２ステップ中に修正しないことが好ましい。

本発明の他の実施例により、時間軸の連続性が保証される。さらに、上記中間データストリームの第１フレームを内部符号化フレームとして再符号化する必要はない。従って本発明の集結方法は、前述したように、３つのデータストリームの単純な連結、及びこれに加えて、上記第２組の符号化フレームを除いた第２データストリームのＧＯＶヘッダによって搬送される値の更新である。

なお、上述した実施例は本発明を例示するものであり限定するものではなく、当業者は、請求項に規定する本発明の範囲を逸脱することなしに多くの代案実施例を設計することができる。これらの請求項では、括弧内に記載した参照符号は請求項を限定するものではない。「具える」及び「具えている」等は、請求項または明細書全体に挙げた以外の要素またはステップの存在を排除するものではない。各要素は複数存在し得る。本発明は、いくつかの別個の要素から成るハードウェアによって、及び適切にプログラムされたコンピュータによって実現することができる。いくつかの手段を挙げた装置の請求項では、これらの手段のいくつかは同一のハードウェア・アイテムによって具体化することができる。互いに異なる従属請求項に特定の方策が挙げられていることは、これらの方策の組合せを有利に用いることはできないことを示すものではない。

チックによる時間軸の分割を示す図である。 第２の基準値の時間軸に沿った進展を示す図である。 本発明による集結方法の実施例を示す図である。 本発明による集結方法の他の実施例を示す図である。

Claims (8)

1. 第１データストリーム（ds1）と第２データストリーム（ds2）とを集結する方法であって、前記データストリームの各々が符号化フレーム（Ｉ，Ｐ，Ｂ）から成り、前記符号化フレームの各々が相対時刻値に関連し、前記データストリームの特定の前記符号化フレームに絶対時刻値が先行するデータストリームの集結方法において、
   現在の符号化フレームに対する現在の基準時刻値を、前の基準時刻値、及び現在の相対時刻値の整数部に基づいて計算するステップと；
   前記第１データストリームにおける表示順の最終フレームの基準時刻値に基づいて、オフセット時間値を計算するステップと；
   前記第２データストリームの前記特定の符号化フレームの前記絶対時刻値を、これらの絶対時刻値に前記オフセット時間値を加算することによって修正するステップと
   を具えていることを特徴とするデータストリームの集結方法。
2. さらに、
   前記第２データストリームにおける表示順の第１フレーム（Ｉ[ｎ＋１]）に対する修正相対時刻値を、前記第１フレームの初期相対時刻値から計算し、前記第１フレームが、前記第１データストリームの前記最終フレーム（Ｆ[ｎ]）と前記第１フレームとの間の時間的ギャップの中央にシフトされる値にするステップと；
   ヌルデータの内容を有し、かつ前記初期相対時刻値に関連する非符号化フレーム（ＮＣＦ）を前記第２データストリーム中に加えるステップと
   を具えていることを特徴とする請求項１に記載の方法。
3. 前記第１データストリームの終わりにある第１組の符号化フレーム及び前記第２データストリームの初めにある第２組の符号化フレームを復号化するステップと；
   復号化した前記第１組のフレーム及び前記第２組のフレームを、前記第１組のフレームと前記第２組のフレームとの間の滑らかな遷移が保証される方法で修正するステップと；
   前記復号化し修正したフレームを符号化し、これらのフレームに関連する相対時刻値を符号化するステップと
   を具えていることを特徴とする請求項１に記載の方法。
4. さらに、前記復号化した前記第１組のフレームと前記第２組のフレームとの間に少なくとも１つの追加的フレームを生成するステップを具えていることを特徴とする請求項３に記載の方法。
5. 前記復号化した前記第２組のフレームの最後のフレームを修正しないことを特徴とする請求項３に記載の方法。
6. 第１データストリームと第２データストリームとを集結する装置であって、前記データストリームの各々が符号化フレームから成り、前記符号化フレームの各々が相対時刻値に関連し、前記データストリームの特定の前記符号化フレームに絶対時刻値が先行するデータストリーム集結装置において、
   現在の符号化フレームに対する基準時刻値を、前の基準時刻値、及び現在の相対時刻値の整数部に基づいて計算する手段と；
   前記第１データストリームにおける表示順の最終フレームの基準時刻値に基づいて、オフセット時間値を計算する手段と；
   前記第２データストリームの前記特定の符号化フレームの前記絶対時刻値を、これらの絶対時刻値に前記オフセット時間値を加算することによって修正する手段と
   を具えていることを特徴とするデータストリーム集結装置。
7. 請求項６に記載の装置を具えたモバイル装置。
8. プロセッサによって実行した際に、請求項１に記載の方法を実現するためのプログラム命令を具えたコンピュータプログラム製品。

Images