JP2002542681A - 遷移ストリームの生成／処理方法 - Google Patents

Abstract

(57)【要約】 遷移ストリーム２３０を生成し、画素領域処理や音声領域処理やその他のデータ領域処理のそれぞれを用いて、遷移ストリーム内の映像や音声やその他のデータを処理する方法。

Description

【発明の詳細な説明】

【０００１】

【関連出願のクロスリファレンス】

本出願は、援用文献であって１９９９年７月２日に出願された「情報ストリー
ムをフレームアキュレイトでシームレスに継ぎ合わせる方法」（代理人事件整理
番号１３２３５）というタイトルの米国出願０９／３４７，２１３の一部継続出
願である。本出願は、援用文献であって１９９９年４月１４日に出願された米国
仮出願Ｎｏ．６０／１２９，２７５の恩恵を享受することを請求するものである
。

【０００２】 本発明は、一般的に通信システムに関し、特にほぼシームレスに情報ストリー
ムを継ぎ合わせる、即ち、連結する方法に関する。

【０００３】

【発明の背景】

通信システムの中には、送信データを圧縮することによって利用可能な帯域幅
を効率的に利用するものがある。例えば、動画エキスパートグループ（ＭＰＥＧ
）はデジタルデータ伝送システムに関する複数の規格を発表している。第一に、
ＩＳＯ／ＩＥＣ規格１１１７２はＭＰＥＧ−１として周知のものであって、それ
は本願の援用文献である。第二に、ＩＳＯ／ＩＥＣ規格１３８１８はＭＰＥＧ−
２として周知のものであって、本願の援用文献である。圧縮されたデジタル映像
システムは、高品位テレビシステム委員会（ＡＴＳＣ）のデジタルテレビ規格文
書Ａ／５３に記述されており、それは本願の援用文献である。

【０００４】 テレビスタジオやその他の情報ストリームの「消費者」にとって重要なことは
、情報ストリーム（例えば、映像や音声やその他の関連情報サブストリーム等を
含む符号化された伝送プログラムストリーム）間をフレームアキュレイトでほぼ
シームレスに連結する、即ち、継ぎ合わせることができることである。「フレー
ムアキュレイト」とは、符号化されたフレームのフレームタイプ（例えば、符号
化されたＩフレームやＰフレームやＢフレーム）に関係なく、ユーザが選択した
複数のフレームが正確に継ぎ合わされることである。「シームレスな継ぎ合わせ
」とは、連続する有効なＭＰＥＧストリームが得られる継ぎ合わせを意味する。
従って、フレームアキュレイトなシームレススプライサが、第１の情報ストリー
ムをフレームアキュレイトでシームレスに継ぎ合わせて第２の情報ストリームを
生成するときに、正確な数のフレームを保存する（例えば、９００個の映像フレ
ームのコマーシャル描写を備える、符号化された伝送プログラムを、ちょうど９
００個のフレームから成る一「スロット」にスケジュールすることができる）。

【０００５】 幾つかの周知の方法では、以下の手順を変更したものが利用される。即ち、「
インストリーム」や「アウトストリーム」をベースバンド、即ち、基本レベルに
復号化するステップと、継ぎ合わせを実行するステップと、その結果継ぎ合わさ
れたストリームを再び符号化するステップである。これらの方法によって、フレ
ームアキュレイトでシームレスに継ぎ合わせられるが、莫大な費用がかかる。

【０００６】 伝送ストリームレベルでシームレスな継ぎ合わせを可能にするよう改良された
方法では、例えば映像情報等を含むＭＰＥＧやＭＰＥＧ準拠の情報ストリームは
、比較的シームレスに継ぎ合わされるが、これは、適切なストリームの入口ポイ
ントと出口ポイントの各々を示す各ストリームの「インポイント」と「アウトポ
イント」を定義することによって行われる。例えば、ＭＰＥＧ準拠の映像ストリ
ーム内の映像シーケンスヘッダを含むパケットは、適切なインポイントを備える
。ＭＰＥＧ準拠の情報ストリームはそのインポイントやアウトポイントを含むの
で、継ぎ合わせが可能であると考えられている。米国映画テレビ技術者協会（Ｓ
ＭＰＴＥ）ではそのような継ぎ合わせポイントを定義する規格ＳＭＰＴＥ３１２
Ｍを提案しており、これは、「ＭＰＥＧ−２伝送ストリームの継ぎ合わせポイン
ト」というタイトルであって援用文献である。

【０００７】 あいにく、このようなインポイントやアウトポイントの配置は、画像フレーム
符号化モードやグループオブピクチャーズ（ＧＯＰ）構造等の要因によって定義
される。従って、望ましい継ぎ合わせポイントが適切なインポイントやアウトポ
イントでない場合、情報ストリーム間のシームレスな継ぎ合わせを行おうとする
エンドユーザは、「フレームアキュレイト」にそれを実行することはできない。

【０００８】 従って、ＭＰＥＧ準拠の伝送ストリームを、正確なフレームが得られるように
シームレスに継ぎ合わせる方法や装置を提供することが望ましい。さらに、フレ
ームアキュレイトでシームレスに継ぎ合わせる方法や装置をテレビスタジオやそ
の他の映像提供環境等の特定の環境に適用する方法や装置を備えることが望まし
いと考えられる。

【０００９】

【発明の概要】

本発明は、遷移ストリームを生成し、画素領域プロセスや音声領域プロセスや
その他のデータ領域プロセスを用いて、映像や音声や遷移ストリーム内のその他
のデータをそれぞれ処理するための方法を備える。本発明の別の実施形態では、
遷移ストリームを形成する画像フレームに関する非映像データが遷移ストリーム
に含まれることが保証される。本発明は、マルチ／シングルプログラム伝送スト
リームの継ぎ合わせ処理を支援する。

【００１０】 特に、画像フレームを含む伝送ストリームを処理するシステムで、第１の伝送
ストリームから第２の伝送ストリームへほぼシームレスに遷移させるために遷移
ストリームを生成する方法であって、提供される第１の伝送ストリームの最終画
像フレームを示す少なくとも一つのターゲットアウトフレームを含む第１の伝送
ストリームの一部を復号化するステップと、提供される第２の伝送ストリームの
最終画像フレームを示す少なくとも一つのターゲットインフレームを含む第２の
伝送ストリームの一部を復号化するステップと、復号化された画像フレームのう
ちの少なくとも一つを画素領域プロセスを用いて処理するステップと、遷移スト
リームを生成するためにターゲットアウトフレームとターゲットインフレームを
含む復号化された画像フレームを符号化するステップを備える。

【００１１】 添付の図面で詳細な説明を検討することによって、本発明の教唆をすぐに理解
することができる。

【００１２】 容易に理解できるように、複数の図で共通の同一の要素を示すために同一の参
照番号を用いている。

【００１３】

【詳細な説明】

以下の説明を検討すれば、当業者はあらゆる情報処理システムで本発明の教唆
をすぐに利用できることを明確に認識できる。尚、この情報処理システムでは、
映像サブストリームを含むＭＰＥＧ準拠の伝送ストリーム等を正確なフレームが
得られるようにシームレスに継ぎ合わせなければならない。

【００１４】 放送用コントローラによって、格納された映像ストリーム（例えば映像セグメ
ント、即ち、「クリップ」）をサーバから検索し、それをフレームアキュレイト
でシームレスに継ぎ合わし、例えば遠距離にあるデコーダに伝送するのに適した
ＭＰＥＧ−２準拠の映像ストリーム等を作成するテレビスタジオ環境に関して、
本発明の一実施形態が説明される。しかしながら、本発明の範囲と教唆の適用範
囲は非常に広く、開示された実施形態に本発明が限定されるものだと解釈される
べきではない。例えば、ケーブルヘッドエンドに対するサーバでのアセットスト
リーミングや、デジタル映画へのローカルなコマーシャルと予告編の挿入や、イ
ンターネットに基づき正確なフレームを得るためのＭＰＥＧ−２伝送ストリーム
のストリーミングや、限定された制作施設（即ち、ニュースやその他のアプリケ
ーションの複数のセグメントを組み立てる制作施設）にも本発明を適用すること
ができる。

【００１５】 本明細書では本発明を説明するために様々な用語が用いられている。以下の記
述によって変更されない限り、それらの用語は次のように定義される。継ぎ合わ
されたストリームは、特定の継ぎ合わせポイントで出口ストリーム（即ち、フロ
ムストリーム）と入口ストリーム（即ち、ツーストリーム）を連結されて形成さ
れたストリームを備える。出口フレームは出口ストリームの最終フレームである
。入口フレームは入口ストリームの第１のフレームである。

【００１６】 図１は、テレビスタジオの高レベルなブロック図を示す。特に図１のスタジオ
には、放送サーバ１１０と大容量記憶デバイス１１５と放送用コントローラ１２
０とルータ１３０とネットワークインタフェースデバイス（ＮＩＤ）１４０が備
えられている。

【００１７】 大容量記憶デバイス１１５を利用して、例えば、符号化された映像サブストリ
ームとそれに関連する音声ストリームが含まれるＭＰＥＧ−２伝送ストリームを
格納することよって番組を提供することができる。また、大容量記憶デバイス１
１５を利用することによって、映像データと音声データとプログラム情報とその
他のデータを含むパケット化基本ストリームや非パケット化基本ストリームなど
のその他の種類の情報ストリームも格納することができる。

【００１８】 信号経路Ｓ１を介して、放送サーバ１１０は大容量記憶デバイス１１５から情
報ストリームを検索する。放送用コントローラ１２０（例えば、プレイリスト）
によって作成された制御信号に応じて検索された情報ストリームを処理すること
によって、複数の連結された伝送ストリームを備える出力伝送ストリームを作成
することができる。放送サーバ１１０は出力伝送ストリームを供給し、信号経路
Ｓ２を介してルータ１３０に接続される。

【００１９】 信号経路Ｓ３を介して放送用コントローラ１２０は放送サーバ１１０や他のス
タジオ機器（図示せず）に制御信号を供給する。信号経路Ｓ３はルータ１３０に
接続される。ルータ１３０を用いることによって、テレビスタジオ１００の様々
な機能要素間の全制御情報やプログラム情報のルートを決定することができる。
例えば、制御情報は信号経路Ｓ３を介して放送用コントローラ１２０からルータ
１３０に送られ、その後、ルータ１３０はその制御情報を信号経路Ｓ２を介して
放送サーバ１１０に送る。オプションとして、放送用コントローラ１２０と放送
サーバ１１０間の直接制御接続線ＣＯＮＴＯＬを用いることによって制御情報を
送信することができる。

【００２０】 信号経路Ｓ２を介してルータ１３０は放送サーバ１１０から出力伝送ストリー
ムを受信し、すぐに出力伝送ストリームを信号経路Ｓ５を介して他のスタジオコ
ンポーネント（例えば、エディタやオフライン記憶要素等）に、あるいは信号経
路Ｓ６を介してネットワークインタフェースデバイス１４０に送る。

【００２１】 ネットワークインタフェースデバイス（ＮＩＤ）１４０を用いることによって
、出力伝送ストリームや、制御情報や、図１のテレビスタジオ１００とその他の
スタジオ（図示せず）間でのその他の情報を通信することができる。オプション
として、ＮＩＤは他のスタジオや離れたところにいるカメラクルーや放送局等か
ら情報ストリームを受信する。これらのストリームは、放送サーバ１１０に与え
られ、それはすぐに処理されて出力伝送ストリーム（例えば、ニュースイベント
の「生」放送）が生成されたり、遅延処理されたり、あるいは（処理されて、も
しくは、処理されずに）大容量記憶デバイスに格納される。

【００２２】 例えばカリフォルニア州マウンテンビューのＳＧＩ社製のオリジン（Ｏｒｉｇ
ｉｎ）２０００の「放送／制作サーバ」等の圧縮ビットストリーム映像サーバを
用いて放送サーバ１１０や大容量記憶デバイス１１５が実現される。

【００２３】 放送用コントローラ１２０は、放送サーバ１１０から出力された伝送ストリー
ムの後に組み込まれる予定の情報ストリーム、即ち、クリップに対応するプレイ
リスト１２５を備える。プレイリスト１２５には、情報ストリーム、即ち、クリ
ップの各々の正確なフレームの入口／出口位置情報が含まれる。尚、放送サーバ
によって、クリップは大容量記憶デバイス１１５から検索され、連結される、即
ち、継ぎ合わされて、出力される伝送ストリームが生成される。また、プレイリ
スト１２５では、情報ストリーム、即ち、クリップの各々に対する第一のフレー
ムと最終フレームが識別可能である。

【００２４】 プレイリスト１２５の少なくとも一部を提供する放送用コントローラからの制
御信号に応じて、放送サーバ１１０は大容量記憶デバイスから適切なストリーム
、即ち、クリップを検索し、制御信号のフレーム入口／出口情報に基づいてフレ
ームアキュレイトでシームレスにクリップを継ぎ合わせることによって出力伝送
ストリームが生成される。重要なことであるが、生成された出力伝送ストリーム
には、構文エラーや、ネットワークインタフェースデバイス１４０によって提供
されたリモートフィードを含むその他のスタジオ要素に対する不連続部分がない
。放送サーバによって行われる継ぎ合わせ、即ち、連結処理については、図２Ａ
及び図２Ｂについて以下で詳細に説明される。

【００２５】 図２Ａと図２Ｂは、本発明を理解するために役立つ継ぎ合わせ処理を示す図表
である。特に、図２Ａは、遷移クリップ（２３０）を用いて３０フレーム／秒で
２つのＭＰＥＧ−２伝送ストリームクリップ（２１０、２２０）をフレームアキ
ュレイトでシームレスに継ぎ合わせて、３０フレーム／秒で継ぎ合わされたＭＰ
ＥＧ−２伝送ストリームクリップ（２４０）を生成する処理を図示したものであ
る。第１のストリーム２１０の一部と第２のストリーム２２０の一部を用いて遷
移ストリーム２３０が形成される。継ぎ合わされたストリーム２４０は、第１の
ストリーム２１０と遷移ストリーム２３０と第２のストリーム２２０の連結部を
備える。継ぎ合わされたストリーム２４０には、第１のストリーム２１０のアウ
トポイント（２１０−ＯＵＴ）と第２のストリーム２２０のインポイント（２２
０−ＩＮ）にある第１のストリームと第２のストリーム間の「ナイフエッジ」、
即ち、正確なフレームを得るための継ぎ合わせ部分が備えられる。

【００２６】 図２Ｂは、図２Ａに示されたストリーム、即ち、クリップの様々なＳＭＰＴＥ
タイムコードを示す。第１のストリーム、即ち、クリップ２１０（ストリームＡ
）は、ＳＭＰＴＥタイムコード００：００：００：００で示される時間ｔ₀で始
まる第１のフレーム２１０−ＳＴを含む複数のフレームと、時間ｔ₁で始まる遷
移アウトフレーム２１０−ＴＲＡＮＳとＳＭＰＴＥタイムコード００：００：０
２：１３で示される時間ｔ₂で終了するアウトフレーム２１０−ＯＵＴと、時間
ｔ₂後に始まる最終フレーム２１０−ＥＮＤを備える。

【００２７】 アウトフレーム２１０−ＯＵＴは、表示される第１のストリーム２１０の最終
フレーム（即ち、望ましい継ぎ合わせポイントのすぐ前にあるフレーム）を備え
る。アウトフレーム２１０−ＯＵＴは遷移ストリーム２３０内に含まれる。遷移
アウトフレーム２１０−ＴＲＡＮＳは伝送される第１のストリーム２１０の最終
フレームを備える。つまり、遷移ストリーム２３０は遷移アウトフレーム２１０
−ＴＲＡＮＳ直後の第１のストリーム２１０に連結される。

【００２８】 第２のストリーム、即ち、クリップ２２０（ストリームＢ）はＳＭＰＴＥタイ
ムコード００：００：００：００で始まる第１のフレーム２２０−ＳＴと、ＳＭ
ＰＴＥタイムコード００：００：００：２３で示される時間ｔ₂で始まるインフ
レーム２２０−ＩＮと、時間ｔ₃で始まる遷移インフレーム２２０−ＴＲＡＮＳ
と、ＳＭＰＴＥタイムコード００：００：０４：１７で示される時間ｔ₄で終了
する最終フレーム２１０−ＥＮＤを備える。

【００２９】 インフレーム２２０−ＩＮは、表示される第２のストリーム２２０の第１のフ
レーム（即ち、望ましい継ぎ合わせポイント直後のフレーム）を備える。インフ
レーム２２０−ＩＮは遷移ストリーム２３０内に含まれる。遷移インフレーム２
１０−ＴＲＡＮＳは、伝送される第２のストリーム２２０の第一のフレームを備
える。つまり、遷移インフレーム２２０−ＴＲＡＮＳは遷移ストリーム２３０に
連結される第２のストリーム２１０の第１のフレームである。

【００３０】 遷移ストリーム、即ち、クリップ２３０（ストリームＴ）は映像ストリームを
フレームアキュレイトでシームレスに継ぎ合わせるのに適したデータ構造である
。遷移ストリーム、即ち、クリップ２３０（ストリームＴ）は時間ｔ₁で始まる
第１のフレーム２３０−ＳＴと時間ｔ₃で終了する最終フレーム２３０−ＥＮＤ
を含む複数のフレームを備える。遷移クリップは、各インフレームとアウトフレ
ームを含む第１のストリーム２１０と第２のストリーム２２０からのフレームを
備える。図２では、遷移クリップの開始点と終了点はそれぞれ時間ｔ₁とｔ₃とし
て示されている。これらの時間や遷移ストリームの実際の第１のフレームと最終
フレームは、図８と９に関して以下で説明される方法で決定されることに注意さ
れたい。

【００３１】 継ぎ合わされたストリーム２４０は、ＳＭＰＴＥタイムコード００：００：０
０：００で示される時間ｔ₀で始まる第１のフレーム２４０−ＳＴと、ＳＭＰＴ
Ｅタイムコード００：００：０４：１７で示される時間ｔ₄で終了する最終フレ
ーム２４０−ＥＮＤを含むフレームを備える。継ぎ合わされたストリーム２４０
は、第１のクリップ２１０（即ち、ｔ₀からｔ₂）からの７３個のフレームと第２
のクリップ（即ち、ｔ₂からｔ₄）からの１１５個のフレームを備える。

【００３２】 図２Ａに示される継ぎ合わされたストリーム２４０には、ナイフエッジの継ぎ
合わせ（タイムコード００：００：０２：１３で示される遷移ストリーム２４０
）を実現するよう（遷移ストリーム２３０を用いて）に連結された第１のストリ
ーム２１０と第２のストリーム２２０が含まれており、第１のストリーム２１０
は明らかにアウトフレーム２１０−ＯＵＴで終わり、明らかにインフレーム２２
０−ＩＮから第２のストリーム２２０が始まる。本発明を用いることによって、
アウト（出口）フレームやイン（入口）フレームのフレームタイプに関係なく、
フレームアキュレイトで継ぎ合わせ処理を行うことができる。

【００３３】 （ＳＭＰＴＥ３１２Ｍ継ぎ合わせ規格で議論された）理想的な継ぎ合わせ状態
では遷移クリップは不要であることに注意されたい。しかしながら、ほとんどの
状態下では、理想的な状態で生成されることがある「空フレーム」の遷移クリッ
プではない多数のフレームが遷移クリップに含まれる。

【００３４】 図３は、図１のテレビスタジオでの使用に適する放送サーバに関する一実施形
態を示す。特に、図３の模範的な放送サーバ１１０は、入出力（Ｉ／Ｏ）回路部
３１０とサポート回路部３３０とプロセッサ３２０とメモリ部３４０と、オプシ
ョンとしてのタイムベースコレクタ３５０を備える。電源やクロック回路やキャ
ッシュメモリ等と同様に放送サーバ１１０内の様々なソフトウェアルーチンの実
行を支援する回路部等の従来のサポート回路部３１０とプロセッサ３２０は、一
緒に動作する。また、放送サーバ１１０と大容量記憶デバイス１１５とルータ１
３０間のインタフェースを形成する入出力回路部３１０を放送サーバ１１０は含
む。

【００３５】 メモリ部３４０には、本発明を実施するために適したプログラムやその他の情
報が含まれる。特に、メモリ部３４０を利用して複数のプログラムを格納するこ
とができるが、それらがプロセッサ３２０によって実行されると、インデックス
生成機能３４２と、遷移クリップ生成機能３４４と、オプションとして遷移クリ
ップタイム再スタンピング機能３４５が実行される。オプションとして、メモリ
部３４０は、インデックスライブラリ３４６とストリームライブラリ３４８のう
ちの１つまたはその両方を含む。

【００３６】 図２Ａや図２Ｂに関してすでに説明したような継ぎ合わせ処理を行うために、
本発明は遷移クリップ生成機能３４４を利用する。遷移クリップ生成機能３４４
では、遷移クリップを生成することによって、（例えば、遷移ストリームジェネ
レータによって決定された）第１の所定の伝送パケット境界で第１のストリーム
２１０を終了し、生成された遷移クリップ２３０を実行し、第２の所定の伝送パ
ケット境界から第２のストリーム２２０を入れることができる。第１のストリー
ム２１０と第２のストリーム２２０に対する実際の出口ポイント（２１０−ＴＲ
ＡＮＳ）と入口ポイント（２２０−ＴＲＡＮＳ）は、通常、要求された実際のフ
レームとは一致しない。むしろ、継ぎ合わせを要求された第１のストリーム２１
０の出口ポイント２１０−ＯＵＴの直前のフレームと、継ぎ合わせを要求された
第２のストリーム２２０の入口ポイント２２０−ＩＮによって、遷移クリップは
構成される。

【００３７】 本発明では、ストリーム間の遷移の質を最適化する方法で、遷移ストリームに
含まれるフレームを選択することが好ましい。つまり、フレームアキュレイトで
シームレスな継ぎ合わせ処理を行っても、継ぎ合わせポイント近傍で映像情報の
質の劣化は起こりうる。これは、例えば映像バッファリングベリファイヤ（ＶＢ
Ｖ）レベルのミスマッチによる「ビット欠乏」やその他の符号化の偏差によって
引き起こされる。本発明では、ＶＢＶレベルを適応してそのような偏差を最低限
に抑える。

【００３８】 インデックス生成機能３４２について詳細に述べる。二種類の情報を用いるこ
とによって遷移クリップとフレームデータとＭＰＥＧデータを構築することがで
きる。フロムストリームとツーストリームの特定のフレームに関する位置とコー
ドタイプと表記順等の情報がフレームデータに含まれる。フレームデータを用い
ることによって、フロムストリームとツーストリームのどのフレームを再び符号
化し遷移クリップを作成するかが決定される。フレームの寸法やビットレートや
フレームフォーマット対フィールドフォーマットや映像バッファリングベリファ
イヤ（ＶＢＶ）遅延量やクロミナンスサンプリングフォーマット等の情報がＭＰ
ＥＧデータに含まれる。ＭＰＥＧデータを用いることによって、伝送ストリーム
のＭＰＥＧ符号化特性を指定することができる。遷移クリップを入力ＴＳと同じ
ＭＰＥＧパラメータを用いて符号化、即ち、再符号化することが好ましい。

【００３９】 遷移クリップ生成機能３４４によって遷移クリップの生成を支援するために、
本発明ではインデックス生成機能３４２を用いる。特に、インデックス生成機能
３４２を用いることによって、継ぎ合わされる各伝送を処理し、伝送ストリーム
の各フレームに関する複数のパラメータを決定することができる。インデックス
生成機能３４２によって処理された各伝送ストリームがそれと関連をもつメタフ
ァイルを備えるように、決定されたパラメータはメタファイルに格納される。イ
ンデックス生成機能３４２によって処理された伝送ストリームは、大容量記憶デ
バイス１１５またはストリームライブラリ３４８に格納される。同様に、伝送ス
トリームに関連するメタファイルは、大容量記憶デバイス１１５またはインデッ
クスライブラリ３４６に格納される。

【００４０】 模範的な実施形態では、インデックス生成機能３４２は、符号化された伝送映
像ストリームの各映像フレームについて以下のものを決定する： １）現在のピクチャ番号（表示順）と； ２）ピクチャコードタイプ（Ｉ、Ｐ、Ｂフレーム）と； ３）フレームの先頭を含む伝送パケット数と； ４）最終フレームを含む伝送パケット数と； ５）フレームの表示タイムスタンプ（ＰＴＳ）と； ６）フレームの復号化タイムスタンプ（ＤＴＳ）と； ７）フレームに先行するシーケンスヘッダの先頭を含む伝送パケット数と； ８）フレームに先行するピクチャヘッダの先頭を含む伝送パケット数と； ９）ＳＭＰＴＥ３１２Ｍ継ぎ合わせシンタックスに基づくフレームマーキン
グ等によって与えられた適切なインフレームやアウトフレームを備えるフレーム
の印。

【００４１】 フレーム毎のデータの他に、インデックス生成機能３４２はオプションとして
、シーケンスヘッダとピクチャヘッダ等のＭＰＥＧ−２構造共通の全フィールド
を保存する。

【００４２】 従って、ストリームライブラリ３４８（または大容量記憶デバイス１１５）は
、インデックス生成機能３４２によって処理された複数の伝送ストリームを備え
る。インデックス生成機能３４２の一実施形態は、図１０について以下で説明さ
れる。

【００４３】 伝送ストリームの構文解析は時間がかかるので、本発明の実施形態ではプリイ
ンデキシングが用いられる。即ち、大容量記憶デバイス１１５やストリームライ
ブラリ３４８に格納された伝送ストリームは、その格納時か、もしくは、その後
のできるだけ早いときに、インデックス生成機能３４２によって処理される。こ
のように、遷移クリップを構築するのに必要な時間は大幅に短縮される。何故な
らば、継ぎ合わせてストリームのＭＰＥＧパラメータとフレームを決定するとき
に、伝送ストリームを構文解析する必要がないからである。さらに、オプション
として、大容量記憶デバイス１１５やインデックスライブラリ３４６に格納され
たメタファイルを用いることによって、放送サーバ１１０はスケジューリングや
フレームレート等のその他の機能に必要な伝送ストリームの特性を素早く検索す
ることができる。

【００４４】 図１０は、一情報ストリームにインデックスを付ける方法のフローチャートで
ある。特に、図１０は方法１０００のフローチャートであり、図３の放送サーバ
１１０のインデックス生成機能３４２で使用するのに適している。図１０の方法
１０００は、図７の方法７００の実施ステップ７０５で使用するのに適している
。

【００４５】 方法１０００はステップ１００５から始まり、インデックスが付けられる一つ
の情報ストリームが受信される。方法１０００はステップ１０１０に進む。

【００４６】 ステップ１０１０では、インデックス付けられる情報ストリームの伝送レイヤ
が構文解析される。つまり、構文解析される情報ストリーム内の各伝送パケット
のヘッダ部をテストすることによって、伝送パケット数（ｔｒ）や伝送パケット
内のシーケンスヘッダの有無や伝送パケット内のピクチャヘッダの有無やインフ
レームやアウトフレームの継ぎ合わせを示すＳＭＰＴＥ３１２Ｍ継ぎ合わせシン
タックスの有無やその他の情報を識別することができる。方法１０００はステッ
プ１０１５に進む。

【００４７】 ステップ１０１５では、第１のフレームまたは現在のフレームがテストされる
。つまり、インデックス付けられる情報ストリームを、パケット化基本ストリー
ム（ＰＥＳ）レイヤに至るまで構文解析することによって、インデックス付けら
れる情報ストリーム内に含まれる映像基本ストリームの第１の映像フレームをテ
ストすることができる。方法１０００はステップ１０２０に進む。

【００４８】 ステップ１０２０では、ステップ１０１５でテストされたフレームの様々なパ
ラメータが決定される。特に、図１０２０−Ｄを参照すると、現在のピクチャ番
号（表示順）やピクチャ符号化タイプ（Ｉ、ＰまたはＢフレーム）やフレームの
先頭を含む伝送パケット数やフレームの最後を含む伝送パケット数やフレームの
表示タイムスタンプ（ＰＴＳ）や復号化タイムスタンプ（ＤＴＳ）はステップ１
０２０によって決定される。ステップ１０１０で前もって述べたが、フレームに
先行するシーケンスヘッダの先頭を含む伝送パケットについて言及し、また、フ
レームに先行するピクチャヘッダの先頭を含む伝送パケット数について言及し、
例えば、ＳＭＰＴＥ３１２Ｍ継ぎ合わせシンタックスに基づくフレームマーキン
グによって提供される適切なインフレームやアウトフレームを備えるフレームの
印についても言及した。さらに、ステップ１０２０では、「ＣＢｄ」や「Ｂｄ」
も決定される。次に、方法１０００はステップ１０２５に進む。

【００４９】 量Ｂｄはストリーム内でマークされたバッファ遅延量である。これは、ピクチ
ャの第１のビットがＶＢＶバッファ内に残っている時間である。量ＣＢｄは計算
されたバッファ遅延量である。インデクサはこの値を計算するが、それについて
はＭＰＥＧ−２仕様書の付録Ｃで示されている。バッファ遅延量Ｂｄと計算され
たバッファ遅延量ＣＢｄは一致しなければならないが、入口ストリームが不適切
にマークされた場合には、この二つの量は一致しない。本発明は、バッファ遅延
値を利用して、２１０ｔｒａｎｓと２２０ｔｒａｎｓ間のＶＢＶレベルを調整す
る方法を決める。ＶＢＶレベルは、遷移クリップで調整される。

【００５０】 ステップ１０２５では、インデックス情報に関する情報が、例えば大容量記憶
デバイス１１５やインデックスライブラリ３４６に格納される。方法１０００は
ステップ１０３０に進む。

【００５１】 ステップ１０３０では、さらに多くのフレームを処理すべきかどうかについて
の問合せがなされる。その問合せの答えがいいえの場合、方法１０００はステッ
プ１０４０に進み、そこで終了する。その問合せの答えがはいの場合、方法１０
００はステップ１０３５とステップ１０１５に進む。ステップ１０３５では、次
のフレームが待ち行列に入れられる。また、ステップ１０１５では次の待機フレ
ームが検査される。

【００５２】 図１１は、図３のインデックスライブラリ３４６で使用するのに適したメタフ
ァイルを表形式で表わしたものである。特に、図１１の表１１００は、複数のレ
コード（１−５４）であって、その各レコードは各開始伝送パケットフィールド
１１１０に関連する、当該レコードと、パケット化された基本ストリーム識別フ
ィールド１１２０と、フレーム／フレームタイプ識別フィールド１１３０と、Ｐ
ＴＳフィールド１１４０と、ＤＴＳフィールド１１５０と、Ｂｄフィールド１１
６０と、ＣＢｄフィールド１１７０と、マークされた継ぎ合わせポイントフィー
ルド１１８０を備える。

【００５３】 本発明の一実施形態では、伝送ストリームを受信したり継ぎ合わせたりした後
ではインデックス生成機能３４２は用いられない。本実施形態では、継ぎ合わさ
れる各伝送ストリームの少なくとも一部をシングルパス処理することによってフ
レームが選択されるので、フロムストリームとツーストリームに関する複数のパ
ラメータを決定することができる。

【００５４】 フロムストリームとツーストリームのどちらの場合でも、以下のパラメータが
決定される。即ち、復号化開始のためのシーケンス＿ヘッダとピクチャ＿ヘッダ
の伝送パケットオフセットと、復号化するフレーム数と、廃棄される復号化され
たフレーム数（例えば、遷移クリップに含まれるフレームを復号化するために必
要なアンカーフレーム等）が決定される。

【００５５】 フロムストリームだけに対しては、以下のパラメータが決定される。即ち、フ
ロムストリーム（即ち、新しい出口ポイント、即ち、出口フレーム）からプレイ
させるための最終伝送パケットと、遷移クリップに表示するための第１のフレー
ムのＰＴＳである。

【００５６】 ツーストリームだけに対しては、以下のパラメータが決定される。即ち、遷移
クリップに対して送られるＩフレームの先頭と最後の伝送パケットと、遷移クリ
ップに対して送られる残りのＧＯＰの先頭と最後の伝送パケットと、ツーストリ
ーム（即ち、新規入口ポイント、即ち、入口フレーム）からプレイさせるための
第１の伝送パケットと、コピーされるフレーム数である。

【００５７】 さらに、伝送ストリームを構文解析するときにインデックスライブラリによっ
てＭＰＥＧフィールドが検索されるので、フレーム選択中に必要な符号化パラメ
ータはすべて保存される。

【００５８】 ここで、遷移クリップ生成機能３４４について詳細に説明する。遷移クリップ
を構成するプロセスは、１）遷移クリップにどのフレームを組み入れるかを決定
するステップと、２）遷移クリップに組み入れるフレームを復号化するステップ
と、３）遷移クリップを形成するフレームを符号化または再び符号化するステッ
プと、４）遷移クリップを伝送用に符号化（即ち、パケット化）するステップを
備える。

【００５９】 フレームを選択すると、出力される遷移クリップの大きさと、遷移クリップを
生成するために必要な時間に影響し、再符号化された映像の質の最適化に関する
拘束条件がエンコーダに与えられる。ここで議論されるフレーム選択方法によっ
てフレーム依存の問題が解決される一方で、フレーム数が削減され、質を大きく
損なうことなく映像を再符号化するために十分な遷移時間が与えられる。

【００６０】 符号化または再符号化のステップは、通常遷移クリップ生成機能３４４の中で
最も時間のかかるステップであるが、再符号化するフレーム数を削減することに
よって時間を短縮することができる。しかしながら、遷移クリップを構築する主
な理由のうちの１つは、継ぎ合わされる二つの伝送ストリーム間のＶＢＶレベル
の相違を調和させることである。そのため、フレーム数を削減すると（特に、Ｖ
ＢＶレベルを下げると、ほんの少しのビットでフレームを符号化しなければなら
ないため）、エンコーダはＶＢＶレベルを調整しながら映像の質を維持すること
がさらに難しくなる。ＶＢＶレベルを下げるために、バッファから取り出される
のではなくバッファに与えなければならないビットはほとんどない。これによっ
て、エンコーダにとってピクチャ毎に用いるビット（平均して）はほとんどない
。

【００６１】 図５は、本発明を理解する上で役立つように、画像フレームの表示順と画像フ
レームの伝送順を表形式で示す。特に、図５は、映像シーケンスの一部を構成す
る２４個の符号化された画像フレームを表示順に示した第１の表５１０と、映像
シーケンスを構成する２４個の画像フレームを伝送順に示した第２の表５２０を
示す。これについて議論する目的のために、図２の第１のストリーム２１０につ
いて既に説明したように、図５に示される映像シーケンスには、フロムストリー
ム映像シーケンス（即ち、継ぎ合わせられたシーケンス形式で表示される第１の
シーケンス）の一部が含まれる。

【００６２】 特に、第１の表５１０によって画像フレームが表示され、以下のような（フレ
ーム１からフレーム２４の）グループオブピクチャーズ（ＧＯＰ）構造に基づい
て符号化される： Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−
Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ。

【００６３】 さらに、第２の表５２０によって画像フレームが以下のフレーム順に伝送され
る： １−４−２−３−７−５−６−１０−８−９−１３−１１−１２−１６−１４−
１５−１９−１７−１８−２２−２０−２１−２５−２３。

【００６４】 以下で議論するために、図５に示された映像シーケンスが、Ｂフレームを備え
るフレーム１５で終了することが望ましいと仮定する。つまり、フレーム１５は
図５に示された出口ストリームであるアウトフレームを備える。以下で議論され
るように、フレーム１０からフレーム１５は（表示順に）復号化される。フレー
ム１６は、伝送順でフレーム１５に先行するアンカーフレームであることに注意
されたい。従って、フレーム１６を復号化した後で（Ｂフレームである）フレー
ム１４と１５を復号化しなければならない。遷移クリップに先行するフロムクリ
ップの最終フレームは、フレーム１３である。つまり、フロムクリップはフレー
ム１６の直前で終了する。

【００６５】 図６は、本発明を理解する上で役に立つ、画像フレームの表示順と画像フレー
ムの伝送順を示す表である。特に、図６は、映像シーケンスの一部を構成する２
６個の符号化された画像フレームを表示順に示す第１の表６１０と、映像シーケ
ンスを構成する２６個の画像フレームを伝送順に示す第２の表６２０を示す。こ
れについて議論する目的で、図６に示された映像シーケンスは、図２の第２のス
トリーム２２０について既に説明したように、ツーストリーム映像シーケンス（
即ち、継ぎ合わされたシーケンスに表示される第２のシーケンス）の一部を備え
る。

【００６６】 特に、第１の表６１０毎に画像フレームが表示され、以下のような（フレーム
１からフレーム２６までの）グループオブピクチャーズ（ＧＯＰ）構造に基づい
て符号化される： Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−
Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ。

【００６７】 さらに、第２の表５２０毎に画像フレームが以下のフレーム順に伝送される：
１−４−２−３−７−５−６−１０−８−９−１３−１１−１２−１６−１４−
１５−１９−１７−１８−２２−２０−２１−２５−２３−２４−２８。

【００６８】 以下の議論を行う目的で、Ｂフレームを備えるフレーム１５から、図６に示さ
れた映像シーケンスに入ることが望ましいと仮定する。つまり、フレーム１５は
、図６に示された入口ストリームであるインフレームを備える。以下で議論され
るが、フレーム１０からフレーム１８が（表示順に）復号化される。ツーストリ
ームから表示される第１のフレームはフレーム２５（遷移クリップに含まれない
Ｉフレーム）であることに注意されたい。

【００６９】 図７は遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャート
である。図７は方法７００のフローチャートであり、図３の放送サーバ１１０の
遷移クリップ生成機能３４４で使用することに適している。

【００７０】 方法７００はステップ７０５から始まり、ここでは、「フロムストリーム」と
「ツーストリーム」に注釈がつけられる。即ち、継ぎ合わせポイントに先行する
情報を提供する情報ストリーム（フロムストリーム）と、継ぎ合わせポイント以
降の情報を提供する情報ストリーム（ツーストリーム）に注釈をつけることによ
って、インデックス生成機能３４２に関して上述された様々なフレームパラメー
タをフレーム毎に識別することができる。情報ストリームに注釈をつける方法は
、図１０で既に説明した。次に、方法７００はステップ７１０に進む。

【００７１】 ステップ７１０では、出口フレームに先行するフロムストリームの一部が復号
化される。つまり、出口フレーム（即ち、表示されるフロムストリーム内の最終
情報フレーム）を含むフロムストリーム内の複数の情報フレームが復号化される
。次に、方法７００はステップ７１５に進む。

【００７２】 ステップ７１５では、入口フレームで始まるツーストリームの一部が復号化さ
れる。つまり、入口フレーム（即ち、表示されるツーストリームの第１フレーム
）から始まるツーストリーム内の情報フレームが復号化される。次に、方法７０
０はステップ７５０に進む。

【００７３】 ステップ７２０では、フロムストリームとツーストリームの復号化された部分
を再符号化することによって、遷移クリップ、即ち、遷移ストリームを生成する
。伝送ストリームには、例えばフロムストリーム及びツーストリームに関する映
像及び音声情報が含まれる。

【００７４】 図７の方法７００によって生成された遷移ストリーム、即ち、遷移クリップは
例えば、図１及び図３の放送サーバ１１０によってフロムストリームとツースト
リーム間の遷移用である。

【００７５】

【Ａ．フレームの選択】

遷移クリップ、即ち、遷移ストリームを構築する処理の第１のステップは、ど
のフレームを遷移クリップに含ませるかを決定するステップ（即ち、フレーム選
択処理）を備える。

【００７６】 図８は、フロムストリーム内のどの情報フレームを遷移ストリームに含ませる
かを決定する方法のフローチャートである。図８の方法８００は、図７の方法７
００を実施するステップ７１０で使用することに適している。

【００７７】 方法８００はステップ８０５に入り、ここではフロムストリームの出口フレー
ムが識別される。フロムストリームの出口フレームは、継ぎ合わせポイントに先
行して表示されるフロムストリームの最終フレームである。例えば、図５に示さ
れたフロムストリームを参照すると、出口フレーム（フレーム１５）は、フレー
ム５１３として示されるＢフレームを備える。次に、方法８００はステップ８１
０に進む。

【００７８】 方法８００のステップ８１０では、出口フレームと、その直前の非アンカーフ
レームを表示順に復号化する。即ち、図５を再び参照すると、出口フレーム（フ
レーム１５）とその直前の非アンカーフレーム（フレーム１１と１２と１３と１
４）が復号化される。フレーム１１、１２、１３はフレーム１０を用いて予測さ
れるため、フレーム１０も復号化しなければならない。しかしながら、復号化さ
れたフレーム１０はフレーム１１−１３が復号化された後に廃棄される。つまり
、表示順に出口フレームの前のＩフレームから出口フレームまでの全フレームが
復号化される。Ｉフレームはフレーム依存性がない（即ち、他のフレームを先に
復号化せずに復号化できる）ので、Ｉフレームから始めなければならない。次に
、方法８００はステップ８１５に進む。

【００７９】 ステップ８１５では、出口フレームがＢフレームであるかどうか問合せされる
。ステップ８１５の問合せの答えがいいえであれば、方法はステップ８２０に進
む。ステップ８１５の問合せの答えがはいであれば、方法８００はステップ８２
５に進む。

【００８０】 ステップ８２０では、出口フレームはＩフレームまたはＰフレームのいずれか
であるので、遷移ストリームフレームの前に表示される最終フロムストリームフ
レーム（即ち、遷移フレーム）は、伝送順で出口フレームの直前のフレームであ
る。つまり、図５に示されたフロムストリームのフレーム１５がＢフレームでは
なくＰフレームまたはＩフレームであった場合は、表示される最終フロムストリ
ームフレームはフレーム１４となる。出口フレームがＩまたはＰフレームならば
、フレームの依存性および再順序付けによって、次のアンカーフレームの直前（
即ち、出口フレームに依存する全てのＢフレームの後）の伝送フレームカットす
ることができる。これによって、再符号化するフレーム数が減り、遷移のための
ＶＢＶレベルを調整する機会も減る。次に、方法８００はステップ８３０に進む
。

【００８１】 ステップ８２５では、出口フレームがＢフレーム（図５に示されたフロムスト
リーム内の出口フレーム等）である場合、表示される最終フロムストリームのフ
レームは、伝送順でアンカーフレームの直前のフレームである。図５を参照する
と、出口フレームに関するアンカーフレームに先行するフレームは、Ｐフレーム
（フレーム１３）である。図５に示された２４個のフレームシーケンスのうち伝
送される最終フレームはＢフレーム１２であるが、表示される最終フレームはＰ
フレーム１３であることに注意されたい。次に、方法８００はステップ８３０に
進む。

【００８２】 ステップ８３０では、表示順で最終フロムストリームフレームの後の復号化さ
れたフレーム（例えば、図５のフレーム１２として示されるＢフレーム）が遷移
クリップ内に格納される。また、遷移ストリーム、即ち、クリップはツーストリ
ームからのフレームも含むことに注意されたい。遷移クリップ内に格納されるフ
レームは全て再符号化され、符号化された遷移クリップ、即ち、遷移ストリーム
を形成する。

【００８３】 図９は、ツーストリーム内のどの情報フレームを遷移ストリーム内に含ませる
かを決定する方法のフローチャートである。特に、図９の方法９００は、図７の
遷移ストリーム生成方法７００の実施ステップ７１５で使用するのに適している
。

【００８４】 方法９００はステップ９０５に入る。ステップ９０５ではツーストリームの入
口フレームが識別される。ツーストリームの入口フレームは、継ぎ合わせポイン
トの後に表示されるツーストリーム内の第１のフレームである。例えば、図６に
示されたツーストリームを参照すると、入口フレーム（フレーム１５）はＢフレ
ームを備える。次に、方法９００はステップ９１０に進む。

【００８５】 ステップ９１０では、表示順で入口フレームと次のＩフレームの前にある全フ
レームが復号化される。つまり、図６を参照すると、入口フレーム（フレーム１
５）と次のＩフレーム（フレーム１９）の前にある全フレーム（即ち、フレーム
１６、１７、１８）が復号化される。図６に示されたツーストリーム映像シーケ
ンス内のフレーム１７、１８は次のＩフレーム（フレーム１９）からの情報を用
いて予測されるので、次のＩフレームも復号化しなければならない。しかしなが
ら、復号化されたフレーム１９は、フレーム１７、１８が復号化された後に廃棄
される。次に、方法９００はステップ９１５に進む。

【００８６】 ステップ９１５では、次のＩフレーム（例えば、映像シーケンス６１０のフレ
ーム１９）は遷移クリップにコピーされる。つまり、ツーストリームを構成する
伝送パケット内の映像情報（即ち、映像基本ストリーム情報）は伝送パケットか
ら抽出され、遷移クリップにコピーされる。エンコーダの出力は映像基本ストリ
ーム（ＶＥＳ）であるが、これはエンコーダからの出力を遷移クリップに直接コ
ピーできるようにするためであることに注意されたい。その後、遷移クリップは
パケット化される。次に、方法９００はステップ９２０に進む。

【００８７】 また、ステップ９２０では、次のＩフレーム（例えば、フレーム２５）とその
次のＩフレーム（例えば、フレーム１９）間のフレーム（例えば、フレーム２０
から２２）も遷移クリップに伝送順にコピーされる。ステップ９１５、９２０で
遷移クリップにコピーされたフレーム（例えば、フレーム１９−２１）は、符号
化されたフレームとして遷移クリップにコピーされることに注意されたい。従っ
て、入口フレームと次のＩフレームの前にある全フレームとを備える復号化され
たフレームと、次のＩフレームと、次のＩフレームとその次のＩフレーム間のす
べてのフレームとを備える符号化されたフレームは、方法９００によって遷移ク
リップに追加される。

【００８８】 図８と図９で既に説明したフロムストリームとツーストリームのフレーム選択
方法では、遷移ストリームのフレーム間のフレーム依存性と、フロムストリーム
とツーストリームのうちの１つまたはその両方のフレーム依存性が受け入れられ
る。以下の制約事項が守られなければならない。遷移クリップは閉ＧＯＰ構造と
して符号化される。つまり、遷移クリップは自己内蔵型映像クリップである。終
了の伝送ストリームから、遷移クリップ内のフレームへの参照付けはない。開Ｇ
ＯＰ構造を用いて、入力される伝送ストリームが符号化される場合は、遷移クリ
ップ内のフレームに参照付けられたフレームを含んでいてもよい。

【００８９】 本発明の重要な点は、遷移クリップを処理して、遷移クリップ内に含まれるフ
レームのフレーム依存性に適切に対処することである。フレーム依存性には、例
えば、遷移クリップ外のアンカーフレームを用いて復号化する必要のある遷移ク
リップ内の予測フレーム（即ち、Ｐフレーム又はＢフレーム）が含まれる。外部
フレーム依存性のない遷移クリップ（即ち、「自己内蔵型」クリップ）を作成す
ることが望ましいが、本発明は、そのフレーム依存性を含むＭＰＥＧ準拠の遷移
クリップを作成することができる。

【００９０】

【Ｂ．復号化】

遷移クリップ、即ち、遷移ストリームを構築する処理の第２のステップは、フ
レーム選択処理で選択されたフレームを復号化するステップを備える。選択され
たフレームは、標準的なハードウェアまたはソフトウェアによる復号化技術を用
いて復号化される。

【００９１】 どのフレームが復号化されるかに無関係に、Ｉフレームから復号化しなければ
ならないことに注意されたい。ＭＰＥＧ符号化予測を用いるため、Ｉフレーム以
外のフレームはすべて、最終的にその前のＩフレームに依存する。上述したフレ
ーム選択方法ではこれらの依存性をなくすことによって、伝送ストリーム間をフ
レームアキュレイトでシームレスに継ぎ合わせることができる。

【００９２】

【Ｃ．符号化】

遷移クリップ、即ち、遷移ストリームを構築する処理の第３のステップは、フ
レーム選択処理および復号化処理によって復号化されたフレームを符号化するス
テップを備える。選択されたフレームは、標準的なハードウェアまたはソフトウ
ェアによる復号化技術を用いて符号化される。

【００９３】 （上述したように）フレーム依存性をなくすこと以外に、遷移クリップを生成
する主目的の一つは、継ぎ合わされた伝送ストリームを処理する遠距離にあるデ
コーダがオーバフロー、アンダーフロー、或いはデコーダバッファメモリの望ま
しくない動作の影響を受けないように、フロムストリームとツーストリーム間の
ＶＢＶレベルを調整することである。例えば、フロムストリームの出口ポイント
のＶＢＶレベルがツーストリームの入口ポイントのＶＢＶレベルよりも低い場合
は、継ぎ合わせ点から下流でアンダーフローが起こることがある。一般的なデコ
ーダでは、これによって「フレームのフリーズ」が引き起こされ、デコーダはデ
ータが利用可能になるまで待つ。フロムストリームの出口ポイントのＶＢＶレベ
ルがツーストリームの入口ポイントのＶＢＶレベルよりも高いときは、もっと重
大な問題が起こる。このため、継ぎ合わせ点から下流でＶＢＶオーバフローが発
生することがある。バッファ可能な量より多くのデータが利用できるときにオー
バフローが起こる。オーバフローはデータの損失および／または乱れを引き起こ
し、一般的に、視覚的なアーチファクト（artifacts）が復号化されたピクチャ
内に発生し、デコーダをリセットしてしまうことさえある。

【００９４】 選択されたフレームがベースバンドに復号化されると、それらはＶＥＳに再符
号化される。発明者らは、サーノフコーポレーション（Sarnoff Corporation）
製のＤＴＶ／ＭＰＥＧ−２ソフトウェアエンコーダを用いて、全体性能とピクチ
ャ品質とモジュール性を確実に高めた。エンコーダのレート制御アルゴリズムは
、初期および最終ＶＢＶレベルを特定できるように修正され、エンコーダの入力
モジュールはデコーダの出力ファイルフォーマットをサポートするように更新さ
れた。フレーム選択中に伝送ストリームから構文解析されたＭＰＥＧ符号化パラ
メータはエンコーダに送られて、継ぎ合わされるクリップと再符号化された映像
がコンパチブルであることが保証される。

【００９５】 （遷移クリップの再符号化部分の全体的ピクチャ品質を最終的に決定する）レ
ート制御について、ＶＢＶレベルを上げるように調整すると、選択されたフレー
ムは元のストリームよりも少ないビットで符号化される。ＶＢＶレベルを上げる
と、出力品質はいくらか落ちるが、これはヒューマンビジュアルシステムのマス
キングによるものである。また、シーン変化の際に映像品質がいくらか劣化する
ことがあるが、これは視聴者には感知できない程度のものである。発明者らは、
フレームアキュレイトでシームレスに継ぎ合わされたストリームにそのような視
覚的な劣化が起っても、感知できるような映像の劣化を引き起こすことはないこ
とがわかった。

【００９６】 本発明の一実施形態では、フロムストリームとツーストリームの各々は、映像
バッファリングベリファイヤ（ＶＢＶ）をもつ伝送ストリームを備える。本発明
は、フロムストリームＶＢＶとツーストリームＶＢＶ間に相違があるかどうかを
確認し、必要に応じてその相違に対して再符号化処理を適用する。例えば、第１
の閾値レベルによってフロムストリームＶＢＶがツーストリームＶＢＶを上回る
と確認されたならば、レート制御ビットの割り当てを増やすことによって、また
第２の閾値レベルによってツーストリームＶＢＶがフロムストリームＶＢＶを上
回ると確認されたならば、レート制御ビットの割り当てを少なくすることによっ
て、本発明は再符号化処理に対応することができる。

【００９７】

【Ｄ．パケット化】

遷移クリップ、即ち、遷移ストリームを構築する処理の第４のステップは、フ
レーム選択および復号化処理によって復号化されたフレームを符号化するステッ
プを備える。

【００９８】 選択されたフレームを再符号化後に、ツーストリームからコピーされたＩフレ
ームと残りのＧＯＰは、再符号化されたＶＥＳに追加される。時間＿基準フィー
ルドの再スタンピングが実行されていないときに、遷移クリップには、構文とし
て完全なＭＰＥＧ−２ストリーム（シーケンス＿エンド＿コードのないものは除
く）が含まれ、また、その遷移内の全フレームが含まれる。最後のステップは、
ＶＥＳを伝送ストリームにパケット化するステップである。

【００９９】 遷移ストリームをパケット化する第１のステップは、遷移ストリームを構文解
析し、各フレームの先頭のオフセット（シーケンス＿ヘッダ又はピクチャ＿ヘッ
ダ）とフレームタイプを遷移ストリーム内に配置する。このデータが利用可能に
なると、フレーム間の依存性が計算され、フレームの表示順が決定される。時間
＿基準フィールドは、ＧＯＰの再構築のために現在無効であるため、この目的に
は適していないことに注意されたい。表示順が決定すると、時間＿基準フィール
ドは再スタンピングされ、遷移ストリームの各フレームに対して表示タイムスタ
ンプ（ＰＴＳ）と復号化タイムスタンプ（ＤＴＳ）が計算される。

【０１００】 ＭＰＥＧ−２規格では、伝送ストリームに時間的不連続部分が許容されること
に注意されたい。しかしながら、デコーダにはＭＰＥＧ−２規格に完全に準拠し
ていないものもあるので、伝送ストリーム内の時間的不連続部分を許すことによ
って、デコーダの不適切な動作が引き起こされる。従って、再スタンピング処理
によって伝送ストリーム内の時間的不連続部分を除去することが望ましい。

【０１０１】 再スタンピング処理の出力を用いてＰＥＳヘッダが生成され、フレームがＰＥ
Ｓストリームに出力される。各ＰＥＳヘッダの位置および各ＰＥＳパケットの大
きさはこの処理の間に記録される。最終的に、伝送パケットが生成されて、ＰＥ
Ｓパケットが保持される。パケットの各レイヤではＴＳにオーバヘッドが与えら
れるので、わずかにサイズが大きくなる。結果として生じるＴＳ内のパケットは
、継ぎ合わされる映像ストリームのＰＩＤを用いてスタンピングされる。パケッ
ト化処理の最後の出力は、シングルＶＥＳを含むＴＳである。このストリームに
はプログラム特有情報（ＰＳＩ）は含まれていない。

【０１０２】

【Ｅ．再多重化】

遷移クリップ、即ち、遷移ストリームを構築する処理の最後のステップは、元
のプログラムストリームからプログラム特有情報（ＰＳＩ）をもつ映像クリップ
（ここでは、伝送ストリーム）を再多重化するステップを備える。

【０１０３】 再多重化ステップを達成するためにフロムストリームが検査され、プログラム
関連テーブル（ＰＡＴ）とプログラムマップテーブル（ＰＭＴ）の一例が（伝送
パケットとして）抽出される。単独のプログラム伝送ストリームを継ぎ合わせる
場合、一つのＰＭＴだけが存在する。複数のプログラム伝送ストリームを継ぎ合
わせる場合、複数のＰＭＴだけが存在する。オプションとして、ＡＴＳＣブロー
ドキャストフォーマットを完全に用いるためには（当業者はわかっていることで
あるが）その他のテーブルも抽出しなければならない。

【０１０４】 ＰＡＴとＰＭＴを抽出した後、多重化ビットレートと遷移クリップ内のフレー
ム数とフレームレートに基づいて遷移クリップ内のパケット数が計算される。例
えば、ＡＴＳＣ仕様では、少なくとも１００ｍｓごとにＰＡＴと少なくとも４０
０ｍｓごとにＰＭＴが必要となる。ＰＡＴテーブルとＰＭＴテーブル間のパケッ
ト数は、多重化ビットレートから決定される。

【０１０５】 遷移クリップ内のパケット数の計算後に、空伝送パケットから成る空遷移クリ
ップが生成され、ＰＡＴテーブルとＰＭＴテーブルが、計算された間隔で（例え
ば、ＰＡＴは１００ｍＳ毎で、ＰＭＴは４００ｍＳ毎）挿入される。

【０１０６】 空遷移ストリーム内にＰＡＴとＰＭＴを適切に挿入した後で、残りの利用可能
なパケット内のスペーシングパケットによって、空遷移ストリームに映像伝送ス
トリームが挿入されるので、出力伝送ストリームが形成される。

【０１０７】 ＰＡＴとＰＭＴと映像パケットを空遷移クリップに挿入するとき、各パケット
は新規の継続カウンタによって再スタンピングされなければならないことに注意
されたい。出口ストリーム、即ち、フロムストリームから、連続＿カウンタの開
始値が各ＰＩＤ毎に決定される。映像クリップが非常に大きい場合は、遷移クリ
ップ内には十分な伝送パケットはない。これは、遷移クリップの大きさが予測ク
リップ期間に基づいて計算されているからである。この計算では、フレーム数と
フレームレートとＶＢＶ遅延量とマルチプレクスビットレート等を考慮に入れて
いる。ＶＢＶレベルの調整がエンコーダによって適切に行われることは重要なこ
とである。

【０１０８】 次に、完成した遷移クリップは、計算された伝送パケットオフセットで、継ぎ
合わされた伝送ストリーム間に挿入され、これによってシームレスな継ぎ合わせ
を行うことができる。

【０１０９】 上述の本発明のメリットは、遷移ストリーム、即ち、クリップを用いて伝送ス
トリームをフレームアキュレイトでシームレスに継ぎ合わせる、即ち、連結する
ことによって、伝送ストリーム全体を新規に構築する必要がないということであ
る。処理中はフロムストリームもツーストリームも修正されない。何故ならば、
遷移ストリームを作成するのに十分な情報を提供するためだけにそれらが用いら
れるからである。ストリーム間の変更を行うために遷移ストリームが用いられた
後で、それはシステムによって廃棄されるか、または将来の使用のために保存さ
れる。

【０１１０】 映像ストリーム又はサブストリームを含むＭＰＥＧ−２伝送ストリームをシー
ムレスに継ぎ合わせるために適している映像情報を含む遷移ストリームの生成に
関連して本発明を基本的に説明した。その他の形式の情報もそのような映像スト
リームに関係することは、当業者にとっては明らかなことである。例えば、複数
の映像ストリームは対応する音声ストリームと関連する。また、データエッセン
スおよびメタデータ等のその他の形式の情報は、映像情報を含む情報ストリーム
に組み込まれる。データエッセンスはストリーム内の映像および／または音声デ
ータとは無関係の内容のデータである。データエッセンスの例として、映像およ
び／または音声データ等と関係のない株式情報、気象報告およびその他のニュー
スやお知らせ又は制御情報等が挙げられる。

【０１１１】 メタデータは、映像または音声ストリームの特性を記述するデータ等のその他
のデータに関するデータである。メタデータの例として、別々のカメラアングル
、映画俳優の名前、番組タイトル等の映像および音声フレームに関する映像また
はインターネットデータブロードキャストパケットが挙げられる。

【０１１２】 映像情報ストリーム内の特定の映像フレームに関する音声情報、データエッセ
ンスおよび／またはメタデータの場合、特定の映像フレームに関連する全データ
を映像フレームのレシーバが確実に利用可能であることが望ましい。従って、１
つ以上の映像ストリームを連結することによって継ぎ合わされた映像ストリーム
を作成する継ぎ合わせアプリケーションの場合、継ぎ合わせを可能にする遷移ク
リップ内で用いられる映像フレームに関する音声情報、データエッセンスおよび
／またはメタデータがその遷移クリップに含まれることが保証されることが望ま
しい。

【０１１３】 図４Ａは、本発明を理解する上で役に立つ継ぎ合わせ処理の図を含む。特に、
図４Ａは、ストリームＡとして示されるフロムストリーム４１０と、ストリーム
Ｂとして示されるツーストリーム４２０と、ストリームＴとして示される遷移ス
トリーム、即ち、遷移クリップ４３０を備える。ストリームＡ（４１０）とＢ（
４２０）とＴ（４３０）はそれぞれＭＰＥＧ伝送ストリームであり、映像フレー
ム（図示せず）とメタデータとデータエッセンスと音声データを備えることに注
意されたい。これらの伝送ストリームは、複数のパケット化された情報を多重化
することによって形成され、その結果、映像ストリームと音声ストリームとその
他のデータストリームを含む情報ストリームが提供される。あいにく多重化処理
では音声とデータエッセンスとメタデータのパケットはそれぞれの映像時間に正
確に配列されない。つまり、伝送ストリーム内の各映像フレームについては、（
ビットストリーム順で）映像フレームに関する音声データ、データエッセンス又
はメタデータを含むパケットの前または後に映像フレームを含むパケットがくる
。従って、出口または入口フレームを形成する映像パケットだけに関する遷移ス
トリームが形成される場合、出口または入口フレームに関するメタデータ、デー
タエッセンスおよび／または音声データは失われるか、または不完全に遷移スト
リームに提供されるだろう。

【０１１４】 ストリームＡ（４１０）は、スタート映像フレーム４１０−ＳＴとエンド映像
フレーム４１０−ＥＮＤによってその範囲が制限される。ストリームＡは、出口
映像フレーム４１０−ＯＵＴで終了するフロムストリームを備える。従って、遷
移ストリーム生成方法について上述したように、遷移映像フレーム４１０−ＴＲ
ＡＮで始まり、出口映像フレーム４１０−ＯＵＴで終わる複数の情報フレームは
復号化され、遷移ストリームを形成するために用いられる。しかしながら、出口
映像フレーム４１０−ＯＵＴは、メタデータ４１０−ＭＤ、データエッセンス４
１０−ＤＥ及び音声データ４１０−ＡＤと関連しており、そのデータはストリー
ムＡ内の出口映像フレーム４１０−ＯＵＴの後に配置される。そのデータは出口
映像フレーム４１０−ＯＵＴの前に配置してもよいことに注意されたい。従って
、この非映像データを遷移ストリームに組み込む場合は、非映像データを抽出し
、復号化しなければならない。ストリームＡ（４１０）を参照すると、出口フレ
ーム４１０−ＯＵＴに関する非映像データは、遷移フレーム４１０−ＴＲＡＮと
範囲フレーム４１０−ＥＸＴによってその範囲が制限される。尚、この範囲フレ
ームは非映像データと関連する最大境界（即ち、範囲）を定義するものである。

【０１１５】 ストリームＢ（４２０）は、スタート映像フレーム４２０−ＳＴとエンド映像
フレーム４２０−ＥＮＤによってその範囲が制限される。ストリームＢは、入口
映像フレーム４２０−ＩＮから始まるツーストリームを備える。従って、遷移ス
トリーム生成方法に関して上述したように、入口フレーム４２０−ＩＮで始まり
、遷移映像フレーム４２０−ＴＲＡＮで終わる複数の情報フレームは、復号化さ
れて、遷移ストリーム４３０を形成するために用いられる。しかしながら、入口
映像フレーム４２０−ＩＮは、メタデータ４２０−ＮＤとデータエッセンス４２
０−ＤＥと音声データ４２０−ＡＤと関連しており、そのデータはストリームＢ
内の入口映像フレーム４２０−ＩＮの前に配置される。そのデータは入口映像フ
レーム４２０−ＩＮの後に配置することもできることに注意されたい。従って、
この非映像データを遷移ストリーム４３０に組み込む場合は、非映像データを抽
出して復号化しなければならない。ストリームＢ（４２０）を参照すると、入口
フレーム４２０−ＩＮに関する非映像データは、範囲フレーム４２０−ＥＸＴと
遷移フレーム４２０−ＴＲＡＮによってその範囲が制限される。範囲フレーム４
２０−ＥＸＴは、ビットストリーム順で入口フレーム４２０−ＩＮの前にある非
映像データに関連する最大境界（即ち、範囲）を定義する。

【０１１６】 従って、遷移ストリームに適切な全映像フレームと、それらの映像フレームに
関連する非映像データの全てを取り込む場合、ストリームＡの分解された部分は
４１０−ＴＲＡＮと４１０−ＥＸＴによってその範囲が制限される。同様に、ス
トリームＢの分解された部分は、４２０−ＥＸＴと４２０−ＥＸＴと４２０−Ｔ
ＲＡＮによって制限される。ストリームＡとＢからの映像データ、メタデータ、
データエッセンス及び音声データを復号化および／または抽出したりした後で、
遷移ストリーム４３０はそのデータを含むように形成される。従って、遷移スト
リーム４３０は、スタートフレーム４３０−ＳＴとエンドフレーム４３０−ＥＮ
Ｄによってその範囲が制限される。適切な出口フレーム４１０−ＯＵＴと入口フ
レーム４２０ＩＮから始まる二つのストリーム間のフレームアキュレイトな継ぎ
合わせ位置がＳＰＬＩＣＥポイントによって定義される。さらに、遷移ストリー
ム４３０内に含まれる映像フレームに関するメタデータ、データエッセンスおよ
び／または音声データも遷移ストリーム内に含まれる。この非映像データは、継
ぎ合わせポイントに関係なく遷移ストリーム内に配置される。つまり、映像デー
タパケットとそれ以外のデータパケット間の関係を保持しながら、映像データパ
ケットを利用して非映像データを多重化することができる。

【０１１７】 図４Ｂは、本発明を理解する上で役に立つ継ぎ合わせ処理の図である。特に、
図４Ｂは、第１のマルチプログラム伝送ストリーム４４０と第２のマルチプログ
ラム伝送ストリーム４５０を備える。第１および第２のマルチプログラム伝送ス
トリーム４４０、４５０はそれぞれ、複数の伝送サブストリームを備える。本発
明を用いることによって、非映像データとそれに関する映像データとの関係を保
持しながら、そのマルチプログラム伝送ストリーム間でフレームアキュレイトで
シームレスな継ぎ合わせを行うことができる。

【０１１８】 伝送多重化部Ａ４４０は、３つの伝送サブストリーム、即ち、プログラム１（
４４１）とプログラム１（４４２）とプログラム（４４３）を備える。伝送多重
化部Ｂ４５０は、３つの伝送サブストリーム、即ち、プログラムＡ（４５１）と
プログラムＢ（４５２）とプログラムＣ（４５３）を備える。これについて議論
するために、伝送多重化部Ｂはサブストリームレベルで伝送多重化部Ａと連結さ
れていると仮定する。つまり、プログラム１ ４４１とプログラムＡ ４５１は
連結され、複数のサブストリームを備える遷移ストリーム内に第１の伝送サブス
トリームが形成される。特に、プログラム１はアウトフレーム４４１−ＯＵＴで
終了し、プログラムＡはインフレーム４５１−ＩＮに入る。同様に、プログラム
２はアウトフレーム４４２−ＯＵＴで終了する。一方、プログラムＢはインフレ
ーム４５２−ＩＮに入る。プログラム３はアウトフレーム４４３−ＯＵＴで終了
する。一方、プログラムＣはインフレーム４５３−ＩＮに入る。その結果、形成
された遷移ストリームは伝送多重ストリームを備え、それは図４Ｂに示されて説
明されたように正確なフレームが得られるような継ぎ合わせポイントを含む６つ
のストリームの全部分を備える。

【０１１９】 映像フレームの他に、各伝送サブストリームは、メタデータとデータエッセン
スと音声データ等の非映像データを含む。図４Ｂに示すように、遷移ストリーム
に含まれる継ぎ合わせポイントや映像フレームはそれぞれ、ある範囲の非映像デ
ータに関連する。従って、各伝送多重化サブストリームを復号化するか、そうで
なければ必要な映像データやそれ以外のデータの全てを抽出するように処理する
ことによって、個々の遷移サブストリームを作成することができる。マルチプロ
グラム遷移ストリームに個々の遷移サブストリームを組み込むことによって、第
１のマルチプログラムストリームＡ（４４０）と第２のマルチプログラムストリ
ームＢ（４５０）を連結することができる。

【０１２０】 図４Ｃは、本発明を理解する上で役に立つ継ぎ合わせ処理の図である。特に、
図４Ｃは、構築中の遷移ストリーム４６０内の非映像パケットのプレースホルダ
の確保状態を示す。つまり、遷移ストリームを形成しているときに、継ぎ合わさ
れるフレームからの復号化された映像フレームの符号化ステップが実行された後
に、部分的に形成された遷移ストリームに非映像データを挿入するステップがお
そらく実行される。遷移ストリーム内の非映像データを、それに関連する映像デ
ータの最近傍に確実に配置するために、映像符号化中にプレースホルダを確立し
て、遷移ストリーム内に非映像データを続けて挿入できるようにする。特に、図
４Ｃで示されるように、複数の音声やデータエッセンスやメタデータのプレース
ホルダが構築中の遷移ストリーム内に挿入される。遷移ストリームが完成すると
、これらのプレースホルダは非映像データを格納するためには用いられずに削除
され、完成した遷移ストリーム４６０’が遷移ストリームとして用いられる。

【０１２１】 図４Ｂで既に説明したようなマルチプログラム伝送ストリームに関して、遷移
ストリーム生成処理中に形成される各伝送サブストリームでは、非映像データの
プレースホルダセットが用いられる。各ストリームが完成すると、不使用のプレ
ースホルダを削除するか、そうでなければ「不使用」とするか、（例えば、ＮＵ
ＬＬデータを挿入することによって）それを放棄して完全な遷移ストリームが形
成される。

【０１２２】 得られた遷移ストリーム、即ち、遷移クリップ４３０は、ストリームＡとＢの
各々からの映像情報と非映像情報を備える。

【０１２３】 図１２は、画素領域効果を含む遷移ストリーム、即ち、遷移クリップを生成す
る方法のフローチャートである。特に、図１２は方法１２００のフローチャート
であり、図３の放送サーバ１１０の遷移クリップ生成機能３４４で使用するのに
適している。

【０１２４】 方法１２００はステップ１２１０に入り、ここでは「フロムストリーム」と「
ツーストリーム」に注釈が付けられる。情報ストリームに注釈をつける方法は既
に図１０で説明された。前述したように、この注釈付けは本発明を実施するため
に必ずしも必要なわけではない。しかしながら、ストリームに注釈を付ける処理
は、次の処理ステップやその他の処理ステップでストリームを効率的に処理する
際に役に立つ。次に、方法１２００はステップ１２２０に進む。

【０１２５】 ステップ１２２０では、図７の方法７００のステップ７１０で既に説明したよ
うに、出口フレームに先行するフロムストリームの一部が復号化される。次に、
方法１２００はステップ１２３０に進む。

【０１２６】 ステップ１２３０では、図7の方法７００のステップ７１５で既に説明したよ
うに入口フレームから始まるツーストリームの一部が復号化される。次に、方法
１２００はステップ１２４０に進む。

【０１２７】 ステップ１２４０では、フロムストリームとツーストリームの復号化された部
分は、１つ以上の画素領域プロセスステップで処理されて、例えば、特定の効果
やその他の処理効果が得られる。ステップ１２４０で得られる特定の効果には、
ボックス１２４０で示される1つ以上の特定の効果が含まれる。即ち、モーフィ
ングやフェイドやワイプやディゾルブ（dissolve）やプッシュやリビール(revea
l)やブラックフレームやフレームのフリーズやその他の周知の画素領域プロセス
効果が含まれる。モーフィングの効果には、一形態から別の形態への段階的な（
例えば一フレーム毎の）変形が含まれる。ワイプの効果には、画像内の領域的変
化による一画像から他の画像への変化、例えば、左から右へあるいは上から下へ
第1及び第２の画像を描く垂直バーの位置の変化が含まれる。フェイド、即ち、
ディゾルブ効果には、第1の画像を段階的にフェイド、即ち、ディゾルブさせて
、第1の画像の下にある第２の画像を現わすことが含まれる。下にある画像をフ
ェイドさせ、フェイドする第１の画像とは逆に出現させることもできる。ブラッ
ク（またはブルー）フレーム効果には、二つの画像間にモノクロフレームを挿入
することが含まれる。「プッシュ」効果は、スクリーンに現れた新しい画像に押
されたかのように古い画像がスクリーンからスライドしていくように見せるもの
である。古い画像と新しい画像を任意の方向にスライドさせることによって、こ
の効果を生み出すことができる。「リビール」効果は、古い画像を除去し、下に
ある新しい画像を現すことである。リビール効果には、「コーナのめくり」、即
ち、コーナのめくりのグラフィック表記によって古い画像の下にある新しい画像
の一部が現われる「ピールバック」効果が含まれる。新しい画像を選択すると、古
い画像はピールバックされるか、そうでなければコーナのめくり部分から始まる
ビューから除去され、下にある新しい画像が現われる。

【０１２８】 メタデータ領域に対する非画素領域効果には、文境界での字幕の変化が含まれ
ることがある。音声領域に対する非画素領域効果には、ストリームＡの音声から
フェイドし、沈黙期間を通して、ストリームＢに関する音声情報に戻ることで継
ぎ合わされた情報ストリームを形成することが含まれる。

【０１２９】 画素領域プロセスステップを用いることによって、映像クリップ間を遷移する
芸術的な、即ち、興味深い手段を提供することができる。注意効果は、例えば、
フレーム１とフレーム６の一部を含む４つの介在フレームを介してフレーム１か
らフレーム６へ遷移させることによって、６フレームの遷移クリップで実現可能
である。画素領域プロセスによって、ある形式の遷移情報を視聴者に確実に知ら
せることが望ましいが、遷移情報を知らせることは必ずしも必要なわけではない
。次に、方法１２００はステップ１２５０に進む。

【０１３０】 本発明の一実施形態では、複数の伝送ストリームやその他のストリームに関し
て画素領域プロセスが実行される。特に、本発明は、連結される少なくとも画像
情報を含む二つの伝送ストリームについて主に説明されてきた。これによって、
少なくとも画像情報を含む継ぎ合わされた伝送ストリームを作成することができ
る。遷移ストリーム、即ち、遷移クリップの生成中は、画素領域プロセスによっ
て処理するために画素領域情報が利用可能となるように、各伝送ストリーム内の
画像情報が復号化される。本発明の一実施形態の画素領域または非画素領域プロ
セスステップでは、さらに別の画素領域（または非画素領域）情報が用いられる
。クロマキー処理の一例として、Ｋストリームとして示されるクロマキーイング
信号を含む伝送ストリームには、１つ以上のクロマキー処理された画像部を含む
映像情報が含まれる。Ｋストリーム内のキー処理された第１の画像部は、第１の
色によって示される。一方、Ｋストリーム内のキー処理された第２の画像部は、
第２の色によって示される。キー処理された第１の部分に関する遷移クリップ内
の画素領域情報は、第１の情報ソース、即ち、情報ストリームからの情報に置き
換えられる。一方、キー処理された第２の部分に関する遷移クリップ内の画素領
域情報は、第２の情報ソース、即ち、情報ストリームからの情報に置き換えられ
る。従って、ストリームＡはストリームＢに連結されたＫストリームを備えて、
遷移ストリームを形成するが、（部分ストリーム１と部分ストリーム２として示
された）さらに二つの情報ストリームを用いることによって、Ｋストリームの第
１と第２のキー処理された部分をそれぞれ置き換えることができる。どのような
数の領域も利用することができ、非画素情報も複数の領域に分割できることは当
業者であれば理解している。

【０１３１】 ステップ１２５０では、復号化され処理された映像フレームを再符号化するこ
とによって、遷移ストリームを形成することができる。ステップ１２５０は、図
７の方法７００のステップ７２０で既に述べた方法とほぼ同様に実施される。

【０１３２】 従って、遷移ストリーム、即ち、遷移クリップの生成の他に、図１２の方法１
２００では、芸術的な、即ち、興味深い視覚的な目的のために、遷移ストリーム
、即ち、遷移クリップに映像情報を適合させる。このように、フロムストリーム
が終了してツーストリームが入るときに、既知の画素領域プロセス技術を用いて
、視聴者に対してより現実的な遷移の印象を与えることができる。図４Ａ−４Ｃ
で既に説明された非映像データについて非映像領域での処理が実行されることに
注意されたい。

【０１３３】 従って、本発明の有用性は、画素自体の概念や、二つの画像ストリームだけの
画像領域処理すること以上に及ぶ。むしろ、従属発明の方が広い適用性があり、
例えば、複数の情報ストリームを用いることによって、生成される遷移ストリー
ム内の画素領域やその他の、即ち、非映像領域情報を処理することができる。こ
のように、遷移クリップを構成する二つ以上のストリームからの映像情報や非映
像情報とその映像情報と非映像情報をマージするように、多数の情報ソースに対
応して遷移ストリーム、即ち、遷移クリップが生成される。

【０１３４】 遷移クリップ、即ち、遷移ストリームは所定数の映像フレームから構成される
ことに注意されたい。従って、既に説明されたＶＢＶ処理の機会に加えて、所定
数のフレームを用いてフレームの一部を選択的に符号化することによって、特定
の画素領域効果を得ることができる。例えば、遷移クリップが５つの映像フレー
ムをもつ場合、５つのフレームの各々はフレーム内で６つの部分に分割される。
第１のフレームは、ツーストリームからの１／６の映像データとフロムストリー
ムからの５／６のデータを含み、第２のフレームは、フロムストリームからの２
／６のデータとツーストリームからの４／６のデータを含み、第５フレームは、
フロムストリームからの１／６のデータとツーストリームからの５／６のデータ
を含む。発明者らは、ユーザが選択できる３枚から２５枚の間（もしくは所定の
）の数のフレームを遷移ストリームに与えることによって、ほとんどの画素領域
プロセスとＶＢＶバッファ正規化機能を可能にする柔軟性を十分に提供すること
を決心した。

【０１３５】 図１３は、本発明の一実施形態に基づく遷移ストリーム、即ち、遷移クリップ
の生成方法のフローチャートである。特に、図１３は方法１３００のフローチャ
ートであり、図３の放送サーバ１１０の遷移クリップ生成機能３４４で使用する
のに適している。

【０１３６】 方法１３００はステップ１３１０から入り、出口フレームに先行するフロムス
トリーム映像の適切な部分が復号化される。次に、方法１３００はステップ１３
２０に進む。

【０１３７】 ステップ１３２０では、復号化された映像部分に関連するフロムストリーム内
のデータエッセンスや音声やメタデータやその他のデータ等の非映像情報が抽出
されたり、復号化される。即ち、ステップ１３１０で復号化されたフロムストリ
ーム内の映像フレームに関する前述の非映像データタイプ等の補助的な、即ち、
付加的なデータを抽出したり、復号化することによって、遷移ストリーム、もし
くは遷移クリップでそれを用いることができる。

【０１３８】 ステップ１３３０では、入口フレームで始まるツーストリーム映像の適切な部
分が復号化される。次に、方法１３００はステップ１３２０に進む。

【０１３９】 ステップ１３４０では、ステップ１３３０で復号化された映像フレームに関連
する非映像データが抽出されるか、もしくは、復号化される。つまり、ステップ
１３３０で復号化された映像フレームに関連するツーストリーム内のデータエッ
センスや音声やメタデータやその他のデータを抽出したり復号化することによっ
て、遷移ストリーム、即ち、遷移クリップでそれを使用することができる。次に
、方法１３００はステップ１３５０に進む。

【０１４０】 ステップ１３５０はオプションとしての処理ステップであり、部分的に形成さ
れた遷移ストリーム、即ち、遷移クリップで使用するのに適している。特に、オ
プションとしてのステップ１３５０は３つのオプションとしてのサブステップを
含み、それらを別々にまたは組み合わせて用いることによって、ステップ１３１
０、１３３０で復号化された映像データや、ステップ１３２０、１３４０で抽出
されたり復号化された非映像データを処理することができる。

【０１４１】 オプションとしてのステップ１３５０の第１のサブステップ１３５２は、復号
化された映像データを画素領域処理する性能を備える。つまり、図１２のステッ
プ１２４０やボックス１２４５で既に説明された画素領域プロセス技術を少なく
ともいくつか用いることによって、それぞれステップ１３１０、１３３０で復号
化されたツーストリーム映像情報とフロムストリーム映像情報を処理することが
できる。次に、方法１３００はステップ１３５４に進む。

【０１４２】 ステップ１３５０のオプションとしての第２のサブステップ１３５４では、ス
テップ１３２０やステップ１３４０から抽出され復号化された音声データの音声
領域プロセスが実行される。そのような音声処理には、周知の音声領域プロセス
技術を用いて、例えば、遷移の感覚やその他の音声的印象をリスナに与えること
ができる。次に、方法１３００はステップ１３５６に進む。

【０１４３】 ステップ１３５０のオプションとしての第３のサブステップ１３５６では、抽
出されたり復号化されたデータエッセンスやメタデータや、ステップ１３２０、
１３４０で抽出されたり復号化されたその他のデータに対してデータ領域プロセ
スが実行される。そのようなデータ処理には、例えば、ステップ１３５２で実行
された画素領域プロセスに基づくメタデータやデータエッセンスの調整が含まれ
る。例えば、画素領域プロセスから得られた遷移クリップ映像フレームの画素領
域プロパティをメタデータで記述する場合、対応する画素領域プロセスを反映す
るようにメタデータが処理される。その他のデータ処理機能も同様に実施される
。次に、方法１３００はステップ１３６０に進む。

【０１４４】 ステップ１３６０では、遷移ストリーム、即ち、クリップが復号化され、オプ
ションとして処理された映像部が再符号化される。さらに、抽出されたり復号化
されたデータエッセンスや音声やメタデータや、ステップ１３５２−１３５６で
処理された非映像データを含むその他のデータが適切なフォーマットで再符号化
されるか、またはデータタイプに基づいて挿入される。即ち、ステップ１３１０
−１３５０で作成され、オプションとして処理された映像情報やそれ以外の情報
は再符号化されるか再び挿入されて、伝送ストリームフォーマットになり、遷移
クリップ、即ち、遷移ストリームが形成される。

【０１４５】 図４Ｃで既に説明された本発明の一実施形態では、形成される遷移ストリーム
は、伝送ストリームやその他のストリームを備え、複数のパケットを用いて映像
データや非映像データを表すことができる。本発明の本実施形態では、遷移スト
リーム、即ち、遷移クリップを形成する前に、情報を保持するために用いられる
利用可能なパケットの一部が非映像データ用に保持される。このように、映像フ
レームに最も近いデータプレースホルダを映像フレーム中に散在させて、この最
も近い映像フレームに関連するデータを含ませるように、非映像情報処理の前に
映像情報が処理される。従って、本発明の本実施形態では、図１３の方法１３０
０のステップ１３１０よりも先に、オプションとしてのステップ１３５０が用い
られる。特に、ステップ１３５０では、形成される遷移ストリーム内にデータプ
レースホルダが含まれる。即ち、ステップ１３５０では、非映像用パケットを定
義するプレースホルダ情報を備え、遷移ストリームに用いられるメモリの一部や
複数のパケットを散在させる。次に、方法１３００はステップ１３１０からステ
ップ１３６０に進む。

【０１４６】 ステップ１３６０はボックス１３６５に従って、適切なプレースホルダを利用
して、オプションとして処理された音声やメタデータやデータエッセンスや、映
像フレームに関連するその他のデータを含む非映像情報を格納する。遷移クリッ
プが完成すると、即ち、非映像情報を全て処理し、処理された非映像情報を適切
なプレースホルダに配置すると、未使用のプレースホルダは除去されるか、そう
でなければその他の目的で使用される。

【０１４７】 前述したが、遷移クリップをさらに処理することによって、ほぼシームレスな
継ぎ合わせを実行するようにフロムストリームとツーストリームのＶＢＶを確実
に適応させることができる。

【０１４８】 二つのシングルプログラム伝送ストリーム、即ち、映画やテレビ番組やコマー
シャル等のシングル音声ビジュアルプログラムを含む伝送ストリームを継ぎ合わ
せる、即ち、連結させる方法について本発明が主に説明されてきた。しかしなが
ら、当業者であればわかっていることであるが、本発明では、マルチプログラム
伝送ストリーム間でも同様に、正確なフレームを持つようにシームレスな継ぎ合
わせが実行される。その継ぎ合わせを行うために、上述した方法を適用して、ア
ウトフレームやインフレームやマルチプログラム伝送ストリーム内の各プログラ
ムに対するその他の適切なパラメータを決定することができる。

【０１４９】 本発明の教唆を含む様々な実施形態がここで示され詳細に説明されたが、当業
者であればこれらの教唆を含むその他の様々な実施形態をすぐに考案することが
可能である。

【図面の簡単な説明】

【図１】 テレビスタジオの高レベルなブロック図を示す。

【図２Ａ】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。

【図２Ｂ】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。

【図３】 図１のテレビスタジオで使用するのに適する放送サーバの一実施形態を示す。

【図４Ａ】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。

【図４Ｂ】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。

【図４Ｃ】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。

【図５】 本発明を理解する上で役に立つイメージフレームの表示順と伝送順の表を示す
。

【図６】 本発明を理解する上で役に立つイメージフレームの表示順と伝送順の表を示す
。

【図７】 遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す
。

【図８】 フロムストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきで
あるかを決定する方法のフローチャートを示す。

【図９】 ツーストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきであ
るかを決定する方法のフローチャートを示す。

【図１０】 情報ストリームにインデックスを付けるための方法のフローチャートを示す。

【図１１】 図３の放送サーバで使用するのに適したメタファイルの表を示す。

【図１２】 画素領域効果を含む遷移ストリーム、即ち、遷移クリップを生成する方法のフ
ローチャートを示す。

【図１３】 本発明の一実施形態にかかる遷移ストリーム、即ち、遷移クリップを生成する
方法のフローチャートを示す。

【符号の説明】

２１０ 第１のストリーム ２２０ 第２のストリーム ２３０ 遷移ストリーム ２４０ 継ぎ合わされたストリーム

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ０９／４３０，６３１ (32)優先日 平成11年10月29日(1999．10．29) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，Ｋ Ｒ Ｆターム(参考） 5C023 AA11 BA01 BA11 BA15 CA05 CA08 DA08 EA08 5C059 KK37 MA00 PP05 PP06 PP07 RB01 RB10 RB15 RC04 RC09 RC32 RC34 SS02 UA02 UA05 5K028 AA01 EE03 EE08 KK32

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像フレームを含む伝送ストリームを処理するシステムで、
   第１の伝送ストリームから第２の伝送ストリームへほぼシームレスに遷移させる
   ように遷移ストリームを生成する方法であって： 提供される前記第１の伝送ストリームの最終画像フレームを示す少なくとも一
   つのターゲットアウトフレームを含む前記第１の伝送ストリームの一部を復号化
   するステップ（１２２０）と； 提供される前記第２の伝送ストリームの最終画像フレームを示す少なくとも一
   つのターゲットインフレームを含む前記第２の伝送ストリームの一部を復号化す
   るステップ（１２３０）と； 復号化された前記画像フレームのうちの少なくとも一つを画素領域プロセス（
   １２４５）を用いて処理するステップ（１２４０）と； 前記遷移ストリームが生成されるように、前記ターゲットアウトフレームと前
   記ターゲットインフレームを含む複数の復号化された前記画像フレームを符号化
   するステップ（１２５０）と、 を備える方法。
2. 【請求項２】 前記画素領域プロセスは、モーフィング、フェイド、ワイプ
   、ディゾルブ、プッシュ、リビール、ブラックフレーム、フレームのフリーズ及
   びクロマキーイング画素領域プロセスのうちの少なくとも一つを備える、請求項
   １の方法。
3. 【請求項３】 前記第１および第２の伝送ストリームから前記遷移ストリー
   ムを形成するのに用いられる前記映像フレームに関連する非映像データを抽出す
   るステップ（１３２０、１３４０）と； 前記遷移ストリームに、抽出された前記非映像データを挿入するステップ（１
   ３６０）と、 をさらに備える、請求項１の方法。
4. 【請求項４】 前記非映像データは、音声データとメタデータとデータエッ
   センスと補助データと追加データのうちの少なくとも一つを備える、請求項３の
   方法。
5. 【請求項５】 非映像領域プロセスを用いて、抽出された前記非映像データ
   の少なくとも一部を処理するステップ（１３５０）をさらに備える、請求項３の
   方法。
6. 【請求項６】 復号化された複数の画像を符号化する前記ステップが、前記
   符号化された複数の画像フレームを伝送するステップを含む方法であって： 前記遷移ストリーム内に複数の伝送パケットを保持するステップ（１３１５）
   であって、前記保持されたパケットは符号化された画像情報を格納するのに用い
   られない、当該ステップと； 前記抽出された非映像データが格納されるように、前記保持された複数の伝送
   パケットの少なくとも一部を用いるステップ（１３６５）と、 をさらに備える、請求項４の方法。
7. 【請求項７】 前記第１の伝送ストリームと前記第２の伝送ストリームが、
   それぞれ第１と第２のマルチプログラム伝送ストリームに多重化される方法であ
   って： 処理される伝送ストリームを含む各マルチプログラム伝送ストリームに対して
   、遷移ストリームに含まれる全ての画像フレームの最大範囲を決定するステップ
   と； 各マルチプログラム伝送ストリームを脱多重化して、決定された最大範囲の各
   々を適応させるステップと、 をさらに備える、請求項３の方法。
8. 【請求項８】 画像データ範囲を決定する前記ステップは、遷移ストリーム
   に含まれる画像フレームに関連する非映像データの全ての最大範囲を決定するス
   テップを含み、前記最大範囲は前記画像データ範囲と非映像データ範囲の組み合
   わせを含む、請求項７の方法。
9. 【請求項９】 前記第１及び第２の伝送ストリームにそれぞれインデックス
   を付けるステップをさらに備え、前記インデックスを付けるステップは： シーケンスヘッダとピクチャヘッダと所定の継ぎ合わせシンタックスのうちの
   少なくとも一つに関連するパケットが識別されるようにインデックスが付けられ
   るストリームの伝送レイヤを構文解析するステップ（１０１０）と； インデックスが付けられる前記ストリーム内の各フレームに対して、ピクチャ
   番号とピクチャコードタイプとフレーム伝送パケット先頭番号とフレーム伝送パ
   ケット最終番号と表示タイムスタンプ（ＰＴＳ）と復号化タイムスタンプ（ＤＴ
   Ｓ）のうちの少なくとも一つを決定するステップ（１０２０）と、 を備える、請求項１の方法。
10. 【請求項１０】 前記フロムストリームと前記ツーストリームはそれぞれ、
    それに関連する映像バッファリングベリファイヤ（ＶＢＶ）パラメータを有する
    伝送ストリームを含む方法であって： フロムストリームＶＢＶパラメータとツーストリームＶＢＶパラメータ間に相
    違があるかどうかを決定するステップと； 前記決定に対応して再符号化するステップを適応させるステップと、 をさらに備える、請求項１の方法。
11. 【請求項１１】 前記適応させるステップは： 前記フロムストリームＶＢＶパラメータが前記ツーストリームＶＢＶパラメー
    タを第１の閾値レベル分上回るという決定に応じて、レート制御ビットの割り当
    てを増やすステップと； 前記ツーストリームＶＢＶパラメータが前記フロムストリームＶＢＶパラメー
    タを第２の閾値レベル分上回るという決定に応じて、前記レート制御ビットの割
    り当てを減らすステップと、 を備える、請求項１０の方法。