JP3649266B2 - データ多重化装置および方法、並びに記録媒体 - Google Patents
データ多重化装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP3649266B2 JP3649266B2 JP27180497A JP27180497A JP3649266B2 JP 3649266 B2 JP3649266 B2 JP 3649266B2 JP 27180497 A JP27180497 A JP 27180497A JP 27180497 A JP27180497 A JP 27180497A JP 3649266 B2 JP3649266 B2 JP 3649266B2
- Authority
- JP
- Japan
- Prior art keywords
- replacement
- data
- target data
- replacement target
- margin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ多重化装置および方法、並びに記録媒体に関し、特に、例えば、デジタルテレビジョン放送において、エレメンタリストリームの構成要素を調整することにより、エレメンタリストリームを分解したり再多重化することなく、本編多重化ストリームの一部のエレメンタリストリームを他のエレメンタリストリームに差し替えることができるようにしたデータ多重化装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像信号や音響信号の差し替えは、放送やスタジオにおける編集作業の際によく用いられる技術である。例えば、本局から送出されてきた本編のコマーシャルを、支局（地方局）において、その地域に属する地域企業のコマーシャルに差し替えたり、全国ニュースを地域ニュースに置き換える場合、画像信号や音響信号の差し替えが必要になる。
【０００３】
図７は、アナログベースバンド信号を利用した、差し替え処理を行う従来のデータ処理装置の構成例を示している。サーバ３０１は、差し替えるデータを格納しており、選択スイッチ３０２により選択された場合、格納しているデータをスイッチ３０３に供給する。選択スイッチ３０２は、差し替えるデータが録画または録音されているものではない、いわゆるライブからのデータの場合、そのライブ情報を選択し、スイッチ３０３に供給する。スイッチ３０３は、本編の中の差し替えられるデータと、サーバ３０１またはライブ情報から供給される差し替えるデータを同期信号に同期して差し替える。
【０００４】
例えば、地方局において、本編の全国ニュースを地域ニュースに差し替えたい場合、図７の本編が、本局から送出されてきた番組に、全国ニュースが差し替えられるデータ（差し替え対象データ）に、そして地域ニュースが差し替えるデータ（差し替え用データ）に、それぞれ相当する。地域ニュースは録画されている場合はサーバ３０１から、生放送の場合はライブ情報として、スイッチ３０２に直接供給され、差し替えが実行される。
【０００５】
上記は、アナログベースバンド信号を利用した例であるが、近年、画像信号や音響信号は、デジタル信号として扱われることが多くなり、そのためデジタル信号に対応する差し替え装置も多く利用されてきている。
【０００６】
デジタル信号化された画像信号や音響信号は、所定の規則に準拠して符号化され、多重化されている。符号化方式の代表的な例として、ＭＰＥＧ（Moving Picture Experts Group)方式があげられる。これは、ISO/IEC JTC1/SC29（International Organization for Standardization/International Electrotechnical Commission, Joint Technical Commitee 1/Sub-Commitee 29：国際標準機構／国際電気標準会議 合同技術委員会１／専門部会２９）によって標準化されている技術である。
【０００７】
現在、ＭＰＥＧ方式には、２つのシステムが存在し、ISO11172において標準化され、比較的狭い範囲のアプリケーションに対応するＭＰＥＧ１と、ISO13818において標準化されている広い範囲のアプリケーションに対応するＭＰＥＧ２とがある。また、それぞれのシステムにおいて、システム多重化の項目がISO11172-1およびISO13818-1により、映像符号化の項目がISO11172-2およびISO13818-2により、そして音声符号化の項目がISO11172-3およびISO13818-3により、それぞれ標準化されている。
【０００８】
図８は、ISO/IEC13818-1に規定されているトランスポートストリーム（いわゆるＭＰＥＧ２システム規格）に基づくISO13818-2に規定されているビデオエレメンタリストリームの多重化の構造を示す。ビデオエレメンタリストリームとは、符号化されたビデオビットストリームのことで、ビデオのピクチャに対応するアクセスユニットと呼ばれるデコード単位によって構成されている。
【０００９】
このエレメンタリストリームはパケット化され、ＰＥＳパケット（ＭＰＥＧ２システムで用いられるパケットの名称）と呼ばれる適当な長さの単位に分割される。また、ＰＥＳパケットのヘッダには、ビデオかオーデイオかの属性を識別する情報や、ＰＥＳパケット中で最初に開始するアクセスユニットの時刻情報などが含まれている。
【００１０】
トランスポートストリームは、複数の固定長のトランスポートパケットにより構成され、ビデオＰＥＳパケットは、所定のトランスポートパケットに配置される。各トランスポートパケットには、制御情報やビデオエレメンタリストリームのＰＥＳパケットなども配置される。また、トランスポートパケットには、アクセスユニットのデコード時刻、表示時刻、およびデコーダバッファへの入力タイミングを表すクロックリファレンスなども多重化されている。
【００１１】
つまり、受信側におけるデコーダの標準的なモデルが想定され、このデコーダモデルにおいて、正しくデコード処理できるように、各種の情報が時分割多重化されている。
【００１２】
図９に、例えば、ISO13818-1（ＭＰＥＧ２システム）およびISO11172-1（ＭＰＥＧ１システム）で規定されているデコーダモデルの構成例を示す。
【００１３】
このデコーダモデルは、ビデオ部分のみを示している。スイッチ４０１はトランスポートストリームに含まれるトランスポートパケットを、その種類に応じで選択する。スイッチ４０１によって選択されたビデオのトランスポートパケットは、５１２バイト固定のトランスポートバッファ４０２に供給される。トランスポートバッファ４０２にデータが存在する限り、マルチプレクシングバッファ４０３は一定のレートでＰＥＳパケットを引き抜き、エレメンタリバッファ４０４は、マルチプレクシングバッファ４０３からエレメンタリストリームを引き抜き、デコーダ４０５に供給し、デコードさせる。
符号化側においては、これらのバッファを破綻させないように符号化を行わなければならない。
【００１４】
マルチプレクシングバッファ４０３とエレメンタリバッファ４０４の合計のサイズは、ビデオの符号化バッファ、いわゆるＶＢＶ（Video Buffering Verifier）のサイズの最大値に、ISO13818-2に規定されるプロファイルとレベルにより一意に決まる所定のサイズを加えたものである。
【００１５】
次に、上記に説明されたような多重化デジタル信号に対応する従来の差し替え装置の構成例を図１０に示す。
【００１６】
本編多重化ストリームが分離器５０１に供給されるようになされており、そこでは、本編多重化ストリームの中の制御情報を参照しながら、本編多重化ストリームを、ビデオデータ、オーデイオデータ、その他のデータのエレメンタリストリームに分離する。このように本編多重化ストリームをエレメンタリストリームごとに分離することにより、差し替えられるエレメンタリストリーム、いわゆる差し替え対象エレメンタリストリームを取り出すことができる。
【００１７】
一方、エレメンタリストリームサーバ５０２は、差し替え対象エレメンタリストリームに代わって本編多重化ストリームに差し替えられるエレメンタリストリーム、いわゆる差し替え用エレメンタリストリームをスイッチ５０３に供給する。
【００１８】
スイッチ５０３は、システムコントローラ５０４の指示に基づいて、差し替え対象エレメンタリストリームを差し替え用エレメンタリストリームに差し換え、多重化器５０５に供給する。多重化器５０５は、差し替え用エレメンタリストリームと、差し替え対象エレメンタリストリーム以外の本編多重化ストリームのエレメンタリストリームを多重化し、多重化ストリームを出力する。
【００１９】
【発明が解決しようとする課題】
しかしながら、このような従来の差し替え装置では、入力された本編多重化ストリームを分離し、差し替え後、再び多重化を行わなければならない。そのため、差し替え装置に分離と多重化の機能が必要となり、装置の構成が煩雑になる。また放送のような実時間性の高いアプリケーションでは、分離と再多重化による遅延が問題となったり、スタジオにおける編集では、編集を繰り返すたびに分離と再多重化が必要になり、手間がかかってしまう。
【００２０】
本編多重化ストリームの中の差し替え対象エレメンタリストリームを他の差し替え用エレメンタリストリームに差し替えることができれば、分離と再多重化を行う必要がなくなる。しかしながら、そのためには、差し替え後のストリームが、図９に示したデコードモデルを破綻させないように符号化されていなくてはならない。
【００２１】
ISO11172-2およびISO13818-2に規定されているビデオエレメンタリストリームでは、圧縮難度に応じて不規則に発生する圧縮データを一定のデータレートに落とし込むために、ＶＢＶバッファと呼ばれる仮想の符号化バッファが設けられ、そのＶＢＶバッファを破綻させない、つまり、アンダーフローまたはオーバーフローしないように、ビデオエレメンタリストリームは符号化されている。
【００２２】
しかしながら、多重化ストリームは、ビデオ以外のデータも多重化されているために、多重化ストリームのデコーダバッファに占めるデータの占有量は、ＶＢＶバッファの軌跡と等しくならない場合がある。
【００２３】
この場合においても、デコーダバッファを破綻させない限り問題はないが、ビデオエレメンタリストリームの差し替えを行った場合、差し替え前後のビデオエレメンタリストリームのＶＢＶバッファが差し替え開始から終了までにおいて、整合がとれているにも関わらず、デコーダバッファが破綻してしまう場合がある。
【００２４】
図１１に、ISO11172-2およびISO13818-2に規定されているビデオエレメンタリストリームの差し替えにおいて、アンダーフローがデコーダバッファに発生する例を示す。
【００２５】
図１１（Ａ）に、本編多重化ストリームの中の差し替え対象ビデオエレメンタリストリームと、差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Sinは差し替え対象ビデオエレメンタリストリームのアクセスユニットのサイズを示し、Sspは差し替え用ビデオエレメンタリストリームのアクセスユニットのサイズを表す。例えば、差し替え対象ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Sin(0)分のデータがデコーダに引き抜かれる。同様に、差し替え用ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Ssp(0)分のデータがデコーダに引き抜かれる。
【００２６】
差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶ−ｄｅｌａｙは等しいため、スタートアップ時刻が一致し、また、差し替え区間でのストリームの大きさが同じであることより、ＶＢＶバッファは破綻していない。
【００２７】
図１１（Ｂ）は、デコーダバッファの占有量の軌跡を示す。図１１（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶの軌跡を表し、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を表し、そしてＢ３は差し替え後のエレメンタリストリームのデコーダバッファの軌跡を表す。
【００２８】
多重化ストリームのデータレートは、ビデオストリームのデータレートよりも高いため、デコーダバッファの軌跡（Ｂ２およびＢ３）の傾きは、ＶＢＶバッファの軌跡（Ｂ１）よりも急勾配である。ただし、ビデオ以外のデータがデコーダに入力されている区間では、ビデオデコーダバッファへの入力がないため、軌跡は水平となる。
【００２９】
図１１（Ｂ）のSin(1)をデコードする直前で、デコーダバッファの占有量は、ＶＢＶバッファの軌跡よりＹだけ下回っているが、デコーダバッファを破綻させない限り、上回っていても下回っていてもよい。一方、差し替えを行った場合、差し替え開始点においてＶＢＶ−ｄｅｌａｙが等しいので、Ssp(0)のデコード直前までは、デコーダバッファの占有量の軌跡は、差し替えを行わない場合と等しい。しかしながら、アクセスユニットのサイズが異なるために、Ssp(0)のデコード以降、デコーダバッファの占有量は差し替えを行わなかった場合とずれが生じ、このずれと、本編の多重化時にデコーダの占有量がＶＢＶの軌跡を下回った量Ｙにより、デコーダバッファのアンダーフローが発生する。
【００３０】
図１２に、ISO11172-2およびISO13818-2に規定されているビデオエレメンタリストリームの差し替えにおいて、オーバーフローがデコーダバッファに発生する例を示す。
【００３１】
図１２（Ａ）に、差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Sinは差し替え対象ビデオエレメンタリストリームのアクセスユニットのサイズを示し、Sspは差し替え用ビデオエレメンタリストリームのアクセスユニットのサイズを表す。例えば、差し替え対象ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Sin(0)分のデータがデコーダに引き抜かれる。同様に、差し替え用ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Ssp(0)分のデータがデコーダに引き抜かれる。
【００３２】
差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶーｄｅｌａｙは等しいので、スタートアップ時刻が一致し、また、差し替え区間でのストリームの大きさが同じであることより、ＶＢＶバッファは破綻していない。
【００３３】
図１２（Ｂ）は、デコーダバッファの占有量の軌跡を示す。図１２（Ｂ）において、Ｂ１は差し替え対象エレメンタリストリームのＶＢＶの軌跡を表し、Ｂ２は差し替え対象エレメンタリストリームのデコーダバッファの占有量の軌跡を表しし、そしてＢ３は差し替え後のエレメンタリストリームのデコーダバッファの軌跡を表す。
【００３４】
Sin(2)をデコードする直前で、デコーダバッファの占有量は、ＶＢＶバッファの軌跡よりＺだけ上回っているが、デコーダバッファを破綻させない限り、上回っていても下回っていてもよい。一方、差し替えを行った場合、差し替え開始点においてＶＢＶ−ｄｅｌａｙが等しいため、Ssp(0)のデコード直前までは、デコーダバッファの占有量の軌跡は差し替えを行わない場合と等しい。しかしながら、アクセスユニットのサイズが異なるために、Ssp(0)のデコード以降、デコーダバッファの占有量は差し替えを行わなかった場合とずれが生じる。このずれと、本編の多重化時にデコーダの占有量がＶＢＶの軌跡を上回った量Ｚにより、デコーダバッファのオーバーフローが発生する。
【００３５】
このように、本編を多重化する際、差し替え用ビデオエレメンタリストリームのＶＢＶの軌跡を考慮することができないために、多重化ストリームの中の差し替え対象ビデオエレメンタリストリームのみを他の差し替え用ビデオエレメンタリストリームに差し替えると、デコーダバッファを破綻させてしまう場合がある。
【００３６】
本発明はこのような状況に鑑みてなされたものであり、上記にあげられた問題点を克服し、分離と再多重化することなく、本編多重化ストリームの中の一部の差し替え対象データを他の差し替え用データに差し替えることができるようにするものである。
【００３７】
【課題を解決するための手段】
本発明の、差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第１のデータ多重化装置は、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化手段と、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給する供給手段と、デジタル信号の差し替え対象データを、供給手段により供給された差し替え用データに差し替える差し替え手段とを備えることを特徴とする。
【００３８】
第１のマージン（ｍ１）は、アンダーフローを回避するために設けられたマージンであるようにすることができる。
【００３９】
供給手段は、差し替え用データを予め格納しておくことができる。
【００４０】
多重化手段は、第１のマージン（ｍ１）に関する情報をさらに多重化し、供給手段は、デジタル信号から、第１のマージン（ｍ１）に関する情報を検出し、その検出結果に応じて、差し替え用データを符号化して供給することができる。
【００４１】
多重化手段は、第１のマージン（ｍ１）に関する情報をさらに多重化し、供給手段は、複数の差し替え用データを格納しており、デジタル信号から、第１のマージン（ｍ１）に関する情報を検出し、その検出結果に応じた差し替え用データを選択して供給することができる。
【００４２】
多重化手段は、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化するとともに、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第２のマージン（ｍ２）以下となるように多重化し、供給手段は、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給するとともに、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給することができる。
【００４３】
第２のマージン（ｍ２）は、オーバーフローを回避するために設けられたマージンであるようにすることができる。
【００４４】
本発明の、差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第１のデータ多重化方法は、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化ステップと、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の、差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置を制御するプロセッサに実行させる第１のプログラムは、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化ステップと、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の第１のデータ多重化装置および方法、並びにプログラムにおいて、差し替え対象データが、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化され、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データが供給され、デジタル信号の差し替え対象データが、供給された差し替え用データに差し替えられる。
本発明の、データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第２のデータ多重化装置は、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化手段と、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給する供給手段と、デジタル信号の差し替え対象データを、供給手段により供給された差し替え用データに差し替える差し替え手段とを備えることを特徴とする。
マージン（ｍ２）は、オーバーフローを回避するために設けられたマージンであるようにすることができる。
供給手段は、差し替え用データを予め格納しておくことができる。
多重化手段は、マージン（ｍ２）に関する情報をさらに多重化し、
供給手段は、デジタル信号から、マージン（ｍ２）に関する情報を検出し、その検出結果に応じて、差し替え用データを符号化して供給することができる。
多重化手段は、マージン（ｍ２）に関する情報をさらに多重化し、供給手段は、複数の差し替え用データを格納しており、デジタル信号から、マージン（ｍ２）に関する情報を検出し、その検出結果に応じた差し替え用データを選択して供給することができる。
本発明の、データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第２のデータ多重化方法は、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化ステップと、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の、データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置を制御するプロセッサに実行させる第２のプログラムは、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化ステップと、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の第２のデータ多重化装置および方法、並びにプログラムにおいては、差し替え対象データが、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化され、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データが供給され、デジタル信号の差し替え対象データが、供給ステップの処理で供給された差し替え用データに差し替えられる。
【００４５】
【発明の実施の形態】
図１に、本発明のデータ処理装置を適用した第１の実施の形態の構成例を示す。
【００５０】
多重化器１０１は、例えば、ISO13818-1に準拠して符号化されたビデオエレメンタリストリームを多重化し、本編トランスポートストリームを出力する。マージン情報検出器１０２は、システムコントローラ１０３により指示された差し替え対象ビデオエレメンタリストリームのマージン情報を検出し、差し替え用エレメンタリストリームサーバ１０４に供給する。
【００５１】
差し替えスイッチ１０５は、システムコントローラ１０３の指示に基づき、差し替え対象ビデオエレメンタリストリームを差し替え用ビデオエレメンタリストリームに差し替え、差し替え後のトランスポートストリームを出力する。
【００５２】
次に、第１の実施の形態の動作例を説明する。デコーダバッファの破綻を回避するために、多重化器１０１は、ビデオエレメンタリストリームを所定のマージンに従って多重化し、本編多重化ストリームを提供する。
【００５３】
図２は、図１１に示したアンダーフローが発生する場合において、所定のマージンに基づいてビデオエレメンタリストリームを符号化することによって、デコーダバッファに発生するアンダーフローを回避する例を示す。
【００５４】
図２（Ａ）は、差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Ｖ(0),Ｖ(1),Ｖ(2),およびＶ(3)は、それぞれのデコード時刻での差し替え用ビデオエレメンタリストリームのＶＢＶバッファの残量である。margin1はアンダーフローを回避するために設けられたマージンである。
【００５５】
図２（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示し（図２（Ａ）に示されているものと同じ）、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示し、Ｂ３は差し替え後のビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示す。
【００５６】
Ｕ(0),Ｕ(1),Ｕ(2),およびＵ(3)は、それぞれのデコード時刻での差し替え対象ビデオエレメンタリストリームのＶＢＶの軌跡（Ｂ１）と、差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡（Ｂ２）との差を示す。この場合、例えば、デコード時刻Ｔ1において、ＶＢＶの軌跡に比べて差し替え対象ビデオエレメンタリストリームのＵ(1)分のデータが、デコーダバッファにまだ入力されていないことを意味する。
【００５７】
アンダーフローがデコーダバッファの占有量が極小値となる、つまり、デコード直後において発生しないことは、デコード時刻以外の時刻において、アンダーフローが発生しないことを保証する。
【００５８】
デコード時刻でアンダーフローが発生する条件は、デコード時刻ＴnにおけるＵ(n)が、Ｖ(n)よりも大きい時で、次式を満たしている時である。
ｉｆ Ｕ(n)＞Ｖ(n) then underflow
【００５９】
Ｕ(n)がすべてのデコード時刻直後で、ある値のmargin１以下となり、つまり、Ｕ(n)＜＝margin1を満たすように差し替え対象ビデオエレメンタリストリームが多重化され、また、Ｖ(n)がすべての時刻で、margin1以上となり、Ｖ(n)＞＝margin１を満たすように差し替え対象ビデオエレメンタリストリームが符号化されるならば、かならず、Ｕ(n)＜＝margin1＜＝Ｖ(n)となり、 上記のアンダーフローが発生する条件の式を満たす場合は存在しいないことになり、アンダーフローは発生しない。
【００６０】
図３は、図１２に示したオーバフロが発生する場合において、所定のマージンに基づいてビデオエレメンタリストリームを符号化することによって、デコーダに発生するオーバーフローを回避する例を示す。
【００６１】
図３（Ａ）は、差し替え対象ビデオエレメンタリトリームと差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Ｖ'(0),Ｖ'(1),Ｖ'(2),およびＶ'(3)は、それぞれのデコード時刻での差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡がＶＢＶバッファのサイズよりも少ない量を示し、ＶＢＶバッファの空き容量を意味するものである。margin2はオーバフロを回避するために設けられたマージンである。
【００６２】
図３（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示し、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示し、Ｂ３は差し替え後のビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示す。
【００６３】
Ｕ'(0),Ｕ'(1),Ｕ'(2),およびＵ'(3)は、それぞれのデコード時刻での差し替え対象ビデオエレメンタリストリームのＶＢＶ（Ｂ１）の軌跡と、差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡（Ｂ２）との差を示す。つまり、この場合、例えば、デコード時刻Ｔ1において、ＶＢＶの軌跡に比べてＵ(1)分のデータがデコーダバッファに多く到着していることを意味する。また、デコーダバッファのサイズ(BSdec)は、ＶＢＶバッファのサイズ(BSvbv)に所定のBSopを加えたものである。
【００６４】
デコーダバッファの占有量が極大値となる、つまり、デコード時刻直前においてオーバーフローが発生しないことは、デコード時刻以外の時刻においてオーバーフローが発生しないことを保証する。
【００６５】
デコード時刻でオーバフロが発生する条件は、デコード時刻ＴnにおけるＵ'(n)が、Ｖ'(n)とBSopの合計よりも大きい時で、次式を満たしているときである。
ｉｆ Ｕ'(n)＞（Ｖ'(n)＋BSop) then overflow
【００６６】
Ｕ ' (n)がすべのデコード時刻直前で、ある値のmargin2以下となり、つまり、Ｕ'(n)＜＝margin2を満たすように差し替え対象ビデオエレメンタリストリームが符号化され、また、Ｖ'(n)がすべのデコード時刻で、margin2−BSop以上となり、つまりＶ'(n)＞＝（margin2−ＢＳOP）を満たすように差し替え用ビデオエレメンタリストリームが符号化されるならば、かならず、Ｕ'(n)＜＝margin2＜＝Ｖ'(n)＋BSopとなり、オーバーフローが発生する条件の式を満たす場合は存在しないことになり、オーバーフローは発生しない。
【００６７】
差し替え用ビデオエレメンタリストリームは、差し替え対象ビデオエレメンタリストリームと同じ予め定められたマージンに基づいて符号化しておき、差し替え用エレメンタリストリームサーバ１０４に格納しておくか、または、マージン検出器１０２によって検出された差し替え対象エレメンタリストリームのマージン情報に基づいて、そのマージンに対応するエレメンタリストリームを差し替え用エレメンタリストリーム１０４から選択する。
【００６８】
マージン情報は、ISO113818-1に規定されているトランスポートストリームの場合、トランスポートストリームのアダプテーションフィールド内にあるプライベートベータバイトに符号化しておくことができ、マージン情報検出器１０２は、そのプライデートデータバイトに符号化されている情報を検出し、差し替え用エレメンタリストリームサーバ１０４に供給する。
【００６９】
差し替えスイッチ１０５は、システムコントローラ１０３の指示に基づいて、本編トランスポートストリームの差し替え対象ビデオエレメンタリストリームを差し替え用ビデオエレメンタリストリームに差し替え、差し替え後のトランスポートストリームを出力する。
【００７０】
このようにして、デコーダバッファの破綻を回避するための分離と再多重化をすることなく、本編多重化ストリームの一部の差し替え対象エレメンタリストリームを他の差し替え用エレメンタリストリームに差し替えることができる。
【００７１】
第１の実施の形態の他の動作例をとして、ビデオエレメンタリストリームをパケット毎に差し替える場合の例を説明する。
【００７２】
先の動作例においては、アクセスユニット毎にデータの差し替えを実施したのであるが、この動作例においては、パケット毎にデータの差し替えが行なわれるものでる。
【００７３】
差し替え用エレメンタリストリームは、デコーダバッファが破綻しないようにマージンに基づいて符号化され、パケット化された状態で、差し替え用エレメンタリストリームサーバ１０４に格納される。差し替えスイッチ１０５は、本編トランスポートストリームの内、差し替え開始点から終了点までの差し替え対象エレメンタリストリーム部分のＰＥＳパケットを、差し替え用ビデオエレメンタリストリームのＰＥＳパケットに差し替え、それ以外の本編トランスポートストリームはそのまま出力する。
【００７４】
図４は、本編多重化ストリームの差し替え対象エレメンタリストリームと差し替え用エレメンタリストリームのＰＥＳパケットの構成を示す。このように、ＰＥＳパケットのサイズをそれぞれ等しくし、ＰＥＳパケットに含まれる時刻情報を矛盾なく差し替えることによって、パケット毎の差し替えが可能とする。
【００７５】
ビデオのデータレートは、一定のアクセスユニットごとのサイズ合計を一定にするようになされている場合が多く、その場合、サイズの合計が等しくなるタイミングで、ＰＥＳヘッダを挿入してＰＥＳパケット化することによって、容易にＰＥＳパケットサイズを揃えることができる。
【００７６】
デコーダの破綻を回避するためには、先の動作例において説明されたマージンに基づいて、差し替え対象エレメンタリストリームと差し替え用エレメンタリストリームを符号化しておかなければならない。ビデオのデータレートは等しいものとする。
【００７７】
以上の差し替え処理により、本編多重化ストリームを分離あるいは再多重化することなく、多重化ストリームの中の差し替え対象エレメンタリストリームをその他の差し替え用エレメンタリストリームに差し替えることができる。またアクセスユニットのサイズを拘束しないので、画像劣化の問題を生じにくい。
【００７８】
次に、図５に、本発明を適用したデータ差し替え装置の第２の実施の形態の構成例を示す。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【００７９】
符号化器２０１は、録画されていない、いわゆるライブ信号を符号化し、差し替え用ビデオエレメンタリストリームとして、符号化されたライブ信号を差し替えスイッチ１０５に供給する。ここでの符号化は、第１の実施の形態で説明されたデコーダバッファの破綻を回避するために算出されたマージンに基づいており、そのマージンは差し替え対象エレメンタリストリームを本編トランスポートストリームに差し替えるときに使用されるものと同じである。
【００８０】
差し替え対象ビデオエレメンタリストリームのマージン情報は、マージン情報検出器１０２によって、随時検出されるか、または、予め定めておくこともできる。
【００８１】
上記第１の実施の形態と第２の実施の形態は、２−３プルダウンされたビデオエレメンタリストリームの差し替えにも応用できる。
【００８２】
図６に、２−３プルダウンされたビデオストリームにおけるデコーダバッファの破綻回避について説明する。
【００８３】
図６（Ａ）は、差し替え対象ストリームと差し替え用ストリームのＶＢＶバッファの軌跡を示す。Ｖ'(0),Ｖ'(1),Ｖ'(2),およびＶ'(3)は、それぞれのデコード時刻での差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡がＶＢＶバッファのサイズよりも少ない量を示し、ＶＢＶバッファの空き容量を意味するものである。margin1はアンダーフローを回避するために設けられたマージンである。
【００８４】
図６（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示し、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示し、Ｂ３は差し替え後のビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示す。
【００８５】
Ｕ'(0),Ｕ'(1),Ｕ'(2),およびＵ'(3)は、それぞれのデコード時刻での差し替え対象ビデオエレメンタリストリームのＶＢＶ（Ｂ１）の軌跡と、差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡（Ｂ２）との差を示す。また、デコーダバッファのサイズ(BSdec)は、ＶＢＶバッファのサイズ(BSvbv)に所定のBSopを加えたものである。
【００８６】
２−３プルダウンされたビデオストリームはデコード間隔がビデオのフィールド周期の２倍もしくは３倍になる。本編に含まれる差し替え対象ストリームと差し替え用ビデオストリームでプルダウンのパターンが異なると、デコードタイミングが異なり、デコーダバッファが破綻する場合がある。
【００８７】
２−３プルダウンされたビデオストリームの場合は、第１の実施の形態で求めたマージンを、すべてのフィールドタイミングで満たすように差し替え対象および差し替え用ストリームを符号化し、多重化しておくことによって、デコーダバッファの破綻を回避することができる。第１の実施の形態においては、デコード時刻における所定の条件を満たすようにマージンが算出された。
【００８８】
従って、差し替え用ストリームのプルダウンによって、デコード間隔がどのように変化しようとも、差し替え用ストリームのデコードタイミングでは必ずデコーダバッファを破綻させないための条件がまもられていることになり、プルダンパターンが異なる差し替え用ビデオストリームで差し替えを行うことが可能となる。
【００８９】
さらに、第１の実施の形態におけるマージンによる多重化の本編の多重化時に条件を、すべての時刻において満たすようにすることによって、デコード時刻がフィールド周期の倍数にならないような差し替え用ストリームによっても、デコーダバッファを破綻させないで差し替えを実行することができる。
【００９０】
以上の実施の形態の動作例では、ISO/IEC13818-1に規定されているトランスポートストリームに準拠して多重化されたISO13818-2に規定されているビデオエレメンタリストリームを差し替える場合について説明した。しかしながら、本発明は、トランスポートストリーム以外のデコーダバッファを破綻させないことが要求される多重化方法にも応用できる。ISO13818-2に規定されているビデオエレメンタリストリーム以外のエレメンタリストリームにも、符号化バッファモデルを仮想して、データレートを符号化バッファへ入力し、デコーダ時刻に符号化バッファから引き抜きを行った場合に、符号化バッファが破綻しないように制御して符号化されるビットストリームの差し替えにも応用できる。
【００９１】
なお、上記したような処理を行うコンピュータプログラムをユーザに伝送する伝送媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００９２】
【発明の効果】
本発明によれば、デコーダバッファを破綻することなく、差し替え用データと差し替え可能な差し替え対象データを多重化することができる。
【図面の簡単な説明】
【図１】本発明を適用したデータ処理装置の第１の実施の形態の構成例を示すブロック図である。
【図２】差し替え対象と差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡およびデコーダバッファの占有量の軌跡の例を示す図である。
【図３】差し替え対象と差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡およびデコーダバッファの占有量の軌跡の他の例を示す図である。
【図４】差し替え対象ビデオＰＥＳパケットと差し替え用ＰＥＳパケットの構造例を示す図でる。
【図５】本発明を適用したデータ処理装置の第２の実施の形態の構成例を示すブロック図である。
【図６】差し替え対象と差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡およびデコーダバッファの占有量の軌跡の他の例を示す図である。
【図７】アナログベースバンド信号に対応する従来の差し替え装置の構成例を示すブロック図である。
【図８】 ISO/IEC12818-1に規定されているトランスポートストリームの構成例を示す図である。
【図９】 ISO/IEC12818-1に規定されているトランスポートストリームに適用されるデコードモデルを示すブロック図である。
【図１０】デジタル信号に対応する従来の差し替え装置の構成例を示すブロック図である。
【図１１】デコーダバッファがアンダーフローになる場合の例を示す図である。
【図１２】デコーダバッファがオーバーフローになる場合の例を示す図である。
【符号の説明】
１０１ 多重化器， １０２ マージン情報検出器， １０３ システムコントローラ， １０４ 差し替え用エレメンタリサーバ， １０５ 差し替えスイッチ， ２０１ 符号化器， ３０１ サーバ， ３０２ 選択スイッチ， ３０３ スイッチ， ４０１ スイッチ， ４０２ トランスポートバッファ， ４０３ マルチプレクシング， ４０４ エレメンタリバッファ， ４０５ デコーダ， ５０１ 分離器， ５０２ エレメンタリストリームサーバ， ５０３ スイッチ， ５０４ システムコントローラ， ５０５ 多重化器
【発明の属する技術分野】
本発明は、データ多重化装置および方法、並びに記録媒体に関し、特に、例えば、デジタルテレビジョン放送において、エレメンタリストリームの構成要素を調整することにより、エレメンタリストリームを分解したり再多重化することなく、本編多重化ストリームの一部のエレメンタリストリームを他のエレメンタリストリームに差し替えることができるようにしたデータ多重化装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像信号や音響信号の差し替えは、放送やスタジオにおける編集作業の際によく用いられる技術である。例えば、本局から送出されてきた本編のコマーシャルを、支局（地方局）において、その地域に属する地域企業のコマーシャルに差し替えたり、全国ニュースを地域ニュースに置き換える場合、画像信号や音響信号の差し替えが必要になる。
【０００３】
図７は、アナログベースバンド信号を利用した、差し替え処理を行う従来のデータ処理装置の構成例を示している。サーバ３０１は、差し替えるデータを格納しており、選択スイッチ３０２により選択された場合、格納しているデータをスイッチ３０３に供給する。選択スイッチ３０２は、差し替えるデータが録画または録音されているものではない、いわゆるライブからのデータの場合、そのライブ情報を選択し、スイッチ３０３に供給する。スイッチ３０３は、本編の中の差し替えられるデータと、サーバ３０１またはライブ情報から供給される差し替えるデータを同期信号に同期して差し替える。
【０００４】
例えば、地方局において、本編の全国ニュースを地域ニュースに差し替えたい場合、図７の本編が、本局から送出されてきた番組に、全国ニュースが差し替えられるデータ（差し替え対象データ）に、そして地域ニュースが差し替えるデータ（差し替え用データ）に、それぞれ相当する。地域ニュースは録画されている場合はサーバ３０１から、生放送の場合はライブ情報として、スイッチ３０２に直接供給され、差し替えが実行される。
【０００５】
上記は、アナログベースバンド信号を利用した例であるが、近年、画像信号や音響信号は、デジタル信号として扱われることが多くなり、そのためデジタル信号に対応する差し替え装置も多く利用されてきている。
【０００６】
デジタル信号化された画像信号や音響信号は、所定の規則に準拠して符号化され、多重化されている。符号化方式の代表的な例として、ＭＰＥＧ（Moving Picture Experts Group)方式があげられる。これは、ISO/IEC JTC1/SC29（International Organization for Standardization/International Electrotechnical Commission, Joint Technical Commitee 1/Sub-Commitee 29：国際標準機構／国際電気標準会議 合同技術委員会１／専門部会２９）によって標準化されている技術である。
【０００７】
現在、ＭＰＥＧ方式には、２つのシステムが存在し、ISO11172において標準化され、比較的狭い範囲のアプリケーションに対応するＭＰＥＧ１と、ISO13818において標準化されている広い範囲のアプリケーションに対応するＭＰＥＧ２とがある。また、それぞれのシステムにおいて、システム多重化の項目がISO11172-1およびISO13818-1により、映像符号化の項目がISO11172-2およびISO13818-2により、そして音声符号化の項目がISO11172-3およびISO13818-3により、それぞれ標準化されている。
【０００８】
図８は、ISO/IEC13818-1に規定されているトランスポートストリーム（いわゆるＭＰＥＧ２システム規格）に基づくISO13818-2に規定されているビデオエレメンタリストリームの多重化の構造を示す。ビデオエレメンタリストリームとは、符号化されたビデオビットストリームのことで、ビデオのピクチャに対応するアクセスユニットと呼ばれるデコード単位によって構成されている。
【０００９】
このエレメンタリストリームはパケット化され、ＰＥＳパケット（ＭＰＥＧ２システムで用いられるパケットの名称）と呼ばれる適当な長さの単位に分割される。また、ＰＥＳパケットのヘッダには、ビデオかオーデイオかの属性を識別する情報や、ＰＥＳパケット中で最初に開始するアクセスユニットの時刻情報などが含まれている。
【００１０】
トランスポートストリームは、複数の固定長のトランスポートパケットにより構成され、ビデオＰＥＳパケットは、所定のトランスポートパケットに配置される。各トランスポートパケットには、制御情報やビデオエレメンタリストリームのＰＥＳパケットなども配置される。また、トランスポートパケットには、アクセスユニットのデコード時刻、表示時刻、およびデコーダバッファへの入力タイミングを表すクロックリファレンスなども多重化されている。
【００１１】
つまり、受信側におけるデコーダの標準的なモデルが想定され、このデコーダモデルにおいて、正しくデコード処理できるように、各種の情報が時分割多重化されている。
【００１２】
図９に、例えば、ISO13818-1（ＭＰＥＧ２システム）およびISO11172-1（ＭＰＥＧ１システム）で規定されているデコーダモデルの構成例を示す。
【００１３】
このデコーダモデルは、ビデオ部分のみを示している。スイッチ４０１はトランスポートストリームに含まれるトランスポートパケットを、その種類に応じで選択する。スイッチ４０１によって選択されたビデオのトランスポートパケットは、５１２バイト固定のトランスポートバッファ４０２に供給される。トランスポートバッファ４０２にデータが存在する限り、マルチプレクシングバッファ４０３は一定のレートでＰＥＳパケットを引き抜き、エレメンタリバッファ４０４は、マルチプレクシングバッファ４０３からエレメンタリストリームを引き抜き、デコーダ４０５に供給し、デコードさせる。
符号化側においては、これらのバッファを破綻させないように符号化を行わなければならない。
【００１４】
マルチプレクシングバッファ４０３とエレメンタリバッファ４０４の合計のサイズは、ビデオの符号化バッファ、いわゆるＶＢＶ（Video Buffering Verifier）のサイズの最大値に、ISO13818-2に規定されるプロファイルとレベルにより一意に決まる所定のサイズを加えたものである。
【００１５】
次に、上記に説明されたような多重化デジタル信号に対応する従来の差し替え装置の構成例を図１０に示す。
【００１６】
本編多重化ストリームが分離器５０１に供給されるようになされており、そこでは、本編多重化ストリームの中の制御情報を参照しながら、本編多重化ストリームを、ビデオデータ、オーデイオデータ、その他のデータのエレメンタリストリームに分離する。このように本編多重化ストリームをエレメンタリストリームごとに分離することにより、差し替えられるエレメンタリストリーム、いわゆる差し替え対象エレメンタリストリームを取り出すことができる。
【００１７】
一方、エレメンタリストリームサーバ５０２は、差し替え対象エレメンタリストリームに代わって本編多重化ストリームに差し替えられるエレメンタリストリーム、いわゆる差し替え用エレメンタリストリームをスイッチ５０３に供給する。
【００１８】
スイッチ５０３は、システムコントローラ５０４の指示に基づいて、差し替え対象エレメンタリストリームを差し替え用エレメンタリストリームに差し換え、多重化器５０５に供給する。多重化器５０５は、差し替え用エレメンタリストリームと、差し替え対象エレメンタリストリーム以外の本編多重化ストリームのエレメンタリストリームを多重化し、多重化ストリームを出力する。
【００１９】
【発明が解決しようとする課題】
しかしながら、このような従来の差し替え装置では、入力された本編多重化ストリームを分離し、差し替え後、再び多重化を行わなければならない。そのため、差し替え装置に分離と多重化の機能が必要となり、装置の構成が煩雑になる。また放送のような実時間性の高いアプリケーションでは、分離と再多重化による遅延が問題となったり、スタジオにおける編集では、編集を繰り返すたびに分離と再多重化が必要になり、手間がかかってしまう。
【００２０】
本編多重化ストリームの中の差し替え対象エレメンタリストリームを他の差し替え用エレメンタリストリームに差し替えることができれば、分離と再多重化を行う必要がなくなる。しかしながら、そのためには、差し替え後のストリームが、図９に示したデコードモデルを破綻させないように符号化されていなくてはならない。
【００２１】
ISO11172-2およびISO13818-2に規定されているビデオエレメンタリストリームでは、圧縮難度に応じて不規則に発生する圧縮データを一定のデータレートに落とし込むために、ＶＢＶバッファと呼ばれる仮想の符号化バッファが設けられ、そのＶＢＶバッファを破綻させない、つまり、アンダーフローまたはオーバーフローしないように、ビデオエレメンタリストリームは符号化されている。
【００２２】
しかしながら、多重化ストリームは、ビデオ以外のデータも多重化されているために、多重化ストリームのデコーダバッファに占めるデータの占有量は、ＶＢＶバッファの軌跡と等しくならない場合がある。
【００２３】
この場合においても、デコーダバッファを破綻させない限り問題はないが、ビデオエレメンタリストリームの差し替えを行った場合、差し替え前後のビデオエレメンタリストリームのＶＢＶバッファが差し替え開始から終了までにおいて、整合がとれているにも関わらず、デコーダバッファが破綻してしまう場合がある。
【００２４】
図１１に、ISO11172-2およびISO13818-2に規定されているビデオエレメンタリストリームの差し替えにおいて、アンダーフローがデコーダバッファに発生する例を示す。
【００２５】
図１１（Ａ）に、本編多重化ストリームの中の差し替え対象ビデオエレメンタリストリームと、差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Sinは差し替え対象ビデオエレメンタリストリームのアクセスユニットのサイズを示し、Sspは差し替え用ビデオエレメンタリストリームのアクセスユニットのサイズを表す。例えば、差し替え対象ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Sin(0)分のデータがデコーダに引き抜かれる。同様に、差し替え用ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Ssp(0)分のデータがデコーダに引き抜かれる。
【００２６】
差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶ−ｄｅｌａｙは等しいため、スタートアップ時刻が一致し、また、差し替え区間でのストリームの大きさが同じであることより、ＶＢＶバッファは破綻していない。
【００２７】
図１１（Ｂ）は、デコーダバッファの占有量の軌跡を示す。図１１（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶの軌跡を表し、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を表し、そしてＢ３は差し替え後のエレメンタリストリームのデコーダバッファの軌跡を表す。
【００２８】
多重化ストリームのデータレートは、ビデオストリームのデータレートよりも高いため、デコーダバッファの軌跡（Ｂ２およびＢ３）の傾きは、ＶＢＶバッファの軌跡（Ｂ１）よりも急勾配である。ただし、ビデオ以外のデータがデコーダに入力されている区間では、ビデオデコーダバッファへの入力がないため、軌跡は水平となる。
【００２９】
図１１（Ｂ）のSin(1)をデコードする直前で、デコーダバッファの占有量は、ＶＢＶバッファの軌跡よりＹだけ下回っているが、デコーダバッファを破綻させない限り、上回っていても下回っていてもよい。一方、差し替えを行った場合、差し替え開始点においてＶＢＶ−ｄｅｌａｙが等しいので、Ssp(0)のデコード直前までは、デコーダバッファの占有量の軌跡は、差し替えを行わない場合と等しい。しかしながら、アクセスユニットのサイズが異なるために、Ssp(0)のデコード以降、デコーダバッファの占有量は差し替えを行わなかった場合とずれが生じ、このずれと、本編の多重化時にデコーダの占有量がＶＢＶの軌跡を下回った量Ｙにより、デコーダバッファのアンダーフローが発生する。
【００３０】
図１２に、ISO11172-2およびISO13818-2に規定されているビデオエレメンタリストリームの差し替えにおいて、オーバーフローがデコーダバッファに発生する例を示す。
【００３１】
図１２（Ａ）に、差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Sinは差し替え対象ビデオエレメンタリストリームのアクセスユニットのサイズを示し、Sspは差し替え用ビデオエレメンタリストリームのアクセスユニットのサイズを表す。例えば、差し替え対象ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Sin(0)分のデータがデコーダに引き抜かれる。同様に、差し替え用ビデオエレメンタリストリームのｎ番目のアクセスユニットは、デコード時刻Ｔnにおいて、Ssp(0)分のデータがデコーダに引き抜かれる。
【００３２】
差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶーｄｅｌａｙは等しいので、スタートアップ時刻が一致し、また、差し替え区間でのストリームの大きさが同じであることより、ＶＢＶバッファは破綻していない。
【００３３】
図１２（Ｂ）は、デコーダバッファの占有量の軌跡を示す。図１２（Ｂ）において、Ｂ１は差し替え対象エレメンタリストリームのＶＢＶの軌跡を表し、Ｂ２は差し替え対象エレメンタリストリームのデコーダバッファの占有量の軌跡を表しし、そしてＢ３は差し替え後のエレメンタリストリームのデコーダバッファの軌跡を表す。
【００３４】
Sin(2)をデコードする直前で、デコーダバッファの占有量は、ＶＢＶバッファの軌跡よりＺだけ上回っているが、デコーダバッファを破綻させない限り、上回っていても下回っていてもよい。一方、差し替えを行った場合、差し替え開始点においてＶＢＶ−ｄｅｌａｙが等しいため、Ssp(0)のデコード直前までは、デコーダバッファの占有量の軌跡は差し替えを行わない場合と等しい。しかしながら、アクセスユニットのサイズが異なるために、Ssp(0)のデコード以降、デコーダバッファの占有量は差し替えを行わなかった場合とずれが生じる。このずれと、本編の多重化時にデコーダの占有量がＶＢＶの軌跡を上回った量Ｚにより、デコーダバッファのオーバーフローが発生する。
【００３５】
このように、本編を多重化する際、差し替え用ビデオエレメンタリストリームのＶＢＶの軌跡を考慮することができないために、多重化ストリームの中の差し替え対象ビデオエレメンタリストリームのみを他の差し替え用ビデオエレメンタリストリームに差し替えると、デコーダバッファを破綻させてしまう場合がある。
【００３６】
本発明はこのような状況に鑑みてなされたものであり、上記にあげられた問題点を克服し、分離と再多重化することなく、本編多重化ストリームの中の一部の差し替え対象データを他の差し替え用データに差し替えることができるようにするものである。
【００３７】
【課題を解決するための手段】
本発明の、差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第１のデータ多重化装置は、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化手段と、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給する供給手段と、デジタル信号の差し替え対象データを、供給手段により供給された差し替え用データに差し替える差し替え手段とを備えることを特徴とする。
【００３８】
第１のマージン（ｍ１）は、アンダーフローを回避するために設けられたマージンであるようにすることができる。
【００３９】
供給手段は、差し替え用データを予め格納しておくことができる。
【００４０】
多重化手段は、第１のマージン（ｍ１）に関する情報をさらに多重化し、供給手段は、デジタル信号から、第１のマージン（ｍ１）に関する情報を検出し、その検出結果に応じて、差し替え用データを符号化して供給することができる。
【００４１】
多重化手段は、第１のマージン（ｍ１）に関する情報をさらに多重化し、供給手段は、複数の差し替え用データを格納しており、デジタル信号から、第１のマージン（ｍ１）に関する情報を検出し、その検出結果に応じた差し替え用データを選択して供給することができる。
【００４２】
多重化手段は、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化するとともに、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第２のマージン（ｍ２）以下となるように多重化し、供給手段は、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給するとともに、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給することができる。
【００４３】
第２のマージン（ｍ２）は、オーバーフローを回避するために設けられたマージンであるようにすることができる。
【００４４】
本発明の、差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第１のデータ多重化方法は、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化ステップと、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の、差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置を制御するプロセッサに実行させる第１のプログラムは、差し替え対象データを、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化ステップと、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の第１のデータ多重化装置および方法、並びにプログラムにおいて、差し替え対象データが、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化され、差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、第１のマージン（ｍ１）以上となるように符号化された差し替え用データが供給され、デジタル信号の差し替え対象データが、供給された差し替え用データに差し替えられる。
本発明の、データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第２のデータ多重化装置は、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化手段と、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給する供給手段と、デジタル信号の差し替え対象データを、供給手段により供給された差し替え用データに差し替える差し替え手段とを備えることを特徴とする。
マージン（ｍ２）は、オーバーフローを回避するために設けられたマージンであるようにすることができる。
供給手段は、差し替え用データを予め格納しておくことができる。
多重化手段は、マージン（ｍ２）に関する情報をさらに多重化し、
供給手段は、デジタル信号から、マージン（ｍ２）に関する情報を検出し、その検出結果に応じて、差し替え用データを符号化して供給することができる。
多重化手段は、マージン（ｍ２）に関する情報をさらに多重化し、供給手段は、複数の差し替え用データを格納しており、デジタル信号から、マージン（ｍ２）に関する情報を検出し、その検出結果に応じた差し替え用データを選択して供給することができる。
本発明の、データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替える第２のデータ多重化方法は、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化ステップと、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の、データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化したデジタル信号の差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置を制御するプロセッサに実行させる第２のプログラムは、差し替え対象データを、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化ステップと、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データを供給する供給ステップと、デジタル信号の差し替え対象データを、供給ステップの処理で供給された差し替え用データに差し替える差し替えステップとを含むことを特徴とする。
本発明の第２のデータ多重化装置および方法、並びにプログラムにおいては、差し替え対象データが、差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化され、差し替え対象データの仮想的なデコーダバッファのサイズと差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された差し替え用データが供給され、デジタル信号の差し替え対象データが、供給ステップの処理で供給された差し替え用データに差し替えられる。
【００４５】
【発明の実施の形態】
図１に、本発明のデータ処理装置を適用した第１の実施の形態の構成例を示す。
【００５０】
多重化器１０１は、例えば、ISO13818-1に準拠して符号化されたビデオエレメンタリストリームを多重化し、本編トランスポートストリームを出力する。マージン情報検出器１０２は、システムコントローラ１０３により指示された差し替え対象ビデオエレメンタリストリームのマージン情報を検出し、差し替え用エレメンタリストリームサーバ１０４に供給する。
【００５１】
差し替えスイッチ１０５は、システムコントローラ１０３の指示に基づき、差し替え対象ビデオエレメンタリストリームを差し替え用ビデオエレメンタリストリームに差し替え、差し替え後のトランスポートストリームを出力する。
【００５２】
次に、第１の実施の形態の動作例を説明する。デコーダバッファの破綻を回避するために、多重化器１０１は、ビデオエレメンタリストリームを所定のマージンに従って多重化し、本編多重化ストリームを提供する。
【００５３】
図２は、図１１に示したアンダーフローが発生する場合において、所定のマージンに基づいてビデオエレメンタリストリームを符号化することによって、デコーダバッファに発生するアンダーフローを回避する例を示す。
【００５４】
図２（Ａ）は、差し替え対象ビデオエレメンタリストリームと差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Ｖ(0),Ｖ(1),Ｖ(2),およびＶ(3)は、それぞれのデコード時刻での差し替え用ビデオエレメンタリストリームのＶＢＶバッファの残量である。margin1はアンダーフローを回避するために設けられたマージンである。
【００５５】
図２（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示し（図２（Ａ）に示されているものと同じ）、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示し、Ｂ３は差し替え後のビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示す。
【００５６】
Ｕ(0),Ｕ(1),Ｕ(2),およびＵ(3)は、それぞれのデコード時刻での差し替え対象ビデオエレメンタリストリームのＶＢＶの軌跡（Ｂ１）と、差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡（Ｂ２）との差を示す。この場合、例えば、デコード時刻Ｔ1において、ＶＢＶの軌跡に比べて差し替え対象ビデオエレメンタリストリームのＵ(1)分のデータが、デコーダバッファにまだ入力されていないことを意味する。
【００５７】
アンダーフローがデコーダバッファの占有量が極小値となる、つまり、デコード直後において発生しないことは、デコード時刻以外の時刻において、アンダーフローが発生しないことを保証する。
【００５８】
デコード時刻でアンダーフローが発生する条件は、デコード時刻ＴnにおけるＵ(n)が、Ｖ(n)よりも大きい時で、次式を満たしている時である。
ｉｆ Ｕ(n)＞Ｖ(n) then underflow
【００５９】
Ｕ(n)がすべてのデコード時刻直後で、ある値のmargin１以下となり、つまり、Ｕ(n)＜＝margin1を満たすように差し替え対象ビデオエレメンタリストリームが多重化され、また、Ｖ(n)がすべての時刻で、margin1以上となり、Ｖ(n)＞＝margin１を満たすように差し替え対象ビデオエレメンタリストリームが符号化されるならば、かならず、Ｕ(n)＜＝margin1＜＝Ｖ(n)となり、 上記のアンダーフローが発生する条件の式を満たす場合は存在しいないことになり、アンダーフローは発生しない。
【００６０】
図３は、図１２に示したオーバフロが発生する場合において、所定のマージンに基づいてビデオエレメンタリストリームを符号化することによって、デコーダに発生するオーバーフローを回避する例を示す。
【００６１】
図３（Ａ）は、差し替え対象ビデオエレメンタリトリームと差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示す。Ｖ'(0),Ｖ'(1),Ｖ'(2),およびＶ'(3)は、それぞれのデコード時刻での差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡がＶＢＶバッファのサイズよりも少ない量を示し、ＶＢＶバッファの空き容量を意味するものである。margin2はオーバフロを回避するために設けられたマージンである。
【００６２】
図３（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示し、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示し、Ｂ３は差し替え後のビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示す。
【００６３】
Ｕ'(0),Ｕ'(1),Ｕ'(2),およびＵ'(3)は、それぞれのデコード時刻での差し替え対象ビデオエレメンタリストリームのＶＢＶ（Ｂ１）の軌跡と、差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡（Ｂ２）との差を示す。つまり、この場合、例えば、デコード時刻Ｔ1において、ＶＢＶの軌跡に比べてＵ(1)分のデータがデコーダバッファに多く到着していることを意味する。また、デコーダバッファのサイズ(BSdec)は、ＶＢＶバッファのサイズ(BSvbv)に所定のBSopを加えたものである。
【００６４】
デコーダバッファの占有量が極大値となる、つまり、デコード時刻直前においてオーバーフローが発生しないことは、デコード時刻以外の時刻においてオーバーフローが発生しないことを保証する。
【００６５】
デコード時刻でオーバフロが発生する条件は、デコード時刻ＴnにおけるＵ'(n)が、Ｖ'(n)とBSopの合計よりも大きい時で、次式を満たしているときである。
ｉｆ Ｕ'(n)＞（Ｖ'(n)＋BSop) then overflow
【００６６】
Ｕ ' (n)がすべのデコード時刻直前で、ある値のmargin2以下となり、つまり、Ｕ'(n)＜＝margin2を満たすように差し替え対象ビデオエレメンタリストリームが符号化され、また、Ｖ'(n)がすべのデコード時刻で、margin2−BSop以上となり、つまりＶ'(n)＞＝（margin2−ＢＳOP）を満たすように差し替え用ビデオエレメンタリストリームが符号化されるならば、かならず、Ｕ'(n)＜＝margin2＜＝Ｖ'(n)＋BSopとなり、オーバーフローが発生する条件の式を満たす場合は存在しないことになり、オーバーフローは発生しない。
【００６７】
差し替え用ビデオエレメンタリストリームは、差し替え対象ビデオエレメンタリストリームと同じ予め定められたマージンに基づいて符号化しておき、差し替え用エレメンタリストリームサーバ１０４に格納しておくか、または、マージン検出器１０２によって検出された差し替え対象エレメンタリストリームのマージン情報に基づいて、そのマージンに対応するエレメンタリストリームを差し替え用エレメンタリストリーム１０４から選択する。
【００６８】
マージン情報は、ISO113818-1に規定されているトランスポートストリームの場合、トランスポートストリームのアダプテーションフィールド内にあるプライベートベータバイトに符号化しておくことができ、マージン情報検出器１０２は、そのプライデートデータバイトに符号化されている情報を検出し、差し替え用エレメンタリストリームサーバ１０４に供給する。
【００６９】
差し替えスイッチ１０５は、システムコントローラ１０３の指示に基づいて、本編トランスポートストリームの差し替え対象ビデオエレメンタリストリームを差し替え用ビデオエレメンタリストリームに差し替え、差し替え後のトランスポートストリームを出力する。
【００７０】
このようにして、デコーダバッファの破綻を回避するための分離と再多重化をすることなく、本編多重化ストリームの一部の差し替え対象エレメンタリストリームを他の差し替え用エレメンタリストリームに差し替えることができる。
【００７１】
第１の実施の形態の他の動作例をとして、ビデオエレメンタリストリームをパケット毎に差し替える場合の例を説明する。
【００７２】
先の動作例においては、アクセスユニット毎にデータの差し替えを実施したのであるが、この動作例においては、パケット毎にデータの差し替えが行なわれるものでる。
【００７３】
差し替え用エレメンタリストリームは、デコーダバッファが破綻しないようにマージンに基づいて符号化され、パケット化された状態で、差し替え用エレメンタリストリームサーバ１０４に格納される。差し替えスイッチ１０５は、本編トランスポートストリームの内、差し替え開始点から終了点までの差し替え対象エレメンタリストリーム部分のＰＥＳパケットを、差し替え用ビデオエレメンタリストリームのＰＥＳパケットに差し替え、それ以外の本編トランスポートストリームはそのまま出力する。
【００７４】
図４は、本編多重化ストリームの差し替え対象エレメンタリストリームと差し替え用エレメンタリストリームのＰＥＳパケットの構成を示す。このように、ＰＥＳパケットのサイズをそれぞれ等しくし、ＰＥＳパケットに含まれる時刻情報を矛盾なく差し替えることによって、パケット毎の差し替えが可能とする。
【００７５】
ビデオのデータレートは、一定のアクセスユニットごとのサイズ合計を一定にするようになされている場合が多く、その場合、サイズの合計が等しくなるタイミングで、ＰＥＳヘッダを挿入してＰＥＳパケット化することによって、容易にＰＥＳパケットサイズを揃えることができる。
【００７６】
デコーダの破綻を回避するためには、先の動作例において説明されたマージンに基づいて、差し替え対象エレメンタリストリームと差し替え用エレメンタリストリームを符号化しておかなければならない。ビデオのデータレートは等しいものとする。
【００７７】
以上の差し替え処理により、本編多重化ストリームを分離あるいは再多重化することなく、多重化ストリームの中の差し替え対象エレメンタリストリームをその他の差し替え用エレメンタリストリームに差し替えることができる。またアクセスユニットのサイズを拘束しないので、画像劣化の問題を生じにくい。
【００７８】
次に、図５に、本発明を適用したデータ差し替え装置の第２の実施の形態の構成例を示す。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【００７９】
符号化器２０１は、録画されていない、いわゆるライブ信号を符号化し、差し替え用ビデオエレメンタリストリームとして、符号化されたライブ信号を差し替えスイッチ１０５に供給する。ここでの符号化は、第１の実施の形態で説明されたデコーダバッファの破綻を回避するために算出されたマージンに基づいており、そのマージンは差し替え対象エレメンタリストリームを本編トランスポートストリームに差し替えるときに使用されるものと同じである。
【００８０】
差し替え対象ビデオエレメンタリストリームのマージン情報は、マージン情報検出器１０２によって、随時検出されるか、または、予め定めておくこともできる。
【００８１】
上記第１の実施の形態と第２の実施の形態は、２−３プルダウンされたビデオエレメンタリストリームの差し替えにも応用できる。
【００８２】
図６に、２−３プルダウンされたビデオストリームにおけるデコーダバッファの破綻回避について説明する。
【００８３】
図６（Ａ）は、差し替え対象ストリームと差し替え用ストリームのＶＢＶバッファの軌跡を示す。Ｖ'(0),Ｖ'(1),Ｖ'(2),およびＶ'(3)は、それぞれのデコード時刻での差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡がＶＢＶバッファのサイズよりも少ない量を示し、ＶＢＶバッファの空き容量を意味するものである。margin1はアンダーフローを回避するために設けられたマージンである。
【００８４】
図６（Ｂ）において、Ｂ１は差し替え対象ビデオエレメンタリストリームのＶＢＶバッファの軌跡を示し、Ｂ２は差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示し、Ｂ３は差し替え後のビデオエレメンタリストリームのデコーダバッファの占有量の軌跡を示す。
【００８５】
Ｕ'(0),Ｕ'(1),Ｕ'(2),およびＵ'(3)は、それぞれのデコード時刻での差し替え対象ビデオエレメンタリストリームのＶＢＶ（Ｂ１）の軌跡と、差し替え対象ビデオエレメンタリストリームのデコーダバッファの占有量の軌跡（Ｂ２）との差を示す。また、デコーダバッファのサイズ(BSdec)は、ＶＢＶバッファのサイズ(BSvbv)に所定のBSopを加えたものである。
【００８６】
２−３プルダウンされたビデオストリームはデコード間隔がビデオのフィールド周期の２倍もしくは３倍になる。本編に含まれる差し替え対象ストリームと差し替え用ビデオストリームでプルダウンのパターンが異なると、デコードタイミングが異なり、デコーダバッファが破綻する場合がある。
【００８７】
２−３プルダウンされたビデオストリームの場合は、第１の実施の形態で求めたマージンを、すべてのフィールドタイミングで満たすように差し替え対象および差し替え用ストリームを符号化し、多重化しておくことによって、デコーダバッファの破綻を回避することができる。第１の実施の形態においては、デコード時刻における所定の条件を満たすようにマージンが算出された。
【００８８】
従って、差し替え用ストリームのプルダウンによって、デコード間隔がどのように変化しようとも、差し替え用ストリームのデコードタイミングでは必ずデコーダバッファを破綻させないための条件がまもられていることになり、プルダンパターンが異なる差し替え用ビデオストリームで差し替えを行うことが可能となる。
【００８９】
さらに、第１の実施の形態におけるマージンによる多重化の本編の多重化時に条件を、すべての時刻において満たすようにすることによって、デコード時刻がフィールド周期の倍数にならないような差し替え用ストリームによっても、デコーダバッファを破綻させないで差し替えを実行することができる。
【００９０】
以上の実施の形態の動作例では、ISO/IEC13818-1に規定されているトランスポートストリームに準拠して多重化されたISO13818-2に規定されているビデオエレメンタリストリームを差し替える場合について説明した。しかしながら、本発明は、トランスポートストリーム以外のデコーダバッファを破綻させないことが要求される多重化方法にも応用できる。ISO13818-2に規定されているビデオエレメンタリストリーム以外のエレメンタリストリームにも、符号化バッファモデルを仮想して、データレートを符号化バッファへ入力し、デコーダ時刻に符号化バッファから引き抜きを行った場合に、符号化バッファが破綻しないように制御して符号化されるビットストリームの差し替えにも応用できる。
【００９１】
なお、上記したような処理を行うコンピュータプログラムをユーザに伝送する伝送媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００９２】
【発明の効果】
本発明によれば、デコーダバッファを破綻することなく、差し替え用データと差し替え可能な差し替え対象データを多重化することができる。
【図面の簡単な説明】
【図１】本発明を適用したデータ処理装置の第１の実施の形態の構成例を示すブロック図である。
【図２】差し替え対象と差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡およびデコーダバッファの占有量の軌跡の例を示す図である。
【図３】差し替え対象と差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡およびデコーダバッファの占有量の軌跡の他の例を示す図である。
【図４】差し替え対象ビデオＰＥＳパケットと差し替え用ＰＥＳパケットの構造例を示す図でる。
【図５】本発明を適用したデータ処理装置の第２の実施の形態の構成例を示すブロック図である。
【図６】差し替え対象と差し替え用ビデオエレメンタリストリームのＶＢＶバッファの軌跡およびデコーダバッファの占有量の軌跡の他の例を示す図である。
【図７】アナログベースバンド信号に対応する従来の差し替え装置の構成例を示すブロック図である。
【図８】 ISO/IEC12818-1に規定されているトランスポートストリームの構成例を示す図である。
【図９】 ISO/IEC12818-1に規定されているトランスポートストリームに適用されるデコードモデルを示すブロック図である。
【図１０】デジタル信号に対応する従来の差し替え装置の構成例を示すブロック図である。
【図１１】デコーダバッファがアンダーフローになる場合の例を示す図である。
【図１２】デコーダバッファがオーバーフローになる場合の例を示す図である。
【符号の説明】
１０１ 多重化器， １０２ マージン情報検出器， １０３ システムコントローラ， １０４ 差し替え用エレメンタリサーバ， １０５ 差し替えスイッチ， ２０１ 符号化器， ３０１ サーバ， ３０２ 選択スイッチ， ３０３ スイッチ， ４０１ スイッチ， ４０２ トランスポートバッファ， ４０３ マルチプレクシング， ４０４ エレメンタリバッファ， ４０５ デコーダ， ５０１ 分離器， ５０２ エレメンタリストリームサーバ， ５０３ スイッチ， ５０４ システムコントローラ， ５０５ 多重化器
Claims (16)
- 差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化した前記デジタル信号の前記差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置において、
前記差し替え対象データを、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化手段と、
前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、前記第１のマージン（ｍ１）以上となるように符号化された前記差し替え用データを供給する供給手段と、
前記デジタル信号の前記差し替え対象データを、前記供給手段により供給された前記差し替え用データに差し替える差し替え手段と
を備えることを特徴とするデータ多重化装置。 - 前記第１のマージン（ｍ１）は、アンダーフローを回避するために設けられたマージンである
ことを特徴とする請求項１に記載のデータ多重化装置。 - 前記供給手段は、前記差し替え用データを予め格納している
ことを特徴とする請求項１に記載のデータ多重化装置。 - 前記多重化手段は、前記第１のマージン（ｍ１）に関する情報をさらに多重化し、
前記供給手段は、前記デジタル信号から、前記第１のマージン（ｍ１）に関する情報を検出し、その検出結果に応じて、前記差し替え用データを符号化して供給する
ことを特徴とする請求項１に記載のデータ多重化装置。 - 前記多重化手段は、前記第１のマージン（ｍ１）に関する情報をさらに多重化し、
前記供給手段は、複数の前記差し替え用データを格納しており、前記デジタル信号から、前記第１のマージン（ｍ１）に関する情報を検出し、その検出結果に応じた前記差し替え用データを選択して供給する
ことを特徴とする請求項１に記載のデータ多重化装置。 - 前記多重化手段は、前記差し替え対象データを、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化するとともに、前記差し替え対象データを、前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第２のマージン（ｍ２）以下となるように多重化し、
前記供給手段は、前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、前記第１のマージン（ｍ１）以上となるように符号化された前記差し替え用データを供給するとともに、前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、前記差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された前記差し替え用データを供給する
ことを特徴とする請求項１に記載のデータ多重化装置。 - 前記第２のマージン（ｍ２）は、オーバーフローを回避するために設けられたマージンである
ことを特徴とする請求項６に記載のデータ多重化装置。 - 差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化した前記デジタル信号の前記差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化方法において、
前記差し替え対象データを、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化ステップと、
前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、前記第１のマージン（ｍ１）以上となるように符号化された前記差し替え用データを供給する供給ステップと、
前記デジタル信号の前記差し替え対象データを、前記供給ステップの処理で供給された前記差し替え用データに差し替える差し替えステップと
を含むことを特徴とするデータ多重化方法。 - 差し替え用データに差し替えられる差し替え対象データを一部に含む１以上のデジタル信号を多重化し、多重化した前記デジタル信号の前記差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置を制御するプロセッサに実行させるプログラムにおいて、
前記差し替え対象データを、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡と前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量との差（Ｕ）が、すべてのデコード時刻において、前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定した第１のマージン（ｍ１）以下となるように多重化する多重化ステップと、
前記差し替え用データの仮想符号化バッファにおける蓄積の軌跡（Ｖ）が、すべてのデコード時刻において、前記第１のマージン（ｍ１）以上となるように符号化された前記差し替え用データを供給する供給ステップと、
前記デジタル信号の前記差し替え対象データを、前記供給ステップの処理で供給された前記差し替え用データに差し替える差し替えステップと
を含むことを特徴とするプログラムが記録されている記録媒体。 - データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化した前記デジタル信号の前記差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置において、
前記差し替え対象データを、前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化手段と、
前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、前記差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された前記差し替え用データを供給する供給手段と、
前記デジタル信号の前記差し替え対象データを、前記供給手段により供給された前記差し替え用データに差し替える差し替え手段と
を備えることを特徴とするデータ多重化装置。 - 前記マージン（ｍ２）は、オーバーフローを回避するために設けられたマージンである
ことを特徴とする請求項１０に記載のデータ多重化装置。 - 前記供給手段は、前記差し替え用データを予め格納している
ことを特徴とする請求項１０に記載のデータ多重化装置。 - 前記多重化手段は、前記マージン（ｍ２）に関する情報をさらに多重化し、
前記供給手段は、前記デジタル信号から、前記マージン（ｍ２）に関する情報を検出し、その検出結果に応じて、前記差し替え用データを符号化して供給する
ことを特徴とする請求項１０に記載のデータ多重化装置。 - 前記多重化手段は、前記マージン（ｍ２）に関する情報をさらに多重化し、
前記供給手段は、複数の前記差し替え用データを格納しており、前記デジタル信号から、前記マージン（ｍ２）に関する情報を検出し、その検出結果に応じた前記差し替え用データを選択して供給する
ことを特徴とする請求項１０に記載のデータ多重化装置。 - データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化した前記デジタル信号の前記差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化方法において、
前記差し替え対象データを、前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化ステップと、
前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、前記差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された前記差し替え用データを供給する供給ステップと、
前記デジタル信号の前記差し替え対象データを、前記供給ステップの処理で供給された前記差し替え用データに差し替える差し替えステップと
を含むことを特徴とするデータ多重化方法。 - データ処理装置により差し替え用データに差し替えられる差し替え対象データを一部に含む、１以上のデジタル信号を多重化し、多重化した前記デジタル信号の前記差し替え対象データを、所定のマージンに基づいて定められた差し替え用データに差し替えるデータ多重化装置を制御するプロセッサに実行させるプログラムにおいて、
前記差し替え対象データを、前記差し替え対象データの仮想的なデコーダバッファにおける蓄積量と、前記差し替え対象データの仮想符号化バッファにおける蓄積の軌跡との差（Ｕ’）が、すべてのデコード時刻において、前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差を考慮した差し替え用データの仮想符号化バッファにおける蓄積の軌跡を用いて予め設定したマージン（ｍ２）以下となるように多重化する多重化ステップと、
前記差し替え対象データの仮想的なデコーダバッファのサイズと前記差し替え対象データの仮想符号化バッファのサイズの差をＢＳとするとき、前記差し替え用データの仮想符号化バッファの空き容量（Ｖ ' ）が、すべてのデコード時刻において、Ｖ ' ＞＝ｍ２−ＢＳとなるように符号化された前記差し替え用データを供給する供給ステップと、
前記デジタル信号の前記差し替え対象データを、前記供給ステップの処理で供給された前記差し替え用データに差し替える差し替えステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27180497A JP3649266B2 (ja) | 1997-10-03 | 1997-10-03 | データ多重化装置および方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27180497A JP3649266B2 (ja) | 1997-10-03 | 1997-10-03 | データ多重化装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112947A JPH11112947A (ja) | 1999-04-23 |
| JP3649266B2 true JP3649266B2 (ja) | 2005-05-18 |
Family
ID=17505091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27180497A Expired - Fee Related JP3649266B2 (ja) | 1997-10-03 | 1997-10-03 | データ多重化装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3649266B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001128181A (ja) * | 1999-10-26 | 2001-05-11 | Matsushita Electric Ind Co Ltd | デジタル放送における広告放送挿入のための方法および装置 |
| EP1266522B1 (en) * | 2000-03-31 | 2012-02-15 | OpenTV, Inc. | System and method for local meta data insertion |
| CA2415299C (en) * | 2000-07-25 | 2012-01-24 | Agilevision, L.L.C. | Splicing compressed, local video segments into fixed time slots in a network feed |
| TW548981B (en) * | 2001-03-19 | 2003-08-21 | Matsushita Electric Ind Co Ltd | Broadcasting distribution apparatus |
| JP4211023B2 (ja) * | 2002-02-22 | 2009-01-21 | 富士通株式会社 | 動画像処理方法及び動画像処理装置 |
| JP3675464B2 (ja) | 2003-10-29 | 2005-07-27 | ソニー株式会社 | 動画像符号化装置および動画像符号化制御方法 |
| WO2011105569A1 (ja) * | 2010-02-25 | 2011-09-01 | マスプロ電工株式会社 | 多重化装置、エンコーダ、デジタル変調器及び自主放送システム |
-
1997
- 1997-10-03 JP JP27180497A patent/JP3649266B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112947A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6993081B1 (en) | Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream | |
| EP0944249B1 (en) | Encoded stream splicing device and method, and an encoded stream generating device and method | |
| US5859660A (en) | Non-seamless splicing of audio-video transport streams | |
| US6542518B1 (en) | Transport stream generating device and method, and program transmission device | |
| US5966120A (en) | Method and apparatus for combining and distributing data with pre-formatted real-time video | |
| JP3309069B2 (ja) | 多重符号化画像音声データの受信装置 | |
| KR100226528B1 (ko) | 다중화 압축화상/음성데이타의 복호장치 | |
| US7881584B2 (en) | Reproducing apparatus and method, and recording medium | |
| JP2000083226A (ja) | バッファ機構及びタ―ゲットシステム復号化器及びデ―タのバッファ化方法 | |
| EP0826289B1 (en) | Data multiplexing apparatus | |
| US20050201390A1 (en) | Data processing apparatus and method and computer readable storage medium | |
| US6940901B2 (en) | Apparatus and method for information processing | |
| JP3668556B2 (ja) | ディジタル信号符号化方法 | |
| JP3649266B2 (ja) | データ多重化装置および方法、並びに記録媒体 | |
| JP3622451B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4280443B2 (ja) | デジタル媒体広告を統計多重ストリームに挿入する方法および装置 | |
| CA2490879C (en) | Reproducing apparatus and method, and recording medium | |
| JP2000331421A (ja) | 情報記録装置及び情報再生装置 | |
| JP3617177B2 (ja) | 映像素材供給装置及び方法 | |
| JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
| CA2725179C (en) | Reproducing apparatus and method, and recording medium | |
| JP3867342B2 (ja) | 符号化装置および方法、伝送方法、並びに信号記録媒体 | |
| EP1615439A2 (en) | Network receiving apparatus and network transmitting apparatus | |
| KR100317801B1 (ko) | 디지털 티브이 신호의 저장/재생 장치 및 그 방법 | |
| JP2002112194A (ja) | データ処理方法及び装置、データ伝送システム、伝送媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040419 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040614 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080225 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |