JP2009194759A - 映像ストリームの多重装置、分離装置、処理システム、方法、およびプログラム - Google Patents

Abstract

【課題】高々１つの映像ストリームと、保持すべきデータが規定されていないヌルストリームとを含むことが許容される多重化ストリームに、新たな映像ストリームを多重する技術を提供する。
【解決手段】ＴＳ多重装置１０は、１つ以上の副ＴＳを、ヌルＴＳを識別する特定のデータを持つヌル化ＴＳに変換することでヌルＴＳに擬装するＴＳヌル化部１１と、主ＴＳおよびヌル化ＴＳを多重化ストリームに多重するＴＳ多重部とを備える。ＴＳ分離装置２０は、多重化ストリームから、主ＴＳとヌル化ＴＳとを分離するＴＳ分離部２１と、分離されたヌル化ＴＳを副ＴＳに復元するＴＳ復元部２２を備える。
【選択図】図１

Description

本発明は映像ストリームの多重装置、分離装置、処理システム、方法、およびプログラムに関し、特に、高々１つの映像ストリームと、保持すべき映像データが規定されていないヌルストリームとを含むことが許容される多重化ストリームに、新たな映像ストリームを多重する技術に関する。

テレビから始まった高精細（ＨＤ）映像の普及はデジタルビデオカメラへも波及しつつあり、ＨＤ撮影可能なデジタルビデオカメラも普及の兆しを示している。また、デジタルスチルカメラもＨＤ動画撮影機能の搭載が予見される。

従来のデジタルビデオカメラでは、ＨＤ撮影された映像の記録を主な目的として、映像符号化方式としてＨ．２６４やＭＰＥＧ２−ＶＩＤＥＯを用い、多重化方式としてＭＰＥＧ２−ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ − Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を多くが採用しており、装置を廉価に実現可能とするためにそれぞれの方式を簡素化した運用規定を採用している。

ビデオカメラによる撮影および再生のフレームレートは、一般に３０Ｈｚであるが、業務用カメラでは、例えば１２０Ｈｚといった高速なフレームレートで撮影（高速撮影）して、３０Ｈｚのフレームレートで再生（通常再生）することにより、高画質スロー再生を実現するものがある。民生用ビデオカメラにおいても、高速撮影および通常再生による高画質スロー再生が可能なカメラが望まれるものと考えられる。
ＩＳＯ／ＩＥＣ１３８１８−１（ＭＰＥＧ２−ＴＳ規格書）

しかしながら、前記の簡素化した運用規定では、高速撮影および通常再生による高画質スロー再生を行うことは想定されていない。

簡素化した運用規定は、ＭＰＥＧ２−ＴＳを簡素化しており、多重化ストリームに高々１つの映像ストリームを含むことしか許容しない。そのため、高速撮影で得られた３０Ｈｚを超えるフレームレートのフレーム画像を記録および伝送するために、例えば３０Ｈｚのフレームレートに対応するフレーム画像を第１の映像ストリームで表し、その他のフレーム画像を第２の映像ストリームで表して多重化ストリームに多重しようとしても、それができない。

このように、高々１つの映像ストリームを含むことしか許容されていない運用規定における多重化ストリームは、高画質スロー再生のための映像ストリームの記録および伝送に適さないだけでなく、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や、両眼視による立体映像といった複数の映像ストリームで表されるコンテンツを記録および伝送することができないという制約がある。

本発明は、かかる問題点に鑑みてなされたものであり、高々１つの映像ストリームと、保持すべきデータが規定されていないヌルストリームとを含むことが許容される多重化ストリームに、新たな映像ストリームを多重する技術を提供することを目的とする。

上記の課題を解決するために、本発明の映像ストリーム多重装置は、１つの主映像ストリームと１つ以上の副映像ストリームとを多重化ストリームに多重する映像ストリームの多重装置であって、前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化部と、前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを前記多重化ストリームに多重するストリーム多重部とを備える。

ここで、前記副映像ストリームを前記ヌルストリームに擬装するとは、前記副映像ストリームを、ヌルストリームを識別する特定のデータを持ったストリームに変換することを意味する。

この構成によれば、前記副映像ストリームをヌルストリームに擬装するので、前記多重化ストリームが高々１つの主映像ストリームを含むことしか許容されていない場合でも、前記多重化ストリームにヌルストリームとして前記副映像ストリームを多重化できるようになる。

また、前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットで構成されるとしてもよい。

その場合に、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつペイロードに前記１つ以上の副映像ストリームのパケットのペイロードのデータを持つ複数のパケットで構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。

この構成によれば、前記副映像ストリームの各パケットのヘッダに元々含まれているデータが破棄され、ペイロードのデータがそのままヌルストリームのペイロードに保持されるので、前記副映像ストリームを、前記副映像ストリームの元々のデータ量と同じ量の前記ヌルストリームに擬装できる。

また、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつペイロードに前記１つ以上の副映像ストリームの各パケットをペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。

この構成によれば、前記副映像ストリームを、ヘッダのデータを含めて、ヌルストリームに擬装できる。前記副映像ストリームの各パケットのヘッダの先頭に同期のための特定のデータが本来含まれている場合には、その特定のデータがヌルストリームのパケットのペイロードの先頭に保持されるので、多重化ストリームにおいて、前記副映像ストリームが擬装されたヌルストリームのパケットと、有効な映像データを保持していない本来のヌルストリームのパケットとを見分けるのに役立つ。

また、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつペイロードに前記各副映像ストリームの全体をペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。

この構成によれば、前記副映像ストリームをパケットごとに分割する場合と異なり、ヌルストリームのペイロードに分割の端数による空き領域が生じない。そのため、前記副映像ストリームをより小さなヌルストリームに擬装できることはもちろん、ヌルストリームのペイロードから前記副映像ストリームを復元する際に、空き領域にある無効なデータを除外する必要がなくなるので、処理を簡略化できる可能性がある。

また、前記ストリームヌル化部は、さらに、前記ヌル化ストリームの各パケットのヘッダに、それぞれの副映像ストリームを区別する値を設定してもよい。

この構成によれば、ヌルストリームに擬装された複数の前記副映像ストリームが多重された多重化ストリームからでも、副映像ストリームを区別する値を用いて、個々の副映像ストリームを復元できる。

なお、本発明は、このような映像ストリームの多重装置として実現することができるだけでなく、映像ストリームの分離装置および処理システムとしても実現できる。さらに、映像ストリームの多重方法ならびに分離方法、およびプログラムとして実現することもできる。

上記説明したように、本発明の映像ストリームの多重装置によれば、副映像ストリームをヌルストリームに擬装することにより、高々１つの主映像ストリームを含むことしか許容されない多重化ストリームに、前記副映像ストリームをヌルストリームとして多重化できるようになる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態）
図１は、本発明の実施の形態における映像ストリームの処理システム１の構成の一例を示す機能ブロック図である。

映像ストリームの処理システム１は、高々１つの主映像ストリームと、保持すべき映像データが規定されていないヌルストリームとを含むことが許容されている多重化ストリームに、１つ以上の副映像ストリームを多重し、また多重化ストリームから、主映像ストリームと各副映像ストリームとを分離するシステムである。

本実施の形態では、背景技術の項で述べた簡素化した運用規定に従い、主映像ストリームおよび副映像ストリームがＨ．２６４符号化によるＴＳであり、また、多重化ストリームがＭＰＥＧ２−ＴＳに準じた多重化ストリームであるとして説明する。前述したように、簡素化した運用規定による多重化ストリームでは、高々１つの映像ＴＳと保持すべき映像データが規定されていないヌルＴＳとを含むことが許容されている。

通常、ヌルＴＳは、ビットレートの調整のために多重化ストリームに挿入され、映像再生機器において処理されることなく破棄される。

図１において、映像ストリームの処理システム１は、ＴＳ多重装置１０およびＴＳ分離装置２０から構成される。図１にはさらに、ストレージまたは伝送路３０が示されている。

ここで、ＴＳ多重装置１０が本発明の多重装置の一例であり、ＴＳ分離装置２０が本発明の分離装置の一例である。また、主ＴＳおよび副ＴＳが、それぞれ主映像ストリームおよび副映像ストリームの一例である。

なお、本明細書では、主および副という言葉は、複数の映像ストリームおよび複数のＴＳを区別するためにだけ用いられ、複数の映像ストリーム間および複数のＴＳ間でのフレームレートおよび解像度などの優劣を意味しない。

ＴＳ多重装置１０は、主ＴＳおよび１つ以上の副ＴＳを、多重化ストリームに多重する装置であり、ＴＳヌル化部１１およびＴＳ多重部１２から構成される。

ＴＳヌル化部１１は、１つ以上の副ＴＳをヌルＴＳに擬装する。
以下では、副ＴＳが擬装されたヌルＴＳを、ヌル化ＴＳと呼んで、有効な映像データを保持しない本来のヌルＴＳと区別する。１つ以上の副ＴＳをヌルＴＳに擬装することと、１つ以上の副ＴＳをヌル化ＴＳに変換することとは、同義である。

ＴＳ多重部１２は、ＴＳヌル化部１１で変換されたヌル化ＴＳと主ＴＳとを多重化ストリームに多重する。

ＴＳ多重装置１０で得られた多重化ストリームは、ストレージまたは伝送路３０において蓄積または伝送され、ＴＳ分離装置２０によって取得される。

ＴＳ分離装置２０は、多重化ストリームから、主ＴＳおよび１つ以上の副ＴＳを分離する装置であり、ＴＳ分離部２１およびＴＳ復元部２２から構成される。

ＴＳ分離部２１は、多重化ストリームから、主ＴＳおよびヌル化ＴＳを分離する。
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する。

なお、ＴＳ多重装置１０およびＴＳ分離装置２０は、個別に、または両者を一体として、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｕｎｉｔ）に記録されたプログラムを実行することでソフトウェア機能として実現されてもよく、また集積回路装置などのハードウェアとして実現されてもよい。

次に、このように構成されたＴＳ多重装置１０およびＴＳ分離装置２０の動作について、フローチャートを参照して説明する。

図２（Ａ）および図２（Ｂ）は、それぞれＴＳ多重装置１０およびＴＳ分離装置２０の動作の一例を示すフローチャートである。

まず、ＴＳ多重装置１０におけるＴＳ多重処理について説明する。
ＴＳ多重装置１０は、主ＴＳおよび副ＴＳを取得する（Ｓ１１、Ｓ１２）。

ＴＳヌル化部１１は、取得された各副ＴＳをヌル化ＴＳに変換する（Ｓ１３）。この変換は、例えば副ＴＳのパケットのヘッダを、ヌルＴＳを識別する特定のデータで書き換えることによって行われる。副ＴＳからヌル化ＴＳへの変換の一例を具体的に説明する。

図３は、ＭＰＥＧ２−ＴＳのパケットのフォーマットを表す図である。図３に示されるように、ＭＰＥＧ２−ＴＳのパケットは、ヘッダとペイロードとからなる。ヘッダは、複数のフィールドにそれぞれ制御用のデータを保持し、ペイロードは、映像データであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を保持する。

ヌルＴＳでは、ヘッダのＰＩＤフィールドには値０ｘ１ＦＦＦが設定される。この値０ｘ１ＦＦＦが、本発明のヌルストリームを識別する特定のデータの一例である。

ＴＳヌル化部１１は、副ＴＳの各パケットのヘッダのＰＩＤフィールドを、値０ｘ１ＦＦＦで書き換える。これにより、副ＴＳは、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持ち、かつペイロードには元々の副ＴＳのペイロードのＰＥＳデータを持つ複数のパケットで構成されたヌル化ＴＳに変換される。副ＴＳは、ヌルＴＳに擬装される結果、多重化ストリームに多重可能となる。

副ＴＳが複数ある場合、ＴＳヌル化部１１は、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別する値（以下、ＴＳ識別子）を設定する。

ＴＳ識別子は、ＰＩＤ値を表現するためのビット数よりも少ないビット数で表現できる値であることが望ましい。ＴＳ識別子として、例えば、副ＴＳのヘッダのＰＩＤフィールドに元々設定されていたＰＩＤ値に対応するハッシュ値を用いてもよい。

ＴＳ識別子は、例えば、図２に示されるような変換テーブルによって、ＰＩＤ値に対応付けて固定的にまたは変更可能に保持してもよい。変換テーブルを設ける場所は限定されない。変換テーブルは、例えば、ＴＳ多重装置１０の内部や、ストレージまたは伝送路３０を介してアクセス可能な外部に設けられる。

ＴＳ識別子は、変換テーブルで保持する代わりに、周知のハッシュ関数を用いて必要の都度、算出することもできる。

ＴＳ識別子は、必ずしもｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに設定しなくてもよい。同期用の固定値０ｘ４７が設定されるｓｙｎｃ ｂｙｔｅフィールドと前述したＰＩＤフィールドとを除く、ｔｒａｎｓｐｏｒｔ ｅｒｒｏｒ ｉｎｄｉｃａｔｏｒフィールド、ｐａｙｌｏａｄ ｕｎｉｔ ｓｔａｒｔ ｉｎｄｉｃａｔｏｒフィールド、ｔｒａｎｓｐｏｒｔ ｐｒｉｏｒｉｔｙフィールド、ｔｒａｎｓｐｏｒｔ ｓｃｒａｍｂｌｉｎｇ ｃｏｎｔｒｏｌフィールド、ａｄａｐｔａｔｉｏｎ ｆｉｅｌｄ ｃｏｎｔｒｏｌフィールド、およびｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドのうちの１つ、または２つ以上にまたがって、設定すればよい。

ＴＳ多重部１２は、ＴＳヌル化部１１で変換されたヌル化ＴＳと主ＴＳとを多重化ストリームに多重する（Ｓ１４）。

次に、ＴＳ分離装置２０におけるＴＳ分離処理について説明する。
ＴＳ分離装置２０は、ＴＳ多重装置１０で得られた多重化ストリームを、ストレージまたは伝送路３０を介して取得する（Ｓ２１）。

ＴＳ分離部２１は、取得された多重化ストリームから、主ＴＳを分離する（Ｓ２２）とともに、ヌル化ＴＳを分離する（Ｓ２３）。ヌル化ＴＳの分離は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの全てのデータが均一値（例えば全てのビットが０か１かに揃っている）ではないパケットを抽出することによって行われる。

本来のヌルＴＳのペイロードは、保持すべき映像データが規定されていないために、全てのビットが０か１かに揃っているから、そうでないパケットは、ペイロードに元々の副ＴＳのＰＥＳデータを持ったヌル化ＴＳのパケットであると判断できる。なお、本来のヌルＴＳと判断されたパケットは、従来と同様に破棄される。

ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する（Ｓ２４）。この復元は、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに、主ＴＳのヘッダのＰＩＤフィールドの値とは異なる値を設定することによって行われる。

副ＴＳが複数あり、ｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドなどにＴＳ識別子が設定されている場合は、設定されているＴＳ識別子に応じて異なるＰＩＤ値を、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに設定する。

ＰＩＤ値とＴＳ識別子との対応を定義した変換テーブルがある場合は、ＴＳ識別子に対応するＰＩＤ値を変換テーブルから参照して、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに設定する。

以上説明したように、映像ストリームの処理システム１によれば、ＴＳ多重装置１０は、高々１つの主ＴＳを含むことが許容されている多重化ストリームに、１つ以上の副ＴＳをヌルＴＳに擬装して多重し、ＴＳ分離装置２０は、ヌルＴＳに擬装された１つ以上の副ＴＳを含む多重化ストリームから、副ＴＳを復元するので、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームで、複数の映像ストリームを記録および伝送することが可能となる。

この構成によれば、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを、非常に広範な応用に活用することが可能になる。

例えば、課題の項で説明したように、高速撮影で得られた３０Ｈｚを超えるフレームレートのフレーム画像のうち、例えば３０Ｈｚのフレームレートに対応するフレーム画像を表す主ＴＳと、その他のフレーム画像を表す副ＴＳとを、多重化ストリームに多重して記録および伝送することが可能となる。

図示しない映像再生装置で、そのような多重化ストリームから分離した主ＴＳおよび副ＴＳによって表される全てのフレーム画像を３０Ｈｚのフレームレートで再生すれば、高画質スロー再生が実現される。また、主ＴＳによって表されるフレーム画像のみを通常速度で再生することもできる。

また、そのような多重化ストリームを、従来の一般的な映像再生装置で再生した場合、ヌルＴＳに擬装された副ＴＳは破棄され、主ＴＳによって表されるフレーム画像のみが通常速度で再生される。すなわち、この多重化ストリームは、既存のシステムとの互換性も高い。

さらには、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や両眼視による立体映像といった複数の映像ストリームで表されるコンテンツの記録および伝送が可能となる。

さらには、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、映像を複数の映像ストリームへと解像度的に階層符号化することによって超高解像度の映像コンテンツの記録および伝送が可能となる。

（変形例）
上記の実施の形態では、副ＴＳのヘッダを書き換えることによって、副ＴＳをヌル化ＴＳに変換するとして説明した。しかしながら、副ＴＳからヌル化ＴＳへの変換は、上記の例に限定されない。

以下では、副ＴＳからヌル化ＴＳへの変換の他の例について説明する。
図４は、副ＴＳからヌル化ＴＳへの変換の一変形例を説明する図である。

ＴＳ多重装置１０において、ＴＳヌル化部１１は、図４に示されるように、ヌルＴＳのペイロードに、副ＴＳの各パケットをペイロードの大きさに分割して得られる個々のデータを格納することにより、副ＴＳをヌル化ＴＳに変換してもよい。

図４では、見易さのために、ヘッダおよびペイロードの大きさを不同に描いているが、副ＴＳおよびヌル化ＴＳがＭＰＥＧ２−ＴＳである場合、ヘッダおよびペイロードの大きさは、それぞれ４バイトおよび１８４バイトである。

したがって、副ＴＳのパケットＰ１１のヘッダの４バイトのデータ、およびペイロードのＰＥＳデータの先頭の１８０バイトが、ヌル化ＴＳのパケットＰ２１のペイロードに格納される。

また、副ＴＳのパケットＰ１１のペイロードのＰＥＳデータの残りの４バイトが、ヌル化ＴＳの次のパケットＰ２２のペイロードに格納される。ヌル化ＴＳのパケットＰ２２のペイロードに示される斜線部分は、副ＴＳのパケットの分割の端数によって生じる空き領域（無効データ）を表す。

副ＴＳのパケットＰ１２のデータは、ヌル化ＴＳのパケットＰ２３以降に格納される。
副ＴＳが複数ある場合は、ＴＳヌル化部１１は、上述の変換を行った上に、実施の形態で説明したようにして、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別するＴＳ識別子を設定してもよい。

ＴＳ分離装置２０において、このような変換によって得られる多重化ストリームが取得されると、ＴＳ分離部２１は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの先頭のデータがヘッダのｓｙｎｃ ｂｙｔｅフィールドに固定的に設定される値０ｘ４７であるパケットとその次のパケットとを抽出することによって、多重化ストリームからヌル化ＴＳを分離する。

ＴＳ復元部２２は、ＴＳ分離装置２０で抽出されたパケットのペイロードに設定されているデータのうち、空き領域の無効データを除いたデータをつなぎ合わせることで、副ＴＳを復元する。

図５は、副ＴＳからヌル化ＴＳへの変換の他の変形例を説明する図である。
ＴＳ多重装置１０において、ＴＳヌル化部１１は、図５に示されるように、ヌルＴＳのペイロードを、副ＴＳの全体をペイロードの大きさに分割して得られる個々のデータで書き換えることにより、副ＴＳをヌル化ＴＳに変換してもよい。

副ＴＳが複数ある場合、ＴＳヌル化部１１は、上述の変換を行った上に、実施の形態で説明したようにして、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別するＴＳ識別子を設定してもよい。

ＴＳ分離装置２０において、ＴＳ分離部２１は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの全てのデータが均一値（例えば全てのビットが０か１かに揃っている）ではないパケットを抽出することによって、多重化ストリームからヌル化ＴＳを分離する。

ＴＳ復元部２２は、ＴＳ分離装置２０で抽出されたパケットのペイロードに設定されているデータを、パケットの大きさごとにつなぎ合わせることで、副ＴＳを復元する。

この構成によれば、副ＴＳをパケットごとに分割する場合と異なり、ヌル化ＴＳに分割の端数による空き領域が生じない。そのため、副ＴＳをより小さなヌル化ＴＳに変換できることはもちろん、ヌル化ＴＳから副ＴＳを復元する際に、空き領域にある無効なデータを除外する必要がなくなるので、処理を簡略化できる（集積回路装置などのハードウェアによる実現では、無効なデータを除外するための選択回路を省略できる）可能性がある。

以上、本発明のストリーム多重装置、分離装置、処理システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも本発明の範囲内に含まれる。

本発明の映像ストリームの多重装置、分離装置、処理システム、方法、およびプログラムは、映像記録再生装置、映像伝送装置などに利用できる。

実施の形態における処理システムの構成の一例を示す機能ブロック図 （Ａ）ＴＳ多重装置の動作の一例を示すフローチャート、（Ｂ）ＴＳ分離装置の動作の一例を示すフローチャート 副ＴＳからヌル化ＴＳへの変換の一例を示す図 副ＴＳからヌル化ＴＳへの変換の一例を示す図 副ＴＳからヌル化ＴＳへの変換の一例を示す図

符号の説明

１ 映像ストリームの処理システム
１０ ＴＳ多重装置
１１ ＴＳヌル化部
１２ ＴＳ多重部
２０ ＴＳ分離装置
２１ ＴＳ分離部
２２ ＴＳ復元部
３０ ストレージまたは伝送路

Claims (12)

1. １つの主映像ストリームと１つ以上の副映像ストリームとを多重化ストリームに多重する映像ストリームの多重装置であって、
   前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化部と、
   前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを前記多重化ストリームに多重するストリーム多重部と
   を備えることを特徴とする多重装置。
2. 前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットで構成され、
   前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつペイロードに前記１つ以上の副映像ストリームのパケットのペイロードのデータを持つ複数のパケットで構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
   ことを特徴とする請求項１に記載の多重装置。
3. 前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
   前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつペイロードに前記１つ以上の副映像ストリームの各パケットをペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
   ことを特徴とする請求項１に記載の多重装置。
4. 前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
   前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつペイロードに前記各副映像ストリームの全体をペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
   ことを特徴とする請求項１に記載の多重装置。
5. 前記ストリームヌル化部は、さらに、前記ヌル化ストリームの各パケットのヘッダに、それぞれの副映像ストリームを区別する値を設定する
   ことを特徴とする請求項２ないし請求項４のいずれか１項に記載の多重装置。
6. 主映像ストリームと、保持すべき映像データが規定されていないヌルストリームに擬装された１つ以上の副映像ストリームとが多重されている多重化ストリームから、前記１つ以上の副映像ストリームを分離する映像ストリームの分離装置であって、
   前記多重化ストリームから、前記主映像ストリームと、前記１つ以上の副映像ストリームが擬装されたヌルストリームとを分離するストリーム分離部と、
   前記分離されたヌルストリームから前記１つ以上の副映像ストリームを復元するストリーム復元部と
   を備えることを特徴とする分離装置。
7. 前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
   前記ストリーム分離部は、前記多重化ストリームから、ヘッダにヌルストリームを識別する特定のデータを持つパケットのうち、ペイロードの全てのデータが均一値ではないか、またはペイロードの先頭のデータがヘッダの先頭に設定されるべき同期用の特定のデータであるパケットを、ヌルストリームに擬装された前記１つ以上の副映像ストリームのパケットとして抽出することにより、前記１つ以上の副映像ストリームが擬装されたヌルストリームを分離する
   ことを特徴とする請求項６に記載の分離装置。
8. 前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
   前記ストリーム復元部は、前記分離されたヌルストリームの各パケットのヘッダに、主映像ストリーム以外の有効な映像ストリームを識別する特定のデータを設定するとこにより、前記ヌルストリームから前記１つ以上の副映像ストリームを復元する
   ことを特徴とする請求項６に記載の分離装置。
9. 請求項１ないし請求項５のいずれか１項に記載の多重装置と、
   請求項６ないし請求項８のいずれか１項に記載の分離装置と
   からなる映像ストリームの処理システム。
10. １つの主映像ストリームと１つ以上の副映像ストリームとを多重化ストリームに多重する映像ストリームの多重方法であって、
    前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化ステップと、
    前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを前記多重化ストリームに多重するストリーム多重ステップと
    を含むことを特徴とする多重方法。
11. 主映像ストリームと、保持すべき映像データが規定されていないヌルストリームに擬装された１つ以上の副映像ストリームとが多重されている多重化ストリームから、前記１つ以上の副映像ストリームを分離する映像ストリームの分離方法であって、
    前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
    前記多重化ストリームから、ヘッダにヌルストリームを識別する特定のデータを持つパケットのうち、ペイロードの全てのデータが均一値ではないか、またはペイロードの先頭のデータがヘッダの先頭に設定されるべき同期用の特定のデータであるパケットを、ヌルストリームに擬装された前記１つ以上の副映像ストリームのパケットとして抽出するストリーム分離ステップと、
    前記抽出されたパケットから前記１つ以上の副映像ストリームを復元するストリーム復元ステップと
    を含むことを特徴とする分離方法。
12. 請求項１０に記載の映像ストリームの多重方法に含まれるステップ、および請求項１１に記載の映像ストリームの分離方法に含まれるステップの、少なくともいずれか一方をコンピュータに実行させることを特徴とするプログラム。

Images