JP2011151784A - 動画像多重化装置、映像音声記録装置及び動画像多重化方法 - Google Patents

Abstract

【課題】記録した順と異なる順序で再生する場合でも、シームレスに再生可能な多重化ストリームを生成することができる動画像多重化装置を提供する。
【解決手段】ビデオ終端ＰＴＳを用いてストリーム終端システムクロックを含むストリーム終端情報を生成するストリーム終端情報生成部１２０と、ストリーム終端情報を先行の多重化ストリームのストリーム終端情報とし、当該ストリーム終端情報とビデオ先頭ＰＴＳとを用いて多重化開始システムクロックを算出する開始クロック算出部１１２と、ビデオ先頭ＰＴＳを後続の多重化ストリームのビデオ先頭ＰＴＳとし、当該ビデオ先頭ＰＴＳとストリーム終端情報とを用いて多重化終了システムクロックを算出する終了クロック算出部１１３と、多重化開始システムクロックで多重化を開始し多重化終了システムクロックで多重化を完結することで多重化ストリームを生成する多重化パック生成部１１１とを備える。
【選択図】図３

Description

本発明は、符号化された映像データ及び音声データを多重化して、シームレスに再生可能な多重化ストリームを生成する動画像多重化装置、映像音声記録装置及び動画像多重化方法に関する。

近年、ビデオカメラのハイビジョン化が進み、ＡＶＣＨＤ規格（例えば、非特許文献１参照）に準拠したビデオカメラの開発が進められている。ビデオカメラでは、記録開始から記録停止までを１つの映像音声ストリームファイルとして記録媒体に記録し、ＡＶＣＨＤ規格に従ったナビゲーションファイルを同じ記録媒体に記録する。これを繰り返し行うことで、記録媒体内には、複数の映像音声ストリームファイルと、当該映像音声ストリームファイルに応じたナビゲーションファイルが記録される。

ここで、ＡＶＣＨＤ規格のナビゲーションファイルには、以下の種類がある。

・ 映像音声ストリームに関する情報を記録したクリップ情報ファイル
・ 映像音声ストリームの再生順序に関する情報を記録したプレイリストファイル
・ プレイリストの再生順序に関する情報を記録したオブジェクトファイル
・ 記録媒体内の全体に関する情報を記録したインデックスファイル

ＡＶＣＨＤ規格では、プレイリストファイルに記録されている再生順に映像音声ストリームを再生する際に、連続して映像音声ストリームをシームレスに再生することを可能とする仕組みが導入されており、ＡＶＣＨＤ規格に準拠した再生機は、シームレス再生の指定がある映像音声ストリーム間をシームレスに再生することが定められている。

ただし、連続して映像音声ストリームをシームレスに再生するためには、映像音声ストリームを記録する際に、以下に示す、複数の条件を同時に満たさなければならない。

＜映像（ビデオ）の符号化情報に関する条件＞
・ 解像度が同じ
・ フレームレートが同じ
・ アスペクト比が同じ
・ 動き補償で用いる参照可能なピクチャ数が同じ
・ 接続箇所を含めて、仮想バッファモデルに準拠する（オーバーフロー、アンダーフローを発生させない）

＜音声（オーディオ）の符号化情報に関する条件＞
・ チャネル数が同じ
・ ビットレートが同じ
・ サンプリング周波数が同じ
・ 接続箇所を含めて、多重化システム（例えば、非特許文献２参照）の仮想バッファモデルに準拠する（オーバーフロー、アンダーフローを発生させない）
・ オーディオの先頭ＰＴＳは、ビデオの先頭ＰＴＳ以下でなければならない。
・ オーディオの最終ＰＴＳにオーディオ１フレームの長さを加えた時間は、ビデオの最終ＰＴＳにビデオ１フレームの長さを加えた時間以上でなければならない。

＜多重化に関する条件＞
多重化に関する条件について、図１を用いて説明する。図１は、先行ストリームＴＳ１と後続ストリームＴＳ２とをシームレス再生する際の連結部分のＰＴＳとシステムクロックとの関係を示す図である。ここで、以下の説明中にある「システムクロック」とは、多重化において一般的に使用される用語であり、「映像（ビデオ）を表示する時刻」または「音声を鳴らす時刻」を「ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：プレゼンテーションタイムスタンプ）」と呼ぶのと同一レベルで、「多重化された状態での時刻」を「システムクロック」と呼ぶ。

まず、先行ストリームＴＳ１（以下、単にＴＳ１という）及び後続ストリームＴＳ２（以下、単にＴＳ２という）のＰＴＳやシステムクロックを、以下のように定義する。

・ ＰＴＳ１＿１＿ｅｎｄ： ＴＳ１のビデオの最終ＰＴＳ
・ ＰＴＳ２＿２＿ｓｔａｒｔ： ＴＳ２のビデオの先頭ＰＴＳ
・ Ｔｐｐ： ＴＳ１のビデオの最終ピクチャの表示時間間隔
・ ＳＴＣ＿ｄｅｌｔａ＝ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ−ＰＴＳ２＿２＿ｓｔａｒｔ： ＴＳ１上のシステムクロックをＴＳ２上のシステムクロックに換算するための差分値
・ ＳＴＣ２＝ＳＴＣ１−ＳＴＣ＿ｄｅｌｔａ： ＴＳ１のクロックをＴＳ２上のクロックに換算する式
・ ＳＴＣ１＿１＿ｅｎｄ： ＴＳ１の最終パケットの終端データが送信されるＴＳ１上でのシステムクロック値
・ ＳＴＣ２＿２＿ｓｔａｒｔ： ＴＳ２の先頭パケットの先頭データが送信されるＴＳ２上でのシステムクロック値
・ ＳＴＣ２＿１＿ｅｎｄ＝ＳＴＣ１＿１＿ｅｎｄ−ＳＴＣ＿ｄｅｌｔａ： ＴＳ１の最終パケットの終端データが送信されるシステムクロック値をＴＳ２上のクロックに換算した値

そして、ＴＳ１とＴＳ２とをシームレスに再生するためには、多重化を行う際に、以下の条件を満たす必要がある。

＜シームレス接続を実現するための条件＞
・ ＳＴＣ２＿２＿ｓｔａｒｔ＞ＳＴＣ２＿１＿ｅｎｄ

即ち、ＴＳ１の最終パケットの次に、システムクロックを連続した状態で、ＴＳ２の先頭パケットを配置する。そして、ＴＳ２の先頭パケットを配置したＴＳ１上のシステムクロックに合わせて、ＴＳ２内全パケットに付加されているシステムクロック、ＰＴＳおよびＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）を、ＴＳ１上のシステムクロックに換算した際、ビデオのＰＴＳ、ＤＴＳが、所定のフレームレートに合うようにする。これにより、ＴＳ１とＴＳ２とのシームレス再生を可能とすることができる。

そして、従来、このようなシームレス再生を実現するストリームを生成するための技術が提案されている（例えば、特許文献１参照）。この技術によれば、先行ストリームの記録終了時に、次回に記録する後続ストリームの、仮想バッファ量、および多重化に関する情報を保持し、後続ストリームの記録開始時に、当該情報を用いて、後続ストリームの符号量の調整、および、後続ストリームの多重化のタイミングを合わせることで、シームレス再生可能なストリームを生成している。

特開２００９−４８９７号公報

ＡＶＣＨＤ Ｆｏｒｍａｔ Ｂｏｏｋ１ Ｐｌａｙｂａｃｋ Ｓｙｓｔｅｍ Ｂａｓｉｃ Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ＩＳＯ／ＩＥＣ １３８１８−１： ２０００ Ｉｎｆｏｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ： Ｐａｒｔ１ ： Ｓｙｓｔｅｍｓ （ＭＰＥＧ−２ Ｓｙｓｔｅｍ）

しかしながら、上記従来の技術では、記録した順に再生を行う際に、シームレス接続を保証することは可能であるが、記録した順と異なる順序で再生する場合には、シームレス接続の条件を全て満たすことはできない。

図２は、従来技術で記録した映像音声ストリームの再生順序を入れ替えた際に発生する問題点を示す図である。

例えば、図２に示すように、ビデオカメラで複数の映像音声ストリームを撮影し、記録媒体に記録したとする。そして、この記録媒体内の映像音声ストリームをパーソナルコンピュータ（以下、ＰＣという）に取り込み、再生順序の入れ替えを行い、別の記録媒体に記録したとする。この場合、連続するストリーム間によっては、上記の多重化に関する条件を満たせなくなり、シームレスに再生できなくなる場合がある。

また、例えば、同図に示すストリーム＃１とストリーム＃３との間のストリーム＃２を削除した場合も、同様に、ストリーム＃１とストリーム＃３とがシームレスに再生できなくなる場合がある。

このため、再生順序を入れ替えたりストリームを削除した後にシームレス接続を実現するには、各後続ストリームが再生順に、先行ストリームにシームレスに接続できるように、後続ストリームを再多重化しなければならず、処理コストが大きくなってしまう。このように、従来の技術では、記録した順と異なる順序で再生する場合に、シームレスに再生できなくなる場合があるという課題がある。

本発明は、上記従来の課題を解決するものであり、記録した順と異なる順序で再生する場合でも、シームレスに再生可能な多重化ストリームを生成することができる動画像多重化装置、映像音声記録装置及び動画像多重化方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の一態様に係る動画像多重化装置は、符号化された映像データ及び音声データを多重化して、先行ストリーム及び後続ストリームとシームレスに再生可能な多重化ストリームを生成する動画像多重化装置であって、前記映像データの終端のＰＴＳ（プレゼンテーションタイムスタンプ）であるビデオ終端ＰＴＳを用いて、前記多重化ストリームの最終のパケットの終端データが送信される時刻を示すストリーム終端システムクロックを含むストリーム終端情報を生成するストリーム終端情報生成部と、前記ストリーム終端情報生成部が生成したストリーム終端情報を前記先行ストリームのストリーム終端情報とし、当該ストリーム終端情報と前記映像データの先頭のＰＴＳであるビデオ先頭ＰＴＳとを用いて、多重化を開始する多重化開始システムクロックを算出する開始クロック算出部と、前記ビデオ先頭ＰＴＳを前記後続ストリームのビデオ先頭ＰＴＳとし、当該ビデオ先頭ＰＴＳと前記ストリーム終端情報生成部が生成したストリーム終端情報とを用いて、多重化を完結する多重化終了システムクロックを算出する終了クロック算出部と、前記開始クロック算出部が算出した多重化開始システムクロックで多重化を開始し、前記終了クロック算出部が算出した多重化終了システムクロックで多重化を完結することで、前記多重化ストリームを生成する多重化パック生成部とを備える。

これによれば、ストリーム終端情報を先行ストリームのストリーム終端情報として多重化開始システムクロックを算出し、ビデオ先頭ＰＴＳを後続ストリームのビデオ先頭ＰＴＳとして多重化終了システムクロックを算出し、多重化開始システムクロックで多重化を開始して多重化終了システムクロックで多重化を完結することで、多重化ストリームを生成する。つまり、仮想的に設定した先行ストリームとシームレスに接続しつつ、仮想的に設定した後続ストリームともシームレスに接続することができる多重化ストリームを生成することができる。このように、全ての多重化ストリームを仮想的に設定した先行ストリーム及び仮想的に設定した後続ストリームとシームレスに接続できるように生成することで、多重化ストリームをどのような順序で再生する場合でも、全ての多重化ストリームをシームレスに再生することができる。このため、記録した順と異なる順序で再生する場合でも、シームレスに再生可能な多重化ストリームを生成することができる。

また、好ましくは、前記開始クロック算出部は、予め定められた前記ビデオ終端ＰＴＳに対応して前記ストリーム終端情報生成部が生成したストリーム終端情報と、前記多重化パック生成部から取得した前記ビデオ先頭ＰＴＳとを用いて、前記多重化開始システムクロックを算出する。

これによれば、ユーザが予め定めたビデオ終端ＰＴＳから生成されるストリーム終端情報と、多重化パック生成部から取得したビデオ先頭ＰＴＳとから、多重化開始システムクロックを算出する。このため、容易に、ストリーム終端情報とビデオ先頭ＰＴＳとを取得し、多重化開始システムクロックを算出することができる。

また、好ましくは、前記終了クロック算出部は、前記多重化パック生成部から取得される前記ビデオ終端ＰＴＳに対応して前記ストリーム終端情報生成部が生成したストリーム終端情報と、前記ビデオ先頭ＰＴＳとを用いて、前記多重化終了システムクロックを算出する。

これによれば、多重化パック生成部から取得されるビデオ終端ＰＴＳから生成されるストリーム終端情報と、ビデオ先頭ＰＴＳとを用いて、多重化終了システムクロックを算出する。このため、容易に、ストリーム終端情報とビデオ先頭ＰＴＳとを取得し、多重化終了システムクロックを算出することができる。

また、好ましくは、前記ストリーム終端情報生成部は、前記音声データの終端のＰＴＳと前記映像データの終端のＰＴＳとの差分に応じて、前記多重化ストリームの最終のパケットの終端データが送信されるシステムクロックを変化させることで、前記ストリーム終端システムクロックを算出し、算出した前記ストリーム終端システムクロックと前記ビデオ終端ＰＴＳとを含む前記ストリーム終端情報を生成する。

これによれば、音声データの終端ＰＴＳと映像データの終端ＰＴＳとの差分を考慮して、ストリーム終端システムクロックを算出し、ストリーム終端情報を生成する。ここで、例えばＡＶＣＨＤ規格では、音声データの終端ＰＴＳは、映像データの終端ＰＴＳよりも最大で音声データ１フレーム分の時間だけ遅れる。このため、この音声データ１フレーム分の時間を考慮してストリーム終端システムクロックを算出することにより、シームレスに再生可能な多重化ストリームを生成することができる。

また、さらに好ましくは、前記ストリーム終端情報生成部は、前記音声データのビットレートとサンプリング周波数とを含む音声符号化パラメータを用いて、前記音声データの１フレームのサイズと前記音声データの１フレームの時間とを含む音声フレーム情報を算出する音声フレーム情報算出部と、算出された前記音声フレーム情報と、前記ビデオ終端ＰＴＳと、前記音声データのパケットサイズとバッファサイズとリークレートとを含む音声仮想バッファモデルパラメータとを用いて、前記ストリーム終端システムクロックを算出するストリーム終端システムクロック算出部とを備える。

これによれば、音声符号化パラメータを用いて音声フレーム情報を算出し、音声フレーム情報とビデオ終端ＰＴＳと音声仮想バッファモデルパラメータとを用いて、ストリーム終端システムクロックを算出する。ここで、音声符号化パラメータは装置の特性によって定まる値であり、ビデオ終端ＰＴＳはユーザによって予め定められた値であり、音声仮想バッファモデルパラメータは規格によって定められた値である。このため、これらの値を用いて、容易に、ストリーム終端システムクロックを算出することができる。

また、好ましくは、ＡＶＣＨＤ規格の前記映像データ及び前記音声データを多重化して、前記多重化ストリームを生成する。

これによれば、ＡＶＣＨＤ規格の映像データ及び音声データを多重化して、多重化ストリームを生成する。つまり、ＡＶＣＨＤ規格において、シームレスに再生可能な多重化ストリームを生成することができる。

また、本発明は、このような動画像多重化装置として実現することができるだけでなく、当該動画像多重化装置を備え、当該動画像多重化装置が生成した多重化ストリームを記録する映像音声記録装置としても実現することができる。また、本発明は、当該動画像多重化装置や映像音声記録装置を構成する各処理部を備える集積回路として実現したり、当該各処理部の処理をステップとする動画像多重化方法として実現したりすることもできる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明に係る動画像多重化装置によれば、記録した順と異なる順序で再生する場合でも、シームレスに再生可能な多重化ストリームを生成することができる。

先行ストリームと後続ストリームとをシームレス再生する際の連結部分のＰＴＳとシステムクロックとの関係を示す図である。 従来技術で記録した映像音声ストリームの再生順序を入れ替えた際に発生する問題点を示す図である。 本発明の実施の形態における動画像多重化装置を備える映像音声記録装置の機能構成を示すブロック図である。 本発明の実施の形態におけるストリーム終端情報生成部の機能構成を示すブロック図である。 本発明の実施の形態における動画像多重化装置の動作の一例を示すフローチャートである。 本発明の実施の形態におけるストリーム終端情報生成部がストリーム終端情報を生成する処理を示すフローチャートである。 本発明の実施の形態における多重化の完結時の終端システムクロックの調整を示す図である。 本発明の実施の形態における映像音声記録装置を内蔵したビデオカメラの外観図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

図３は、本発明の実施の形態における動画像多重化装置１００を備える映像音声記録装置１０の機能構成を示すブロック図である。

映像音声記録装置１０は、映像データと音声データとを記録する装置であり、例えば、ＡＶＣＨＤ規格に準拠したビデオカメラなどの撮像装置に備えられる。同図に示すように、映像音声記録装置１０は、映像データと音声データとが入力され多重化ストリームを出力する動画像符号化装置１１と、出力された当該多重化ストリームを記憶するメモリ１２とを備えている。また、動画像符号化装置１１は、動画像多重化装置１００、映像符号化部２００及び音声符号化部３００を備えている。

映像符号化部２００は、入力される映像データを符号化し、符号化した映像データを動画像多重化装置１００に出力する。

音声符号化部３００は、入力される音声データを符号化し、符号化した音声データを動画像多重化装置１００に出力する。

動画像多重化装置１００は、符号化された映像データ及び音声データを多重化して、先行ストリーム及び後続ストリームとシームレスに再生可能な多重化ストリームを生成する装置である。例えば、動画像多重化装置１００は、ＡＶＣＨＤ規格の映像データ及び音声データを多重化して、多重化ストリームを生成する。動画像多重化装置１００は、多重化部１１０及びストリーム終端情報生成部１２０を備えている。

ストリーム終端情報生成部１２０は、多重化ストリームの終端の情報であるストリーム終端情報を生成する。このストリーム終端情報生成部１２０が有する機能の詳細な説明及びストリーム終端情報の詳細な説明については、後述する。

多重化部１１０は、符号化された映像データと符号化された音声データとを入力とし、映像と音声の符号化データを多重化して、多重化ストリームを出力する。多重化部１１０は、多重化パック生成部１１１、開始クロック算出部１１２及び終了クロック算出部１１３を備えている。

多重化パック生成部１１１は、入力された映像データ及び入力された音声データの各符号化データをパケット単位に分解し、多重化して多重化ストリームとして出力する。

具体的には、多重化パック生成部１１１は、開始クロック算出部１１２が算出した多重化開始システムクロックで多重化を開始し、終了クロック算出部１１３が算出した多重化終了システムクロックで多重化を完結することで、多重化ストリームを生成する。

開始クロック算出部１１２は、ストリーム終端情報生成部１２０が生成したストリーム終端情報を先行ストリームのストリーム終端情報とし、当該ストリーム終端情報と映像データの先頭のＰＴＳであるビデオ先頭ＰＴＳとを用いて、多重化を開始する多重化開始システムクロックを算出する。具体的には、開始クロック算出部１１２は、予め定められたビデオ終端ＰＴＳに対応してストリーム終端情報生成部１２０が生成したストリーム終端情報と、多重化パック生成部１１１から取得したビデオ先頭ＰＴＳとを用いて、多重化開始システムクロックを算出する。

つまり、開始クロック算出部１１２では、多重化開始時に多重化パック生成部１１１から入力される先頭の映像データのＰＴＳと、ストリーム終端情報生成部１２０が生成したストリーム終端情報から得られる仮想的な先行ストリームの終端情報とを用いて、現在多重化しているストリームが、仮想的な先行ストリームにシームレスに接続できるよう、多重化開始システムクロックを算出する。

終了クロック算出部１１３は、ビデオ先頭ＰＴＳを後続ストリームのビデオ先頭ＰＴＳとし、当該ビデオ先頭ＰＴＳとストリーム終端情報生成部１２０が生成したストリーム終端情報とを用いて、多重化を完結する多重化終了システムクロックを算出する。具体的には、終了クロック算出部１１３は、多重化パック生成部１１１から取得されるビデオ終端ＰＴＳに対応してストリーム終端情報生成部１２０が生成したストリーム終端情報と、ビデオ先頭ＰＴＳとを用いて、多重化終了システムクロックを算出する。

つまり、終了クロック算出部１１３では、多重化終了時に多重化パック生成部１１１から入力される最終の映像データのＰＴＳと、仮想的な後続ストリームの先頭情報とを用いて、仮想的な後続ストリームが、現在多重化しているストリームにシームレスに接続できるよう、多重化終了システムクロックを算出する。

なお、先行ストリームの終端情報には、以下の情報を準備する。

・ 最終の映像データのＰＴＳ（上記のＰＴＳ１＿１＿ｅｎｄ）
・ 最終の映像データの表示時間間隔（上記のＴｐｐ）
・ 最終パケットの終端データが送信されるシステムクロック（上記のＳＴＣ１＿１＿ｅｎｄ）

また、後続ストリームの先頭情報には、以下の情報を準備する。

・ 先頭の映像データのＰＴＳ（上記のＰＴＳ２＿２＿ｓｔａｒｔ）
・ 先頭パケットの先頭データが送信されるシステムクロック（上記のＳＴＣ２＿２＿ｓｔａｒｔ）

次に、ストリーム終端情報生成部１２０が有する機能の詳細な説明、及びストリーム終端情報の詳細な説明を行う。

図４は、本発明の実施の形態におけるストリーム終端情報生成部１２０の機能構成を示すブロック図である。

ストリーム終端情報生成部１２０は、映像データの終端のＰＴＳであるビデオ終端ＰＴＳを用いて、多重化ストリームの最終のパケットの終端データが送信される時刻を示すストリーム終端システムクロックを含むストリーム終端情報を生成する。具体的には、ストリーム終端情報生成部１２０は、音声データの終端のＰＴＳと映像データの終端のＰＴＳとの差分に応じて、多重化ストリームの最終のパケットの終端データが送信されるシステムクロックを変化させることで、ストリーム終端システムクロックを算出し、算出したストリーム終端システムクロックとビデオ終端ＰＴＳとを含むストリーム終端情報を生成する。

ここで、ストリーム終端情報生成部１２０は、音声フレーム情報算出部１２１及びストリーム終端システムクロック算出部１２２を備えている。

音声フレーム情報算出部１２１は、音声データのビットレートとサンプリング周波数とを含む音声符号化パラメータを用いて、音声データの１フレームのサイズと音声データの１フレームの時間とを含む音声フレーム情報を算出する。

ストリーム終端システムクロック算出部１２２は、音声フレーム情報算出部１２１が算出した音声フレーム情報と、ビデオ終端ＰＴＳと、音声仮想バッファモデルパラメータとを用いて、ストリーム終端システムクロックを算出する。ここで、音声仮想バッファモデルパラメータとは、音声データのパケットサイズとバッファサイズとリークレートとを含むパラメータである。

次に、動画像多重化装置１００が多重化ストリームを生成する処理について、詳細に説明する。

図５は、本発明の実施の形態における動画像多重化装置１００の動作の一例を示すフローチャートである。

同図に示すように、まず、ストリーム終端情報生成部１２０は、ストリーム終端情報を生成する（Ｓ１０２）。このストリーム終端情報生成部１２０がストリーム終端情報を生成する処理の詳細な説明については、後述する。

そして、開始クロック算出部１１２は、多重化開始システムクロックを算出する（Ｓ１０４）。具体的には、開始クロック算出部１１２は、図１での説明における以下の数式を用いて、多重化開始システムクロックを算出する。

・ＳＴＣ＿ｄｅｌｔａ＝ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ−ＰＴＳ２＿２＿ｓｔａｒｔ
・ＳＴＣ２＿１＿ｅｎｄ＝ＳＴＣ１＿１＿ｅｎｄ−ＳＴＣ＿ｄｅｌｔａ
・ＳＴＣ２＿２＿ｓｔａｒｔ＞ＳＴＣ２＿１＿ｅｎｄ

つまり、開始クロック算出部１１２は、予め定められたビデオ終端ＰＴＳに対応してストリーム終端情報生成部１２０が生成したビデオ終端ＰＴＳ（ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ）とストリーム終端システムクロック（ＳＴＣ１＿１＿ｅｎｄ）とを含むストリーム終端情報を、先行ストリームのストリーム終端情報として取得する。また、開始クロック算出部１１２は、多重化パック生成部１１１からビデオ先頭ＰＴＳ（ＰＴＳ２＿２＿ｓｔａｒｔ）を取得する。そして、開始クロック算出部１１２は、取得したＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ、ＳＴＣ１＿１＿ｅｎｄ及びＰＴＳ２＿２＿ｓｔａｒｔを用いて、多重化開始システムクロック（ＳＴＣ２＿２＿ｓｔａｒｔ）を算出する。

そして、終了クロック算出部１１３は、多重化終了システムクロックを算出する（Ｓ１０６）。具体的には、終了クロック算出部１１３は、図１での説明における以下の数式を用いて、多重化終了システムクロックを算出する。

・ＳＴＣ＿ｄｅｌｔａ＝ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ−ＰＴＳ２＿２＿ｓｔａｒｔ
・ＳＴＣ２＿１＿ｅｎｄ＝ＳＴＣ１＿１＿ｅｎｄ−ＳＴＣ＿ｄｅｌｔａ

つまり、終了クロック算出部１１３は、ビデオ先頭ＰＴＳ（ＰＴＳ２＿２＿ｓｔａｒｔ）を後続ストリームのビデオ先頭ＰＴＳとして、多重化パック生成部１１１から取得する。また、終了クロック算出部１１３は、多重化パック生成部１１１から取得されるビデオ終端ＰＴＳに対応してストリーム終端情報生成部１２０が生成したビデオ終端ＰＴＳ（ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ）とストリーム終端システムクロック（ＳＴＣ１＿１＿ｅｎｄ）とを含むストリーム終端情報を取得する。そして、終了クロック算出部１１３は、取得したＰＴＳ２＿２＿ｓｔａｒｔ、ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ及びＳＴＣ１＿１＿ｅｎｄを用いて、多重化終了システムクロック（ＳＴＣ２＿１＿ｅｎｄ）を算出する。

次に、多重化パック生成部１１１は、開始クロック算出部１１２が算出した多重化開始システムクロックで多重化を開始し、終了クロック算出部１１３が算出した多重化終了システムクロックで多重化を完結することで、多重化ストリームを生成する（Ｓ１０８）。

以上のように、本発明の実施の形態に係る動画像多重化装置１００においては、仮想的な先行ストリームの終端情報に適切な値を設定し、かつ、仮想的な後続ストリームの先頭情報に、現在多重化しているストリームの先頭情報を用いることを最大の特徴とする。仮想的な後続ストリームを、現在多重化しているストリームとみなし、現在多重化しているストリームの終端を、現在多重化しているストリームの先頭とシームレスに接続できるように、多重化を完結させることにより、仮想的な先行ストリームの終端と同一条件のストリームを生成することが可能となる。

これにより、複数のストリームを記録する際、仮想的な先行ストリームの終端情報を、一定に保つことで、記録した全てのストリームは、仮想的な先行ストリームにシームレスに接続することができ、かつ、全てのストリームの終端は、仮想的な先行ストリームの終端と、条件を一致させることができる。即ち、記録した全てのストリームは、他のどのストリームともシームレスに接続することができる。

次に、仮想的な先行ストリームの終端情報に適切な値を設定する手段として、ストリーム終端情報生成部１２０がストリーム終端情報を生成する処理（図５のＳ１０２）について、詳細に説明する。

図６は、本発明の実施の形態におけるストリーム終端情報生成部１２０がストリーム終端情報を生成する処理を示すフローチャートである。

同図に示すように、まず、音声フレーム情報算出部１２１は、音声フレーム情報を算出する（Ｓ２０２）。具体的には、音声フレーム情報算出部１２１は、音声データのビットレートとサンプリング周波数とを含む音声符号化パラメータを用いて、音声データの１フレームのサイズと音声データの１フレームの時間とを含む音声フレーム情報を算出する。

さらに具体的には、音声フレーム情報算出部１２１は、音声符号化パラメータを用いて、音声符号化規格で定められている値を音声フレーム情報として算出する。つまり、音声データの１フレームのサイズ、および音声データの１フレームの長さ（時間）として、音声データのビットレートとサンプリング周波数に応じて音声符号化規格で定められている値が用いられる。

例えば、音声符号化形式がＤｏｌｂｙＤｉｇｉｔａｌ（ＡＣ−３）で、ビットレートが３８４０００ｂｐｓ、サンプリング周波数が４８０００Ｈｚの場合、
・ 音声データの１フレームのサイズ（Ａ＿ｓｉｚｅ）＝１５３６ｂｙｔｅ
・ 音声データの１フレームの長さ（Ａ＿ｔｉｍｅ）＝１５３６／４８０００秒
である（例えば、非特許文献：ＥＴＳＩ ＴＳ １０２ ３６６， Ａｕｄｉｏ Ｃｏｍｐｒｅｓｓｉｏｎ （ＡＣ−３， Ｅｎｈａｎｃｅｄ ＡＣ−３） Ｓｔａｎｄａｒｄ （Ｆｅｂ ２００５）参照）。

次に、ストリーム終端システムクロック算出部１２２は、ストリーム終端システムクロックを算出する（Ｓ２０４）。具体的には、ストリーム終端システムクロック算出部１２２は、音声データの終端のＰＴＳと映像データの終端のＰＴＳとの差分に応じて、多重化ストリームの最終のパケットの終端データが送信されるシステムクロックを変化させることで、ストリーム終端システムクロックを算出する。

つまり、ＡＶＣＨＤ規格では、音声データの終端ＰＴＳは、映像データの終端ＰＴＳよりも最大で音声データ１フレーム分の時間だけ遅れるため、ストリーム終端システムクロック算出部１２２は、この音声データ１フレーム分の時間を考慮してストリーム終端システムクロックを算出する。

さらに具体的には、ストリーム終端システムクロック算出部１２２は、ビデオ終端ＰＴＳ（ＰＴＳ１＿１＿ｅｎｄ＋Ｔｐｐ＝Ｖ＿ｅｎｄ）と、音声フレーム情報算出部１２１が算出した音声フレーム情報（Ａ＿ｓｉｚｅ、Ａ＿ｔｉｍｅ）と、音声仮想バッファモデルパラメータとを用いて、以下の手順でストリーム終端システムクロックを算出する。

ここで、音声仮想バッファモデルパラメータに含まれる各パラメータは、映像音声規格によって定まる値が用いられる。例えば、ＡＶＣＨＤ規格で音声符号化形式に、ＤｏｌｂｙＤｉｇｉｔａｌ（ＡＣ−３）が用いられる場合、音声仮想バッファモデルパラメータに含まれる各パラメータは、以下のように定まる。

・ パケットサイズ（Ｐ＿ｓｉｚｅ）＝１８８ｂｙｔｅ
・ トランスポートバッファサイズ（ＴＢ４＿ｓｉｚｅ）＝５１２ｂｙｔｅ
・ エレメンタリバッファサイズ（Ｂ４＿ｓｉｚｅ）＝１８６４０ｂｙｔｅ
・ リークレート（Ｒｘ４）＝２ｘ１０＾６ｂｉｔ／ｓｅｃ

ストリーム終端システムクロック算出部１２２は、これらの各パラメータの値を用いて、以下の数式により、ストリーム終端システムクロック（ＳＴＣ＿ｅｎｄ）を算出する。

・ＳＴＣ＿ｅｎｄ＝Ｖ＿ｅｎｄ−｛Ｂ４＿ｓｉｚｅ＊（Ａ＿ｔｉｍｅ−
Ｐ＿ｓｉｚｅ／Ｒｘ４）／Ａ＿ｓｉｚｅ｝

ここで、パケットサイズとは、音声データのパケットサイズであり、エレメンタリバッファサイズとは、音声データのエレメンタリデータのバッファであるエレメンタリバッファのサイズであり、リークレートとは、音声データのエレメンタリバッファへのリークレートである。また、ストリーム終端システムクロックであるＳＴＣ＿ｅｎｄは、先行ストリームのストリーム終端システムクロックの場合は、ＳＴＣ１＿１＿ｅｎｄとなる。

次に、ストリーム終端情報生成部１２０は、ビデオ終端ＰＴＳと、ストリーム終端システムクロック算出部１２２が算出したストリーム終端システムクロックとを含むストリーム終端情報を生成する（Ｓ２０６）。

ここで、仮想的な先行ストリームのストリーム終端情報は、ビデオの終端ＰＴＳとしてユーザによって定められる適当な値（例えば、１０ｓｅｃ）と、装置の特性によって定まる音声符号化パラメータと、映像音声規格によって定まる音声符号化情報を基に得られる音声仮想バッファモデルパラメータとを、ストリーム終端情報生成部１２０に与えることにより得られる。

また、本発明の実施の形態に係る映像音声記録装置１０は、記録終了時に、ストリーム終端システムクロックを、ビデオ終端ＰＴＳと一定の条件で完結させることを特徴とする。記録終了時のストリーム終端システムクロックは、ストリーム終端情報生成部１２０を用いて決定される。記録を完結させる目標値となるストリーム終端情報は、ビデオ終端ＰＴＳに記録を完結するビデオのＰＴＳを設定し、記録していた音声符号化パラメータと、音声符号化情報を基に得られる音声仮想バッファモデルパラメータとを、ストリーム終端情報生成部１２０に与えることにより得られる。

そして、得られたストリーム終端情報におけるストリーム終端システムクロックでストリームファイルが完結するように、動画像多重化装置１００は、図７に示すように、多重化ストリームの終端（同図に示す多重化の終端システムクロック）から、目標のストリーム終端システムクロック（同図に示す完結目標の終端システムクロック）までを、Ｎｕｌｌパケット（エレメンタリデータを持たないパディングのパケット）を挿入して調整することを特徴とする。図７は、多重化の完結時の終端システムクロックの調整を示す図である。

以上のようにして生成された、複数の多重化ストリームは、その再生順序を入れ替えても、シームレスに接続するための条件を満たせるため、再生順序の入れ替えを行っても、再多重化を行う必要がなくなり、処理時間の短縮を図ることができる。

以上により、ストリーム終端情報生成部１２０がストリーム終端情報を生成する処理（図５のＳ１０２）は、終了する。

以上のように、本発明の実施の形態に係る動画像多重化装置１００によれば、ストリーム終端情報を先行ストリームのストリーム終端情報として多重化開始システムクロックを算出し、ビデオ先頭ＰＴＳを後続ストリームのビデオ先頭ＰＴＳとして多重化終了システムクロックを算出し、多重化開始システムクロックで多重化を開始して多重化終了システムクロックで多重化を完結することで、多重化ストリームを生成する。つまり、仮想的に設定した先行ストリームとシームレスに接続しつつ、仮想的に設定した後続ストリームともシームレスに接続することができる多重化ストリームを生成することができる。このように、全ての多重化ストリームを仮想的に設定した先行ストリーム及び仮想的に設定した後続ストリームとシームレスに接続できるように生成することで、多重化ストリームをどのような順序で再生する場合でも、全ての多重化ストリームをシームレスに再生することができる。このため、記録した順と異なる順序で再生する場合でも、シームレスに再生可能な多重化ストリームを生成することができる。

また、開始クロック算出部１１２は、ユーザが予め定めたビデオ終端ＰＴＳから生成されるストリーム終端情報と、多重化パック生成部１１１から取得したビデオ先頭ＰＴＳとから、多重化開始システムクロックを算出する。このため、容易に、ストリーム終端情報とビデオ先頭ＰＴＳとを取得し、多重化開始システムクロックを算出することができる。

また、終了クロック算出部１１３は、多重化パック生成部１１１から取得されるビデオ終端ＰＴＳから生成されるストリーム終端情報と、ビデオ先頭ＰＴＳとを用いて、多重化終了システムクロックを算出する。このため、容易に、ストリーム終端情報とビデオ先頭ＰＴＳとを取得し、多重化終了システムクロックを算出することができる。

また、音声データの終端ＰＴＳと映像データの終端ＰＴＳとの差分を考慮して、ストリーム終端システムクロックを算出し、ストリーム終端情報を生成する。ここで、例えばＡＶＣＨＤ規格では、音声データの終端ＰＴＳは、映像データの終端ＰＴＳよりも最大で音声データ１フレーム分の時間だけ遅れる。このため、この音声データ１フレーム分の時間を考慮してストリーム終端システムクロックを算出することにより、シームレスに再生可能な多重化ストリームを生成することができる。

また、音声符号化パラメータを用いて音声フレーム情報を算出し、音声フレーム情報とビデオ終端ＰＴＳと音声仮想バッファモデルパラメータとを用いて、ストリーム終端システムクロックを算出する。ここで、音声符号化パラメータは装置の特性によって定まる値であり、ビデオ終端ＰＴＳはユーザによって予め定められた値であり、音声仮想バッファモデルパラメータは規格によって定められた値である。このため、これらの値を用いて、容易に、ストリーム終端システムクロックを算出することができる。

また、ＡＶＣＨＤ規格の映像データ及び音声データを多重化して、多重化ストリームを生成する。つまり、ＡＶＣＨＤ規格において、シームレスに再生可能な多重化ストリームを生成することができる。

また、本発明は、このような動画像多重化装置１００として実現することができるだけでなく、動画像多重化装置１００を備え、動画像多重化装置１００が生成した多重化ストリームを記録する映像音声記録装置１０としても実現することができる。また、本発明は、動画像多重化装置１００を構成する各処理部の処理をステップとする動画像多重化方法として実現したりすることもできる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

また、本発明は、動画像多重化装置１００や映像音声記録装置１０を構成する各処理部を備える集積回路であるＬＳＩとして実現することもできる。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。具体的には、例えば、図３に示された動画像多重化装置１００に含まれる各機能ブロックが１チップ化されていてもよいし、動画像符号化装置１１に含まれる各機能ブロックが１チップ化されていてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

ここで、例えば、本発明に係る動画像多重化装置１００を備える映像音声記録装置１０は、図８に図示されたようなＡＶＣＨＤ規格に準拠したビデオカメラなどの撮像装置に内蔵される。本発明に係る動画像多重化装置１００により、記録した順と異なる順序で再生する場合でも、シームレスに再生可能な多重化ストリームを生成することができるビデオカメラが実現される。

以上、本発明に係る動画像多重化装置１００について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。

つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明に係る動画像多重化装置は、シームレスに再生することを定めた映像音声規格に従った映像音声データの多重化ストリームを生成する装置や当該多重化ストリームを記録する装置に活用することができる。

１０ 映像音声記録装置
１１ 動画像符号化装置
１２ メモリ
１００ 動画像多重化装置
１１０ 多重化部
１１１ 多重化パック生成部
１１２ 開始クロック算出部
１１３ 終了クロック算出部
１２０ ストリーム終端情報生成部
１２１ 音声フレーム情報算出部
１２２ ストリーム終端システムクロック算出部
２００ 映像符号化部
３００ 音声符号化部

Claims (10)

1. 符号化された映像データ及び音声データを多重化して、先行ストリーム及び後続ストリームとシームレスに再生可能な多重化ストリームを生成する動画像多重化装置であって、
   前記映像データの終端のＰＴＳ（プレゼンテーションタイムスタンプ）であるビデオ終端ＰＴＳを用いて、前記多重化ストリームの最終のパケットの終端データが送信される時刻を示すストリーム終端システムクロックを含むストリーム終端情報を生成するストリーム終端情報生成部と、
   前記ストリーム終端情報生成部が生成したストリーム終端情報を前記先行ストリームのストリーム終端情報とし、当該ストリーム終端情報と前記映像データの先頭のＰＴＳであるビデオ先頭ＰＴＳとを用いて、多重化を開始する多重化開始システムクロックを算出する開始クロック算出部と、
   前記ビデオ先頭ＰＴＳを前記後続ストリームのビデオ先頭ＰＴＳとし、当該ビデオ先頭ＰＴＳと前記ストリーム終端情報生成部が生成したストリーム終端情報とを用いて、多重化を完結する多重化終了システムクロックを算出する終了クロック算出部と、
   前記開始クロック算出部が算出した多重化開始システムクロックで多重化を開始し、前記終了クロック算出部が算出した多重化終了システムクロックで多重化を完結することで、前記多重化ストリームを生成する多重化パック生成部と
   を備える動画像多重化装置。
2. 前記開始クロック算出部は、予め定められた前記ビデオ終端ＰＴＳに対応して前記ストリーム終端情報生成部が生成したストリーム終端情報と、前記多重化パック生成部から取得した前記ビデオ先頭ＰＴＳとを用いて、前記多重化開始システムクロックを算出する
   請求項１に記載の動画像多重化装置。
3. 前記終了クロック算出部は、前記多重化パック生成部から取得される前記ビデオ終端ＰＴＳに対応して前記ストリーム終端情報生成部が生成したストリーム終端情報と、前記ビデオ先頭ＰＴＳとを用いて、前記多重化終了システムクロックを算出する
   請求項１または２に記載の動画像多重化装置。
4. 前記ストリーム終端情報生成部は、前記音声データの終端のＰＴＳと前記映像データの終端のＰＴＳとの差分に応じて、前記多重化ストリームの最終のパケットの終端データが送信されるシステムクロックを変化させることで、前記ストリーム終端システムクロックを算出し、算出した前記ストリーム終端システムクロックと前記ビデオ終端ＰＴＳとを含む前記ストリーム終端情報を生成する
   請求項１〜３のいずれか１項に記載の動画像多重化装置。
5. 前記ストリーム終端情報生成部は、
   前記音声データのビットレートとサンプリング周波数とを含む音声符号化パラメータを用いて、前記音声データの１フレームのサイズと前記音声データの１フレームの時間とを含む音声フレーム情報を算出する音声フレーム情報算出部と、
   算出された前記音声フレーム情報と、前記ビデオ終端ＰＴＳと、前記音声データのパケットサイズとバッファサイズとリークレートとを含む音声仮想バッファモデルパラメータとを用いて、前記ストリーム終端システムクロックを算出するストリーム終端システムクロック算出部とを備える
   請求項４に記載の動画像多重化装置。
6. ＡＶＣＨＤ規格の前記映像データ及び前記音声データを多重化して、前記多重化ストリームを生成する
   請求項１〜５のいずれか１項に記載の動画像多重化装置。
7. 請求項１〜６のいずれか１項に記載の動画像多重化装置を備え、前記動画像多重化装置が生成した前記多重化ストリームを記録する
   映像音声記録装置。
8. 符号化された映像データ及び音声データを多重化して、先行ストリーム及び後続ストリームとシームレスに再生可能な多重化ストリームを生成する動画像多重化方法であって、
   前記映像データの終端のＰＴＳ（プレゼンテーションタイムスタンプ）であるビデオ終端ＰＴＳを用いて、前記多重化ストリームの最終のパケットの終端データが送信される時刻を示すストリーム終端システムクロックを含むストリーム終端情報を生成するストリーム終端情報生成ステップと、
   前記ストリーム終端情報生成ステップで生成されたストリーム終端情報を前記先行ストリームのストリーム終端情報とし、当該ストリーム終端情報と前記映像データの先頭のＰＴＳであるビデオ先頭ＰＴＳとを用いて、多重化を開始する多重化開始システムクロックを算出する開始クロック算出ステップと、
   前記ビデオ先頭ＰＴＳを前記後続ストリームのビデオ先頭ＰＴＳとし、当該ビデオ先頭ＰＴＳと前記ストリーム終端情報生成ステップで生成されたストリーム終端情報とを用いて、多重化を完結する多重化終了システムクロックを算出する終了クロック算出ステップと、
   前記開始クロック算出ステップで算出された多重化開始システムクロックで多重化を開始し、前記終了クロック算出ステップで算出された多重化終了システムクロックで多重化を完結することで、前記多重化ストリームを生成する多重化パック生成ステップと
   を含む動画像多重化方法。
9. 請求項８に記載の動画像多重化方法に含まれるステップをコンピュータに実行させるプログラム。
10. 符号化された映像データ及び音声データを多重化して、先行ストリーム及び後続ストリームとシームレスに再生可能な多重化ストリームを生成する集積回路であって、
    前記映像データの終端のＰＴＳ（プレゼンテーションタイムスタンプ）であるビデオ終端ＰＴＳを用いて、前記多重化ストリームの最終のパケットの終端データが送信される時刻を示すストリーム終端システムクロックを含むストリーム終端情報を生成するストリーム終端情報生成部と、
    前記ストリーム終端情報生成部が生成したストリーム終端情報を前記先行ストリームのストリーム終端情報とし、当該ストリーム終端情報と前記映像データの先頭のＰＴＳであるビデオ先頭ＰＴＳとを用いて、多重化を開始する多重化開始システムクロックを算出する開始クロック算出部と、
    前記ビデオ先頭ＰＴＳを前記後続ストリームのビデオ先頭ＰＴＳとし、当該ビデオ先頭ＰＴＳと前記ストリーム終端情報生成部が生成したストリーム終端情報とを用いて、多重化を完結する多重化終了システムクロックを算出する終了クロック算出部と、
    前記開始クロック算出部が算出した多重化開始システムクロックで多重化を開始し、前記終了クロック算出部が算出した多重化終了システムクロックで多重化を完結することで、前記多重化ストリームを生成する多重化パック生成部と
    を備える集積回路。

Images