JP2011004163A

JP2011004163A - 送信装置

Info

Publication number: JP2011004163A
Application number: JP2009145512A
Authority: JP
Inventors: Kazutaka Bito; 和孝尾藤
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2009-06-18
Filing date: 2009-06-18
Publication date: 2011-01-06

Abstract

【課題】ＭＰＥＧ２−ＴＳシステムにおいて、ＴＳビットレートが変わっても、受信側におけるデコード時のデータの不足を防ぐことができる送信装置。
【解決手段】ＭＰＥＧ２−ＴＳシステムの送信装置１００において、ＭＰＥＧ２−ＴＳ制御部１２０は、式（１）と式（２）に従って、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が得たＭＰＥＧ＿Ｖｉｄｅｏデータのｎ番目のピクチャの受信側におけるデコード時刻ＤＴＳ（ｎ）を算出してＭＰＥＧ２−ＴＳマルチプレクサ１５０に供する。
DTS(n)＝video_decode_start_time＋tr(n)＋dts_delay （１）
dts_delay＝video_buffer_size／min_video_bitrate
−video_buffer_size／max_video_bitrate （２）
【選択図】図１

Description

本発明は、送信技術、具体的には動画像を圧縮して多重化して送信する技術に関する。

ＭＰＥＧ２＿Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１３８１８−２）で圧縮された動画像データと、その動画像データに対応した圧縮音声データとを多重化して伝送する規格としてＭＰＥＧ２−ＴＳシステム（ＩＳＯ／ＩＥＣ１３８１８−１）が知られている。現在ではＭＰＥＧ２−ＴＳシステムの拡張が行われており、Ｈ．２６４（ＩＳＯ／ＩＥＣ１４４９６−１０）などの動画像圧縮規格に対応した多重化も可能となっている。

ＭＰＥＧ２−ＴＳシステムにおいて、送信装置は、通常、動画像を圧縮するエンコーダ（以下ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ）と、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダにより得られた圧縮動画像データ（以下ＭＰＥＧ＿Ｖｉｄｅｏデータという）と圧縮音声データとを多重化するマルチプレクサと、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダとマルチプレクサ間に設けられたバッファ（以下ＭＰＥＧ＿Ｖｉｄｅｏバッファという）とを備える。

ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、動画像を圧縮してＭＰＥＧ＿Ｖｉｄｅｏデータを得る。ＭＰＥＧ＿Ｖｉｄｅｏバッファは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダから出力されたＭＰＥＧ＿Ｖｉｄｅｏデータを一時的に格納する。マルチプレクサは、ＭＰＥＧ＿Ｖｉｄｅｏバッファに格納されたＭＰＥＧ＿Ｖｉｄｅｏデータと圧縮音声データとを多重化して、ＴＳビットレート（ｔｓ＿ｂｉｔｒａｔｅ）と呼ばれるビットレートで伝送路に送出する。なお、ｔｓ＿ｂｉｔｒａｔｅは、伝送路上のノイズや他のデータとの競合などに応じて変動する場合がある。

また、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、ＭＰＥＧ＿Ｖｉｄｅｏデータを生成する際に、各画像（ピクチャ）のデコードタイミングｔｒを算定する。具体的には、ＭＰＥＧ＿ＶｉｄｅｏエンコーダがＭＰＥＧ＿Ｖｉｄｅｏデータを生成する速度（以下ｖｉｄｅｏ＿ｂｉｔｒａｔｅという）と同じビットレートで、受信側のＭＰＥＧ＿Ｖｉｄｅｏエンコーダが受信したＭＰＥＧ＿Ｖｉｄｅｏデータを処理し、かつ受信側のＭＰＥＧ＿Ｖｉｄｅｏバッファがオーバーフローしないことを前提にデコードタイミングｔｒを算定する。なお、デコードタイミングｔｒは、ＭＰＥＧ＿Ｖｉｄｅｏデコーダが１枚目の画像のデコードを開始するデコード開始時刻（以下ｖｉｄｅｏ＿ｄｅｃｏｒｄ＿ｓｔａｒｔ＿ｔｉｍｅ）からの相対時間である。

マルチプレクサは、多重化したデータを伝送路に送出する際に、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダが算定したデコードタイミングｔｒに基づいて、受信側において当該画像のデコード時刻ＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）を定義して付加する。

図４は、ＭＰＥＧ２−ＴＳシステムにおいて、ｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレートと、ｖｉｄｅｏ＿ｂｉｔｒａｔｅとが常に等しい場合のエンコード時刻とデコード時刻の例を示す。この例において、ｖｉｄｅｏ＿ｂｉｔｒａｔｅは、最大値のｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅである。また、図４を含む各図における「Ｐ」は画像を示す。

この場合、ｎ番目の画像のデコード時刻ＤＴＳ（ｎ）は、下記の式（１）によって定義できる。
DTS(n)＝video_decord_start_time＋tr(n) （１）

例えば、図４に示す例において、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダが算定した７番目の画像のデコードタイミングはｔｒ（７）である。マルチプレクサは、式（１）に従って７番目の画像のデコード時刻ＤＴＳ（７）を「ｖｉｄｅｏ＿ｄｅｃｏｒｄ＿ｓｔａｒｔ＿ｔｉｍｅ＋ｔｒ（７）」と定義することで、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダが算定したデコードタイミングｔｒ（７）でデコードできる。

ところで、前述したように、伝送路の状態に応じてｔｓ＿ｂｉｔｒａｔｅは可変である。そのため、ｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレートも可変である。例えば、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダがｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）でのエンコード中に、ある時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅが変ると、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、変った後のｔｓ＿ｂｉｔｒａｔｅに対応したｖｉｄｅｏ＿ｂｉｔｒａｔｅ（ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（１））でエンコードをする。なお、図４は、ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）がｖｉｄｅｏ＿ｂｉｔｒａｔｅ（１）より高いビットレートである場合の例を示す。

時刻ｔｃにおいて、ＭＰＥＧ＿Ｖｉｄｅｏバッファには、ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）でエンコードされたＭＰＥＧ＿Ｖｉｄｅｏデータが存在している場合がある。このデータをＱ（ｔｃ）とする。

データＱ（ｔｃ）は、マルチプレクサにより、変更後のｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータレート（ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（１））で送出される。すなわち、ｔｓ＿ｂｉｔｒａｔｅの変化により、ＭＰＥＧ＿ＶｉｄｅｏバッファにあるＭＰＥＧ＿Ｖｉｄｅｏデータは、エンコード時のｖｉｄｅｏ＿ｂｉｔｒａｔｅと異なるｖｉｄｅｏ＿ｂｉｔｒａｔｅで伝送路に送出される。

図５は、時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレートがｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅから、ｖｉｄｅｏ＿ｂｉｔｒａｔｅの最小値ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅに変った場合のエンコード時刻とデコード時刻の例を示している。

図５に示すように、画像Ｐ１からＰ７まで、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダはｍａｘ＿ｂｉｔｒａｔｅでエンコードする。時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅが変ると、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、変更後のｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレート（ここではｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅ）でエンコードを行う。

時刻ｔｃでＭＰＥＧ＿Ｖｉｄｅｏバッファには、ｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅでエンコードされた画像Ｐ５、Ｐ６、Ｐ７が格納されている。これらのデータは、ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅで伝送路に送出される。

そのため、デコード時刻ＤＴＳ（７）において、受信側はまだ画像Ｐ７のデータの受信を完了していない。そのため、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、不十分なデータでデコードすることになり、画像が異常になる。

特許文献１には、符号化レートに合わせた速度で多重化処理を可能にする技術が開示されている。この技術は、ＭＰＥＧ＿Ｖｉｄｅｏデータから符号化レートの切替わりを検出し、符号化レートに対応した周波数クロックを発生してマルチプレクサに提供する。図６を参照して、この技術を適用したＭＰＥＧ２−ＴＳシステムにおけるエンコード時刻とデコード時刻の一例を説明する。なお、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダによる符号化レートは、本明細書中でいうｖｉｄｅｏ＿ｂｉｔｒａｔｅに対応すると考えられる。

図６に示すように、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、画像Ｐ７までｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅでエンコードし、画像の内容の変化により時刻ｔｃからｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅでエンコードを行う。

時刻ｔｃにおいて、ＭＰＥＧ＿Ｖｉｄｅｏバッファには、ｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅでエンコードされたＰ５、Ｐ６、Ｐ７が格納されている。これらのデータからは、ｖｉｄｅｏ＿ｂｉｔｒａｔｅの切り替わりが検出されないため、マルチプレクサは、変更前の速度で多重化処理をする。そのため、Ｐ５、Ｐ６、Ｐ７は、エンコード時同様のｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅで送出される。

すなわち、特許文献１の技術によれば、ｖｉｄｅｏ＿ｂｉｔｒａｔｅが変っても、バッファに格納された、前のｖｉｄｅｏ＿ｂｉｔｒａｔｅでエンコードされた画像は、エンコード時同様のｖｉｄｅｏ＿ｂｉｔｒａｔｅで送出できる。

特開平９−２８９６４０号公報

しかし、ＭＰＥＧ２−ＴＳシステムにおける動画像の送信装置の用途においては、伝送路の状態例えば送信可能な速度に応じてｔｓ＿ｂｉｔｒａｔｅを変更する必要がある。特許文献１の技術では、例えば、時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅの変更が要求されたときに、要求されたｔｓ＿ｂｉｔｒａｔｅでＭＰＥＧ＿Ｖｉｄｅｏデータを送出するまで遅延（図中ｔｃ＿ｄｅｌａｙ）があり、即座にｔｓ＿ｂｉｔｒａｔｅの変更に応じることができない。これでは、送信経路の伝送速度を確保することができず、データの欠落を引き起こす問題が生じうる。

本発明の一つの態様は、ＭＰＥＧ２−ＴＳシステムにおける送信装置である。この送信装置は、圧縮部と、バッファと、マルチプレクサと、制御部とを備える。

圧縮部は、入力された動画像を圧縮して圧縮動画像データを生成して出力すると共に、圧縮動画像データに含まれる複数のピクチャ夫々に対して、該ピクチャが受信側でデコードされるタイミングｔｒを算定する。圧縮部は、制御部により指定されたビットレートと後述のバッファサイズに応じて圧縮と、タイミングｔｒの算定とを行う。

バッファは、圧縮部が生成して出力した圧縮動画像データを一時的に格納する。
マルチプレクサは、バッファから取り出した圧縮動画像データに含まれる複数のピクチャ夫々に対してデコード時刻ＤＴＳの付加を含む処理を行ったビデオストリームをＭＰＥＧ２−ＴＳ形式に多重化して出力する。

制御部は、圧縮部が使用するバッファの上限値となる上記バッファサイズと、圧縮動画像データのビットレートとを圧縮部に指定すると共に、デコード時刻ＤＴＳを算出してマルチプレクサに供する。

制御部は、式（２）と式（３）に従って、ｎ番目のピクチャに対してデコード時刻ＤＴＳを算出する。
DTS(n)＝video_decode_start_time＋tr(n)＋dts_delay （２）
dts_delay＝video_buffer_size／min_video_bitrate
−video_buffer_size／max_video_bitrate （３）
但し，video_decode_start_time：１番目のピクチャのデコード開始時刻
tr(n)：圧縮部がｎ番目のピクチャに対して算定したデコードタイミング
video_buffer_size：制御部が圧縮部に対して指定したバッファサイズ
min_video_bitrate：ビデオストリームのデータレートが最小であるときの
圧縮動画像データのビットレート
max_video_bitrate：ビデオストリームのデータレートが最大であるときの
圧縮動画像データのビットレート

なお、上記態様の装置を方法に置き換えて表現したもの、該装置または該装置の一部の処理をコンピュータに実行せしめるプログラム、該装置を備えたＭＰＥＧ２−ＴＳシステムも、本発明の態様としては有効である。

本発明にかかる技術によれば、ＭＰＥＧ２−ＴＳシステムにおいて、ＴＳビットレートが変わっても、受信側におけるデコード時のデータの欠如を防ぐことができる。

本発明の実施の形態にかかる送信装置を示す図である。図１に示す送信装置の場合におけるエンコード時刻とデコード時刻の例を示す図である（その１）。図１に示す送信装置の場合におけるエンコード時刻とデコード時刻の例を示す図である（その２）。従来の送信装置におけるエンコード時刻とデコード時刻の例を示す図である（その１）。従来の送信装置におけるエンコード時刻とデコード時刻の例を示す図である（その２）。従来の送信装置におけるエンコード時刻とデコード時刻の例を示す図である（その３）。

以下、図面を参照しながら本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図１は、本発明の実施の形態にかかる送信装置１００を示す。送信装置１００は、ＭＰＥＧ２−ＴＳシステムにおいて、ＭＰＥＧ＿Ｖｉｄｅｏデータを生成し、圧縮音声データと多重化してＭＰＥＧ２−ＴＳデータを得て伝送路に送出するものであり、レート制御部１１０と、ＭＰＥＧ２−ＴＳ制御部１２０と、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０と、ＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０と、ＭＰＥＧ２−ＴＳマルチプレクサ１５０を備える。

レート制御部１１０は、送信装置１００のデータ送信レート（ｔｓ＿ｂｉｔｒａｔｅ）を制御する。伝送路において、ノイズや、他の送信データとの競合などの状態により、送信可能なｔｓ＿ｂｉｔｒａｔｅは変化する場合がある。レート制御部１１０は、伝送路の状態を管理し、送信可能なｔｓ＿ｂｉｔｒａｔｅをＭＰＥＧ２−ＴＳ制御部１２０に指定する。

ＭＰＥＧ２−ＴＳ制御部１２０は、レート制御部１１０が指定したｔｓ＿ｂｉｔｒａｔｅに応じて、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０とＭＰＥＧ２−ＴＳマルチプレクサ１５０が使用するパラメータを夫々指定する。

ＭＰＥＧ２−ＴＳ制御部１２０がＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０に指定するパラメータは、ｔｓ＿ｂｉｔｒａｔｅに対応したｖｉｄｅｏ＿ｂｉｔｒａｔｅと、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が使用するバッファの上限値（バッファサイズ：ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ）である。また、ＭＰＥＧ２−ＴＳ制御部１２０がＭＰＥＧ２−ＴＳマルチプレクサ１５０に指定するパラメータは、ｔｓ＿ｂｉｔｒａｔｅと、ｖｉｄｅｏ＿ｂｉｔｒａｔｅと、ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅの最大値（以下ｍａｘ＿ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅという）、ｖｉｄｅｏ＿ｄｅｃｏｒｄ＿ｓｔａｒｔ＿ｔｉｍｅと、各画像Ｐｎのデコード時刻ＤＴＳ（ｎ）である。これらのパラメータの詳細については後述する。

ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０は、ＭＰＥＧ２−ＴＳ制御部１２０が指定したｖｉｄｅｏ＿ｂｉｔｒａｔｅで動画像の圧縮を行ってＭＰＥＧ＿Ｖｉｄｅｏデータを生成すると共に、ＭＰＥＧ２−ＴＳ制御部１２０が指定したバッファサイズを確保してＭＰＥＧ＿Ｖｉｄｅｏデータを格納する。また、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０は、圧縮された動画像に含まれる各画像Ｐｎのデコードタイミングｔｒ（ｎ）を算定してＭＰＥＧ２−ＴＳ制御部１２０に知らせる。ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０によるデコードタイミングｔｒ（ｎ）の算定は、通常のＭＰＥＧ２−ＴＳシステムの送信装置におけるＭＰＥＧ＿Ｖｉｄｅｏエンコーダによるものと同様である。

ＭＰＥＧ２−ＴＳマルチプレクサ１５０は、ＭＰＥＧ２−ＴＳ制御部１２０が指定したｖｉｄｅｏ＿ｂｉｔｒａｔｅに応じて、ＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０内のＭＰＥＧ＿ＶｉｄｅｏデータをＭＰＥＧ２−ＴＳ形式のデータにマルチプレクスして伝送路に送出する。また、ＭＰＥＧ２−ＴＳマルチプレクサ１５０は、マルチプレクスの際に、ｎ番目の画像のＭＰＥＧ＿Ｖｉｄｅｏデータの先頭に、ｎ番目の画像のデコード時刻ＤＴＳ（ｎ）を付加する。ＭＰＥＧ２−ＴＳマルチプレクサ１５０によるデコード時刻ＤＴＳ（ｎ）の定義の仕方については、後述する。

なお、ＭＰＥＧ２−ＴＳマルチプレクサ１５０は、動画像のみならず、音声や送信内容の情報なども多重化するが、分かりやすいように、動画像と関連する内容以外の説明は、省略する。

ここで各パラメータの詳細について説明する。
レート制御部１１０が制御するｔｓ＿ｂｉｔｒａｔｅは、伝送路へのデータ伝送中でも可変である。例えば、レート制御部１１０は、伝送路上のノイズが多いときにｔｓ＿ｂｉｔｒａｔｅを低くする場合がある。

ＭＰＥＧ２−ＴＳ制御部１２０は、下記の各パラメータを制御する。
１．ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅとｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅ
ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が動画像をエンコードする際の最小ビットレートであり、ｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が動画像をエンコードする際の最大ビットレートである。この２つのパラメータは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０によるエンコード中において固定である。ＭＰＥＧ２−ＴＳ制御部１２０は、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０の性能の範囲内で、ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅとｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅを定義する。

２．ｖｉｄｅｏ＿ｂｉｔｒａｔｅ
これは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０がエンコード中の実際のビットレートであり、下記の式（４）と式（５）を満たすことを条件に、エンコード中においても可変である。
video_bitrate≦TS_bitrate−MPEG_Videoデータ以外のデータのビットレート（４）
min_video_bitrate≦video_bitrate≦max_video_bitrate （５）

３．ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ
ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が確保するＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０のサイズである。これは、ＭＰＥＧ２−Ｖｉｄｅｏ規格の場合にはＶＢＶ＿ｂｕｆｆｅｒ＿ｓｉｚｅに相当し、Ｈ．２６４規格の場合にはｃｐｂ＿ｓｉｚｅに相当する。

４．ｍａｘ＿ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ
ＭＰＥＧ規格が定義するＭＰＥＧ＿Ｖｉｄｅｏデータエンコード用の最大バッファサイズであり、ＭＰＥＧ２−Ｖｉｄｅｏ規格の場合にはＶＢＶｍａｘ［ｐｒｏｆｉｌｅ，ｌｅｖｅｌ］に相当し、Ｈ．２６４規格の場合にはＭａｘＣＰＢ［ｌｅｖｅｌ］に相当する。なお、式（６）に示すように、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が使用するＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０のサイズは、ｍａｘ＿ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ以下になるように規格で定められている。
video_buffer_size≦max_video_buffer_size （６）
なお、本実施の形態においては、ＭＰＥＧ２−ＴＳ制御部１２０は、規格の定めの範囲内で、式（７）を満たすように、ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅを指定する。
video_buffer_size≦
max_video_buffer_size／（max_video_bitrate/min_video_bitrate) （７）

５．ｖｉｄｅｏ＿ｄｅｃｏｒｄ＿ｓｔａｒｔ＿ｔｉｍｅ
これは、受信側のＭＰＥＧ＿ＶｉｄｅｏデコーダへのＭＰＥＧ＿Ｖｉｄｅｏデータの入力開始時刻、すなわちＭＰＥＧ＿Ｖｉｄｅｏデータの先頭の画像の入力開始時刻である。なお、ＭＰＥＧ２−ＴＳシステムでは、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）という時刻で、ＭＰＥＧ２−ＴＳデータの送信時刻を管理するように定義されている。

６．デコード時刻ＤＴＳ（ｎ）
デコード時刻ＤＴＳ（ｎ）は、ＭＰＥＧ２−ＴＳ制御部１２０により、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０からのデコードタイミングｔｒ（ｎ）に基づいて当該画像Ｐｎに対して定義される。受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、ＤＴＳが示す時刻に基づいてデコードを行う。

本実施の形態において、ＭＰＥＧ２−ＴＳ制御部１２０は、ｎ番目の画像Ｐｎに対して、下記に式（８）と式（９）に従ってデコード時刻ＤＴＳ（ｎ）を算出する。
DTS(n)＝video_decode_start_time＋tr(n)＋dts_delay （８）
dts_delay＝video_buffer_size／min_video_bitrate
−video_buffer_size／max_video_bitrate （９）

すなわち、本実施の形態の送信装置１００は、ＭＰＥＧ２−ＴＳシステムにおける通常の送信装置とは、以下の２点において異なる。
Ａ．デコード時刻ＤＴＳ（ｎ）
ＭＰＥＧ２−ＴＳマルチプレクサ１５０は、式（８）、（９）に従ってデコード時刻ＤＴＳ（ｎ）を定義する。
すなわち、従来のＭＰＥＧ２−ＴＳマルチプレクサが式（１）に従って定義するデコード時刻ＤＴＳ（ｎ）に、式（９）で示す遅延時間ｄｔｓ＿ｄｅｌａｙを加算してデコード時刻ＤＴＳ（ｎ）を定義している。

Ｂ．ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ
ＭＰＥＧ２−ＴＳ制御部１２０が指定し、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が使用するＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０のサイズ（ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ）は、式（７）を満たすように定められている。
すなわち、ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅの上限を、規格で定められた上限（ｍａｘ＿ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ）より低くしている。

まず、上記Ａ点（ＤＴＳ（ｎ）の定義）について説明する。
例えば、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０がｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）でのエンコード中に、ある時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅが変ると、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、変った後のｔｓ＿ｂｉｔｒａｔｅに対応したｖｉｄｅｏ＿ｂｉｔｒａｔｅ（ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（１））でエンコードをする。なお、ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）は、ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（１）より高いビットレートである。

この場合、時刻ｔｃにおいて、ＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０には、ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）でエンコードされたＭＰＥＧ＿ＶｉｄｅｏデータＱ（ｔｃ）が格納されている。ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０は、ＭＰＥＧ＿Ｖｉｄｅｏの規格に準拠してｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅを超えないようにエンコードするため、データＱ（ｔｃ）の可能な最大量は、ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅである。

そこで、式（１０）、（１１）に示すように、従来のＤＴＳ（ｎ）にｄｔｓ＿ｄｅｌａｙを加算してＤＴＳ（ｎ）を定義すれば、時刻ｔｃ以降に、変更後のｔｓ＿ｂｉｔｒａｔｅに対応したｖｉｄｅｏ＿ｂｉｔｒａｔｅでデータＱ（ｔｃ）を伝送路に送出しても、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダが、データＱ（ｔｃ）に含まれる画像に付加されたＤＴＳ（ｎ）でデコードを開始するときに該画像のデータの受信は既に完了している。
DTS(n)＝video_decode_start_time＋tr(n)＋dts_delay （１０）
dts_delay＝video_buffer_size／video_bitrate(1)
−video_buffer_size／video_bitrate(0) （１１）

ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（０）がｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅであり、ｖｉｄｅｏ＿ｂｉｔｒａｔｅ（１）がｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅである場合には、式（９）で示すｄｔｓ＿ｄｅｌａｙが、式（９）に示す最大値となる。

すなわち、式（８）、（９）に従ってデコード時刻ＤＴＳ（ｎ）を定義すれば、伝送路へのデータの送信中にｔｓ＿ｂｉｔｒａｔｅがいかに変動しても、デコード時刻ＤＴＳ（ｎ）が示す時刻において、受信側では該画像のデータが既に受信を完了している。

次に、上記Ｂ点（ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅ）について説明する。
ＭＰＥＧ２−ＴＳ規格によれば、ＭＰＥＧ２−ＴＳの標準デコーダは、規格で定められたｍａｘ＿ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅのＭＰＥＧ＿ＶｉｄｅｏバッファでＭＰＥＧ＿Ｖｉｄｅｏデータを保持することができる。

前述したように、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダが生成するＭＰＥＧ＿Ｖｉｄｅｏデータのレート（ｖｉｄｅｏ＿ｂｉｔｒａｔｅ）と、伝送路に出力されるＭＰＥＧ＿Ｖｉｄｅｏデータのレートが常に等しいときに、ＤＴＳ（ｎ）を「ｖｉｄｅｏ＿ｄｅｃｏｒｄ＿ｓｔａｒｔ＿ｔｉｍｅ＋ｔｒ（ｎ）」と定義することで、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダの算定したタイミングで画像をデコードすることができる。また、ＭＰＥＧ＿Ｖｉｄｅｏ規格では、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、ｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅをオーバーフローしないようにｔｒ（ｎ）を定義しているから、ＭＰＥＧ＿Ｖｉｄｅｏデコーダが、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダの算定しているタイミングでデコードすることにより、受信側のＭＰＥＧ＿Ｖｉｄｅｏバッファがオーバーフローしないことが保証される。

本実施の形態において、式（８）、（９）に従って、従来のＤＴＳ（ｎ）にｄｔｓ＿ｄｅｌａｙを加算して新たなＤＴＳ（ｎ）としている。そのため、ＭＰＥＧ＿Ｖｉｄｅｏデータが受信側のＭＰＥＧ＿Ｖｉｄｅｏバッファ内で格納される時間が長くなる。

受信側のＭＰＥＧ＿Ｖｉｄｅｏバッファがオーバーフローしないようにするためには、式（１２）で示す条件を満たす必要がある。
video_bitrate×dts_delay≦max_video_buffer_size−video_buffer_size （１２）

ｖｉｄｅｏ＿ｂｉｔｒａｔｅがｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅであるときに、式（１２）の左辺が最大値となるため、式（１３）を満たせば、式（１２）の条件も満たすことになる。
max_video_bitrate×dts_delay
≦max_video_buffer_size−video_buffer_size （１３）

式（９）が示すｄｔｓ＿ｄｅｌａｙを式（１３）に代入して整理すると、上述した式（７）を得ることができる。
video_buffer_size≦
max_video_buffer_size／（max_video_bitrate/min_video_bitrate) （７）

すなわち、式（８）、（９）に従ってＤＴＳ（ｎ）を定義しても、式（７）に従ってｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅを指定することによって、受信側におけるＭＰＥＧ＿Ｖｉｄｅｏバッファのオーバーフローを回避することができる。

図２と図３の例を参照して具体例を説明する。
図２は、送信装置１００において、ｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレートと、ｖｉｄｅｏ＿ｂｉｔｒａｔｅとが常に等しい場合のエンコード時刻とデコード時刻の例を示す。この例において、ｖｉｄｅｏ＿ｂｉｔｒａｔｅは、最大値のｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅである。

ｎ番目の画像のデコード時刻ＤＴＳ（ｎ）は、前述した式（８）、（９）に従って定義される。

例えば、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０が算定した７番目の画像のデコードタイミングはｔｒ（７）である。ＭＰＥＧ２−ＴＳマルチプレクサ１５０は、７番目の画像のデコード時刻ＤＴＳ（７）を「ｖｉｄｅｏ＿ｄｅｃｏｒｄ＿ｓｔａｒｔ＿ｔｉｍｅ＋ｔｒ（７）＋ｄｔｓ＿ｄｅｌａｙ」と定義する。そのため、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダが算定したデコードタイミングｔｒ（７）よりｄｔｓ＿ｄｅｌａｙの分遅れて当該画像をデコードすることになるが、デコード時のデータ不足の問題がない。

図３は、時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレートがｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅから、ｖｉｄｅｏ＿ｂｉｔｒａｔｅの最小値ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅに変った場合のエンコード時刻とデコード時刻の例を示している。

図３に示すように、画像Ｐ１からＰ７まで、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ１３０はｍａｘ＿ｂｉｔｒａｔｅでエンコードする。時刻ｔｃでｔｓ＿ｂｉｔｒａｔｅが変ると、ＭＰＥＧ＿Ｖｉｄｅｏエンコーダは、変更後のｔｓ＿ｂｉｔｒａｔｅに対応したＭＰＥＧ＿Ｖｉｄｅｏデータのビットレート（ここではｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅ）でエンコードを行う。

時刻ｔｃでＭＰＥＧ＿Ｖｉｄｅｏバッファ１４０には、ｍａｘ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅでエンコードされた画像Ｐ５、Ｐ６、Ｐ７が格納されている。これらのデータは、ｍｉｎ＿ｖｉｄｅｏ＿ｂｉｔｒａｔｅで伝送路に送出される。

図５に示す従来の場合、デコード時刻ＤＴＳ（７）において、受信側はまだ画像Ｐ７のデータの受信を完了していない。そのため、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、不十分なデータでデコードすることになり、画像が異常になる。
それに対して、本実施の形態では、式（８）、（９）に従ってデコード時刻ＤＴＳ（７）を定義しているため、図３に示すように、デコード時刻ＤＴＳ（７）において、受信側は既に画像Ｐ７の受信を完了している。そのため、受信側のＭＰＥＧ＿Ｖｉｄｅｏデコーダは、完全なデータでデコードすることができる。

また、式（７）に従ってｖｉｄｅｏ＿ｂｕｆｆｅｒ＿ｓｉｚｅが定義されているため、受信側におけるＭＰＥＧ＿Ｖｉｄｅｏバッファのオーバーフローも生じない。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減、組合せを行ってもよい。これらの変更、増減、組合せが行われた変形例も本発明の範囲にあることは当業者に理解されるところである。

１００送信装置
１１０レート制御部
１２０ＭＰＥＧ２−ＴＳ制御部
１３０ＭＰＥＧ＿Ｖｉｄｅｏエンコーダ
１４０ＭＰＥＧ＿Ｖｉｄｅｏバッファ
１５０ＭＰＥＧ２−ＴＳマルチプレクサ

Claims

ＭＰＥＧ２−ＴＳシステムにおける送信装置であって、
入力された動画像を圧縮して圧縮動画像データを生成して出力すると共に、前記圧縮動画像データに含まれる複数のピクチャ夫々に対して、該ピクチャが受信側でデコードされるタイミングｔｒを算定する圧縮部と、
前記圧縮部が生成して出力した前記圧縮動画像データを一時的に格納するバッファと、
前記バッファから取り出した前記圧縮動画像データに含まれる前記複数のピクチャ夫々に対してデコード時刻ＤＴＳの付加を含む処理を行ったビデオストリームをＭＰＥＧ２−ＴＳ形式に多重化して出力するマルチプレクサと、
前記圧縮部が使用する前記バッファの上限値となるバッファサイズと、前記圧縮動画像データのビットレートとを前記圧縮部に指定すると共に、前記デコード時刻ＤＴＳを算出して前記マルチプレクサに供する制御部とを備え、
前記圧縮部は、前記バッファサイズと前記ビットレートに応じて圧縮を行うと共に前記タイミングｔｒを算定し、
前記制御部は、ｎ番目のピクチャに対して式（１）と式（２）に従ってデコード時刻ＤＴＳ（ｎ）を算出することを特徴とする送信装置。
DTS(n)＝video_decode_start_time＋tr(n)＋dts_delay （１）
dts_delay＝video_buffer_size／min_video_bitrate
−video_buffer_size／max_video_bitrate （２）
但し，video_decode_start_time：１番目のピクチャのデコード開始時刻
tr(n)：圧縮部がｎ番目のピクチャに対して算定したデコードタイミング
video_buffer_size：制御部が圧縮部に対して指定したバッファサイズ
min_video_bitrate：ビデオストリームのデータレートが最小であるときの
圧縮動画像データのビットレート
max_video_bitrate：ビデオストリームのデータレートが最大であるときの
圧縮動画像データのビットレート
前記制御部は、式（３）が示す条件下で前記バッファサイズを前記圧縮部に指定することを特徴とする請求項１に記載の送信装置。
video_buffer_size≦
max_video_buffer_size／（max_video_bitrate/min_video_bitrate) （３）
但し，video_buffer_size：制御部が圧縮部に指定するバッファサイズ
max_video_buffer_size：規格により定められた最大バッファサイズ
min_video_bitrate：ビデオストリームのデータレートが最小であるときの
圧縮動画像データのビットレート
max_video_bitrate：ビデオストリームのデータレートが最大であるときの
圧縮動画像データのビットレート