JP2011130065A5

JP2011130065A5 -

Info

Publication number: JP2011130065A5
Application number: JP2009285039A
Authority: JP
Filing date: 2009-12-16
Publication date: 2013-01-10
Anticipated expiration: 2029-12-16

Description

本発明は、送信装置および方法、並びに、受信装置および方法に関し、特に、不要な遅延時間を増大させない低遅延データ伝送を、ネットワーク状況に依らず、より安定的に行うことができるようにした送信装置および方法、並びに、受信装置および方法に関する。

本発明の一側面は、画像データを符号化し、符号化データを生成する符号化手段と、前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記符号化手段による前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加する符号化時バッファ時間付加手段と、前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加する伝送時バッファ時間付加手段と、前記符号化時バッファ時間付加手段により前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間付加手段により前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する送信手段とを備える送信装置である。

本発明の一側面は、また、送信装置の符号化手段が、画像データを符号化し、符号化データを生成し、前記送信装置の符号化時バッファ時間付加手段が、前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加し、前記送信装置の伝送時バッファ時間付加手段が、前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加し、前記送信装置の送信手段が、前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する送信方法である。

本発明の一側面においては、画像データが符号化され、符号化データが生成され、符号化データを、符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間が、符号化データに符号化ヘッダ情報として付加され、同期再生が、画像データの符号化と符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間が、符号化データに、符号化ヘッダ情報と異なる伝送ヘッダ情報として付加され、符号化時バッファ時間を含む符号化ヘッダ情報が付加され、さらに、伝送時バッファ時間を含む伝送ヘッダ情報が付加された符号化データが、ネットワークを介して、同期再生を行う他の装置に送信される。

５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタＨ _０（ｚ）と、高域フィルタＨ_１（ｚ）とから構成される。式（１）および式（２）から、低域フィルタＨ_０（ｚ）は、５タップで、高域フィルタＨ_１（ｚ）は、３タップであることが分かる。

エントロピ符号化部１５５からの符号生成出力（CODEC符号生成）は、図９の一番上の段に示されるように、キャプチャ時刻に同期したタイムスタンプが付加され出力される。キャプチャ単位毎の出力データサイズは不均一であり、RTPパケット化した場合のパケット数も不均一であるので、図９の上から２段目に示されるように、符号化内平滑化部１５６により平滑化処理が行われる（CODEC内平滑化出力）。

再生時刻設定部３０４は、例えば、ストリームの最初のパケットをタイミング規定パケットとし、その到着時刻から、初期バッファ遅延Bt_init時間遅れた時刻を最初のパケットに付加されたタイムスタンプ値に対する再生時刻として設定する。同期処理部３０５は、以降のパケットに関して、その再生時刻を基準とし、付加されたタイムスタンプに同期した時刻に再生を行うように制御する。

このようなシステムの場合、再送パケットの到着を待つためのバッファ時間であるARQ対応バッファ時間Bt_arqを初期バッファ遅延Bt_initに反映させる必要がある。より具体的には、例えば、ネットワーク対応バッファ時間Bt_netは、以下の式（１３）のように求めるようにすればよい。

このようにすることにより、送信装置５０１および受信装置５０２は、ジッタ吸収機能やパケットロス回復機能等、ネットワーク１０３の状況に応じて、不要な遅延時間を増大させない低遅延データ伝送を、ネットワーク状況に依らず、より安定的に行うことができる。

なお、以上においては、符号化時バッファ時間および伝送時バッファ時間を、送信装置が算出し、受信装置に供給するように説明したが、これに限らず、送信装置が、符号化に関する情報やネットワーク状況情報等を受信装置に伝送し、受信装置がそれらの情報に基づいて符号化時バッファ時間および伝送時バッファ時間を算出し、さらに初期バッファ遅延を求めるようにしてもよい。その場合、装置間において伝送される情報や、演算を行う装置が異なるだけで、システム全体において実行される処理は基本的に上述した他の場合と同様である。

＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

Claims

画像データを符号化し、符号化データを生成する符号化手段と、
前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記符号化手段による前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加する符号化時バッファ時間付加手段と、
前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加する伝送時バッファ時間付加手段と、
前記符号化時バッファ時間付加手段により前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間付加手段により前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する送信手段と
を備える送信装置。
前記ネットワークの通信に関する状況の情報であり、伝送レート、ネットワークジッタ、パケット損失率、および伝送遅延を少なくとも含むネットワーク状況情報を収集するネットワーク状況情報収集手段と、
前記ネットワーク状況情報収集手段により収集された前記ネットワーク状況情報を用いて、前記同期再生が、前記符号化データの伝送による遅延によって破たんしないようにするために最低限必要なバッファ時間であるネットワーク対応バッファ時間を算出するネットワーク対応バッファ時間算出手段と、
前記ネットワーク対応バッファ時間算出手段により算出された前記ネットワーク対応バッファ時間、および、前記符号化時バッファ時間を用いて、前記伝送時バッファ時間を算出する伝送時バッファ時間算出手段と
をさらに備える請求項１に記載の送信装置。
前記伝送時バッファ時間算出手段は、前記符号化時バッファ時間と前記ネットワーク対応バッファ時間との和を前記伝送時バッファ時間とする
請求項２に記載の送信装置。
前記伝送時バッファ時間算出手段は、前記符号化時バッファ時間若しくは前記ネットワーク対応バッファ時間のうちの大きい方を選択する
請求項２に記載の送信装置。
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が、前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
前記同期再生が、前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間を算出するレート比対応バッファ時間算出手段をさらに備え、
前記ネットワーク対応バッファ時間算出手段は、前記レート比対応バッファ時間算出手段により算出された前記レート比対応バッファ時間を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が、再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間、前記同期再生が前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間、および、前記同期再生が再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間の総和を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間、若しくは、前記同期再生が再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間のうちの大きい方と、前記同期再生が前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間との和を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間、前記同期再生が前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間、および、前記同期再生が再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間のうち、最も大きいものを前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
前記符号化時バッファ時間を算出する符号化時バッファ時間算出手段をさらに備え、
前記符号化時バッファ時間付加手段は、前記符号化時バッファ時間算出手段により算出された前記符号化時バッファ時間を、前記符号化データに前記符号化ヘッダ情報として付加する
請求項１に記載の送信装置。
前記符号化時バッファ時間算出手段は、前記画像データの符号化の符号化レートを、前記画像データの符号化に用いられるバッファサイズで除算した値を前記符号化時バッファ時間とする
請求項１１に記載の送信装置。
送信装置の符号化手段が、画像データを符号化し、符号化データを生成し、
前記送信装置の符号化時バッファ時間付加手段が、前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加し、
前記送信装置の伝送時バッファ時間付加手段が、前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加し、
前記送信装置の送信手段が、前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する
送信方法。
他の装置において画像データが符号化されて生成され、ネットワークを介して伝送された符号化データを受信する受信手段と、
前記受信手段により受信された前記符号化データから、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を抽出し、取得する符号化時バッファ時間取得手段と、
前記受信手段により受信された前記符号化データから、前記符号化データの同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を抽出し、取得する伝送時バッファ時間取得手段と、
前記符号化時バッファ時間取得手段により取得された前記符号化時バッファ時間、および、前記伝送時バッファ時間取得手段により取得された前記伝送時バッファ時間を用いて、前記同期再生が破たんしないようにするために必要なバッファ時間の初期値である初期バッファ遅延を算出する初期バッファ遅延算出手段と、
前記受信手段により受信された前記符号化データを格納する格納手段と、
前記格納手段により格納されている前記符号化データの読み出しタイミングを制御することにより、前記同期再生を制御する同期制御手段と、
前記同期制御手段による制御に従って前記格納手段より読みだされた前記符号化データを復号する復号手段と
を備える受信装置。
前記初期バッファ遅延算出手段は、前記符号化データに付加される前記伝送時バッファ時間が有効である場合、前記伝送時バッファ時間を前記初期バッファ遅延とし、前記伝送時バッファ時間が無効である場合、前記符号化データに付加される前記符号化時バッファ時間を前記初期バッファ遅延とする
請求項１４に記載の受信装置。
復号装置の受信手段が、他の装置において画像データが符号化されて生成され、ネットワークを介して伝送された符号化データを受信し、
前記復号装置の符号化時バッファ時間取得手段が、受信された前記符号化データから、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を抽出し、取得し、
前記復号装置の前記伝送時バッファ時間取得手段が、受信された前記符号化データから、前記符号化データの同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を抽出し、取得し、
前記復号装置の前記初期バッファ遅延算出手段が、取得された前記符号化時バッファ時間、および、取得された前記伝送時バッファ時間を用いて、前記同期再生が破たんしないようにするために必要なバッファ時間の初期値である初期バッファ遅延を算出し、
前記復号装置の格納手段が、受信された前記符号化データを格納し、
前記復号装置の同期制御手段が、格納されている前記符号化データの読み出しタイミングを制御することにより、前記同期再生を制御し、
前記復号装置の復号手段が、前記制御に従って、読みだされた前記符号化データを復号する
受信方法。