JP2014007664A - 送信装置、通信システム、及び送信方法 - Google Patents

Abstract

【課題】パケット損失を好適に回復できる送信装置を提供する。
【解決手段】送信装置は、パケットを受信装置へ送信する送信部と、パケットの発生確率の分布に基づいて、受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、送信部により送信されるＦＥＣパケットの割合を導出する冗長度導出部と、を備える。
【選択図】図７

Description

本開示は、送信装置、通信システム、及び送信方法に関する。

データ伝送における誤り制御の１つの手法として、前方誤り訂正（ＦＥＣ：Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ)が知られている。

ＦＥＣに関して、例えば、以下の特許文献１が知られている。特許文献１では、総伝送レートが限定される環境下において、映像／音声のメディアデータの再送における伝送レート、ＦＥＣデータの伝送レート、及びＲＴＴ(Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ)の値に基づき、ＦＥＣパケット数を決定する。

特許第４５１３７２５号公報

特許文献１の技術では、ＦＥＣによる回復性能の過不足が発生し、パケット損失を好適に回復することが困難であった。

本開示は、パケット損失を好適に回復できる送信装置、通信システム、及び送信方法を提供する。

本開示の送信装置は、パケットを受信装置へ送信する送信部と、前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるＦＥＣパケットの割合を導出する冗長度導出部と、を備える。

本開示によれば、パケット損失を好適に回復できる。

ピクチャ単位のＦＥＣ適用状況の一例を示す図 特許文献１におけるＦＥＣパケット数を決定するためのテーブルを示す図 （Ａ），（Ｂ）伝送レートが１Ｍｂｐｓの条件下における１ピクチャあたりの映像パケット数の分布例を示す図 映像パケットに対して一律に同数のＦＥＣパケットが付加された場合のパケット損失率の一例を示す図 映像パケット数とＦＥＣパケット数との比が一律である場合のパケット損失率の一例を示す図 第１の実施形態における通信システムの構成例を示すブロック図 第１の実施形態における送信装置の構成例を示すブロック図 第１の実施形態における受信装置の構成例を示すブロック図 第１の実施形態における伝送レートが３Ｍｂｐｓの条件下における１ピクチャあたりのパケット数（Ｋ）の分布例を示す図 第１の実施形態における各パケット数Ｋの発生確率の一例を示す図 第１の実施形態におけるＦＥＣ強度が１０，２０，３０の場合のＦＥＣ導出式の計算結果の一例を示す図 第１の実施形態におけるＦＥＣ強度が４０，１００の場合のＦＥＣ導出式の計算結果の一例を示す図 第１の実施形態におけるＩＰネットワークのパケット損失率が１％，２％,３％の条件下におけるＦＥＣ導出結果の一例を示す図 第１の実施形態における映像データの割合の増加例を示す図 第２の実施形態における送信装置の構成例を示すブロック図 第２の実施形態における冗長度導出部の構成例を示すブロック図 第２の実施形態におけるネットワーク帯域が変化したときの１ピクチャあたりのパケット数と累積密度の分布の変化例を示す図 第２の実施形態におけるＩＰネットワークのパケット損失率が１％の場合のＦＥＣ強度導出テーブルの一例を示す図 第２の実施形態におけるＩＰネットワークのパケット損失率が２％の場合のＦＥＣ強度導出テーブルの一例を示す図 第２の実施形態におけるＩＰネットワークのパケット損失率が３％の場合のＦＥＣ強度導出テーブルの一例を示す図

以下、本開示の実施形態について、図面を参照して説明する。

（本開示の一形態を得るに至った経緯）
近年、ＩＰネットワークを利用したリアルタイム映像伝送（例えばＴＶ会議のリアルタイム映像伝送）が普及してきている。また、高速無線回線（例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）又はＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ））を介して、リアルタイム映像伝送を行いたいという要求が高まってきている。

有線ＩＰネットワークを利用して通信する場合、伝送途中において数％程度のパケット損失が発生することがある。無線回線（例えばＷｉＭＡＸ又はＬＴＥ）を介して通信する場合、例えば移動による基地局ハンドオーバ又は干渉の影響により、有線ＩＰネットワークに比べてパケット損失率も大きくなる。ＩＰネットワークを利用した映像伝送においてパケット損失が発生すると、例えば映像乱れ又は音声途切れを引き起こし、映像品質が劣化する。

ネットワークにおいて損失したパケットを復元する技術として、例えば、再送(ＡＲＱ：Ａｕｔｏｍａｔｉｃ ｒｅｐｅａｔ ｒｅｑｕｅｓｔ)又は誤り訂正符号(ＦＥＣ：Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ)が知られている。

例えば再送の回数又はＦＥＣの冗長度を増やすことにより、パケット損失したときの復元可能性は高くなる。一方、メディアデータ（例えば映像データ又は音声データ）の伝送に用いる帯域量（例えば伝送レート）が、再送の回数又はＦＥＣの冗長度に応じて減ることにより、映像品質が劣化する。従って、パケット損失を回復できる範囲内において、再送又はＦＥＣにかける帯域量を過不足なく付けることが好ましい。

例えば、ビデオフレーム(ピクチャ)単位でＦＥＣを適用することを仮定する。この過程は、特許文献１において、ビデオフレームデータをＦＥＣブロック単位とすることに相当する。

ピクチャ単位のＦＥＣ適用状況を図１に示す。図１の例では、送信側の装置が、ビデオフレームが４つの映像パケットにパケット化され、映像パケット［０］と映像パケット［１］の符号化により、ＦＥＣパケット［０］を生成する状況を示す。また、ＦＥＣパケット［１］は、映像パケット［２］と映像パケット［３］の符号化により生成される。

図１の受信側では、４個の映像パケット及び２個のＦＥＣパケットのうち、映像パケット［０］をネットワークにおいて損失（ロス）した状況を示す。この場合、符号化に利用された映像パケット［１］とＦＥＣパケット［０］による復号により、映像パケット［０］が復元される。この結果、ビデオフレームが復元される。

特許文献１において、総伝送レート、再送データレート、及びＲＴＴに応じてＦＥＣパケット数を決定するためのテーブルを、図２に示す。例えば、伝送レート（総伝送レート−再送データレート）が１Ｍｂｐｓ（＝１０００ｋｂｐｓ）であり、ＲＴＴが１１０ｍｓである場合を想定する。この場合、各ピクチャに対して６個のＦＥＣパケットが生成される。

また、伝送レートが１Ｍｂｐｓの条件下における１ピクチャあたりの映像パケット数の分布例を、図３（Ａ），（Ｂ）に示す。図３（Ａ），（Ｂ）では、１ピクチャあたりの映像パケット数は、１パケットから２３パケットとなり得る。つまり、１ピクチャあたりの映像パケット数は変化する。

特許文献１では、１ピクチャあたりの映像パケット数が変化しても、常に１ピクチャに対して６つのＦＥＣパケットを生成する。

１ピクチャあたりの映像パケットが１個、６個、２３個である場合に、それぞれＦＥＣパケットを６個ずつ生成する場合のランダムロス環境におけるネットワーク(通信路)のパケット損失率に対するＦＥＣ復号後パケット損失率（パケットロス率）を、図４に示す。つまり、図４では、映像パケットに対して一律に同数のＦＥＣパケットが付加された場合のパケット損失率の特性を示している。図４では、横軸に、ネットワーク（通信路）において発生するパケット損失率を示し、縦軸に、受信側の装置におけるＦＥＣ復号後のパケット損失率を示す。

例えば、ＦＥＣ復号後のパケット損失率が１０^−３（＝０．１％)未満となるように目標品質を想定する。ネットワークのパケット損失率が３％である場合、１ピクチャあたりの映像パケットが２３個であると、目標品質を満たせない。一方、１ピクチャあたりの映像パケットが１個であると、目標品質をはるかに超える良好な回復性能が得られる。

このように、各ピクチャに対して、一律同数のＦＥＣパケットを付加すると、ＦＥＣによる回復性能の過不足が発生する。

また、ＦＥＣによる回復性能不足を防ぐ方法として、映像パケットとＦＥＣパケットとの個数比を一定にして、ＦＥＣパケットを付加することも考えられる。

１ピクチャあたりの映像パケットが１個、５個、１０個である場合に、それぞれＦＥＣパケットを１個、５個、１０個生成する場合のランダムロス環境におけるネットワーク(通信路)のパケット損失率に対するＦＥＣ復号後パケット損失率を、図５に示す。つまり、図５では、映像パケット数とＦＥＣパケット数との比が一律である場合のパケット損失率の特性を示している。図５では、１ピクチャあたりの映像パケット数が多い場合（例えば１０である場合）、回復性能が過剰となる。

このように、各ピクチャにおいて映像パケット数とＦＥＣパケット数との比を一律にしても、ＦＥＣによる回復性能の過剰が発生する。

以下では、パケット損失を好適に回復できる送信装置、通信システム、及び送信方法について説明する。

（第１の実施形態）
図６は、第１の実施形態における通信システム１０００の構成例を示すブロック図である。通信システム１０００は、送信装置１００、受信装置２００、及びＩＰネットワーク３００を含む。送信装置１００及び受信装置２００は、ＩＰネットワーク３００に接続される。

ＩＰネットワーク３００は、ネットワークの一例であり、有線回線又は無線回線を有する。また、ＩＰネットワーク３００は、公衆回線を有してもよいし、専用回線を有してもよい。

図７は、送信装置１００の構成例を示すブロック図である。
送信装置１００は、映像符号化部１０１、パケット化部１０２、ＦＥＣ符号化部１０３、ＲＴＰ送信部１０４、ＲＴＣＰ受信部１０５、冗長度導出部１０６、及びレート制御部１０７を備える。

映像符号化部１０１は、例えばカメラ又はＤＶＤの入力映像を、所定の映像符号化方式（例えばＨ.２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の映像符号化方式）を用いて、圧縮符号化する。また、映像符号化部１０１は、符号化された映像フレームをパケット化部１０２へ出力する。映像符号化部１０１は、映像を符号化するための映像エンコードレートとして、レート制御部１０７から通知される値を用いる。映像フレームは、符号化フレームの一例である。

なお、映像符号化部１０１は、映像エンコードレートが変わっても、例えばパケット長を調整することにより、送出するパケット数の発生確率分布を一定に維持する。

パケット化部１０２は、映像符号化部１０１により符号化された映像フレームを所定のパケットサイズにパケット化し、映像データパケット（映像パケット）としてＦＥＣ符号化部１０３へ出力する。映像データパケットは、例えばＲＴＰパケットである。

ＦＥＣ符号化部１０３は、パケット化部１０２からの映像データパケットに対して、レート制御部１０７からのＦＥＣ強度に基づいてＦＥＣ符号化し、ＦＥＣパケットを生成する。ＦＥＣ符号化後、ＦＥＣ符号化部１０３は、映像データパケットとＦＥＣパケットとをＲＴＰ送信部１０４へ出力する。ＦＥＣ符号としては、例えばＬＤＰＣ（Ｌｏｗ Ｄｅｎｓｉｔｙ Ｐａｒｉｔｙ Ｃｈｅｃｋ）符号が用いられる。

なお、ＦＥＣ強度とは、映像データの帯域量に対するＦＥＣ割合を示す。例えば、ＦＥＣ強度＝１００の場合、映像データパケットの帯域量：ＦＥＣパケットの帯域量＝１：１の比となるように、ＦＥＣパケットが付加される。例えば、１ピクチャが５個の映像データパケットを含んで構成される場合、ＦＥＣ強度＝１００では、ＦＥＣパケットが５個生成される。この場合、例えば（総パケット数，データパケット数）＝（１０，５）とも記される。

ＲＴＰ送信部１０４は、映像データパケット及びＦＥＣパケットのＲＴＰヘッダ領域に情報を設定し、ＩＰネットワーク３００を介して受信装置２００へパケット（映像データパケット又はＦＥＣパケット）を送信する。ＲＴＰヘッダ領域には、映像データパケット又はＦＥＣパケットに関する情報が格納される。例えば、ＦＥＣパケットを生成する元となった映像データパケット又はＦＥＣパケットの識別情報、タイムスタンプが含まれる。

なお、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）は、例えば音声又は映像をストリーミング再生するための伝送プロトコルである。

ＲＴＣＰ受信部１０５は、受信装置２００から送信されたフィードバックパケットを受信し、フィードパックパケットに含まれる情報を抽出する。フィードバックパケットには、例えば、ＩＰネットワーク３００のパケット損失率及び時刻情報が含まれる。時刻情報は、送信時刻及び受信時刻の情報を含み、この情報からＲＴＴが導出される。

ＩＰネットワーク３００のパケット損失率とは、受信装置２００により受信されなかったパケットと、受信されたがエラーを含むパケットと、を考慮している。ＩＰネットワーク（通信路）３００のパケット損失率は、映像データパケット，ＦＥＣパケットの種別に関係なく、ＩＰネットワークにおいて損失したパケット割合に相当する。ＦＥＣ復号後のパケット損失率とは、受信できたパケット(映像データパケット，ＦＥＣパケット)に基づきＦＥＣ復号したが回復できなかった映像データパケット、を考慮している。ＦＥＣ復号後のパケット損失率は、第１のパケット損失率の一例である。ＩＰネットワーク３００のパケット損失率は、第２のパケット損失率の一例である。

なお、ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）は、送信装置１００と受信装置２００との間において通信されるＲＴＰデータに関連する制御情報を伝送するためのプロトコルである。

レート制御部１０７は、ＲＴＣＰ受信部１０５からのＩＰネットワーク３００のパケット損失率とＲＴＴとを冗長度導出部１０６へ出力し、ＦＥＣ符号化部１０３によりＦＥＣ符号化するときのＦＥＣ強度を決定するよう要求する。ＲＴＴは、例えば再送可能か否かを判断するために用いられる。再送できる場合には、再送できない場合と比較して、ＦＥＣ強度を小さくできる。

また、レート制御部１０７は、冗長度導出部１０６からのＦＥＣ強度と、ＲＴＣＰ受信部１０５からのＩＰネットワーク３００のパケット損失率及びＲＴＴの情報と、に基づいて、ＩＰネットワーク３００におけるネットワーク帯域を推定する。ＩＰネットワーク３００におけるネットワーク帯域は、例えば伝送レートである。

また、レート制御部１０７は、冗長度導出部１０６から受け取ったＦＥＣ強度に基づき推定されたネットワーク帯域内における映像エンコードレートを決定する。レート制御部１０７は、映像エンコードレートを映像符号化部１０１へ出力し、ＦＥＣ強度をＦＥＣ符号化部１０３へ出力する。

冗長度導出部１０６は、ＦＥＣ強度を導出するためのＦＥＣ強度導出テーブル１０６Ａ（例えば後述する図１３参照）を保持する。ＦＥＣ強度導出テーブル１０６Ａは、例えば、ＩＰネットワーク(通信路)３００のパケット損失率に対する目標品質を満たすＦＥＣ強度の対応テーブルを格納する。

パケット数Ｋの発生確率の情報は、映像符号化部１０１又はパケット化部１０２から冗長度導出部１０６へ予め通知される。

また、パケット数Ｋにおける，各ＦＥＣ強度に対するＦＥＣ復号後のパケット損失率の情報は、外部装置から取得されてもよい。本実施形態では、ＦＥＣ強度導出テーブル１０６Ａは、例えば受信装置２００との通信前に予め用意されている。

また、ＦＥＣ強度導出テーブル１０６Ａは、冗長度導出部１０６の内部以外の送信装置１００内のメモリに格納されてもよい。また、外部装置がＦＥＣ強度導出テーブル１０６Ａを保持しており、送信装置１００が通信等によりＦＥＣ強度導出テーブル１０６Ａを参照可能な状態であってもよい。

また、冗長度導出部１０６は、ＦＥＣ強度導出テーブル１０６Ａを参照し、レート制御部１０７からのＩＰネットワーク３００のパケット損失率に基づいて、全体のＦＥＣ復号後のパケット損失率が目標品質以上となるＦＥＣ強度を決定する。また、冗長度導出部１０６は、導出されたＦＥＣ強度をレート制御部１０７へ出力する。

図８は、受信装置２００の構成例を示すブロック図である。
受信装置２００は、ＲＴＰ受信部２０１、ＦＥＣ復号部２０２、映像復号部２０３、回線品質測定部２０４、及びＲＴＣＰ送信部２０５を備える。

ＲＴＰ受信部２０１は、送信装置１００から送信されたパケット（例えば映像データパケット又はＦＥＣパケット）を受信する。ＲＴＰ受信部２０１は、受信パケットに含まれるシーケンス番号及び時刻情報を回線品質測定部２０４へ出力し、受信パケット(映像データパケット及びＦＥＣパケット)をＦＥＣ復号部２０２へ出力する。時刻情報は、例えば送信装置１００によるパケットの送信時刻を含む。

ＦＥＣ復号部２０２は、ＲＴＰ受信部２０１からの映像データパケット及びＦＥＣパケットから、ＩＰネットワーク３００において損失したパケットを特定し、ＦＥＣ復号により損失したパケットを復元する。ＦＥＣ復号部２０２は、損失パケットの特定及びＦＥＣ復号に必要なパラメータを、例えばＦＥＣパケットのヘッダ情報から取得する。ＦＥＣ復号終了後、ＦＥＣ復号部２０２は、映像データパケットを映像復号部２０３へ出力する。

映像復号部２０３は、ＦＥＣ復号部２０２からの映像データパケットを映像フレームに復号し、送信装置１００により圧縮符号化された映像符号化データを復号化する。復号化の結果、映像出力デバイスを介して映像出力される。

回線品質測定部２０４は、ＩＰネットワーク３００の回線品質を測定する。回線品質は、例えばＩＰネットワーク３００におけるパケット損失率を含む。

ＲＴＣＰ送信部２０５は、送信装置１００から送信されたパケットに対するフィードバックパケットを送信する。フィードパックパケットは、例えば回線品質測定部２０４により測定された回線品質の情報（例えば、パケット損失率，送信パケットの送信時刻情報）を含む。

次に、冗長度導出部１０６によるＦＥＣ強度の導出例について説明する。

ここでは、圧縮符号化方式としてＨ.２６４／ＡＶＣを用い、ＩＰネットワーク３００の伝送レートが３Ｍｂｐｓであることを想定する。また、受信装置２００において取得された１ピクチャのパケット数に対して、ＩＰネットワーク３００におけるパケット損失率が１．０％であり、再送なしであることを想定する。この場合に、目標品質を達成するためのＦＥＣ強度を導出する例について説明する。目標品質は、例えばＦＥＣ復号後のパケット損失率を１０^−３（＝０．１％）未満とすることである。

図９は、ＩＰネットワーク３００の伝送レートが３Ｍｂｐｓの場合に、映像符号化された映像フレームからパケット化される１ピクチャあたりのパケット数Ｋの累積密度分布例を示す。図９では、１ピクチャあたりのパケット数Ｋが１〜３１の範囲において分布している。また、各Ｋの発生確率の一例を図１０に示す。

図９，図１０において、パケット数Ｋにおける累積密度（％）は、全パケット数（１個〜３１個）の出現頻度の総和に対するパケット数１個〜Ｋ個の出現頻度の総和の割合の一例を示す。Ｋ＝４〜７付近において累積密度が急上昇しているのは、１ピクチャあたりのパケット数Ｋ＝４〜７の発生確率が高いためである。

なお、本実施形態では、１ピクチャあたりのパケット数の発生確率分布が一定、かつ、既知であることを想定している。

冗長度導出部１０６は、ＦＥＣ強度導出テーブル１０６Ａを参照し、ＩＰネットワーク３００のパケット損失率＝１．０％の場合に、以下の（式１）を満たす例えば最小のＦＥＣ強度を導出する。ここで（式１）の右辺は、ＦＥＣ復号後のパケット損失率（第１のパケット損失率）の期待値の一例であり、各ＫにおけるＦＥＣ復号後のパケット損失率と各Ｋの発生確率との積の総和に基づく。

ＦＥＣ復号後のパケット損失率Ｐ_{ｌｏｓｓ,ｋ,Ｓｔｒ}は、例えばシミュレーションにより事前に導出され、例えば冗長度導出部１０６によりテーブル化されて値が保持される。ＦＥＣ復号後のパケット損失率Ｐ_{ｌｏｓｓ,ｋ,Ｓｔｒ}は、各パケット数の場合の各第１のパケット損失率の一例である。また、１ピクチャのパケット数Ｋの発生確率(Ｐ_{Ｋ＿ｅｖｅｎｔ})は、例えば冗長度導出部１０６により値が保持される。なお，ＦＥＣ復号後のパケット損失率Ｐ_{ｌｏｓｓ,ｋ,Ｓｔｒ}を理論式より導出してもよい。

ＦＥＣ強度＝１０，２０，３０の場合の（式１）に対する計算結果の一例を、全体のＦＥＣ復号後のパケット損失率として、図１１に示す。また、ＦＥＣ強度＝４０，１００の場合の（式１）に対する計算結果の一例を、全体のＦＥＣ復号後のパケット損失率として、図１２に示す。

図１１及び図１２の「ＦＥＣパケット数」は、ＦＥＣ符号化部１０３が各Ｋに対するＦＥＣ強度に基づいて生成可能なＦＥＣパケット数を示す。例えば、Ｋ＝５、ＦＥＣ強度＝２０であれば、「ＦＥＣパケット数」は、以下の（式２）による得られる値となる。

図１１及び図１２の「復号後損失率」は、各Ｋに対するＦＥＣ復号後のパケット損失率を示す。復号後損失率（ＦＥＣ復号後のパケット損失率）が，Ｐ_{ｌｏｓｓ,ｋ,Ｓｔｒ}に対応する。図１１及び図１２の例では、ＩＰネットワーク３００のパケット損失率が１．０％の条件下における各ＫにおけるＦＥＣ復号後のパケット損失率Ｐ_{ｌｏｓｓ,ｋ,Ｓｔｒ}を示す。図１１及び図１２のＦＥＣ復号後のパケット損失率の値は、ＦＥＣにＬＤＰＣを適用した場合の値（ＬＤＰＣ復号後のパケット損失率の値）に等しい。

なお、「復号後損失率」の欄の「ｘＥ−ｙ」は、ｘ×１０^−ｙを示す。例えば、「１．００Ｅ−０２」は、１．００×１０^−２を示す。

図１１及び図１２を用いた（式１）の計算結果より、ＩＰネットワーク３００のパケット損失率＝１．０％の条件下において、目標品質（例えばＦＥＣ復号後のパケット損失率＝１０^−３）を満たす最小のＦＥＣ強度は、３０である。従って、冗長度導出部１０６は、ＦＥＣ強度３０としてＦＥＣの冗長度（データパケットに対するＦＥＣパケットの割合）を決定する。

ここで、映像符号化部１０１が出力する全ピクチャ（ｋ＝１〜３１）に対して、目標品質を満たそうとすると、ＦＥＣ強度＝１００が必要となる。一方、ＦＥＣ強度＝３０では、Ｋ＝１，２，３の場合に、ＦＥＣパケットを付加できないため、受信パケットに誤り（エラー）が含まれる場合には、ＦＥＣ復号できずにパケット損失が常に発生する。

しかし、１ピクチャあたりのパケット数が小さい場合には、映像データ量又は映像データ量の変化量も小さく、発生確率も低いため（図１０参照）、映像全体の主観に与える影響も小さい。

ＩＰネットワーク３００のパケット損失率＝２％，３％に対しても、上記同様の計算により最小のＦＥＣ強度を導出した結果の一例を、図１３に示す。ＩＰネットワーク３００のパケット損失率と、導出された好適なＦＥＣ強度と、を含む情報が、ＦＥＣ強度導出テーブル１０６Ａに格納される。

冗長度導出部１０６は、例えば図１３を参照して、レート制御部１０７から通知されるＩＰネットワーク３００のパケット損失率（例えば１％）に対応するＦＥＣ強度（例えば３０）を導出し、レート制御部１０７へ出力する。

このように、送信装置１００は、パケットの発生確率の分布に基づいて、受信装置２００における復号処理後のパケット損失率の期待値が所定品質を満たすよう、ＦＥＣパケットの割合を導出する冗長度導出部を備える。復号処理は、例えばＦＥＣ復号である。

送信装置１００によれば、通信システム１０００全体におけるＦＥＣ復号後のパケット損失率が目標品質を満たす最小のＦＥＣ強度を導出できる。従って、目標品質を満たし、ＦＥＣ帯域を小さく抑えられるため、映像にかけられる帯域量を大きくでき、映像品質を向上できる。

すなわち、送信装置１００では、ピクチャあたりのパケット数分布（例えば累積分布）を考慮した全体のＦＥＣ復号後のパケット損失率が目標品質を満たすように、ＦＥＣ強度を設定する。従って、そもそものＦＥＣパケットに用いられるネットワーク帯域を小さく抑え、映像パケットに用いられるネットワーク帯域を大きくできるため、映像品質が改善する。図１４の例では、ＦＥＣ強度＝１００による通信から、ＦＥＣ強度＝３０による通信を行っても目標品質を満たせる場合、通信される全パケット数に対する映像データパケットの割合は、２７％増加される。

また、例えば、映像エンコーダのパラメータが固定又は入力映像ソースが類似する場合、ピクチャあたりのパケット数分布に傾向がある。この場合、事前にＦＥＣ強度を決めても、映像品質を高品質に維持できる。送信装置１００は、予め映像符号化部１０１から出力した例えば１ピクチャあたりの各パケット数の発生確率又はその累積密度の情報に基づき、ＦＥＣ強度を決定してもよい。

すなわち、１ピクチャＫ個である事象の発生確率(Ｐ_{Ｋ＿ｅｖｅｎｔ})は、予め映像エンコーダから出力した結果としてもよい。これにより、例えば、映像エンコーダのパラメータが固定、又は、通信される映像の統計量が類似する場合、ＦＥＣ強度を導出する事前計算を毎回行わなくて済むので、処理を簡略化できる。本実施形態では、送出される１ピクチャあたりのパケット数の発生確率分布は一定に維持されるので、映像エンコードレートが変更されても、発生確率（Ｐ_{Ｋ＿ｅｖｅｎｔ}）は同じであり、既知である。

また、冗長度導出部１０６は、１ピクチャＫ個である事象の発生確率（Ｐ_{Ｋ＿ｅｖｅｎｔ}）と、ＩＰネットワーク３００のパケット損失率（Ｐ_ｌｏｓｓ）の場合の（Ｋ、Ｓｔｒ）におけるＦＥＣ復号後のパケット損失率（Ｐ_{ｌｏｓｓ＿Ｋ＿Ｓｔｒ}）と、の積の総和により、システム全体のＦＥＣ復号後のパケット損失率を導出してもよい。

これにより、ＩＰネットワーク３００のパケット損失率に応じて最適なＦＥＣ強度を決定可能であり、ネットワーク状況を考慮したＦＥＣ強度を選択できる。

また、特に１ピクチャあたりのパケット数Ｋが大きいものが大半を占める場合には、パケット数Ｋの小さい領域において目標品質を満たせない領域が発生しても劣化影響は小さい。従って、全体のＦＥＣに用いられるネットワーク帯域を小さく抑え、映像に用いられる帯域量を大きくできるため、映像品質が改善する。

（第２の実施形態）
本実施形態では、映像符号化部１０１から出力される統計情報に基づき、最適なＦＥＣ強度を導出することを想定する。なお、通信システム１０００において、第１の実施形態と異なる点について主に説明し、同一の構成部については説明を省略又は簡略化する。

図１５は、本実施形態の送信装置１００Ｂの構成例を示すブロック図である。
送信装置１００Ｂは、映像符号化部１０１の代わりに映像符号化部１０１Ｂを備え、パケット化部１０２の代わりにパケット化部１０２Ｂを備え、冗長度導出部１０６の代わりに冗長度導出部１０６Ｂを備える。また、図１６に示すように、冗長度導出部１０６Ｂは、累積密度分布学習部１０８及び品質計算部１０９を備える。

受信装置２００については、第１の実施形態と同様であるので、説明を省略する。

映像符号化部１０１Ｂは、映像符号化部１０１と同様の機能を有する。また、映像符号化部１０１Ｂは、例えばＩＰネットワーク３００のネットワーク帯域に応じて、映像エンコードのパラメータを変更する。従って、映像フレームあたりのパケット数Ｋの発生確率の分布が変動する。

映像エンコードレートが変更されると、１ピクチャあたりのパケット数分布も変化する。図１７は、ＩＰネットワーク３００における最大のネットワーク帯域（伝送レート）が変化したときの１ピクチャあたりのパケット数と累積密度の分布の変化例を示す。図１７では、最大の伝送レートが５１２ｋｂｐｓ〜９．０Ｍｂｐｓの範囲におけるパケット数分布の変化例を示している。伝送レートが大きな値である程、より高解像度もしくは，より大きいフレームレートの映像を伝送できるため、比較的大きなパケット数（Ｋ）の発生確率が高くなる。

パケット化部１０２Ｂは、映像符号化部１０１により符号化された映像フレームを所定のパケットサイズにパケット化する。また、パケット化部１０２Ｂは、１ピクチャあたりの映像データパケット数を、冗長度導出部１０６Ｂの累積密度分布学習部１０８へ出力する。

冗長度導出部１０６Ｂの累積密度分布学習部１０８は、パケット化部１０２Ｂから入力される１ピクチャあたりの映像データパケット数の情報を統計情報として蓄積し、各Ｋの発生確率（Ｐ_{Ｋ＿ｅｖｅｎｔ}）を導出する。この各Ｋの発生確率の情報は，累積密度分布学習部１０８に格納される。

また、本実施形態におけるＦＥＣ強度導出テーブル１０９Ａは，ＩＰネットワーク３００のパケット損失率（Ｐ_ｌｏｓｓ）の場合の（Ｋ、Ｓｔｒ）におけるＦＥＣ復号後のパケット損失率（Ｐ_{ｌｏｓｓ＿Ｋ＿Ｓｔｒ}）をテーブル化したものである．また，ＦＥＣ強度導出テーブル１０９Ａは，品質計算部１０９に格納される。

ＦＥＣ強度導出テーブル１０９Ａの一例を、図１８〜図２０に示す。図１８はＩＰネットワーク３００のパケット損失率が１％の条件下におけるＦＥＣ強度導出テーブル１０９Ａの一例を示す図である。図１９はＩＰネットワーク３００のパケット損失率が２％の条件下におけるＦＥＣ強度導出テーブル１０９Ａの一例を示す図である。図２０はＩＰネットワーク３００のパケット損失率が３％の条件下におけるＦＥＣ強度導出テーブル１０９Ａの一例を示す図である。

冗長度導出部１０６Ｂの品質計算部１０９は、ＦＥＣ強度導出テーブル１０９Ａを参照し、累積密度分布学習部１０８からの各Ｋの発生確率と、レート制御部１０７からのＩＰネットワーク３００のパケット損失率に基づいて、最適なＦＥＣ強度を導出する。すなわち、品質計算部１０９は、目標品質を達成できるＦＥＣ復号後のパケット損失率を実現できるＦＥＣ強度がいくつであるか、（式１）により導出する。品質計算部１０９は、導出結果としてのＦＥＣ強度をレート制御部１０７へ出力する。

例えば、品質計算部１０９は、パケット損失率が１％であれば、図１８のＦＥＣ強度導出テーブル１０９Ａを参照して、学習された各Ｋの発生確率に基づき、（式１）により最適なＦＥＣ強度を導出する。

従って、品質計算部１０９は、（式１）のＰ_{Ｋ＿ｅｖｅｎｔ}として、予め取得された値ではなく、通信中のパケット化部１０２Ｂから出力される１ピクチャあたりの映像データパケット数の統計情報を利用する。つまり、本実施形態では、Ｐ_{Ｋ＿ｅｖｅｎｔ}の統計情報は、受信装置２００との通信中に通信状況に応じて、累積密度分布学習部１０８により逐次更新される。

このように、送信装置１００Ｂは、１ピクチャＫ個である事象の発生確率（Ｐ_{Ｋ＿ｅｖｅｎｔ}）は、通信中の映像エンコーダから出力される統計情報から導出した結果とする。すなわち、冗長度導出部１０６Ｂは、パケット化部１０２Ｂによりパケットが生成される場合に、１ピクチャあたりのパケット数に基づいて、パケット数の発生確率を更新する。

送信装置１００Ｂによれば、受信装置２００との通信中に映像エンコーダパラメータが変化し、１ピクチャあたりＫ個である事象の発生確率（Ｐ_{Ｋ＿ｅｖｅｎｔ}）の統計情報が変化する場合でも、全体のＦＥＣパケットに用いられるネットワーク帯域を小さく抑えられる。また、映像データパケットに用いられるネットワーク帯域量を大きくすることにより、映像品質を改善できる。このように、通信中に映像エンコーダパラメータが変化し、１ピクチャＫ個である事象の発生確率(Ｐ_{Ｋ＿ｅｖｅｎｔ})の統計情報が変化した場合にも、ＦＥＣ強度を好適に算出できる。

本開示は、上記実施形態の構成に限られるものではなく、特許請求の範囲において示した機能、または上記実施形態の構成が持つ機能が達成できる構成であれば、どのようなものであっても適用可能である。

上記実施形態では、冗長度導出部１０６又は１０６Ｂは、全Ｋに対する発生確率と、全Ｋに対するＦＥＣ復号後のパケット損失率と、の積を導出することを説明した。この代わり、全Ｋ（例えばＫ＝１〜３１）ではなく、Ｋ_ｍａｘ以下の範囲（例えばＫ＝１〜１０）における計算結果で代用してもよい。

これは、各Ｋの発生確率がＫの所定範囲に偏っており、ＦＥＣ復号後のパケット損失率において支配的となるのが、主にＫが小さい部分における結果だからである。例えば、表２のＦＥＣ強度＝３０において、Ｋ＝１〜１０までの（式１）の計算結果：５．１７×１０^−４であり、全体（ｋ＝１〜３１）の（式１）の計算結果：５．６５＊１０^−４とほぼ近似している。この場合のＫ_ｍａｘを１０としてもよい。

さらに、上限としてのＫ_ｍａｘの代わりに、又はＫ_ｍａxとともに、下限としてのＫ_ｍｉｎを設定してもよい。

このように、冗長度導出部１０６又は１０６Ｂは、全体にわたるパケット数の情報を用いるのではなく、所定範囲のパケット数の発生確率及びＦＥＣ復号後のパケット損失率に基づいて、ＦＥＣパケットの割合を導出してもよい。所定範囲は、例えば、Ｋ≦Ｋ_ｍａｘ、又はＫ_ｍｉｎ≦Ｋ≦Ｋ_ｍａｘである。

これにより、全統計情報(例えば全Ｋ)に対するＦＥＣ復号後のパケット損失率を導出に要する（式１）の計算量と比較すると、計算量を抑制できる。また、計算量を抑制できるので、送信装置１００Ｂによる処理時間を短縮できる。

また、上記の所定範囲は、予め定められていてもよい。これにより、計算量を抑制できる。

また、冗長度導出部１０６又は１０６Ｂは、事前に取り決められたＫ_ｍａｘではなく、蓄積された１ピクチャあたりの映像データパケット数の統計情報に基づいて、Ｋ_ｍａｘを決定してもよい。例えば、Ｋ_ｍａｘの値として、発生確率の累積分布が８５％以上となる値としてもよい。この場合、図１０のような各Ｋの発生確率を想定すると、冗長度導出部１０６又は１０６Ｂは、Ｋ_ｍａｘ＝１０に決定する。

このように、冗長度導出部１０６又は１０６Ｂは、上記の所定範囲を、各パケット数の発生確率の分布に基づいて導出してもよい。これにより、ＦＥＣ復号後のパケット損失率の導出にかかる（式１）の計算量を抑制し、例えば映像エンコーダ又は入力映像の変化にも好適に対応可能なＦＥＣ強度を導出できる。

上記実施形態では、映像に関して符号化、パケット化することを例示したが、他のデータを符号化、パケット化してもよい。

上記実施形態では、ＦＥＣ符号としてＬＤＰＣ符号を用いた場合を主に説明したが、他の誤り訂正符号（例えばリードソロモン符号）を用いてもよい。

上記実施形態では、図１１，図１２において、ＦＥＣ復号後のパケット損失率は再送なしであることを前提条件として例示したが、再送ありの条件下において再送込みのＦＥＣ復号後のパケット損失率を用いてもよい。

上記実施形態では、図１１，図１２において、ＦＥＣ強度の刻みを１０刻みとすることを例示したが、これ以外の値でもよい。例えば１刻みにおいてＦＥＣ強度導出テーブルを保持している場合、条件を満たす最小のＦＥＣ強度が１刻みで導出される。

上記実施形態では、本開示をハードウェアによって構成する場合を例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしてもよいし、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称してもよい。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。例えば、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続、又は、設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

（開示の一態様の概要）
本開示の第１の送信装置は、
パケットを受信装置へ送信する送信部と、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるＦＥＣパケットの割合を導出する冗長度導出部と、
を備える。

本開示の第２の送信装置は、第１の送信装置であって、
符号化フレームからパケットを生成するパケット化部を備え、
前記冗長度導出部は、前記符号化フレームあたりの各パケット数の発生確率と、各パケット数の場合の各第１のパケット損失率と、に基づいて、前記ＦＥＣパケットの割合を導出する。

本開示の第３の送信装置は、第２の送信装置であって、
前記冗長度導出部は、当該送信装置及び前記受信装置を含むネットワークにおけるパケット損失率である第２のパケット損失率に基づいて、前記ＦＥＣパケットの割合を導出する。

本開示の第４の送信装置は、第２または第３の送信装置であって、
各パケット数の発生確率は、予め定められている。

本開示の第５の送信装置は、第２または第３の送信装置であって、
前記冗長度導出部は、前記パケット生成部により生成された前記符号化フレームあたりのパケット数に基づいて、前記パケット数の発生確率を更新する。

本開示の第６の送信装置は、第２乃至第５のいずれか１つの送信装置であって、
前記冗長度導出部は、前記符号化フレームから生成されるパケットのパケット数のうち、所定範囲の各パケット数の発生確率と、前記所定範囲の各パケット数の場合の各第１のパケット損失率と、に基づいて、前記ＦＥＣパケットの割合を導出する。

本開示の第７の送信装置は、第６の送信装置であって、
前記パケット数の前記所定範囲は、予め定められている。

本開示の第８の送信装置は、第６の送信装置であって、
前記冗長度導出部は、前記パケット数の前記所定範囲を、各パケット数の発生確率の分布に基づいて導出する。

本開示の通信システムは、
送信装置及び受信装置がネットワークを介して接続された通信システムであって、
前記送信装置は、
前記受信装置からの前記ネットワークのパケット損失率の情報を受信する第１受信部と、
前記パケットの発生確率の分布及び前記ネットワークのパケット損失率に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるＦＥＣパケットの割合を導出する冗長度導出部と、
パケットを前記受信装置へ送信する第１送信部と、
を備え、
前記受信装置は、
前記送信装置からのパケットを受信する第２受信部と、
前記受信部により受信されたパケットに基づいて、前記ネットワークのパケット損失率を測定する回線品質測定部と、
前記回線品質測定部により測定されたパケット損失率の情報を前記送信装置へ送信する第２送信部と、
を備える通信システム。

本開示の送信方法は、
パケットを受信装置へ送信する送信ステップと、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信されるＦＥＣパケットの割合を導出するステップと、
を有する。

本開示は、パケット損失を好適に回復できる送信装置、通信システム、及び送信方法等に有用である。

１０００ 通信システム
１００，１００Ｂ 送信装置
１０１，１０１Ｂ 映像符号化部
１０２，１０２Ｂ パケット化部
１０３ ＦＥＣ符号化部
１０４ ＲＴＰ送信部
１０５ ＲＴＣＰ受信部
１０６，１０６Ｂ 冗長度導出部
１０６Ａ ＦＥＣ強度導出テーブル
１０７ レート制御部
１０８ 累積分布学習部
１０９ 品質計算部
１０９Ａ ＦＥＣ強度導出テーブル
２００ 受信装置
２０１ ＲＴＰ受信部
２０２ ＦＥＣ復号部
２０３ 映像復号部
２０４ 回線品質測定部
２０５ ＲＴＣＰ送信部
３００ ＩＰネットワーク

Claims (10)

1. パケットを受信装置へ送信する送信部と、
   前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるＦＥＣパケットの割合を導出する冗長度導出部と、
   を備える送信装置。
2. 請求項１に記載の送信装置であって、更に、
   符号化フレームからパケットを生成するパケット化部を備え、
   前記冗長度導出部は、前記符号化フレームあたりの各パケット数の発生確率と、各パケット数の場合の各第１のパケット損失率と、に基づいて、前記ＦＥＣパケットの割合を導出する送信装置。
3. 請求項２に記載の送信装置であって、
   前記冗長度導出部は、当該送信装置及び前記受信装置を含むネットワークにおけるパケット損失率である第２のパケット損失率に基づいて、前記ＦＥＣパケットの割合を導出する送信装置。
4. 請求項２または３に記載の送信装置であって、
   各パケット数の発生確率は、予め定められた送信装置。
5. 請求項２または３に記載の送信装置であって、
   前記冗長度導出部は、前記パケット生成部により生成された前記符号化フレームあたりのパケット数に基づいて、前記パケット数の発生確率を更新する送信装置。
6. 請求項２ない５のいずれか１項に記載の送信装置であって、
   前記冗長度導出部は、前記符号化フレームから生成されるパケットのパケット数のうち、所定範囲の各パケット数の発生確率と、前記所定範囲の各パケット数の場合の各第１のパケット損失率と、に基づいて、前記ＦＥＣパケットの割合を導出する送信装置。
7. 請求項６のいずれか１項に記載の送信装置であって、
   前記パケット数の前記所定範囲は、予め定められた送信装置。
8. 請求項６のいずれか１項に記載の送信装置であって、
   前記冗長度導出部は、前記パケット数の前記所定範囲を、各パケット数の発生確率の分布に基づいて導出する送信装置。
9. 送信装置及び受信装置がネットワークを介して接続された通信システムであって、
   前記送信装置は、
   前記受信装置からの前記ネットワークのパケット損失率の情報を受信する第１受信部と、
   前記パケットの発生確率の分布及び前記ネットワークのパケット損失率に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるＦＥＣパケットの割合を導出する冗長度導出部と、
   パケットを前記受信装置へ送信する第１送信部と、
   を備え、
   前記受信装置は、
   前記送信装置からのパケットを受信する第２受信部と、
   前記受信部により受信されたパケットに基づいて、前記ネットワークのパケット損失率を測定する回線品質測定部と、
   前記回線品質測定部により測定されたパケット損失率の情報を前記送信装置へ送信する第２送信部と、
   を備える通信システム。
10. パケットを受信装置へ送信する送信ステップと、
    前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第１のパケット損失率の期待値が所定品質を満たすよう、前記送信されるＦＥＣパケットの割合を導出するステップと、
    を有する送信方法。
    

Images