JP4696008B2 - Ｉｐ送信装置およびｉｐ送信方法 - Google Patents

Description

本発明は、映像情報または音声情報を含む送信データをインターネットプロトコルによって送信するＩＰ送信装置およびＩＰ送信方法に関し、特に、パケット単位での消失が発生する際にも十分な誤り耐性を確保することができ、高品質のストリーミングを行うことができるＩＰ送信装置およびＩＰ送信方法に関する。

近年、地上デジタル放送の開始が迫っていることや高速な光通信網の整備などに伴って、インターネットプロトコル（Internet Protocol：ＩＰ）によって映像や音声を伝送する技術が盛んに検討されている。一般に、インターネットを介して映像や音声を伝送する場合には、リアルタイム性が必要とされることが多いため、標準プロトコルとしては、再送制御などがないＵＤＰ（User Datagram Protocol）が採用されることが多い。

このため、例えば地上デジタル放送のデジタル波が届きにくい山間部などへは、通信事業者によって整備されつつある光通信網などを介して、ＵＤＰパケットを単位として放送内容のストリーミングが行われることが考えられる。すなわち、今後、放送と通信は非常に密接に係わり合うことが予想され、両者を融合することが必要不可欠になっている。

また、放送および通信の両者において重要な技術の１つとして、誤り訂正技術がある。誤り訂正技術とは、送信側において送信データを誤り訂正符号化しておき、受信側は、受信データを誤り訂正復号することにより、データ伝送中に発生する誤りを訂正するものである。そして、映像や音声などのデータ伝送時には、例えば特許文献１に開示されているように、データの重要度に応じて変調方式や誤り訂正符号化方式を変更することが検討されている。

特開２０００−１１５０８５号公報

ところで、インターネットを介して放送内容のストリーミングが行われる場合には、既存のインターネット通信などと帯域を分け合うことになり、余裕のある帯域を放送に割り当てることはほぼ不可能である。このため、リアルタイム性が重視される放送では、限られた帯域を最大限に利用して、優先されるデータを誤りなく伝送することがますます重要となる。

しかしながら、一般的な誤り訂正では、比較的狭い範囲のデータに発生する誤りは訂正可能であるものの、パケット単位での消失などに伴う誤りを訂正することは困難である。特に、放送技術において用いられる誤り訂正符号化方式は、主にビット単位の誤り訂正に適しており、インターネットを介してパケット単位で伝送が行われる場合には、十分な誤り耐性を得ることができない。

本発明はかかる点に鑑みてなされたものであり、パケット単位での消失が発生する際にも十分な誤り耐性を確保することができ、高品質のストリーミングを行うことができるＩＰ送信装置およびＩＰ送信方法を提供することを目的とする。

上記課題を解決するために、ＩＰ送信装置は、映像情報または音声情報を含む送信データをインターネットプロトコルによって送信するＩＰ送信装置であって、送信データに含まれる情報の重要性および脆弱性に応じて送信データの優先度を示す階層を決定する決定手段と、前記決定手段によって決定された階層に基づいて、送信データの優先度が高いほど当該送信データを大きいサイズのデータブロックに分割する第１分割手段と、前記第１分割手段によって分割されて得られたデータブロックを所定サイズの情報ブロックに分割する第２分割手段と、前記第２分割手段によって分割されて得られた同一データブロック内の情報ブロックの組み合わせのうち、当該データブロックの階層に応じた数の組み合わせを選択する選択手段と、前記選択手段によって選択された情報ブロックの組み合わせを用いて誤り訂正符号化されて得られたパケットを送信する送信手段とを有することを特徴とする。

本発明によれば、送信データに含まれる情報の重要性および脆弱性に応じて送信データの優先度を示す階層を決定し、決定された階層ごとに異なる組み合わせで複数の送信データ成分を組み合わせて誤り訂正符号化し、送信データが誤り訂正符号化されて得られたパケットを送信する。このため、優先度が高い送信データについては、より多くの送信データ成分の組み合わせで誤り訂正符号化を行い、送信データに含まれる情報を複数のパケットに広く分散して送信することができる。結果として、パケット単位での消失が発生する際にも十分な誤り耐性を確保することができ、高品質のストリーミングを行うことができる。

また、本発明によれば、送信データを階層に応じた数の一定サイズの情報ブロックに分割し、分割されて得られた複数の情報ブロックの組み合わせのうち階層に応じた数の組み合わせを選択し、選択された組み合わせにおいて情報ブロック間の排他的論理和を算出する。このため、階層に応じて組み合わせ可能なデータの範囲が変化するとともに、階層に応じて冗長度が異なり、情報の優先度に適した誤り耐性を確保するための誤り訂正符号化を行うことができる。

また、本発明によれば、優先度が高い階層の送信データほど多くの情報ブロックに分割するため、優先度が高い情報ほど広範囲のデータが組み合わせられることになり、優先度が高い情報を分散させて送信することができ、誤り耐性を向上することができる。

また、本発明によれば、優先度が高い階層の送信データほど多くの組み合わせを選択するため、優先度が高い情報ほど冗長度を大きくすることができ、誤り耐性を向上することができる。

また、本発明によれば、リアルタイム性が要求される送信データの優先度を高くし、リアルタイム性が要求されない送信データの優先度を低くするため、リアルタイム性が要求されるマルチメディアデータに十分な誤り耐性を確保することができる。

また、本発明によれば、１回のみ送信される送信データの優先度を高くし、繰り返し送信される送信データの優先度を低くするため、誤り耐性が確保される送信方式によって送信されるデータ以外についても十分な誤り耐性を確保することができる。

また、本発明によれば、映像情報に関連する関連情報を取得し、映像情報の優先度を関連情報の優先度よりも高くするため、受信側において映像情報に付加的な関連情報を表示させることができるとともに、主となる映像情報の誤り耐性を向上し、二次的な関連情報よりも正確に送信することができる。

また、本発明によれば、映像情報が得られた時刻を関連情報として取得するため、例えば監視カメラシステムなどにおいて、監視映像に監視時刻を付加して表示させることができる。

また、本発明によれば、映像情報の被写体に関する情報を関連情報として取得するため、例えば被写体となる人物の名前やプロフィールを表示させ、サービスの向上を図ることができる。

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。なお、以下においては、カメラによって取得された映像や音声などのマルチメディアデータが伝送される場合を例に挙げて説明するが、本発明は、例えば外部から送信されたマルチメディアデータを中継する場合などにも適用可能である。

図１は、本発明の一実施の形態に係るＩＰ送信装置の要部構成を示すブロック図である。図１に示すＩＰ送信装置は、カメラ１１０、エンコーダ部１２０、関連情報取得部１３０、制御情報生成部１４０、符号化部１５０、および送信部１６０を有している。

カメラ１１０は、被写体を撮影して映像を取得し、この映像をエンコーダ部１２０へ出力する。なお、カメラ１１０は、映像と同時に音声を取得しても良い。エンコーダ部１２０は、カメラ１１０から出力される映像をエンコードし、得られた映像情報を関連情報取得部１３０および符号化部１５０へ出力する。

関連情報取得部１３０は、映像情報に関連がある関連情報を取得し、符号化部１５０へ出力する。具体的には、関連情報取得部１３０は、例えばカメラ１１０が監視カメラである場合は、撮影された時刻や方向などの関連情報を取得する。また、関連情報取得部１３０は、例えばカメラ１１０が被写体として人物を撮影している場合は、この人物が身に着けている洋服やアクセサリーの情報などの関連情報を取得する。他の関連情報としては、例えば被写体の人物の名前やプロフィールおよび字幕などがある。このような関連情報を映像情報とともに配信することにより、放送事業においては受信者へのサービス向上を図ることができる。関連情報取得部１３０は、操作者から入力される関連情報を取得したり、図示しないセンサなどから関連情報を取得したりする。また、関連情報取得部１３０は、例えば映像情報の画像解析を行い、解析結果を用いて図示しないデータベースを検索し、関連情報を取得しても良い。

制御情報生成部１４０は、受信側において映像の再生に必要な制御情報を生成し、符号化部１５０へ出力する。

符号化部１５０は、制御情報、映像情報、および関連情報に対して、重要性および脆弱性に応じた階層を決定し、優先度が高い階層の情報ほど誤り耐性が高い誤り訂正符号化を行う。このとき、符号化部１５０は、同一階層のデータ同士の排他的論理和を用いるＲＰＳ（Random Parity Stream）符号化を行い、得られたＲＰＳパケットを送信部１６０へ出力する。符号化部１５０の内部構成およびＲＰＳ符号化については、後に詳述する。

送信部１６０は、符号化部１５０から出力されるＲＰＳパケットに通し番号などの所定のヘッダを付加し、得られた送信パケットを送信する。

図２は、本実施の形態に係る符号化部１５０の内部構成を示すブロック図である。図２に示す符号化部１５０は、階層決定部１５１、バッファ１５２−１〜１５２−ｎ、ＲＰＳ符号化部１５３、ＲＰＳバッファ１５４−１〜１５４−ｎ、および階層多重部１５５を有している。

階層決定部１５１は、制御情報、映像情報、および関連情報に対して、それぞれの重要性および脆弱性に応じたｎ（ｎは２以上の整数）段階の階層を決定する。すなわち、階層決定部１５１は、例えば制御情報などの重要な情報や、誤りの発生が重大な影響を与える脆弱な情報ほど優先度が高い階層に決定する。反対に、階層決定部１５１は、例えばリアルタイム性が要求されないノンリアルタイム情報などの比較的重要ではない情報や、同じ情報を繰り返し伝送するカルーセル方式によって送信される情報などあらかじめ誤りに対して耐性を持つ情報は優先度が低い階層と決定する。また、階層決定部１５１は、映像情報の階層が決定されると、この映像情報に関連する関連情報は、映像情報よりも優先度が低い階層と決定する。そして、階層決定部１５１は、ｎ段階の階層のうち第ｍ（ｍはｎ以下の整数）番目の階層の情報を第ｍ優先データとして対応するバッファ１５２−ｍへ出力する。

バッファ１５２−１〜１５２−ｎは、階層決定部１５１から出力される第１〜ｎ優先データを一時的に記憶し、それぞれ第１〜ｎ優先データを順次ＲＰＳ符号化部１５３へ出力する。

ＲＰＳ符号化部１５３は、第１〜ｎ優先データをＲＰＳ符号化し、各階層について得られる第１〜ｎ優先符号化パケットをそれぞれ対応するＲＰＳバッファ１５４−１〜１５４−ｎへ出力する。具体的には、ＲＰＳ符号化部１５３は、図３に示すように、符号長割当部１５３ａ、情報ブロック分割部１５３ｂ、組み合わせ選択部１５３ｃ、排他的論理和算出部１５３ｄ、およびヘッダ付加部１５３ｅを有している。

符号長割当部１５３ａは、入力される第１〜ｎ優先データの階層に応じて符号長を割り当て、第１〜ｎ優先データをそれぞれ割り当てられた符号長に対応するデータ量のデータブロックに分割する。このとき、符号長割当部１５３ａは、優先度が高い階層のデータほど大きい符号長を割り当て、優先度が低い階層のデータほど小さい符号長を割り当てる。ここで、符号長とは、符号化の際に組み合わせ得るデータの範囲を示しており、より具体的には、１つのデータブロック内に組み合わせの単位となる情報ブロックをいくつ設けるかを示している。したがって、符号長が大きくなると、より多くの情報ブロック同士の組み合わせが可能となり、１つの情報ブロックのデータがより多くのパケットに分散されて誤り訂正符号化されるため、パケット単位での誤り耐性が向上する。

情報ブロック分割部１５３ｂは、第１〜ｎ優先データをデータブロックごとに所定サイズの情報ブロックに分割し、複数の情報ブロックを組み合わせ選択部１５３ｃへ出力する。このとき、符号長割当部１５３ａによって階層に応じた符号長割り当てが行われているため、第１〜ｎ優先データそれぞれのデータブロックを分割して得られる情報ブロック数は異なっている。

組み合わせ選択部１５３ｃは、同一データブロック由来の複数の情報ブロックの組み合わせのうち、符号化に用いる組み合わせを選択し、選択した組み合わせを排他的論理和算出部１５３ｄおよびヘッダ付加部１５３ｅへ通知する。このとき、組み合わせ選択部１５３ｃは、第１〜ｎ優先データの階層に応じて選択する組み合わせ数を決定する。具体的には、符号長（すなわち情報ブロック数）と選択される組み合わせ数との比を示す冗長度が階層ごとに規定されており、組み合わせ選択部１５３ｃは、階層に応じた冗長度を満たす数の組み合わせ数を決定する。すなわち、例えば符号長（情報ブロック数）が４である場合にこのデータの階層に応じた冗長度が１．５に規定されていれば、組み合わせ選択部１５３ｃは、任意の２〜４個の情報ブロックの組み合わせのうち６（＝４×１．５）通りの組み合わせを選択する。ここで、冗長度は、優先度が高い階層のデータほど大きく、優先度が低いデータほど小さい。冗長度が大きく、選択される組み合わせが多ければ多いほど、個々の情報ブロックがより多くの組み合わせに用いられることになり、誤り耐性が向上する。ただし、冗長度は、すべての階層のデータブロックについて１以上に規定されており、組み合わせ選択部１５３ｃは、少なくとも符号長以上の数（すなわち情報ブロック数以上の数）の組み合わせを選択する。

排他的論理和算出部１５３ｄは、組み合わせ選択部１５３ｃから通知される組み合わせの情報ブロックについて排他的論理和を算出し、算出結果のビット列をヘッダ付加部１５３ｅへ出力する。算出結果のビット列には、各組み合わせの情報ブロックのデータが反映されていることになる。

ヘッダ付加部１５３ｅは、組み合わせ選択部１５３ｃから通知される組み合わせおよびデータの階層を示すヘッダを排他的論理和算出部１５３ｄから出力されるビット列に付加し、第１〜ｎ優先符号化パケットを生成する。

再び図２に戻って、ＲＰＳバッファ１５４−１〜１５４−ｎは、ＲＰＳ符号化部１５３によって生成された第１〜ｎ優先符号化パケットを一時的に記憶し、それぞれ第１〜ｎ優先符号化パケットを順次階層多重部１５５へ出力する。

階層多重部１５５は、第１〜ｎ優先符号化パケットを多重し、得られたＲＰＳパケットを出力する。

図４は、本実施の形態に係るＩＰ受信装置の要部構成を示すブロック図である。図４に示すＩＰ受信装置は、受信部２１０、復号部２２０、デコーダ部２３０、および表示部２４０を有している。

受信部２１０は、ＩＰ送信装置からの受信パケットを受信し、ヘッダの除去などの所定の受信処理を施し、得られたＲＰＳパケットを復号部２２０へ出力する。

復号部２２０は、ＲＰＳパケットのヘッダからデータの階層を特定して階層に応じた誤り訂正復号を行い、誤りがない受信情報をデコーダ部２３０へ出力する。復号部２２０の内部構成については、後に詳述する。

デコーダ部２３０は、復号部２２０から出力される受信情報をデコードし、得られた映像データを表示部２４０へ出力する。表示部２４０は、映像データを表示する。

図５は、本実施の形態に係る復号部２２０の内部構成を示すブロック図である。図５に示す復号部２２０は、階層分離部２２１、ＲＰＳバッファ２２２−１〜２２２−ｎ、ＲＰＳ復号化部２２３、バッファ２２４−１〜２２４−ｎ、多重化部２２５を有している。

階層分離部２２１は、ＲＰＳパケットのヘッダを参照して、ＲＰＳパケットを階層ごとの第１〜ｎ優先符号化パケットに分離する。具体的には、階層分離部２２１は、ＲＰＳパケットのヘッダに含まれる符号長フィールドを参照し、ＲＰＳパケットを符号長に対応する階層の第１〜ｎ優先符号化パケットへ分離する。

ＲＰＳバッファ２２２−１〜２２２−ｎは、階層分離部２２１から出力される第１〜ｎ優先符号化パケットを一時的に記憶し、それぞれ第１〜ｎ優先符号化パケットを順次ＲＰＳ復号化部２２３へ出力する。

ＲＰＳ復号化部２２３は、第１〜ｎ優先符号化パケットを復号化し、各階層について得られる第１〜ｎ優先データをそれぞれ対応するバッファ２２４−１〜２２４−ｎへ出力する。このとき、ＲＰＳ復号化部２２３は、それぞれの符号化パケットから情報ブロック間の排他的論理和を表すビット列を抽出し、符号化パケットのヘッダとして付加された組み合わせ情報を用いて情報ブロック間の排他的論理和から元の情報ブロックを取得することにより復号化を行う。そして、ＲＰＳ復号化部２２３は、階層に応じた符号長（情報ブロック数）の情報ブロックを結合し、第１〜ｎ優先データを得る。

バッファ２２４−１〜２２４−ｎは、ＲＰＳ復号化部２２３によって得られた第１〜ｎ優先データを一時的に記憶し、それぞれ第１〜ｎ優先データを多重化部２２５へ出力する。

多重化部２２５は、第１〜ｎ優先データを多重し、受信情報を出力する。すなわち、多重化部２２５は、例えば第１〜ｎ優先データから得られる映像情報に関連情報を多重し、受信情報としてデコーダ部２３０へ出力する。

次いで、上記のように構成されたＩＰ送信装置とＩＰ受信装置によるマルチメディアデータの伝送について、具体的に例を挙げながら説明する。

まず、ＩＰ送信装置のカメラ１１０によって、映像および音声が取得され、エンコーダ部１２０によってエンコードされる。エンコードされて得られた映像情報は、符号化部１５０内の階層決定部１５１へ出力される。同時に、映像情報を再生するための制御情報が制御情報生成部１４０によって生成され、符号化部１５０内の階層決定部１５１へ出力される。また、関連情報取得部１３０によって、映像情報に関連する関連情報が取得され、符号化部１５０内の階層決定部１５１へ出力される。

そして、階層決定部１５１によって、制御情報、映像情報、および関連情報の重要性および脆弱性から階層が決定される。階層決定部１５１によって決定される階層の例を図６−１に示す。同図に示すように、例えば映像情報の再生に必要な制御情報は、最も優先度が高い第１優先の階層とされ、ストリーミング時にリアルタイムでの再生が必要な映像情報は第２、３優先の階層とされる。なお、映像情報は、映像の基礎となるＩフレームとＩフレームからの差分を含むＰ、Ｂフレームとでは階層が異なっており、Ｉフレームの方が優先度が高くなっている。

また、図６−１においては、映像情報に関連する関連情報が映像情報の次に優先度が高い第４優先の階層とされている。この関連情報は、映像情報の被写体に関連する情報であり、例えば被写体となっている人物の名前やプロフィール、または身に着けている洋服やアクセサリーなどの情報である。このような関連情報は、映像情報と同期してリアルタイムに再生する必要があるため、映像と無関係の情報よりは優先度が高くなる。ただし、関連情報は、主となる映像情報よりは優先度が低く規定されている。これは、図６−２に示すように、制御情報がないような場合でも同様であり、関連情報の優先度は映像情報の優先度よりも低い。

さらに、例えば天気予報など、映像と無関係の情報は最も優先度が低い第５優先とされる。天気予報などは、映像と無関係であり、リアルタイム性に対する要求が厳しくないため、カルーセル方式によって送信されることがある。カルーセル方式では、同一データが繰り返し送信されるため、誤り訂正符号化を行わなくても誤り耐性が高く、脆弱性の観点からも優先度が低い階層とされる。

階層決定部１５１によって決定される階層には、それぞれＲＰＳ符号化における符号長および冗長度が対応付けられており、優先度が高い階層ほど符号長および冗長度が大きい。すなわち、優先度が高い階層のデータほど、より多くのデータとの組み合わせが可能となるとともに、実際に多くのデータ同士の組み合わせが送信されることになる。

そして、階層決定部１５１によって決定された階層に基づき、第１〜ｎ優先データが対応するバッファ１５２−１〜１５２−ｎに記憶される。記憶された第１〜ｎ優先データは、順にＲＰＳ符号化部１５３内の符号長割当部１５３ａへ出力され、階層に応じた符号長が割り当てられる。そして、データは、符号長割当部１５３ａによって割り当てられた符号長に対応するデータ量のデータブロックに分割され、情報ブロック分割部１５３ｂへ出力される。上述したように、符号長は優先度が高い階層のデータほど大きく、また、符号長は所定サイズの情報ブロック数に等しいため、優先度が高い階層のデータブロックほどサイズは大きくなる。

データブロックは、情報ブロック分割部１５３ｂによって所定サイズ（例えば１バイト）の情報ブロックに分割され、組み合わせ選択部１５３ｃへ出力される。このとき、データブロックの分割が符号長に応じて行われているため、データブロックが分割されて得られる情報ブロック数は、符号長と等しくなる。そして、符号長が大きく、同一データブロック由来の情報ブロック数が大きいほど、２つ以上の情報ブロックを組み合わせる際に遠くのデータに対応する情報ブロック同士を組み合わせることが可能となり、例えばパケット単位など広範囲にわたるデータの誤り耐性を向上することができる。

階層ごとの符号長に応じた数の情報ブロックが組み合わせ選択部１５３ｃへ出力されると、組み合わせ選択部１５３ｃによって、２つ以上の情報ブロックの組み合わせのうち、階層に応じた冗長度によって規定される数の組み合わせが選択される。すなわち、図６−１および図６−２に示したように、階層決定部１５１によって決定される各階層には、それぞれ冗長度が対応付けられており、組み合わせ選択部１５３ｃは、データの階層に応じて、符号長に冗長度を乗算した数の情報ブロック間の組み合わせを選択する。したがって、冗長度が大きくなると、組み合わせ選択部１５３ｃによって選択される組み合わせ数が多くなり、１つの情報ブロックがより多くの組み合わせに反映されることになる。このため、冗長度が大きいほど誤り耐性が向上する。

組み合わせ選択部１５３ｃによって選択された組み合わせは、排他的論理和算出部１５３ｄおよびヘッダ付加部１５３ｅへ通知され、排他的論理和算出部１５３ｄによって、各組み合わせの情報ブロック間の排他的論理和が算出される。算出された排他的論理和は、ヘッダ付加部１５３ｅへ出力され、ヘッダ付加部１５３ｅによって、組み合わせの情報および符号長などを含むヘッダが吹かされる。このとき、組み合わせ情報としては、符号長（情報ブロック数）に等しい桁のビット列が用いられ、組み合わせられた情報ブロックに対応するビットが１となっているビット列によって情報ブロックの組み合わせが表現される。したがって、復号の際には、この組み合わせ情報のビット列において、いずれか１つのビットのみが１となるような演算を行うことにより、このビットに対応する情報ブロックが得られることになる。この演算には、複数の組み合わせ情報からなる行列に対する行列演算が用いられる。

ヘッダ付加部１５３ｅによってヘッダが付加されて得られた階層ごとの第１〜ｎ優先符号化パケットは、それぞれ対応するＲＰＳバッファ１５４−１〜１５４−ｎに記憶され、順次階層多重部１５５によって多重される。複数の階層の符号化パケットが多重されて得られるＲＰＳパケットは、送信部１６０によって通し番号などのヘッダが付加され、送信パケットとしてＩＰ受信装置へ送信される。送信パケットは、例えば図７に示すように、ヘッダ部分３１０とデータ部分３２０から構成されている。そして、ヘッダ部分３１０は、送信部１６０によって付加される送信ヘッダ３１１とＲＰＳ符号化部１５３内のヘッダ付加部１５３ｅによって付加されるＲＰＳヘッダ３１２とに分かれている。このうち、ＲＰＳヘッダ３１２の符号長フィールドは、データの階層に応じた符号長を格納しているため、ＩＰ受信装置においては、符号長フィールドを参照することによりデータ部分３２０内に多重されている各データの階層を判別することができる。また、ＲＰＳヘッダ３１２の符号ビット列フィールドには、上述した組み合わせ情報が格納されている。この送信パケット全体のサイズは、最大で１５００バイト程度である。

送信パケットは、ＩＰ受信装置の受信部２１０によって受信され、送信ヘッダ３１１の除去などの所定の受信処理が施される。そして、得られたＲＰＳパケットは、復号部２２０内の階層分離部２２１へ出力され、階層分離部２２１によって、ＲＰＳヘッダ３１２の符号長フィールドが参照され、データ部分３２０が第１〜ｎ優先符号化パケットに分離され、それぞれ対応するＲＰＳバッファ２２２−１〜２２２−ｎへ出力される。ＲＰＳバッファ２２２−１〜２２２−ｎに記憶された第１〜ｎ優先符号化パケットは、順にＲＰＳ復号化部２２３へ出力され、ＲＰＳ復号化部２２３によって、それぞれの符号化パケットの階層に応じた組み合わせ情報のビット列に対する行列演算が行われ、排他的論理和から元の情報ブロックを得る復号化が行われる。さらにＲＰＳ復号化部２２３によって、情報ブロックが結合され、得られた第１〜ｎ優先データがバッファ２２４−１〜２２４−ｎへ出力される。

そして、第１〜ｎ優先データは、多重化部２２５によって多重化され、階層が異なる映像情報や関連情報が１つの受信情報となる。受信情報は、デコーダ部２３０によってデコードされ、得られた映像データが表示部２４０によって表示される。

以上のように、本実施の形態によれば、送信される情報の重要性および脆弱性によって送信データを階層化し、階層に応じた符号長でデータ同士の組み合わせを可能とする範囲を規定し、この範囲内におけるデータ同士の組み合わせのうち、階層に応じた冗長度に対応する数の組み合わせを決定し、決定された組み合わせを元に誤り訂正符号化を行う。このため、情報の優先度が高ければ高いほど離れた位置のデータと組み合わされて誤り訂正符号化が行われ、データに含まれる情報が複数のパケットに分散されて送信されることになる。結果として、パケット単位での消失が発生する際にも十分な誤り耐性を確保することができ、高品質のストリーミングを行うことができる。

（付記１）映像情報または音声情報を含む送信データをインターネットプロトコルによって送信するＩＰ送信装置であって、
送信データに含まれる情報の重要性および脆弱性に応じて送信データの優先度を示す階層を決定する決定手段と、
前記決定手段によって決定された階層ごとに異なる組み合わせで複数の送信データ成分を組み合わせて誤り訂正符号化する符号化手段と、
前記符号化手段によって送信データが誤り訂正符号化されて得られたパケットを送信する送信手段と
を有することを特徴とするＩＰ送信装置。

（付記２）前記符号化手段は、
送信データを階層に応じた数の一定サイズの情報ブロックに分割する分割手段と、
前記分割手段によって分割されて得られた複数の情報ブロックの組み合わせのうち階層に応じた数の組み合わせを選択する選択手段と、
前記選択手段によって選択された組み合わせにおいて情報ブロック間の排他的論理和を算出する算出手段と
を有することを特徴とする付記１記載のＩＰ送信装置。

（付記３）前記分割手段は、
優先度が高い階層の送信データほど多くの情報ブロックに分割することを特徴とする付記２記載のＩＰ送信装置。

（付記４）前記選択手段は、
優先度が高い階層の送信データほど多くの組み合わせを選択することを特徴とする付記２記載のＩＰ送信装置。

（付記５）前記決定手段は、
リアルタイム性が要求される送信データの優先度を高くし、リアルタイム性が要求されない送信データの優先度を低くすることを特徴とする付記１記載のＩＰ送信装置。

（付記６）前記決定手段は、
１回のみ送信される送信データの優先度を高くし、繰り返し送信される送信データの優先度を低くすることを特徴とする付記１記載のＩＰ送信装置。

（付記７）映像情報に関連する関連情報を取得する取得手段をさらに有し、
前記決定手段は、
映像情報の優先度を前記取得手段によって取得される関連情報の優先度よりも高くすることを特徴とする付記１記載のＩＰ送信装置。

（付記８）前記取得手段は、
映像情報が得られた時刻を関連情報として取得することを特徴とする付記７記載のＩＰ送信装置。

（付記９）前記取得手段は、
映像情報の被写体に関する情報を関連情報として取得することを特徴とする付記７記載のＩＰ送信装置。

（付記１０）映像情報または音声情報を含む送信データをインターネットプロトコルによって送信するＩＰ送信方法であって、
送信データに含まれる情報の重要性および脆弱性に応じて送信データの優先度を示す階層を決定する決定工程と、
前記決定工程にて決定された階層ごとに異なる組み合わせで複数の送信データ成分を組み合わせて誤り訂正符号化する符号化工程と、
前記符号化工程にて送信データが誤り訂正符号化されて得られたパケットを送信する送信工程と
を有することを特徴とするＩＰ送信方法。

本発明は、パケット単位での消失が発生する際にも十分な誤り耐性を確保することができ、高品質のストリーミングを行う場合に適用することができる。

一実施の形態に係るＩＰ送信装置の要部構成を示すブロック図である。 一実施の形態に係る符号化部の内部構成を示すブロック図である。 一実施の形態に係るＲＰＳ符号化部の内部構成を示すブロック図である。 一実施の形態に係るＩＰ受信装置の要部構成を示すブロック図である。 一実施の形態に係る復号部の内部構成を示すブロック図である。 階層化の一例を示す図である。 階層化の他の一例を示す図である。 送信パケットの構成の一例を示す図である。

符号の説明

１１０ カメラ
１２０ エンコーダ部
１３０ 関連情報取得部
１４０ 制御情報生成部
１５０ 符号化部
１５１ 階層決定部
１５２−１〜１５２−ｎ、２２４−１〜２２４−ｎ バッファ
１５３ ＲＰＳ符号化部
１５３ａ 符号長割当部
１５３ｂ 情報ブロック分割部
１５３ｃ 組み合わせ選択部
１５３ｄ 排他的論理和算出部
１５３ｅ ヘッダ付加部
１５４−１〜１５４−ｎ、２２２−１〜２２２−ｎ ＲＰＳバッファ
１５５ 階層多重部
１６０ 送信部
２１０ 受信部
２２０ 復号部
２２１ 階層分離部
２２３ ＲＰＳ復号化部
２２５ 多重化部
２３０ デコーダ部
２４０ 表示部

Claims (5)

1. 映像情報または音声情報を含む送信データをインターネットプロトコルによって送信するＩＰ送信装置であって、
   送信データに含まれる情報の重要性および脆弱性に応じて送信データの優先度を示す階層を決定する決定手段と、
   前記決定手段によって決定された階層に基づいて、送信データの優先度が高いほど当該送信データを大きいサイズのデータブロックに分割する第１分割手段と、
   前記第１分割手段によって分割されて得られたデータブロックを所定サイズの情報ブロックに分割する第２分割手段と、
   前記第２分割手段によって分割されて得られた同一データブロック内の情報ブロックの組み合わせのうち、当該データブロックの階層に応じた数の組み合わせを選択する選択手段と、
   前記選択手段によって選択された情報ブロックの組み合わせを用いて誤り訂正符号化されて得られたパケットを送信する送信手段と
   を有することを特徴とするＩＰ送信装置。
2. 前記選択手段によって選択された情報ブロックの組み合わせにおいて情報ブロック間の排他的論理和を算出することにより誤り訂正符号化を行う符号化手段
   をさらに有することを特徴とする請求項１記載のＩＰ送信装置。
3. 前記選択手段は、
   データブロックの階層が示す優先度が高いほど多くの組み合わせを選択することを特徴とする請求項１記載のＩＰ送信装置。
4. 映像情報に関連する関連情報を取得する取得手段をさらに有し、
   前記決定手段は、
   映像情報の優先度を前記取得手段によって取得される関連情報の優先度よりも高くすることを特徴とする請求項１記載のＩＰ送信装置。
5. 映像情報または音声情報を含む送信データをインターネットプロトコルによって送信するＩＰ送信方法であって、
   送信データに含まれる情報の重要性および脆弱性に応じて送信データの優先度を示す階層を決定する決定工程と、
   送信データを前記決定工程にて決定された階層に基づいて、送信データの優先度が高いほど当該送信データを大きいサイズのデータブロックに分割する第１分割工程と、
   前記第１分割工程にて分割されて得られたデータブロックを所定サイズの情報ブロックに分割する第２分割工程と、
   前記第２分割工程にて分割されて得られた同一データブロック内の情報ブロックの組み合わせのうち、当該データブロックの階層に応じた数の組み合わせを選択する選択工程と、
   前記選択工程にて選択された情報ブロックの組み合わせを用いて誤り訂正符号化されて得られたパケットを送信する送信工程と
   を有することを特徴とするＩＰ送信方法。

Images