JP2006229463A - 高能率符号化された時系列情報をリアルタイム・ストリーミング送信し受信再生する装置 - Google Patents

Abstract

【課題】 リアルタイム・ストリーミングで迅速にチャネル切り替える技術を提供する。
【解決手段】高能率符号化された時系列情報を所定バイト数でブロック化したデータストリームを処理し、ブロックごとに誤り訂正符号データを生成付加した冗長化ブロックストリームを、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームと、小さなインタリーブ長Ｂでインタリーブ処理し第１パケットストリームより（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームとを多重化して送信し、多重化信号を受信すると分離し、第２パケットストリームをデインタリーブして誤り訂正処理を行い、受信開始から所定時間はこれを復号化し、その後は第１パケットストリームをデインタリーブして誤り訂正処理を行いつつ欠損データを第２パケットストリーム側から補って復号化し再生信号を出力する。
【選択図】 図２

Description

この発明は、インタリービングを用いるリアルタイム・ストリーミング技術によるインターネットテレビやインターネットラジオなどの多チャンネル放送に関し、とくに、視聴者が受信チャンネルをつぎつぎと切り替える（この行為をザッピングという）ことを想定し、受信チャンネルを切り替えた時点からできるだけ早く映像や音声を出力できるようにするとともに、伝送品質を向上する技術に関する。

周知のように、リアルタイム・ストリーミングでは、ＭＰＥＧなどの高能率符号化された時系列情報（映像や音声など）をパケット化して送信し、受信装置では、逐次受信するパケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を逐次再生する。

また周知のように、リアルタイム・ストリーミングでは、さまざまな原因によって送信されたパケットストリームの一部が受信側に届かない場合がある。この事実を踏まえ、少々のパケット欠損が発生しても映像や音声の再生品質が著しく低下しないようにするために、さまざまな対策技術が開発されている。

代表的な対策技術として、ＦＥＣ(Forward Error Correction)が知られている。これは、高能率符号化した時系列情報に誤り訂正符号を適用してパケット化し、受信装置において、あるパケットが欠損しても、前後のパケット集合のペイロードから欠損パケットのペイロードを回復可能とする冗長システムである。

さらにＦＥＣの情報回復能力を高める技術として、インタリービングがよく知られている。これは、バースト状の妨害を与えるものに対して、データを時間方向にあらかじめ散在させておくことにより、誤り訂正符号で訂正できる範囲のランダム誤りに変換する技術である。たとえば特開２０００−３５３９６５号公報には、効率的なインタリービングの技術が開示されている。
特開２０００−３５３９６５号公報

インターネットテレビやインターネットラジオなどの放送では、再生品質を向上させるために上記インタリービング（インタリーブ処理）を実施していることがよく知られている。このインタリーブ処理による情報回復能力は、インタリーブ長を大きくする（インタリーブの深さを深くする）ほど、すなわち、データの時間方向への分散度合いが増大するほど、向上する。

一方、大きなインタリーブを施すほど、デインタリービングの処理時間が増大するという問題が生じる。そうすると受信側では、再生品質は向上する反面、再生開始までに生じる遅延時間が大きくなる。つまり、多チャンネル放送において、チャンネルを切り替えた直後には、なかなか音声や映像が再生されず、視聴者に空白の時間が生じることになる。とくにザッピングを頻繁に行う利用者にとっては、切り替え操作が自分の意図どおりできているのかがなかなか確認できず不快な現象である。

この発明の目的は、リアルタイム・ストリーミングにおいて、再生品質を劣化させることなく、受信開始時点から再生信号が出力されるまでの遅延時間を最小限度に抑えながら、データ伝送エラー時の情報回復能力を向上させることにある。

上記目的を達成するために、この第１の発明は、高能率符号化された時系列情報を所定バイト数でブロック化したデータのストリームを処理し、ブロックごとに誤り訂正符号データを生成付加した冗長化ブロックストリームを生成する冗長化手段と、冗長化ブロックを多数のパケット群に離散させることで大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成する第１インタリーブ手段と、冗長化ブロックを少数のパケット群に離散させることで小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成する第２インタリーブ手段と、第１パケットストリームと第２パケットストリームを多重化して送信する送信手段と、を備えたリアルタイム・ストリーミング送信装置とする。

また、第２の発明は、多重化信号を受信して第１パケットストリームと第２パケットストリームに分離する受信手段と、第１パケットストリームの多数のパケット群から大きなインタリーブ長でデインタリーブ処理して冗長化ブロックストリームを出力する第１デインタリーブ手段と、第２パケットストリームの少数のパケット群から小さなインタリーブ長でデインタリーブ処理して冗長化ブロックストリームを出力する第２デインタリーブ手段と、第２デインタリーブ手段の出力する冗長化ブロックの誤り訂正処理を行う第２訂正手段と、第１デインタリーブ手段の出力する冗長化ブロックについて誤り訂正処理を行いつつ訂正不能なブロックのデータを第２訂正手段から補充する第１訂正手段と、受信手段で受信開始してから所定時間は第２訂正手段の出力を復号化した再生信号を出力し、その後は第１訂正手段の出力を復号化した再生信号を出力する再生手段と、を備えたリアルタイム・ストリーミング受信装置とする。

本発明によれば、受信側は、チャンネル切り替えなどの受信開始指示を受け、指定チャンネルのパケットの受信を開始してから、小さなインタリーブ長Ｂに相当する時間の後に第２パケットストリームの再生信号の出力が可能になり、出力を開始する。また、当該パケット受信開始時点から大きなインタリーブ長Ａに相当する時間の後に、第１パケットストリームの再生信号の出力が可能になる。

ここで第１パケットストリームの再生信号は（Ａ−Ｂ）に相当する時間だけ、第２パケットストリームの再生信号より先行しているので、第１パケットストリームの再生信号について出力可能になった時点での再生位置は、第２パケットストリームの再生信号の再生位置と一致する。したがって、視聴者に違和感なくスムーズに再生信号の出力を切り替えることができる。

しかも、第１パケットストリームに再生信号の出力を切り替えた後には、バースト状に連続する複数のパケットが欠損した場合にも、第２パケットストリームのデータから欠損データを補充できる。そうすると、誤り訂正符号でデータ回復できない場合にも補充によりデータ回復が可能となるので、伝送品質が格段に向上する。

このように、インタリーブ長の異なるパケットストリームを適宜な時間差で多重化して送信し、受信側で当初は小さなインタリーブ長の再生信号を出力し、可能になった時点で大きなインタリーブ長の（情報回復能力の高い）再生信号に切り替えるとともに、誤り訂正符号では回復できない欠損データを当初のデータから補充することができる。これにより、インタリーブ処理によるデータ欠損に対する情報回復能力を保持したまま遅延時間を短縮するといった、本来的には両立しえない効果を簡単に両立させることができる。さらに、パケット二重化により伝送品質が格段に向上する。

＝＝＝リアルタイム・ストリーミング送信装置＝＝＝
この発明を適用したリアルタイム・ストリーミング送信装置は、ＭＰ３プレーヤと、ブロック化回路と、冗長化回路と、インタリーブ回路と、遅延回路と、多重化回路と、送信回路を備えている。ＭＰ３符号化データは、音声情報の時系列情報をよく知られたＭＰ３（Mpeg1 layer3）方式により高能率符号化したデータである。ＭＰ３プレーヤからはＭＰ３符号化データストリームが送出される。これを順次復号すれば付帯するスピーカに音声情報が再生出力される。

図１に、リアルタイム・ストリーミング送信装置が実行する処理概要を示している。 ＭＰ３プレーヤ１から出力されたＭＰ３符号化データストリームは、逐次ブロック化回路２に転送される。ブロック化回路２では、ＭＰ３符号化データストリームを所定バイト数ずつに区切り、冗長化回路３に転送する。この冗長化回路３では、よく知られたＦＥＣ技術により、区切られた連続する所定バイト数のデータに対して誤り訂正符号を生成し、順次、このデータ群に付加して冗長化ブロックを生成する。例えば、ブロック化回路２で４バイトごとに区切られたデータに対して、冗長化回路３で１バイトの誤り訂正符号データを生成して付加する。つまり、この５バイトを誤り訂正可能な単位ブロックとして、５バイトのうちの１バイトが欠損しても、誤り訂正符号データの解析により、欠損データを回復することができるものである。各ブロックは、区切りを示すフラグを付加するなどしてブロックの区切りを識別できるようにして、順次送出される。このようにして冗長化ブロックストリームが所定の速度で冗長化回路３から送出される。

冗長化回路３から送出された冗長化ブロックストリームは、同一内容で同時に２つのインタリーブ回路（４ａ、４ｂ）に送出される。各インタリーブ回路（４ａ、４ｂ）では、入力された冗長化ブロックストリームに対してインタリーブ処理を施す。各インタリーブ回路（４ａ、４ｂ）におけるインタリーブ長、すなわちインタリーブ処理の単位当たりのブロック数は予め各回路に設定され、２つの回路の設定値は異なる値に設定されている。

図２に本実施例の処理の概略を例示している。説明図の簡略のため、インタリーブ長は（特に、第１インタリーブ回路４ａにつき）実用より小さくしている。図２の例では、１つの冗長化ブロックを、第１インタリーブ回路４ａでは８ブロック先にまで、つまり９ブロックにまたがってインタリーブ処理を施す。すなわちインタリーブ長Ａを９ブロック（＝４５バイト）としている。また、第２インタリーブ回路４ｂでは４ブロック先にまで、つまり５ブロックにまたがってインタリーブ処理を施す。すなわち、インタリーブ長Ｂは２５バイト（＝５ブロック）である。

第１インタリーブ回路４ａは、大きなインタリーブ（インタリーブ長Ａ：この例では４５バイト）を施した後、所定バイト（この例では５バイト）ごとに、小包状のパケットにペイロードとしておさめてヘッダを付与する。ヘッダには、時間基準情報やクロックの信号などのタイムスタンプを組み込んで、パケットを分解する際にタイミングを合わせて順序よく処理できるようにしている。このパケットストリームを第１パケットストリームとして、多重化回路６に転送する。

また、第２インタリーブ回路４ｂは、小さなインタリーブ（インタリーブ長Ｂ：この例では２５バイト）を施すとともに、所定バイト（この例では５バイト）ごとに小包状のパケットにペイロードとしておさめてヘッダを付与する。そして、それぞれのパケットの送出タイミングを所定時間だけ遅延させ、逐次多重化回路５に転送し、これを第２パケットストリームとする。

この場合に、第２インタリーブ回路４ｂでは、先頭パケット（図２のＡ１を含むパケット）の送出タイミングを第１パケットストリームのそれより所定時間だけ遅延させる。こうすることにより、図２のＡＥを含むパケットが、第１パケットストリームのＡＥを含むパケットと同じタイミングで送出される。

したがって、遅延させる時間は、インタリーブ長の差に相当する時間とする。つまり前記例では、第１インタリーブ回路４ａのインタリーブ長（９パケット＝４５バイト）と、第２インタリーブ回路４ｂのインタリーブ長（５パケット＝２５バイト）の差である４パケット（２０バイト）に相当する時間（パケット速度×４パケット）を設定している。

なお、遅延させる処理については、第２インタリーブ回路４ｂに入力される冗長化ブロックストリームを所定時間だけ遅延させて、これにインタリーブ処理を施すようにしてもよい。

このように、２つのパケットストリームには、同じ内容のデータが異なる度合いで分散されて含まれ、伝送路上を転送されていることになる。
各パケットには第１パケットストリーム／第２パケットストリームのいずれに属するかを示す情報がヘッダに組み込まれている。

多重化回路５は、２つのパケットストリームを１つの多重パケットストリームにするように、各パケットストリームから１パケットずつ、あるいは数パケットずつ交互に、多重化回路５に転送されてきた順にパケットを組み込んで多重化し、送信回路６に転送する。送信回路６はこの多重パケットストリームをリアルタイム・ストリーミング受信装置に向けて送信する。

＝＝＝リアルタイム・ストリーミング受信装置＝＝＝
この発明を適用したリアルタイム・ストリーミング受信装置は、受信回路と、分離回路と、デインタリーブ回路と、誤り訂正回路と、切替回路と、ＭＰ３デコーダとを備え、マイコンがこれらの各構成部を制御・統括している。切替回路は２つのデインタリーブ回路のいずれかとＭＰ３デコーダとを切り替え接続が可能に構成されている。

リアルタイム・ストリーミング受信装置が実行する処理概要を図３に示している。また図４にその処理フロー図を示している。ユーザインタフェースを介して、放送チャネル切り替えなど、利用者の所定の操作による放送の再生出力指示をマイコン１０が受け付けると（図４のｓ１）、受信回路１１がリアルタイム・ストリーミング送信装置から送信された多重パケットストリームの受信を開始する。そしてこのパケットストリームを分離回路１２に転送する。
またこのときにマイコン１０は、切替回路１５を第２パケットストリーム側（デインタリーブ回路１３ｂ側）に接続するように切り替えておく（ｓ２）。

分離回路１２は各パケットのヘッダを参照し、第１パケットストリームと第２パケットストリームとに分離する。そして分離したパケットストリームをそれぞれデインタリーブ回路（１３ａ、１３ｂ）に転送する。

各デインタリーブ回路（１３ａ、１３ｂ）では、まず、各パケットのヘッダのタイムスタンプを参照してパケットを順番に整列させ、その順に、各パケットのペイロードを取り出す処理を行う。これにより、リアルタイム・ストリーミング送信装置内の第１インタリーブ回路４ａ／第２インタリーブ回路４ｂの出力とそれぞれ同一順にデータを整列させることができる。そして、所定のデインタリーブ単位でデインタリーブ処理を実施する。

デインタリーブ処理単位の値は、インタリーブ処理に対応した値があらかじめ各デインタリーブ回路（１３ａ、１３ｂ）に設定されている。第１デインタリーブ回路１３ａのデインタリーブ処理単位はインタリーブ長Ａに対応した４５バイト（＝９パケット）とし、第２デインタリーブ回路１３ｂではインタリーブ長Ｂに対応する２５バイト（＝５パケット）としている。

第１デインタリーブ回路１３ａでは、デインタリーブ処理に必要な９パケットを受け取るまで、転送されてくるデータを適宜な記憶部に一時記憶する。
その間に、第２デインタリーブ回路１３ｂでは、デインタリーブ処理単位の５パケットを受け取るとデインタリーブ処理を施して、逐次第２訂正回路１４ｂに転送する。

順序制御で整列された５パケットに含まれる２５バイトの中には、１冗長化ブロックの構成要素（４バイトのデータとこれに対応する１バイトの誤り訂正符号データ）がそろって含まれている。図２の例では、Ｘ１〜ＸＥ、Ｙ１〜ＹＥ、Ｚ１〜ＺＥが逐次そろうことになる。

第２訂正回路１４ｂでは、１冗長化ブロックを構成する５バイト（たとえばＸ１〜ＸＥ）がそろうごとに、誤り訂正符号データ（上記例ではＸＥ）を除いた４バイトのデータ（上記例ではＸ１〜Ｘ４）を整列させて逐次ＭＰ３符号化データを再生し（ｓ３）、切替回路１５を介して逐次ＭＰ３デコーダ１６に転送する。

ＭＰ３符号化データを受け取ったＭＰ３デコーダ１６はこれを逐次復号化し、音声信号を出力する。この音声信号を付帯のアンプを介してスピーカに転送して音響出力させる。

なお、伝送路上でパケット欠損が起こった場合でも、図２に例示したように冗長化ブロックを構成する５バイトは分散してパケットに含まれているので、冗長化ブロックは誤り訂正符号データにより回復が可能である。つまり、第２訂正回路１４ｂで誤り訂正符号データ以外の４バイトのデータのうちの１バイトの欠損を検出した場合には、対応する誤り訂正符号データの解析を行って誤り訂正し、当該冗長化ブロックを回復することが可能である。

なお、誤り訂正符号データのみが欠損した場合には、第２訂正回路１４ｂでは冗長化ブロックの回復は不要であって、残り４バイトのデータを取り出すだけで足りることはいうまでもない。（ただし、冗長化ブロックを構成する５バイトのうち２バイト以上が欠損した場合には、冗長化ブロックを完全に回復することはできず、伝送音声品質が劣化することは避けられない。）
以上のように、第２デインタリーブ回路１３ｂおよび第２訂正回路１４ｂでは、逐次デインタリーブ処理を施して、５パケット（２５バイト）にまたがって分散した冗長化ブロックの構成要素の５バイトを受け取るごとに、第２パケットストリームからデータストリームを再生する。

次に、第１デインタリーブ回路１３ａがデインタリーブ処理に必要な９パケット（４５バイト）を受け取ると（ｓ４）、デインタリーブ処理を施して第１訂正回路１４ａへ転送する。図２の例では、時点ａがこれに相当する。

第１訂正回路１４ａは、４５バイトにまたがって分散した冗長化ブロックを構成する５バイト（図２のＡ１〜ＡＥ）がそろったことを確認すると、誤り訂正符号データ（図２のＡＥ）を除いた４バイトのデータ（Ａ１〜Ａ４）を整列させてＭＰ３符号化データを再生する。マイコン１０がこれを検知すると切替回路１５に通知し、第１訂正回路１４ａ側に接続を切り替えさせる（ｓ５）。

これ以降は、ＭＰ３デコーダ１６は第１訂正回路１４ａから転送されるＭＰ３符号化データを受け取って復号化し、音声信号を出力し、アンプを介してスピーカに転送して再生出力させる。

第１訂正回路１４ａで、冗長化ブロックを構成する誤り訂正符号データ以外の４バイトのデータのうちの１バイトが欠損していることを検出した場合には、対応する誤り訂正符号データの解析を行って誤り訂正し、当該冗長化ブロック回復することが可能である。誤り訂正符号データのみが欠損していた場合には、第１訂正回路１４ａでは冗長化ブロックの回復は不要であり、残り４バイトのデータを取り出すだけで足りる。

第１パケットストリームは第２パケットストリームよりインタリーブ長が大きいため、そのパケットが伝送路上でバースト状に欠損した場合であっても、冗長化ブロックを構成する５バイトのうちの２バイト以上が欠損することは極めてまれな事象といえる。それにも関わらず冗長化ブロックを構成する５バイトのうち２バイト以上のデータが欠損していた場合には、以下に述べるようにして、欠損データを第２パケットストリームのデータから補充して冗長化ブロックを回復することが可能である。

ここで、第２パケットストリームは第１パケットストリームよりインタリーブ長が小さいが、データの分散度合いが異なるため、第１／第２パケットストリームの多重ストリームのパケットが伝送路上でバースト状に紛失した場合にも、第１パケットストリームの欠損データが同時に第２パケットストリーム側でも欠損しているという事象はほとんど起こり得ない。

切替回路１５の接続を第１訂正回路１４ａ側に切り替えると、マイコン１０は、第２訂正回路１４ｂで回復された冗長化ブロックを適宜な記憶部に所定量（あるいは所定時間）一次記憶させる。本実施例では、記憶部では、第２訂正回路１４ｂで回復させた、最新の９冗長化ブロック（あるいはそれ以上）を記憶するようにしておく。９ブロックとは、第１デインタリーブ回路１３ａのデインタリーブ長に等しいデータ量である。

なお、回復できなかったデータ欠損がある場合には、ヌルを挿入するなどして、どの位置のデータが欠損しているかがわかるように構成しておくとよい。また、各冗長化ブロックにヘッダを付与し、何番目のブロックかがわかるようにブロック番号を書き込むようにしてもよい。

もちろん、切替回路１５を第１訂正回路１４ａ側に切り替える以前に、第２訂正回路１４ｂが冗長化ブロックを回復し始めた当初から、最新の９冗長化ブロックを記憶するようにしてもよい。また、第１訂正回路１４ａ側に切り替えた後には、第２訂正回路１４ｂではデータ欠損があっても回復をせずに、第２デインタリーブ回路１３ｂの出力を記憶部に記憶するようにしてもよい。

そして、第１訂正回路１４ａにおいて、冗長化ブロックを構成する５バイトのうち２バイト以上の欠損を検出した場合には、記憶部から当該冗長化ブロックを読み出して補充する。
あるいは、冗長化ブロックを構成するバイト単位で読み出して補充することも可能である。第１デインタリーブ回路１３ａでデインタリーブ処理された４５バイトの整列順は、記憶部に記憶されている４５バイトのデータの整列順と一致しているため、補充対象のデータは簡単に特定できる。

なお、第２パケットストリームは前述したように４パケット（２０バイト）に相当する時間だけ第１パケットストリームより遅延している。いいかえれば、第１パケットストリームは４パケット（２０バイト）分だけ第２パケットストリームより先行している。このことから、第１デインタリーブ回路１３ａが第１パケットストリームの９パケット（４５バイト）を受け取った時点と、第２デインタリーブ回路１３ｂが第２パケットストリームの５パケット（２５バイト）を受け取った時点とは、再生可能となったＭＰ３符号化データストリームの時間軸上において同一の位置である。したがって、本実施例のように第１／第２訂正回路を切り替えても、再生される音響出力をスムーズに切り替えることができるのである。

しかも、データ欠損があった場合にも、補充元となるデータとは時間的な隔たりが少なく、大規模なバッファリングは不要であるため、低コストで実現できる。

以上のようにして、放送受信開始時や放送チャンネルの切り替えを行った直後などに、当初は小さなインタリーブ長の第２パケットストリームで転送されたデータストリームを再生して迅速に音響出力し、大きなインタリーブ長の第１パケットストリームで転送された高品質のデータストリームの再生が可能になり次第、高品質のストリーミング再生に切り替える。これにより、チャンネル切り替え操作に迅速に反応して指定チャンネルの音声が聞こえるようになるので、ザッピングを頻繁に行う利用者にも不快感を与えることなく、高品質の再生音響情報を提供できる。また、再生を第１パケットストリームに切り替え後にも、第２パケットストリームにより冗長化ブロックを二重化しているため、第１パケットストリームにてバースト状にパケット欠損が起こった場合にも回復できなかった冗長化ブロックを補充することが可能である。したがって、データストリームの伝送品質が格段に向上する。

＝＝＝他の実施要件＝＝＝
上記実施例では高圧縮符号化方式としてＭＰ３を採用しているが、ＭＰＥＧ２などの他の映像や音声の高圧縮符号化方式であってもよい。

第２パケットストリームはインタリーブ処理をまったく施さないものとしてもよい。受信側で、再生開始当初の品質は劣化する可能性があるものの、第２パケットストリームについてデインタリーブ処理が不要となるので、切替直後に再生開始が可能となる。
なお、リアルタイム・ストリーミング送信装置、リアルタイム・ストリーミング受信装置は、それぞれ各構成部を一体のハードウェアに組み込んで実現可能であることはいうまでもない。

＝＝＝本発明の適用例＝＝＝
たとえば、カラオケ装置において曲間ＢＧＭにインターネットラジオの音声を利用する際に、インターネットラジオ局サーバをリアルタイム・ストリーミング送信装置、カラオケ装置をリアルタイム・ストリーミング受信装置として、本発明を適用可能である。

本実施例のリアルタイム・ストリーミング送信装置における処理概要を示した図である。 本実施例のリアルタイム・ストリーミング送信装置における２つのパケットストリームの遅延・多重化の処理イメージを例示した図である。 本実施例のリアルタイム・ストリーミング受信装置における処理概要を示した図である。 前記リアルタイム・ストリーミング受信装置における処理フロー図である。

符号の説明

３ 冗長化回路
４ａ 第１インタリーブ回路
４ｂ 第２インタリーブ回路
５ 多重化回路
６ 送信回路
１０ マイコン
１１ 受信回路
１２ 分離回路
１３ａ 第１デインタリーブ回路
１３ｂ 第２デインタリーブ回路
１４ａ 第１訂正回路
１４ｂ 第２訂正回路
１５ 切替回路

Claims (2)

1. 高能率符号化された時系列情報を所定バイト数でブロック化したデータのストリームを処理し、ブロックごとに誤り訂正符号データを生成付加した冗長化ブロックストリームを生成する冗長化手段と、
   冗長化ブロックを多数のパケット群に離散させることで大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成する第１インタリーブ手段と、
   冗長化ブロックを少数のパケット群に離散させることで小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成する第２インタリーブ手段と、
   第１パケットストリームと第２パケットストリームを多重化して送信する送信手段と、
   を備えたリアルタイム・ストリーミング送信装置。
2. 多重化信号を受信して第１パケットストリームと第２パケットストリームに分離する受信手段と、
   第１パケットストリームの多数のパケット群から大きなインタリーブ長でデインタリーブ処理して冗長化ブロックストリームを出力する第１デインタリーブ手段と、
   第２パケットストリームの少数のパケット群から小さなインタリーブ長でデインタリーブ処理して冗長化ブロックストリームを出力する第２デインタリーブ手段と、
   第２デインタリーブ手段の出力する冗長化ブロックの誤り訂正処理を行う第２訂正手段と、
   第１デインタリーブ手段の出力する冗長化ブロックについて誤り訂正処理を行いつつ訂正不能なブロックのデータを第２訂正手段から補充する第１訂正手段と、
   受信手段で受信開始してから所定時間は第２訂正手段の出力を復号化した再生信号を出力し、その後は第１訂正手段の出力を復号化した再生信号を出力する再生手段と、
   を備えたリアルタイム・ストリーミング受信装置。

Images