JP4391409B2 - 高能率符号化された時系列情報をリアルタイム・ストリーミング送信し受信再生する方法と受信装置 - Google Patents

Description

この発明は、インタリービングを用いるリアルタイム・ストリーミング技術によるインターネットテレビやインターネットラジオなどの多チャンネル放送に関し、とくに、視聴者が受信チャンネルをつぎつぎと切り替える（この行為をザッピングという）ことを想定し、受信チャンネルを切り替えた時点からできるだけ早く映像や音声を出力できるようにするとともに、伝送品質を向上する技術に関する。

周知のように、リアルタイム・ストリーミングでは、ＭＰＥＧなどの高能率符号化された時系列情報（映像や音声など）をパケット化して送信し、受信装置では、逐次受信するパケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を逐次再生する。

また周知のように、リアルタイム・ストリーミングでは、さまざまな原因によって送信されたパケットストリームの一部が受信側に届かない場合がある。この事実を踏まえ、少々のパケット欠損が発生しても映像や音声の再生品質が著しく低下しないようにするために、さまざまな対策技術が開発されている。

代表的な対策技術として、ＦＥＣ(Forward Error Correction)が知られている。これは、高能率符号化した時系列情報に誤り訂正符号を適用してパケット化し、受信装置において、あるパケットが欠損しても、前後のパケット集合のペイロードから欠損パケットのペイロードを回復可能とする冗長システムである。

さらにＦＥＣの情報回復能力を高める技術として、インタリービングがよく知られている。これは、バースト状の妨害を与えるものに対して、データを時間方向にあらかじめ散在させておくことにより、誤り訂正符号で訂正できる範囲のランダム誤りに変換する技術である。たとえば特開２０００−３５３９６５号公報には、効率的なインタリービングの技術が開示されている。
特開２０００−３５３９６５号公報

インターネットテレビやインターネットラジオなどの放送では、再生品質を向上させるために上記インタリービング（インタリーブ処理）を実施していることがよく知られている。このインタリーブ処理による情報回復能力は、インタリーブ長を大きくする（インタリーブの深さを深くする）ほど、すなわち、データの時間方向への分散度合いが増大するほど、向上する。

一方、大きなインタリーブを施すほど、デインタリービングの処理時間が増大するという問題が生じる。そうすると受信側では、再生品質は向上する反面、再生開始までに生じる遅延時間が大きくなる。つまり、多チャンネル放送において、チャンネルを切り替えた直後には、なかなか音声や映像が再生されず、視聴者に空白の時間が生じることになる。とくにザッピングを頻繁に行う利用者にとっては、切り替え操作が自分の意図どおりできているのかがなかなか確認できず不快な現象である。

この発明の目的は、リアルタイム・ストリーミングにおいて、再生品質を劣化させることなく、受信開始時点から再生信号が出力されるまでの遅延時間を最小限度に抑えながら、データ伝送エラー時の情報回復能力を向上させることにある。

この発明に係るリアルタイム・ストリーミングは、以下の事項（11）〜（14）により特定される送信側と、以下の事項（21）〜（27）により特定される受信側により実施されるものである。
＝＝＝送信側＝＝＝
（11）高能率符号化された時系列情報の原始パケットストリームを処理し、所定量のパケット集合ごとに誤り訂正符号パケットを生成付加した冗長化パケットストリームを生成すること
（12）生成される前記冗長化パケットストリームを大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成すること
（13）生成される前記冗長化パケットストリームを小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成すること
（14）生成される第１パケットストリームと第２パケットストリームを多重化して当該多重化信号を送信すること

＝＝＝受信側＝＝＝
（21）前記多重化信号を受信して第１パケットストリームと第２パケットストリームとを分離して出力すること
（22）分離された第１パケットストリームを大きなインタリーブ長Ａでデインタリーブ処理すること
（23）分離された第２パケットストリームを小さなインタリーブ長Ｂでデインタリーブ処理すること
（24）分離された第２パケットストリームのパケットをバッファに逐次一時記憶させること
（25）第１パケットストリームのデインタリーブ処理出力について誤り訂正処理を行って第１符号化データストリームを出力し、この処理過程において、第１パケットストリームに欠損パケットがあり、かつ、その欠損パケットに相当するパケットが前記バッファ中に存在する場合には、前記バッファ中のそのパケットで前記欠損パケットを補うこと
（26）第２パケットストリームのデインタリーブ処理出力について誤り訂正処理を行って第２符号化データストリームを出力すること
（27）前記多重化信号の受信を開始してから所定時間は第２符号化データストリームを復号化した再生信号を出力し、その後は第１符号化データストリームを復号化した再生信号を出力すること

本発明によれば、受信側は、チャンネル切り替えなどの受信開始指示を受け、指定チャンネルのパケットの受信を開始してから、小さなインタリーブ長Ｂに相当する時間の後に第２パケットストリームの再生信号の出力が可能になり、出力を開始する。また、当該パケット受信開始時点から大きなインタリーブ長Ａに相当する時間の後に、第１パケットストリームの再生信号の出力が可能になる。

ここで第１パケットストリームの再生信号は（Ａ−Ｂ）に相当する時間だけ、第２パケットストリームの再生信号より先行しているので、第１パケットストリームの再生信号について出力可能になった時点での再生位置は、第２パケットストリームの再生信号の再生位置と一致する。したがって、視聴者に違和感なくスムーズに再生信号の出力を切り替えることができる。

しかも、第１パケットストリームに再生信号の出力を切り替えた後には第２パケットストリームのパケットをバックアップデータとして蓄積しているので、バースト状に連続する複数のパケットが欠損した場合にも、欠損パケットを補充できる。そうすると、欠損パケットを完全に補充できなくても、誤り訂正符号でデータ回復可能となるので、伝送品質が格段に向上する。

このように、インタリーブ長の異なるパケットストリームを適宜な時間差で多重化して送信し、受信側で当初は小さなインタリーブ長の再生信号を出力し、可能になった時点で大きなインタリーブ長の（情報回復能力の高い）再生信号に切り替えるとともに当初のデータをバックアップとしてとっておくことにより、インタリーブ処理によるパケット欠損に対する情報回復能力を保持したまま遅延時間を短縮するといった、本来的には両立しえない効果を簡単に両立させることができる。さらに、パケット二重化により伝送品質が格段に向上する。

＝＝＝リアルタイム・ストリーミング送信装置＝＝＝
この発明を適用したリアルタイム・ストリーミング送信装置は、ＭＰ３プレーヤと、パケット組立回路と、冗長符号パケット付加回路と、インタリーブ回路と、遅延回路と、多重化回路と、送信回路を備えている。ＭＰ３符号化データは、音声情報の時系列情報をよく知られたＭＰ３（Mpeg1 layer3）方式により高能率符号化したデータである。ＭＰ３プレーヤからはＭＰ３符号化データストリームが送出される。これを順次復号すれば付帯するスピーカに音声情報が再生出力される。

図１に、リアルタイム・ストリーミング送信装置が実行する処理概要を示している。 ＭＰ３プレーヤ１から出力されたＭＰ３符号化データストリームは、逐次パケット組立回路２に転送される。パケット組立回路２では、ＭＰ３符号化データストリームを適宜な長さに区切り、規格化された長さの小包状のパケットにペイロードとしておさめてヘッダを付与する。ヘッダには、時間基準情報やクロックの信号などのタイムスタンプを組み込んで、パケットを分解する際にタイミングを合わせて順序よく処理できるようにしている。

さらに、パケット組立回路２から送出されたデータパケットストリーム（原始パケットストリーム）は逐次、冗長化回路３に転送される。この冗長化回路３では、よく知られたＦＥＣ技術により、連続する所定数のパケット群に対して誤り訂正符号を生成し、順次、誤り訂正符号パケットを組み立てる。例えば、５パケットを誤り訂正可能な単位ブロックとし、４つのデータパケットに対して１つの誤り訂正符号パケットを生成して付加する。つまり、この５パケットのうちの１つが欠損しても、誤り訂正符号パケットの解析により、４つのデータパケットを回復することができるものである。生成した誤り訂正符号パケットには、各ブロックのデータパケット群に追随するように、タイムスタンプを組み込んだヘッダを付与して送出する。
このようにしてデータストリームから生成されたパケットを所定の速度（パケット速度）で冗長化回路３から送出する。

冗長化回路３から送出された冗長化パケットストリームは、同一内容で同時に２つのインタリーブ回路（４ａ、４ｂ）に送出される。各インタリーブ回路（４ａ、４ｂ）では、入力された冗長化パケットストリームに対してインタリーブ処理を施す。各インタリーブ回路（４ａ、４ｂ）におけるインタリーブ長、すなわちインタリーブ処理の単位当たりのパケット数は予め各回路に設定され、２つの回路の設定値は異なる値に設定されている。

図２に本実施例の処理の概略を例示している。説明図の簡略のため、インタリーブ長は（特に、第１インタリーブ回路４ａにつき）実用より小さくしている。図２の例では、誤り訂正符号パケットを含む１ブロックのパケット群を、第１インタリーブ回路４ａでは８ブロック先にまでまたがってインタリーブ処理を施す。すなわちインタリーブ長Ａを４０パケット（＝５（パケット／ブロック）×８ブロック）としている。また、第２インタリーブ回路４ｂでは４ブロック先にまでまたがってインタリーブ処理を施す。すなわち、インタリーブ長Ｂは２０パケットである。

第１インタリーブ回路４ａは、大きなインタリーブ（インタリーブ長Ａ：この例では４０パケット）を施した後、パケットストリームを第１パケットストリームとして、新たなタイムスタンプをヘッダに組み込んで多重化回路６に転送する。

また、第２インタリーブ回路４ｂは、小さなインタリーブ（インタリーブ長Ｂ：この例では２０パケット）を施すとともに、それぞれのパケットの送出タイミングを所定時間だけ遅延させる。新たなタイムスタンプをヘッダに組み込んで逐次多重化回路５に転送し、これを第２パケットストリームとする。

この場合に、第２インタリーブ回路４ｂでは、誤り訂正単位の先頭パケット（図２のＡ１、Ｂ１、・・・）の送出タイミングを第１パケットストリームのそれより所定時間だけ遅延させている。また、誤り訂正単位の最後の誤り訂正符号パケット（図２のＡＥ、ＢＥ、・・・）が第１パケットストリームのそれと同じタイミングで送出されるようにしている。

したがって、遅延させる時間は、インタリーブ長の差に相当する時間とする。つまり前記例では、第１インタリーブ回路４ａのインタリーブ長（４０パケット）と、第２インタリーブ回路４ｂのインタリーブ長（２０パケット）の差である２０パケットに相当する時間（パケット速度×２０パケット）を設定している。

なお、遅延させる処理については、第２インタリーブ回路４ｂに入力される冗長化パケットストリームを所定時間だけ遅延させ、これにインタリーブ処理を施すようにしてもよい。
このように、２つのパケットストリームは、同じ内容のパケットが分散度合いを変えて伝送路上を転送されていることになる。

なお、各パケットには第１パケットストリーム／第２パケットストリームのいずれに属するかを示す情報をヘッダに組み込んでいる。
多重化回路５は、２つのパケットストリームを１つの多重パケットストリームにするように、各パケットストリームから１パケットずつ、あるいは数パケットずつ交互に、多重化回路５に転送されてきた順にパケットを組み込んで多重化し、送信回路６に転送する。送信回路６はこの多重パケットストリームをリアルタイム・ストリーミング受信装置に向けて送信する。

＝＝＝リアルタイム・ストリーミング受信装置＝＝＝
この発明を適用したリアルタイム・ストリーミング受信装置は、受信回路と、分離回路と、デインタリーブ回路と、誤り訂正回路と、バッファと、切替回路と、ＭＰ３デコーダとを備え、マイコンがこれらの各構成部を制御・統括している。切替回路は２つのデインタリーブ回路のいずれかとＭＰ３デコーダとを切り替え接続が可能に構成されている。

リアルタイム・ストリーミング受信装置が実行する処理概要を図３に示している。また図４にその処理フロー図を示している。ユーザインタフェースを介して、放送チャネル切り替えなど、利用者の所定の操作による放送の再生出力指示をマイコン１０が受け付けると（図４のｓ１）、受信回路１１がリアルタイム・ストリーミング送信装置から送信された多重パケットストリームの受信を開始する。そしてこのパケットストリームを分離回路１２に転送する。
またこのときにマイコン１０は、切替回路１５を第２パケットストリーム側（デインタリーブ回路１３ｂ側）に接続するように切り替えておく（ｓ２）。

分離回路１２は各パケットのヘッダを参照し、第１パケットストリームと第２パケットストリームとに分離する。そして分離したパケットストリームをそれぞれデインタリーブ回路（１３ａ、１３ｂ）に転送する。

各デインタリーブ回路（１３ａ、１３ｂ）では、まず、各パケットのヘッダのタイムスタンプを参照し、パケットを順番に整列させる処理を行う。これにより、リアルタイム・ストリーミング送信装置で生成された第１パケットストリーム／第２パケットストリームのそれぞれと同一順にパケットを整列させることができる。そして、所定のデインタリーブ単位でデインタリーブ処理を実施する。

デインタリーブ処理単位の値は、インタリーブ処理に対応した値があらかじめ各デインタリーブ回路（１３ａ、１３ｂ）に設定されている。第１デインタリーブ回路１３ａのデインタリーブ処理単位はインタリーブ長Ａに対応した４０パケットとし、第２デインタリーブ回路１３ｂではインタリーブ長Ｂに対応する２０パケットとしている。

第１デインタリーブ回路１３ａでは、デインタリーブ処理に必要な４０パケットを受け取るまで、転送されてくるパケットを適宜な記憶部に一時記憶する。
その間に、第２デインタリーブ回路１３ｂでは、２０パケット受け取るとデインタリーブ処理を施してパケットの順序制御処理を行い、逐次第２訂正回路１４ｂに転送する。

順序制御で整列された２０パケットの中には、４つのデータパケットとこれに対応する１つの誤り訂正符号パケットからなる誤り訂正単位の５パケットが含まれていることになる。図２の例では、Ｘ１〜ＸＥ、Ｙ１〜ＹＥ、Ｚ１〜ＺＥが逐次そろうことになる。

第２訂正回路１４ｂでは、誤り訂正単位の５パケット（たとえばＸ１〜ＸＥ）がそろうごとに、５パケットから対応する誤り訂正符号パケット（上記例ではＸＥ）を除いて、４データパケット（上記例ではＸ１〜Ｘ４）を整列順に分解してペイロードを取り出してＭＰ３符号化データを再生し（ｓ３）、切替回路１５を介して逐次ＭＰ３デコーダ１６に転送する。
ＭＰ３符号化データを受け取ったＭＰ３デコーダ１６はこれを逐次復号化し、音声信号を出力する。この音声信号を付帯のアンプを介してスピーカに転送して音響出力させる。

なお、第２訂正回路１４ｂで４つのデータパケットのうちの１パケットの欠損を検出した場合には、対応する誤り訂正符号パケットの解析を行って誤り訂正し、データを回復することが可能である。誤り訂正符号パケットのみが欠損した場合には、第２訂正回路１４ｂではデータパケットを分解するだけで足りる。ただし、誤り訂正単位の５パケットのうち２つ以上のパケットが欠損した場合には、データを完全に回復することはできず、伝送音声品質が劣化することは避けられない。

以上のように、第２デインタリーブ回路１３ｂおよび第２訂正回路１４ｂでは、逐次デインタリーブ処理を施して、２０パケットにまたがって分散した誤り訂正単位の５パケットを受け取るごとに、第１パケットストリームからデータストリームを再生する。

次に、第１デインタリーブ回路１３ａがデインタリーブ処理に必要な４０パケット受け取ると（ｓ４）、デインタリーブ処理を施してパケットの順序制御を行って整列させて第１訂正回路１４ａへ転送する。図２の例では、時点ａがこれに相当する。

第１訂正回路１４ａは、誤り訂正単位の５パケット（図２のＡ１〜ＡＥ）がそろったことを確認すると対応する誤り訂正符号パケット（図２のＡＥ）を除いて、４データパケット（Ａ１〜Ａ４）を整列順に分解してペイロードを取り出して、ＭＰ３符号化データを再生する。マイコン１０がこれを検知すると切替回路１５に通知し、第１訂正回路１４ａ側に接続を切り替えさせる（ｓ５）。

これ以降は、ＭＰ３デコーダ１６は第１訂正回路１４ａから転送されるＭＰ３符号化データを受け取って復号化し、音声信号を出力し、アンプを介してスピーカに転送して再生出力させる。

第１訂正回路１４ａで、４つのデータパケットのうちの１パケットの欠損を検出した場合には、対応する誤り訂正符号パケットの解析を行って誤り訂正し、データを回復することが可能である。誤り訂正符号パケットのみが欠損していた場合には、第１訂正回路１４ａではデータパケットを分解するだけで足りる。ただし、誤り訂正単位の５パケットのうち２つ以上のパケットが欠損していた場合には、以下に述べるようにしてパケットを補充してデータを回復する。

第１訂正回路１４ａ側に接続を切り替えると、マイコン１０は、第２デインタリーブ回路１３ｂが受け取った第１パケットストリームのパケットをバッファ１７に転送させ、所定量（あるいは所定時間）保持しておく。バッファ１７内部は、パケットのヘッダを参照してパケットを検索し、目的のパケットを取り出せるように構成されている。もちろん、第２デインタリーブ回路１３ｂがパケットを受信開始した当初からバッファ１７に蓄積するようにしてもよい。

そして、第１訂正回路１４ａにおいてパケット整列時に、誤り訂正単位の５パケットのうち２以上のパケット欠損を検出した場合には、バッファ１７を参照し、欠損したパケットに対応するパケットを取り出して、第１訂正回路１４ａに転送して欠損パケットを補充する。

なお、第２パケットストリームは前述したように２０パケットに相当する時間だけ第１パケットストリームより遅延している。いいかえれば、第１パケットストリームは２０パケット分だけ第２パケットストリームより先行している。このことから、第１デインタリーブ回路１３ａが第１パケットストリームの４０パケットを受け取った時点と、第２デインタリーブ回路１３ｂが第２パケットストリームの２０パケットを受け取った時点とは、再生可能となったＭＰ３符号化データストリームの時間軸上において同一の位置である。したがって、本実施例のように第１／第２パケットストリームを切り替えても、再生される音響出力はスムーズに切り替わるのである。

以上のようにして、放送受信開始時や放送チャンネルの切り替えを行った直後などに、当初は小さなインタリーブ長の第２パケットストリームで転送されたデータストリームを再生して迅速に音響出力し、大きなインタリーブ長の第１パケットストリームで転送された高品質のデータストリームの再生が可能になり次第、高品質のストリーミング再生に切り替える。これにより、チャンネル切り替え操作に迅速に反応して指定チャンネルの音声が聞こえるようになるので、ザッピングを頻繁に行う利用者にも不快感を与えることなく、高品質の再生音響情報を提供できる。また、再生を第１パケットストリームに切り替え後にも、第２パケットストリームによりパケットを二重化しているため、第１パケットストリームにてバースト状にパケット欠損が起こった場合にもパケットの補充が可能であるので、データストリームの伝送品質が格段に向上する。

＝＝＝他の実施要件＝＝＝
上記実施例では高圧縮符号化方式としてＭＰ３を採用しているが、ＭＰＥＧ２などの他の映像や音声の高圧縮符号化方式であってもよい。

第２パケットストリームはインタリーブ処理をまったく施さないものとしてもよい。受信側で、再生開始当初の品質は劣化する可能性があるものの、第２パケットストリームについてデインタリーブ処理が不要となるので、切替直後に再生開始が可能となる。

また、バッファ１７には、第２訂正回路１４ｂを経由したパケットを蓄えることとしてもよい。パケット回復能力はさらに向上する。

さらに、受信開始当初に第２パケットストリームによるデータストリームを再生している際に、第１デインタリーブ回路１３ａが受信するパケットについてもバッファ１７に蓄積するようにしてもよい。第２パケットストリームの欠損パケットをバッフ１７から補充できる可能性もあるため、受信開始直後の再生品質の改善が期待できる。

なお、リアルタイム・ストリーミング送信装置、リアルタイム・ストリーミング受信装置は、それぞれ各構成部を一体のハードウェアに組み込んで実現可能であることはいうまでもない。

＝＝＝本発明の適用例＝＝＝
たとえば、カラオケ装置において曲間ＢＧＭにインターネットラジオの音声を利用する際に、インターネットラジオ局サーバをリアルタイム・ストリーミング送信装置、カラオケ装置をリアルタイム・ストリーミング受信装置として、本発明を適用可能である。

本実施例のリアルタイム・ストリーミング送信装置における処理概要を示した図である。 本実施例のリアルタイム・ストリーミング送信装置における２つのパケットストリームの遅延・多重化の処理イメージを例示した図である。 本実施例のリアルタイム・ストリーミング受信装置における処理概要を示した図である。 前記リアルタイム・ストリーミング受信装置における処理フロー図である。

符号の説明

３ 冗長化回路
４ａ 第１インタリーブ回路 ４ｂ 第２インタリーブ回路
５ 多重化回路 ６ 送信回路
１０ マイコン
１１ 受信回路 １２ 分離回路
１３ａ 第１デインタリーブ回路 １３ｂ 第２デインタリーブ回路
１４ａ 第１訂正回路 １４ｂ 第２訂正回路
１５ 切替回路 １７ バッファ

Claims (2)

1. 送信側において、
   高能率符号化された時系列情報の原始パケットストリームを処理し、所定量のパケット集合ごとに誤り訂正符号パケットを生成付加した冗長化パケットストリームを生成し、
   生成される前記冗長化パケットストリームを大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成し、
   生成される前記冗長化パケットストリームを小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成し、
   生成される第１パケットストリームと第２パケットストリームを多重化して当該多重化信号を送信し、
   受信側において、
   前記多重化信号を受信して第１パケットストリームと第２パケットストリームとを分離して出力し、
   分離された第１パケットストリームを大きなインタリーブ長Ａでデインタリーブ処理し、
   分離された第２パケットストリームを小さなインタリーブ長Ｂでデインタリーブ処理し、
   分離された第２パケットストリームのパケットをバッファに逐次一時記憶させ、
   第１パケットストリームのデインタリーブ処理出力について誤り訂正処理を行って第１符号化データストリームを出力し、この処理過程において、第１パケットストリームに欠損パケットがあり、かつ、その欠損パケットに相当するパケットが前記バッファ中に存在する場合には、前記バッファ中のそのパケットで前記欠損パケットを補い、
   第２パケットストリームのデインタリーブ処理出力について誤り訂正処理を行って第２符号化データストリームを出力し、
   前記多重化信号の受信を開始してから所定時間は第２符号化データストリームを復号化した再生信号を出力し、その後は第１符号化データストリームを復号化した再生信号を出力する
   リアルタイム・ストリーミング方法。
2. 請求項１に記載のリアルタイム・ストリーミング方法に用いる受信装置であって、
   前記多重化信号を受信して第１パケットストリームと第２パケットストリームとを分離して出力し、
   分離された第１パケットストリームを大きなインタリーブ長Ａでデインタリーブ処理し、
   分離された第２パケットストリームを小さなインタリーブ長Ｂでデインタリーブ処理し、
   分離された第２パケットストリームのパケットをバッファに逐次一時記憶させ、
   第１パケットストリームのデインタリーブ処理出力について誤り訂正処理を行って第１符号化データストリームを出力し、この処理過程において、第１パケットストリームに欠損パケットがあり、かつ、その欠損パケットに相当するパケットが前記バッファ中に存在する場合には、前記バッファ中のそのパケットで前記欠損パケットを補い、
   第２パケットストリームのデインタリーブ処理出力について誤り訂正処理を行って第２符号化データストリームを出力し、
   前記多重化信号の受信を開始してから所定時間は第２符号化データストリームを復号化した再生信号を出力し、その後は第１符号化データストリームを復号化した再生信号を出力する
   受信装置。

Images