JP2006115104A

JP2006115104A - 高能率符号化された時系列情報をパケット化してリアルタイム・ストリーミング送信し受信再生する方法および装置

Info

Publication number: JP2006115104A
Application number: JP2004299066A
Authority: JP
Inventors: Akimine Nagata; 明峰永田; Shinji Sakurai; 伸司桜井
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2004-10-13
Filing date: 2004-10-13
Publication date: 2006-04-27

Abstract

【課題】リアルタイム・ストリーミングで迅速にチャネル切り替える技術を提供する。
【解決手段】送信側では、時系列情報を高能率符号化したデータストリームを、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームと、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームとを生成し、多重化して送信し、受信側は、再生出力の指示を受けた際、多重化信号を受信して２パケットストリームに分離し、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始し、同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、出力を第１パケットストリームの再生信号に切り替える。
【選択図】図２

Description

この発明は、インタリービングを用いるリアルタイム・ストリーミング技術によるインターネットテレビやインターネットラジオなどの多チャンネル放送に関し、とくに、視聴者が受信チャンネルをつぎつぎと切り替える（この行為をザッピングという）ことを想定し、受信チャンネルを切り替えた時点からできるだけ早く映像や音声を出力できるようにする技術に関する。

周知のように、リアルタイム・ストリーミングでは、ＭＰＥＧなどの高能率符号化された時系列情報（映像や音声など）をパケット化して送信し、受信装置では、逐次受信するパケットストリームの順序制御を行ってペイロードを抽出し、抽出データを逐次復号化して時系列情報を逐次再生する。

また周知のように、リアルタイム・ストリーミングでは、さまざまな原因によって送信されたパケットストリームの一部が受信側に届かない場合がある。この事実を踏まえ、少々のパケット欠損が発生しても映像や音声の再生品質が著しく低下しないようにするために、さまざまな対策技術が開発されている。

代表的な対策技術として、ＦＥＣ(Forward Error Correction)が知られている。これは、高能率符号化した時系列情報に誤り訂正符号を適用してパケット化し、受信装置において、あるパケットが欠損しても、前後のパケット集合のペイロードから欠損パケットのペイロードを回復可能とする冗長システムである。

さらにＦＥＣの情報回復能力を高める技術として、インタリービングがよく知られている。これは、バースト状の妨害を与えるものに対して、データを時間方向にあらかじめ散在させておくことにより、誤り訂正符号の訂正できる範囲のランダム誤りに変換する技術である。たとえば特開２０００−３５３９６５号公報には、効率的なインタリービングの技術が開示されている。
特開２０００−３５３９６５号公報

インターネットテレビやインターネットラジオなどの放送では、再生品質を向上させるために上記インタリービング（インタリーブ処理）を実施していることがよく知られている。このインタリーブ処理による情報回復能力は、インタリーブ長を大きくする（インタリーブの深さを深くする）ほど、すなわち、データの時間方向への分散度合いが増大するほど、向上する。

一方、大きなインタリーブを施すほど、デインタリービングの処理時間が増大するという問題が生じる。そうすると受信側では、再生品質は向上する反面、再生開始までに生じる遅延時間が大きくなる。つまり、多チャンネル放送において、チャンネルを切り替えた直後には、なかなか音声や映像が再生されず、視聴者に空白の時間が生じることになる。とくにザッピングを頻繁に行う利用者にとっては、切り替え操作が自分の意図どおりできているのかがなかなか確認できず不快な現象である。

この発明の目的は、リアルタイム・ストリーミングにおいて、データ伝送エラー時の情報回復能力を保持し、再生品質を劣化させることなく、受信開始時点から再生信号が出力されるまでの遅延時間を最小限度に抑えることにある。

上記目的を達成するために、この第１の発明は、送信側において、時系列情報を高能率符号化したデータストリームを送信するにあたり、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成すると同時に、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信し、受信側において、再生出力の指示を受けた際、第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始し、同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、第２パケットストリームの再生信号に替えて第１パケットストリームの再生信号を出力するリアルタイム・ストリーミング方法とする。

また、第２の発明は、時系列情報を高能率符号化したデータストリームを送信するにあたり、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成すると同時に、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信するリアルタイム・ストリーミング送信方法とする。

第３の発明は、再生出力の指示を受けた際、大きなインタリーブ長の第１パケットストリームと小さなインタリーブ長の第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始し、同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、第２パケットストリームの再生信号に替えて第１パケットストリームの再生信号を出力するリアルタイム・ストリーミング受信再生方法とする。

第４の発明は、時系列情報を高能率符号化したデータストリームを送信するにあたり、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成する手段と、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成する手段と、第１パケットストリームと第２パケットストリームを多重化して送信する手段とを備えたリアルタイム・ストリーミング送信装置とする。

第５の発明は、再生出力の指示を受けた際、大きなインタリーブ長の第１パケットストリームと小さなインタリーブ長の第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離する手段と、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始する手段と、第２パケットストリームの再生信号の出力を開始すると同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、第２パケットストリームの再生信号に替えて第１パケットストリームの再生信号を出力する手段とを備えたリアルタイム・ストリーミング受信再生装置とする。

本発明によれば、受信側は、チャンネル切り替えなどの受信開始指示を受け、指定チャンネルのパケットの受信を開始してから、小さなインタリーブ長Ｂに相当する時間の後に第２パケットストリームの再生信号の出力が可能になり、出力を開始する。また、当該パケット受信開始時点から大きなインタリーブ長Ａに相当する時間の後に、第１パケットストリームの再生信号の出力が可能になる。

ここで第１パケットストリームの再生信号は（Ａ−Ｂ）に相当する時間だけ、第２パケットストリームの再生信号より先行しているので、第１パケットストリームの再生信号について出力可能になった時点での再生位置は、第２パケットストリームの再生信号の再生位置と一致する。したがって、視聴者に違和感なくスムーズに再生信号の出力を切り替えることができる。

このように、インタリーブ長の異なるパケットストリームを適宜な時間差で多重化して送信し、受信側で当初は小さなインタリーブ長の再生信号を出力し、可能になった時点で大きなインタリーブ長の（情報回復能力の高い）再生信号に切り替えることにより、インタリーブ処理によるパケット欠損に対する情報回復能力を保持したまま遅延時間を短縮するといった、本来的には両立しえない効果を簡単に両立させることができる。

＝＝＝リアルタイム・ストリーミング送信装置＝＝＝
この発明を適用したリアルタイム・ストリーミング送信装置は、ＭＰ３プレーヤと、インタリーブ回路と、パケット組立回路と、遅延回路と、多重化回路と、送信回路を備えている。ＭＰ３符号化データは、音声情報の時系列情報をよく知られたＭＰ３（Mpeg1 layer3）方式により高能率符号化したデータである。ＭＰ３プレーヤからはＭＰ３符号化データストリームが送出される。これを順次復号すれば付帯するスピーカに音声情報が再生出力される。

図１に、リアルタイム・ストリーミング送信装置が実行する処理概要を示している。ＭＰ３プレーヤ１から出力されたＭＰ３符号化データストリームは、逐次パケット組立回路２に転送される。パケット組立回路２では、ＭＰ３符号化データストリームを適宜な長さに区切り、規格化された長さの小包状のパケットにペイロードとしておさめてヘッダを付与する。ヘッダには、時間基準情報やクロックの信号などのタイムスタンプを組み込んで、パケットを分解する際にタイミングを合わせて順序よく処理できるようにしている。このようにしてデータストリームのパケット化を逐次行って、これらのパケットを所定の速度（パケット速度）でパケット組立回路２から送出する。

パケット組立回路２から送出されたパケットストリームは、同一内容で同時に２つのインタリーブ回路３に送出される。各インタリーブ回路３では、入力されたパケットストリームに対してインタリーブ処理を施す。各インタリーブ回路３におけるインタリーブ長、すなわちインタリーブ処理の単位当たりのパケット数は予め各回路に設定され、２つの回路の設定値は異なる値に設定されている。例えば、インタリーブ回路３ａでのＡは８０パケット、インタリーブ回路３ｂでのＢは１０パケットとする。

インタリーブ回路３ａは、大きなインタリーブ（インタリーブ長Ａ：この例では８０パケット）を施した後、パケットストリームを第１パケットストリームとして、新たなタイムスタンプをヘッダに組み込んで多重化回路５に転送する。

また、インタリーブ回路３ｂは、小さなインタリーブ（インタリーブ長Ｂ：この例では１０パケット）を施したのち、パケットストリームを逐次遅延回路４に転送する。遅延回路４では、それぞれのパケットの送出タイミングを所定時間だけ遅延させるとともに、新たなタイムスタンプをヘッダに組み込んで逐次多重化回路５に転送し、これを第２パケットストリームとする。

遅延回路４にて遅延させる時間は、インタリーブ長の差に相当する時間とする。つまり前記例では、インタリーブ回路３ａのインタリーブ長（８０パケット）と、インタリーブ回路３ｂのインタリーブ長（１０パケット）の差である７０パケットに相当する時間（パケット速度×７０パケット）を設定している。
また、各パケットには、第１パケットストリーム／第２パケットストリームのいずれに属するかを示す情報をヘッダに組み込む。

多重化回路５は、２つのパケットストリームを１つの多重パケットストリームにするように、各パケットストリームから交互に、多重化回路５に転送されてきた順にパケットを組み込んで多重化して送信回路６に転送する。送信回路６はこの多重パケットストリームをリアルタイム・ストリーミング受信再生装置に向けて送信する。

＝＝＝リアルタイム・ストリーミング受信再生装置＝＝＝
この発明を適用したリアルタイム・ストリーミング受信再生装置は、受信回路と、分離回路と、デインタリーブ回路と、切替回路と、ＭＰ３デコーダと、アンプとを備え、マイコンがこれらの各構成部を制御・統括している。切替回路は２つのデインタリーブ回路のいずれかとＭＰ３デコーダとを切り替え接続が可能に構成されている。

リアルタイム・ストリーミング受信再生装置が実行する処理概要を図２に示している。また図３にその処理フロー図を示している。ユーザインタフェースを介して、放送チャネル切り替えなど、利用者の所定の操作による放送の再生出力指示をマイコン１０が受け付けると（図３のｓ１）、受信回路１１がリアルタイム・ストリーミング送信装置から送信された多重パケットストリームの受信を開始する。そしてこのパケットストリームを分離回路１２に転送する。
またこのときにマイコン１０は、切替回路１４を第２パケットストリーム側（デインタリーブ回路１３ｂ側）に接続するように切り替えておく（ｓ２）。

分離回路１２は各パケットのヘッダを参照し、第１パケットストリームと第２パケットストリームとに分離する。そして分離したパケットストリームをそれぞれデインタリーブ回路１３に転送する。

デインタリーブ回路１３では、まず、各パケットのヘッダのタイムスタンプを参照し、パケットを順番に整列させる順序制御処理を行う。これにより、リアルタイム・ストリーミング送信装置で生成された第１パケットストリーム／第２パケットストリームのそれぞれと同一順にパケットを整列させることができる。そして、所定のデインタリーブ単位でデインタリーブ処理を実施する。

デインタリーブ処理単位の値は、インタリーブ処理に対応した値があらかじめ各回路に設定されている。デインタリーブ回路１３ａのデインタリーブ処理単位はインタリーブ長Ａに対応した８０パケットとし、デインタリーブ回路１３ｂではインタリーブ長Ｂに対応する１０パケットとしている。

デインタリーブ回路１３ａでは、デインタリーブ処理に必要な８０パケットを受け取るまで、転送されてくるパケットを適宜な記憶部に一時記憶する。

その間に、デインタリーブ回路１３ｂでは、１０パケット受け取るごとにデインタリーブ処理を施してパケットを整列させ、整列順にパケットを分解してペイロードを取り出してＭＰ３符号化データを再生し（ｓ３）、切替回路１４を介して逐次ＭＰ３デコーダ１５に転送する。ＭＰ３デコーダ１５ではこれを逐次復号化し、音声信号を出力する。この音声信号を付帯のアンプを介してスピーカに転送して音響出力させる。

そして、デインタリーブ回路１３ａがデインタリーブ処理に必要な８０パケット受け取ると（ｓ４）、デインタリーブ処理を施してパケットを整列させ、その順にパケットを分解してペイロードを取り出してＭＰ３符号化データを再生する。マイコン１０がこれを検知すると切替回路１４に通知し、デインタリーブ回路１３ａ側に接続を切り替えさせる（ｓ５）。

これ以降は、ＭＰ３デコーダ１５はデインタリーブ回路１３ａからのＭＰ３符号化データを受け取って復号化し、音声信号を出力し、アンプを介してスピーカに転送して再生出力させる。

なお、第２パケットストリームは前述したように７０パケットに相当する時間だけ第１パケットストリームより遅延している。いいかえれば、第１パケットストリームは７０パケット分だけ第２パケットストリームより先行している。このことから、デインタリーブ回路１３ａが第１パケットストリームの８０パケットを受け取った時点と、デインタリーブ回路１３ｂが第２パケットストリームの１０パケットを受け取った時点とでは、再生可能となったＭＰ３符号化データストリームの時間軸上の位置は同一である。したがって、本実施例のようにデインタリーブ回路１３を切り替えても、再生される音響出力はスムーズに切り替わるのである。

以上のようにして、放送受信開始時や放送チャンネルの切り替えを行った直後などに、当初は小さなインタリーブ長の第２パケットストリームで転送されたデータストリームを再生して迅速に音響出力し、大きなインタリーブ長の第１パケットストリームで転送された高品質のデータストリームの再生が可能になり次第、高品質のストリーミング再生に切り替える。これにより、チャンネル切り替え操作に迅速に反応して指定チャンネルの音声が聞こえるようになるので、ザッピングを頻繁に行う利用者にも不快感を与えることなく、高品質の再生音響情報を提供できる。

＝＝＝他の実施要件＝＝＝
第２パケットストリームはインタリーブ処理をまったく施さないものとしてもよい。受信側で、再生開始当初の品質は劣化する可能性があるものの、第２パケットストリームについてデインタリーブ処理が不要となるので、切替直後に再生開始が可能となる。
また、切替回路１４をデインタリーブ回路１３ａに切り替えた後は、デインタリーブ回路１３ｂの処理は停止してもよい。
なお、上記実施例では高圧縮符号化方式としてＭＰ３を採用しているが、ＭＰＥＧ２などの他の映像や音声の高圧縮符号化方式であってもよい。

遅延回路４は、インタリーブ回路３ｂの前段とすることも可能である。リアルタイム・ストリーミング送信装置においては、いずれの回路も、入力される高能率圧縮符号化データと同じデータ速度で出力できるだけの処理能力を保持するものである。

＝＝＝本発明の適用例＝＝＝
たとえば、カラオケ装置において曲間ＢＧＭにインターネットラジオの音声を利用する際に、インターネットラジオ局サーバをリアルタイム・ストリーミング送信装置、カラオケ装置をリアルタイム・ストリーミング受信装置として、本発明を適用可能である。

本実施例のリアルタイム・ストリーミング送信装置における処理概要を示した図である。本実施例のリアルタイム・ストリーミング受信再生装置における処理概要を示した図である。前記リアルタイム・ストリーミング受信再生装置における処理フロー図である。

符号の説明

３（３ａ，３ｂ）インタリーブ回路
４遅延回路
５多重化回路
６送信回路
１０マイコン
１１受信回路
１２分離回路
１３（１３ａ、１３ｂ）デインタリーブ回路
１４切替回路

Claims

送信側において、時系列情報を高能率符号化したデータストリームを送信するにあたり、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成すると同時に、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信し、
受信側において、再生出力の指示を受けた際、第１パケットストリームと第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始し、同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、第２パケットストリームの再生信号に替えて第１パケットストリームの再生信号を出力する
リアルタイム・ストリーミング方法。
時系列情報を高能率符号化したデータストリームを送信するにあたり、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成すると同時に、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成し、第１パケットストリームと第２パケットストリームを多重化して送信するリアルタイム・ストリーミング送信方法。
再生出力の指示を受けた際、大きなインタリーブ長の第１パケットストリームと小さなインタリーブ長の第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離し、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始し、同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、第２パケットストリームの再生信号に替えて第１パケットストリームの再生信号を出力するリアルタイム・ストリーミング受信再生方法。
時系列情報を高能率符号化したデータストリームを送信するにあたり、大きなインタリーブ長Ａでインタリーブ処理した第１パケットストリームを生成する手段と、小さなインタリーブ長Ｂでインタリーブ処理し、かつ第１パケットストリームに対して（Ａ−Ｂ）に相当する時間だけ遅延させた第２パケットストリームを生成する手段と、第１パケットストリームと第２パケットストリームを多重化して送信する手段とを備えたリアルタイム・ストリーミング送信装置。
再生出力の指示を受けた際、大きなインタリーブ長の第１パケットストリームと小さなインタリーブ長の第２パケットストリームの多重化信号を受信して第１パケットストリームと第２パケットストリームに分離する手段と、第２パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力を開始する手段と、第２パケットストリームの再生信号の出力を開始すると同時に第１パケットストリームにデインタリーブを施してペイロードを抽出し、抽出データを逐次復号化して時系列情報の再生出力が可能になった際、第２パケットストリームの再生信号に替えて第１パケットストリームの再生信号を出力する手段とを備えたリアルタイム・ストリーミング受信再生装置。