JP2009207007A - 送信装置および送信システム - Google Patents

Abstract

【課題】ストリーミング配信される動画像の、受信側での再生品質を確保したい。
【解決手段】パケット処理部１０は、符号化された動画像データをパケット単位に分割して送信するとともに、受信側から欠落パケットの再送要求を受ける。再送用データ記憶部２０は、再送要求に対して再送するための、パケット処理部１０により送信されるデータを記憶する。破棄制御部３０は、再送用データ記憶部２０のデータのうち、画質への寄与度に応じて破棄すべきデータを決定する。
【選択図】図１

Description

本発明は、符号化された動画像データを送信する送信装置および送信システムに関する。

ブロードバンド回線の普及に伴い、インターネットを利用した動画像ストリーミング配信などの動画像伝送が普及してきている。動画像伝送では、伝送路上でパケットロスや遅延が発生する場合がある。これに対し、受信側から送信側に欠落したパケットや所定の時間以上遅延したパケットの再送を要求する技術が広く用いられている。

特許文献１はデータ通信システムを開示する。このデータ通信システムのデータ受信端末は、再生処理時間、伝播遅延時間ＲＴＴを考慮し、再生処理に間に合わない場合には、再生要求処理を実行しない。特許文献２は動画像送受信システムを開示する。この動画像送受信システムの送信局は、キーＧＯＢのみを記憶部に記憶させておく。その受信局は、キーＧＯＢについてエラー検出を行い、エラー時にキーＧＯＢの再送要求を行う。
特開２００３−１６９０４０号公報 特開２００３−２５９３７５号公報

ストリーミング配信される動画像の、受信側での再生品質を確保するには、パケットロスなどに起因する受信側から送信側への再送要求のヒット率を高めることが有効である。この再送要求のヒット率を高めるには、送信側に再送用パケットをできるだけ多く保持しておく必要があり、そのためには再生用パケットを記憶するための大きな記憶領域を送信側に確保する必要がある。この場合、回路規模が増大してしまうという問題がある。とくに、送信側がカメラなど携帯型機器の場合、大きな記憶領域を確保することは難しい。

本発明はこうした状況に鑑みなされたものであり、その目的は、送信側に搭載される特定の記憶領域を用いて、配信される動画像の、受信側での再生品質を十分に向上させることができる送信装置および送信システムを提供することにある。

本発明のある態様の送信装置は、符号化された動画像データをパケット単位に分割して送信するとともに、受信側から欠落パケットの再送要求を受けるパケット処理部と、再送要求に対して再送するための、パケット処理部により送信されるデータを記憶する再送用データ記憶部と、再送用データ記憶部のデータのうち、画質への寄与度に応じて破棄すべきデータを決定する破棄制御部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、送信側に搭載される特定の記憶領域を用いて、配信される動画像の、受信側での再生品質を十分に向上させることができる。

図１は、本発明の実施の形態に係る送信システム５００の構成を示す図である。
送信システム５００は、符号部２００および送信装置１００を備える。送信装置１００は、パケット処理部１０、再送用データ記憶部２０および破棄制御部３０を含む。

符号部２００および送信装置１００の、それぞれの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

以下、送信装置１００が、Ｈ．２６４／ＡＶＣで圧縮符号化された動画像データを含むＲＴＰ（Real-time Transport Protocol）パケットを、コネクションレス型のＲＴＰ／ＵＤＰ（User Datagram Protocol）を用いて送信する例を説明する。

なお、当該動画像データは、Ｈ．２６４／ＡＶＣに限らず、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４およびその他の規格で圧縮符号化された動画像データであってもよい。

パケット処理部１０は、符号部２００から入力される、符号化された動画像データをパケット単位に分割して送信する。パケット処理部１０は、動画像データを含むパケットを、ネットワークを介して受信側に送信するとともに、そのパケットを再送用パケットとして再送用データ記憶部２０に登録する。再送用データ記憶部２０に空き領域がある間は、無条件にすべてのパケットを登録する。

パケット処理部１０は、ネットワークを介して送信されたパケットを受信した受信側から欠落パケットの再送要求を受ける。コネクションレス型のプロトコルでは、ＴＣＰ（Tran-smission Control Protocol）などのコネクション型のプロトコルと異なり、送信側は送信したパケットが受信側で到着したか否かを確認することができない。コネクションレス型のプロトコルでは、受信側からの再送要求を受けることによりはじめて、送信側は送信したパケットが到着しなかったことを認識することができる。

パケット処理部１０は、受信側から再送要求を受けると、再送要求されたパケットが再送用データ記憶部２０に存在するか否か探索し、存在した場合、そのパケットを受信側に再送する。存在しない場合、その旨を受信側に通知してもよい。

再送用データ記憶部２０は、受信側からの再送要求に対して再送するための、パケット処理部１０により送信されるデータを記憶する。具体的には、パケット処理部１０により生成され送信されたパケットを記憶する。再送用データ記憶部２０は、空き領域が存在する間、パケット処理部１０から登録されるパケットをすべて記憶することができる。再送用データ記憶部２０は、データが溢れるとき、その旨を破棄制御部３０に通知する。

破棄制御部３０は、再送用データ記憶部２０のデータのうち、画質への寄与度に応じて破棄すべきデータを決定する。破棄制御部３０は、再送用データ記憶部２０のデータが溢れるとき、破棄すべきデータとして決定したデータを破棄する。なお、再送用データ記憶部２０のデータが溢れる前に、そのデータを破棄してもよい。データを破棄する際、画質への寄与度が低いデータから順に破棄する。再送用パケットを一つ破棄するだけで上記データの溢れが解消する場合、そこで再送用パケットの破棄を停止することができる。

上記画質には、ピクチャ全体が再生不能になることによるフレーム落ちの有無や、ピクチャ内のブロックが再生不能になることによるチラツキの有無なども含まれる。これらの再生不能は、当該ピクチャのデータを含むパケットが欠落した場合だけでなく、つぎの場合にも生じる。すなわち、当該ピクチャがピクチャ間符号化されたピクチャである場合、当該ピクチャのデータを含むパケットが正常に受信されても当該ピクチャの参照元のデータを含むパケットが欠落していれば再生不能となる。したがって、この参照元のデータは、参照元とならないデータと比較し、画質への寄与度が高いといえる。

破棄制御部３０は、再送用データ記憶部２０に再送用データが記憶される際、そのデータの画質への寄与度を示す情報（後述する付加情報に対応する）を、符号部２００または、後述する復号部３００から取得することが望ましい。それが難しい場合でも、再送用データが記憶された後、できるだけ早くその情報を取得することが望ましい。これらの制御により、再送用データ記憶部２０のデータが溢れる前に、再送用データ記憶部２０が溢れた場合に破棄すべきデータの候補をあらかじめ決定することができる。

この考察を踏まえ、破棄制御部３０は、動画像データのうち、同一ピクチャまたは他のピクチャのブロックから参照される度合いの低いデータから順に破棄する。たとえば、破棄制御部３０は、再送用データ記憶部２０に記憶されている各再送用パケットに含まれるデータで表現される、ピクチャの一部領域が、他のピクチャの動き補償ブロックから参照される度合い（以下、参照度と表記する）を取得し、その参照度が低い再送用パケットから順に破棄することができる。ここでの参照度は、他のピクチャの動き補償ブロックから参照される回数であってもよい。なお、参照度の詳細については後述する。

一般的な解像度の画像データでは、一パケットに複数のスライスのデータが埋め込まれることになる。この場合、上記一部領域は複数のスライスデータで表現される領域となる。もちろん、解像度などの違いにより、一パケットに一ピクチャのデータが埋め込まれる場合もあり得るし、一パケットに複数のマクロブロック（一スライスを超えない範囲）のデータが埋め込まれる場合もあり得る。

破棄制御部３０は、再送用データ記憶部２０の空き領域に関わらず、受信側からの再送要求に応じて再送しても受信側のリアルタイム再生に間に合わないデータを破棄することができる。このデータを保持していても、受信側で再生される動画像の品質に寄与しないためである。

破棄制御部３０は、各再送用パケットに含まれるデータの、受信側で再生されるべき時刻（以下、再生時刻という）を管理する。たとえば、パケットの生成時刻、パケットの送信にかかる時間、および受信側の再生処理にかかる時間をもとに再生時刻を特定することができる。破棄制御部３０は、再送要求にかかる時間、パケットの再送にかかる時間、および受信側の再生処理にかかる時間に鑑み、特定された再生時刻までに受信側に再送することができなくなった再送用パケットを破棄する。これらのパラメータは、ＲＴＰパケットのヘッダに含まれているタイムスタンプ、回線の伝送状況、受信側の復号状況などから特定または推測することができる。

符号部２００は、撮像された動画像データまたは外部入力された非符号化動画像データを符号化する。実施の形態に係る送信システム５００が撮像装置内に搭載される場合、撮像装置内の、ＣＣＤまたはＣＭＯＳイメージセンサなどの固体撮像素子を含む撮像部から動画像データを取得する。符号部２００は、動画像データを符号化する際、上記参照度を特定して付加情報として破棄制御部３０に供給する。すなわち、当該符号部２００は通常の符号化機能に加え、この付加情報を生成する機能を備える。

以下、実施の形態に係る送信システム５００の具体的動作について説明する。
図２は、対象ピクチャＰ１とその参照ピクチャＰ０を示す図である。
対象ピクチャはＰピクチャまたはＢピクチャである。参照ピクチャＰ０はＩピクチャまたはＰピクチャである。各ピクチャは、それぞれが複数のマクロブロックを持つ、複数のスライスに分類される。図２では、一パケットに四スライスのデータを埋め込むことを前提とする。

対象ピクチャＰ０内の動き補償ブロックＢ１は、参照ピクチャＰ０のブロックＢ０を参照ブロックとする。すなわち、この参照ブロックは動き補償ブロックＢ１と最も予測誤差が小さいブロックである。Ｈ．２６４／ＡＶＣでは、動き補償ブロックのサイズを、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４のなかから選択することができる。

複数のスライスのデータを含む再送用パケットの参照度は、初期値をゼロとして、他のピクチャの動き補償ブロックから参照されるたびに一ずつ加算される。その際、複数のスライスで形成される領域に、参照ブロックのすべての領域が含まれない場合、複数のスライスで形成される領域に含まれる参照ブロックの面積割合に応じて、０＜Ｘ＜１の値を加算してもよい。たとえば、図２のようにスライス１〜４で形成される領域に参照ブロックの半分の領域が含まれる場合、０．５を加算する。

図３は、実施の形態に係る破棄制御部３０に生成される再送用データテーブル３２の一例を示す図である。
ここでは、再送用データ記憶部２０が８つの再送用パケットを記憶する領域を持つ例を説明する。

再送用データテーブル３２は、再送用データ記憶部２０に記憶されている再送用パケットの、「再生時刻」、「参照度」、「開始アドレス」を管理する。ここでは、「再生時刻」を、送信側のパケット生成時刻から有意な再送が可能なまでの時間で表している。破棄制御部３０は、「再生時刻」を、再送用データ記憶部２０に記憶された再送用パケットのタイムスタンプなどから算出する。「参照度」を、符号部２００からの付加情報として取得する。再送用データ記憶部２０内の「開始アドレス」を、再送用データ記憶部２０内を調査して取得する。

破棄制御部３０は、各再送用パケットの生成時刻から「再送時刻」として管理されている時間が過ぎたものを無条件に削除する。
破棄制御部３０は、再送用データテーブル３２に管理されている再送用パケットを、「参照度」をキーにソートする。図３では、再送用パケット４の「参照度」が３．２で一番低い。この状態で、パケット処理部１０から新たに再送用パケットが再送用データ記憶部２０に登録されるとき、その再送用パケットの「参照度」と再送用パケット４の「参照度」とを比較し、後者のほうが低ければ再送用パケット４を破棄する。前者のほうが低ければ、その新たな再送用パケットの登録を中止する。このような処理により、「参照度」が高い再送用パケットが優先的に再送用データ記憶部２０内に残ることになる。

以上説明したように本実施の形態によれば、再送用データ記憶部２０に参照度の高いデータを優先的に残すことにより、送信側に搭載される特定の記憶領域を用いて、配信される動画像の、受信側での再生品質を十分に向上させることができる。すなわち、従来の再送用データの破棄方法、たとえば先入れ先出し法と比較し、画質への寄与度の高いデータを含むパケットに対する、再送要求のヒット率を向上させることができる。よって、従来と同じ記憶容量を用いても、動画像再生の品質を向上させることができる。また、従来と同等の再生品質を確保するために必要な記憶容量を削減することができる。この場合、回路規模や消費電力を低減することができる。

また、再送用データ記憶部２０に可能な限り多くの再送用データを記憶するように制御するため、再送要求のヒット率を向上させることができる。たとえば、Ｉピクチャのデータが含まれるパケットのみを再送用データ記憶部２０に登録する手法も考えられるが、本実施の形態のほうが再送用データ記憶部２０を有効活用することができ、再送要求のヒット率も向上させることができる。

以上、本発明をいくつかの実施形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

まず、変形例１について説明する。実施の形態の基本例では参照度などの付加情報を生成する機能を符号部２００に持たせたが、変形例１では復号部３００に持たせる例を説明する。

図４は、実施の形態の変形例１に係る送信システム５００の構成を示す図である。
変形例１に係る送信システム５００は、符号部２００、復号部３００および送信装置１００を備える。符号部２００は、基本例と異なり上記参照度を特定して付加情報として破棄制御部３０に供給する機能を持たない。すなわち、一般的なエンコーダを採用することができる。復号部３００は、符号部２００により符号化された動画像データを復号する。復号部３００は、復号した動画像データから参照度を特定して付加情報として破棄制御部３０に供給する。すなわち、当該復号部３００は通常の復号機能に加え、この付加情報を生成する機能を備える。変形例１によれば、既存のエンコーダをそのまま使用することができる。

つぎに変形例２について説明する。実施の形態の基本例および変形例１では、破棄すべきデータを選択するために参照度を用いたが、変形例２ではピクチャタイプを用いる例を説明する。

図５は、変形例２に係る破棄制御部３０に生成される再送用データテーブル３４の一例を示す図である。
変形例２に係る破棄制御部３０は、再送用データ記憶部２０にピクチャ内符号化されたデータとピクチャ間符号化されたデータが記憶されているとき、再送用データ記憶部２０の溢れが解消するまで、ピクチャ間符号化されたデータを破棄する。ここで、ピクチャ内符号化されたデータとはＩピクチャを構成するデータであり、ピクチャ間符号化されたデータとはＰまたはＢピクチャを構成するデータである。

再送用データテーブル３４は、再送用データ記憶部２０に記憶されている再送用パケットの、「再生時刻」、「ピクチャタイプ」、「開始アドレス」を管理する。「ピクチャタイプ」以外は基本例で説明した再送用データテーブル３２と同様である。符号化された動画像ストリームの、各ピクチャのヘッダにはピクチャタイプが記述されているため、破棄制御部３０は、再送用パケットに含まれるデータがどのピクチャタイプのデータであるか特定することができる。

破棄制御部３０は、各再送用パケットの生成時刻から「再送時刻」として管理されている時間が過ぎたものを無条件に削除する。
破棄制御部３０は、再送用データテーブル３２に管理されている再送用パケットを、「ピクチャタイプ」を第１キーにソートする。画質への寄与度が低くなる方向に、Ｉピクチャ→Ｐピクチャ→Ｂピクチャの順にソートする。同一ピクチャタイプに属する複数の再送用パケットを、「再生時刻」を第２キーにソートする。再生時刻が短い順にソートする。再生時刻が短いほど再送用パケットとしての価値が低いものとして取り扱う。

変形例２によれば、基本例ほどの最適化は期待できないが、参照度を求める必要がないため、既存のエンコーダをそのまま使用することができ、復号部３００を追加する必要もない。また、破棄制御処理が基本例より簡素化するため、送信装置１００内の負荷を軽減することができる。なお、Ｈ．２６４／ＡＶＣではスライス単位で符号化モードを変更することができるため、上述した「ピクチャタイプ」を「スライスタイプ」に置き換えることもできる。この場合、Ｉスライスに高スコア、Ｐスライスに中スコア、Ｂスライスに低スコアを割り当て、一パケットに含まれる複数のスライスの、合計スコアを、「スライスタイプ」の内容とすることができる。

また、上述した送信装置１００または送信システム５００は、中継装置に搭載されることも可能である。

本発明の実施の形態に係る送信システムの構成を示す図である。 対象ピクチャとその参照ピクチャを示す図である。 実施の形態に係る破棄制御部に生成される再送用データテーブルの一例を示す図である。 実施の形態の変形例１に係る送信システムの構成を示す図である。 変形例２に係る破棄制御部に生成される再送用データテーブルの一例を示す図である。

符号の説明

１０ パケット処理部、 ２０ 再送用データ記憶部、 ３０ 破棄制御部、 ３２ 再送用データテーブル、 ３４ 再送用データテーブル、 １００ 送信装置、 ２００ 符号部、 ３００ 復号部、 ５００ 送信システム。

Claims (8)

1. 符号化された動画像データをパケット単位に分割して送信するとともに、受信側から欠落パケットの再送要求を受けるパケット処理部と、
   前記再送要求に対して再送するための、前記パケット処理部により送信されるデータを記憶する再送用データ記憶部と、
   前記再送用データ記憶部のデータのうち、画質への寄与度に応じて破棄すべきデータを決定する破棄制御部と、
   を備えることを特徴とする送信装置。
2. 前記破棄制御部は、前記再送用データ記憶部のデータが溢れるとき、破棄すべきデータとして決定したデータを破棄することを特徴とする請求項１に記載の送信装置。
3. 前記破棄制御部は、前記動画像データのうち、同一ピクチャまたは他のピクチャのブロックから参照される度合いの低いデータから順に破棄することを特徴とする請求項１または２に記載の送信装置。
4. 前記破棄制御部は、前記再送用データ記憶部内の各再送用パケットに含まれるデータで表現される、ピクチャの一部領域が、他のピクチャの動き補償ブロックから参照される度合いを取得し、その度合いが低い再送用パケットから順に破棄することを特徴とする請求項１または２に記載の送信装置。
5. 前記破棄制御部は、前記再送用データ記憶部にピクチャ内符号化されたデータとピクチャ間符号化されたデータが記憶されているとき、前記再送用データ記憶部の溢れが解消するまで、前記ピクチャ間符号化されたデータを破棄することを特徴とする請求項１または２に記載の送信装置。
6. 前記破棄制御部は、前記再送用データ記憶部の空き領域に関わらず、受信側からの再送要求に応じて再送しても受信側のリアルタイム再生に間に合わないデータを破棄することを特徴とする請求項１から５のいずれかに記載の送信装置。
7. 請求項３または４に記載の送信装置と、
   撮像された動画像データまたは外部入力された非符号化動画像データを符号化する符号部と、を備え、
   前記符号部は、前記動画像データを符号化する際、前記度合いを特定して前記破棄制御部に供給することを特徴とする送信システム。
8. 請求項３または４に記載の送信装置と、
   撮像された動画像データまたは外部入力された非符号化動画像データを符号化する符号部と、
   前記符号部により符号化された動画像データを復号する復号部と、を備え、
   前記復号部は、復号した動画像データから前記度合いを特定して、前記破棄制御部に供給することを特徴とする送信システム。

Images