JP2009065259A - 受信装置 - Google Patents

Abstract

【課題】伝送路の負荷を軽減したい。
【解決手段】受信部は、画像データを含むパケットを伝送路を介して受信する。解析部２０は、受信部で受信する一連のパケットのうち欠落パケットに含まれる画像データの種類を解析する。伝送制御部３０は、解析部２０により解析された種類を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて伝送制御処理を実行する。たとえば、解析部２０は、所定のヘッダ情報を参照して、欠落パケットに含まれる動画像データが参照元ピクチャであるか否か判定し、伝送制御部３０は、欠落パケットに含まれる動画像データが参照元ピクチャの場合、送信側に再送要求をし、非参照元ピクチャの場合、再送要求をしない。
【選択図】図１

Description

本発明は、画像データを受信する受信装置に関する。

ブロードバンド回線の普及に伴い、インターネットを利用した動画像ストリーミング配信などの動画像伝送が普及してきている。動画像伝送では、伝送路上でパケットロスや遅延が発生する場合がある。これに対し、受信側から送信側に欠落したパケットや所定の時間以上遅延したパケットの再送を要求する技術が広く用いられている。

特許文献１は、パケットストリーム受信装置を開示する。この装置は、ＲＴＰ（Real-time Transport Protocol）ヘッダに含まれるシーケンス番号などを検出して、パケットの喪失を特定する。特許文献２は、ＭＰＥＧ（Moving Picture Experts Group）符号化画像復号装置を開示する。この装置は、表示タイミング毎にピクチャフレームメモリを監視して異常時にビデオ再生要求を行う。
特開２００６−２９５５６７号公報 特開平９−２６６５７６号公報

特許文献１、２における受信側から送信側への再送要求処理は、欠落パケットに含まれるデータの種類を考慮しない画一的な処理であるので、それ自体が伝送路の負荷を大きくする要因となる。それにより、新たなパケットロスや遅延が発生しやすくなるという悪循環に陥ってしまう。

本発明はこうした状況に鑑みなされたものであり、その目的は、効率的な伝送制御が可能な受信装置を提供することにある。

本発明のある態様の受信装置は、画像データを含むパケットを伝送路を介して受信する受信部と、受信部で受信する一連のパケットのうち欠落パケットに含まれる画像データの種類を解析する解析部と、解析部により解析された種類を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて伝送制御処理を実行する伝送制御部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、効率的な伝送制御が可能となる。

図１は、本発明の実施の形態１に係る受信装置１００の構成を示す図である。受信装置１００は、送受信部１０、解析部２０、伝送制御部３０、および復号部４０を備える。復号部４０は、エントロピー復号部４２、逆量子化部４４、逆直交変換部４６、加算部４８、デブロッキングフィルタ５０、画像内予測部５２、動き補償部５４、および切替部５６を含む。

この受信装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。たとえば、解析部２０、伝送制御部３０、および復号部４０をロジック回路で一体集積化してもよい。この場合、ヘッダ情報などの解析処理およびその結果を用いた伝送制御を高速化することができる。よって、後述するような伸張復号後に参照可能となるヘッダ情報などを解析し、その結果を利用して伝送制御することも時間的に可能である。

以下、受信装置１００が、Ｈ．２６４／ＡＶＣで圧縮符号化された動画像データを含むＲＴＰパケットを受信する例を説明する。なお、当該動画像データは、Ｈ．２６４／ＡＶＣに限らず、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４およびその他の規格で圧縮符号化された動画像データであってもよい。

送受信部１０は、画像データを含むパケットＰを伝送路を介して受信する。
解析部２０は、送受信部１０で受信する一連のパケットＰのうち、欠落パケットに含まれる画像データの種類または性質を解析する。ここで、欠落パケットには、所定の時間遅延したパケットも含む。解析部２０は、ＲＴＰヘッダに記述されているシーケンス番号を参照して、パケットの欠落を検知することができる。すなわち、シーケンス番号が飛んでいる場合、そのパケットが欠落していると判定することができる。

解析部２０は、欠落パケットに含まれる画像データの種類または性質を、様々な階層のヘッダ情報または動きベクトルを参照して、解析する。たとえば、ＲＴＰパケットの場合、ＩＰ（Internet Protocol）ヘッダ、ＵＤＰ（User Datagram Protocol）ヘッダ、ＲＴＰヘッダ、ＲＴＰペイロードヘッダ、ＮＡＬ（Network Abstraction Information)ヘッダ、スライスヘッダのうち、少なくとも一つを参照する。

伝送制御部３０は、解析部２０による解析結果を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて伝送制御処理を実行する。たとえば、その重要度に応じて再送要求処理を実行する。ここで、画像データの重要度は、画質への寄与度であってもよい。また、復号処理の円滑性に影響を与える程度であってもよい。伝送制御部３０は、重要度が高い画像データについて、優先的に再送要求し、重要度が低い画像データについて再送要求を抑制する。これにより、必要性の低い再送要求を抑制し、伝送路にかける負荷を軽減することができる。

復号部４０は、送受信部１０で受信したパケットＰに含まれる動画像データを伸張復号する。エントロピー復号部４２は、圧縮符号化された動画像データをエントロピー復号する。逆量子化部４４は、エントロピー復号された動画像データを逆量子化する。逆直交変換部４６は、逆量子化された動画像データを逆直交変換する。ＭＰＥＧシリーズでは、逆ＤＣＴ（Discrete Cosine Transform）変換する。

デブロッキングフィルタ５０は、画像の符号化時に生じるブロック歪みを低減し、動画像ＭＩを出力する。画像内予測部５２は、復号された画像に基づき、画像内予測信号を生成する。動き補償部５４は、復号された画像と、復号された動きベクトルに基づいて画像間予測信号を生成する。切替部５６は、画像内予測部５２の出力経路と、動き補償部５４の出力経路とを選択的に加算部４８に接続する。

加算部４８は、画像内予測部５２と接続されている場合、画像内予測部５２で生成された画像内予測信号と、Ｉピクチャに含まれる予測誤差信号とを合成し、画像を復元する。加算部４８は、動き補償部５４と接続されている場合、動き補償部５４で生成された画像間予測信号と、Ｐ、Ｂピクチャに含まれる予測誤差信号とを合成し、画像を復元する。

つぎに、伝送制御部３０による再送要求処理の具体例を説明する。以下、再送要求処理に係る実施例を八通り挙げる。
以下、実施例１で使用されるＲＴＰパケットヘッダについて説明する。まず、ＲＴＰパケットは、ＲＴＰヘッダとＲＴＰペイロードで構成される。ＲＴＰヘッダには、ＲＴＰペイロードに格納されるメディアの種類やＲＴＰパケットのシーケンス番号、ＲＴＰペイロード内のアクセスユニットのサンプリング時刻などが格納される。

図２は、実施例１に係る再送要求処理１の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照する（Ｓ１０）。ＲＴＰヘッダは、復号部４０で伸張復号せずに参照可能なデータである。解析部２０は、ＲＴＰヘッダを参照して、シーケンス番号およびタイムスタンプを解析し、欠落パケットの有無を監視する（Ｓ１２）。欠落パケットが発生した場合（Ｓ１２のＹ）、伝送制御部３０は、欠落パケットの再送を送信側のサーバまたは中継装置に要求する（Ｓ１４）。欠落パケットがない場合（Ｓ１２のＮ）、再送要求処理は発動しない。

実施例１は、最もシンプルな再送要求処理である。ＲＴＰヘッダは伸張復号せずに参照可能であるため、パケットを受信後、早期に再送要求を送信側に出すことが可能である。ただし、欠落パケットに含まれるデータの性質を加味しない画一的処理であるため、再送要求を出す回数を抑制することはできない。伝送路に余裕がある場合、有効な処理である。

つぎに、実施例２で使用されるＲＴＰペイロードヘッダについて説明する。まず、ＲＴＰペイロードは、ＲＴＰペイーロードヘッダおよびＲＴＰペイロードデータで構成される。ＲＴＰペイーロードヘッダには、パケット化の種類を示すパケット識別子が格納される。Ｈ．２６４／ＡＶＣでは、ビットストリームデータのパケット化の種類として、三種類の方法を規定する。単一ＮＡＬユニットパケット、集合ＮＡＬユニットパケット、および分割ＮＡＬユニットパケットである。ＮＡＬは、動画像符号化処理そのものを扱うＶＣＬ（Video Coding Layer）と、符号化された情報を伝送および蓄積する下位システムとの間に規定される層である。Ｈ．２６４／ＡＶＣでは、ＶＣＬとＮＡＬが分離された構造をとる。

単一ＮＡＬユニットパケットは、一つのＲＴＰパケットに一つのＮＡＬユニットを格納する方法である。集合ＮＡＬユニットパケットは、一つのＲＴＰパケットに複数のＮＡＬユニットを格納する方法である。分割ＮＡＬユニットパケットは、一つのＲＴＰパケットに一つのＮＡＬユニットが分割された単位を格納する方法である。

図３は、実施例２に係る再送要求処理２の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照して、欠落パケットを検知する（Ｓ２０）。解析部２０は、欠落パケット、またはその前もしくは後のパケットに含まれるＲＴＰペイロードヘッダを参照する（Ｓ２２）。なお、欠落パケットに含まれるＲＴＰペイロードヘッダが欠落していない場合、欠落パケットのＲＴＰペイロードヘッダを参照すればよい。欠落パケットに含まれるＲＴＰペイロードヘッダが欠落している場合、欠落パケットの前方および後方の数パケットのＲＴＰペイロードヘッダのうち、少なくとも一つのパケットのＲＴＰペイロードヘッダを参照する。解析部２０は、当該参照の結果、欠落パケットに含まれるＮＡＬユニットのパケット化種別を特定する。

解析部２０は、特定したＮＡＬユニットのパケット化種別が分割ＮＡＬユニットであるか否か判定する（Ｓ２４）。分割ＮＡＬユニットでない場合、すなわち、単一ＮＡＬユニットおよび集合ＮＡＬユニットである場合（Ｓ２４のＮ）、伝送制御部３０は再送要求処理を発動しない。分割ＮＡＬユニットである場合（Ｓ２４のＹ）、解析部２０は、その分割ＮＡＬユニットが部分欠落であるか否か判定する（Ｓ２６）。部分欠落である場合（Ｓ２６のＹ）、伝送制御部３０は、その欠落部分の再送を送信側のサーバまたは中継装置に要求する（Ｓ２８）。部分欠落でない場合、すなわち、分割ＮＡＬユニットのすべてが欠落した場合（Ｓ２６のＮ）、再送要求処理は発動しない。

実施例２は、伝送路にかかる負荷を軽減するため、欠落したデータ量が少ないとき、再送要求し、データ量が多いとき再送要求しない。具体的には、単一ＮＡＬユニットおよび集合ＮＡＬユニットが欠落した場合、データ量が多くなるため再送要求をしない。また、分割ＮＡＬユニットであっても、全部欠落の場合、データ量が多くなるため再送要求をしない。分割ＮＡＬユニットの部分欠落の場合、データ量が少ないため再送要求する。

また、ＲＴＰペイロードヘッダは伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。ただし、欠落パケットに含まれるデータが画質にどの程度影響を与えるデータであるか否かは判断材料に入れない。再送要求による画質向上の効果は限定的となるが、伝送路の負荷を簡単な処理で大きく軽減できるため、伝送路および受信装置１００のスペックが低い場合に有効な処理である。

つぎに、実施例３で使用されるＮＡＬヘッダについて説明する。ＮＡＬユニットには、ＶＣＬＮＡＬユニットと、非ＶＣＬＮＡＬユニットがある。ＶＣＬＮＡＬユニットは、ＶＣＬで生成された符号化データを格納するユニットである。非ＶＣＬＮＡＬユニットは、パラメータセットや、ＳＥＩ(Suplemental Enhancement Information)などを格納する。ＮＡＬヘッダには、参照元ピクチャとなり得るスライスを含むか否かを示す識別子、およびＮＡＬユニットの種類を示す識別子が格納される。ＮＡＬユニットの種類を示す識別子は、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャのスライスであるか否か、パラメータセットであるか否か、などを定義することができる。

図４は、実施例３に係る再送要求処理３の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照して、欠落パケットを検知する（Ｓ３０）。解析部２０は、欠落パケット、またはその前もしくは後のパケットに含まれるＮＡＬヘッダを参照する（Ｓ３２）。

解析部２０は、当該参照の結果、欠落パケットに含まれＮＡＬユニットが、ＶＣＬＮＡＬユニットであるか非ＶＣＬＮＡＬユニットであるか特定する（Ｓ３４）。解析部２０は、特定したＮＡＬユニットがＶＣＬＮＡＬユニットの場合（Ｓ３４のＹ）、伝送制御部３０は、そのＶＣＬＮＡＬユニットの再送を送信側のサーバまたは中継装置に要求する（Ｓ３６）。特定したＮＡＬユニットが非ＶＣＬＮＡＬユニットの場合（Ｓ３４のＮ）、再送要求処理は発動しない。

実施例３は、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、非ＶＣＬＮＡＬユニットに含まれるパラメータなどは、前に受信した非ＶＣＬＮＡＬユニットに含まれるパラメータなどと同じ値であることが多い。したがって、前に受信したパラメータなどをそのまま使用しても画質に与える影響は小さいと考えられる。ＶＣＬＮＡＬユニットに含まれる符号化画像データは、非ＶＣＬＮＡＬユニットに含まれるパラメータより画質に与える影響は大きいと考えられる。

したがって、ＶＣＬＮＡＬユニットの欠落に対して再送要求し、非ＶＣＬＮＡＬユニットの欠落に対して再送要求しないことにより、画質低下の影響を抑制しながら、再送要求の発動を抑制することができる。また、ＮＡＬヘッダは、ＮＡＬペイロードと異なり、伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。

図５は、実施例４に係る再送要求処理４の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照して、欠落パケットを検知する（Ｓ４０）。解析部２０は、欠落パケット、またはその前もしくは後のパケットに含まれるＮＡＬヘッダを参照する（Ｓ４２）。

解析部２０は、当該参照の結果、欠落パケットに含まれＮＡＬユニットに、参照元ピクチャのスライスが含まれるか否か判定する（Ｓ４４）。解析部２０は、参照元ピクチャのスライスが含まれる場合（Ｓ４４のＹ）、伝送制御部３０は、当該参照元ピクチャの再送を送信側のサーバまたは中継装置に要求する（Ｓ４６）。参照元ピクチャのスライスが含まれない場合（Ｓ４４のＮ）、再送要求処理は発動しない。

実施例４も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、参照元ピクチャのスライスは、予測差分信号で規定されたＰピクチャまたはＢピクチャから参照される。したがって、そのスライスが欠落すると、それを参照するＰピクチャまたはＢピクチャのスライスが正確に復号できなくなってしまう。したがって、参照元ピクチャのスライスは、非参照元ピクチャのスライスより、画質に与える影響が大きいといえる。

したがって、参照元ピクチャのスライスの欠落に対して再送要求し、非参照元ピクチャのスライスの欠落に対して再送要求しないことにより、画質低下の影響を抑制しながら、再送要求の発動を抑制することができる。また、ＮＡＬヘッダは、ＮＡＬペイロードと異なり、伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。

図６は、実施例５に係る再送要求処理５の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照して、欠落パケットを検知する（Ｓ５０）。解析部２０は、欠落パケット、またはその前もしくは後のパケットに含まれるＮＡＬヘッダを参照する（Ｓ５２）。

解析部２０は、当該参照の結果、欠落パケットに含まれるＮＡＬユニットに、ＩＤＲピクチャのスライスが含れるか否か判定する（Ｓ５４）。ＩＤＲピクチャは、そのピクチャより時間的に前のピクチャを参照することなく、そのピクチャより時間的に後のピクチャを正確に復号できることを保証するピクチャである。Ｈ．２６４／ＡＶＣでは、ＭＰＥＧ−２、ＭＰＥＧ−４におけるＩピクチャより時間的に前のピクチャも参照可能であるため、ＩＤＲピクチャによりバッファのクリアタイミングなどを保証することができる。

解析部２０は、欠落パケットに含まれＮＡＬユニットに、ＩＤＲピクチャのスライスが含まれる場合（Ｓ５４のＹ）、伝送制御部３０は、当該ＩＤＲピクチャの再送を送信側のサーバまたは中継装置に要求する（Ｓ５６）。ＩＤＲピクチャのスライスが含まれない場合（Ｓ５４のＮ）、再送要求処理は発動しない。

実施例５も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、ＩＤＲピクチャは、復号動作の瞬時リフレッシュの基準となる。したがって、ＩＤＲピクチャが欠落すると、復号側で参照データを破棄できずにたまってしまう。このように、ＩＤＲピクチャは、非ＩＤＲピクチャより、復号動作の円滑性に与える影響が大きいといえる。

したがって、ＩＤＲピクチャのスライスの欠落に対して再送要求し、非ＩＤＲピクチャのスライスの欠落に対して再送要求しないことにより、復号動作の円滑性を維持しつつ、再送要求の発動を抑制することができる。また、ＮＡＬヘッダは、ＮＡＬペイロードと異なり、伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。

図７は、実施例６に係る再送要求処理６の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照して、欠落パケットを検知する（Ｓ６０）。解析部２０は、欠落パケット、またはその前もしくは後のパケットに含まれるスライスヘッダを参照する（Ｓ６２）。

解析部２０は、当該参照の結果、欠落パケットに含まれるスライスの種別がＩスライスか否か判定する（Ｓ６４）。Ｉ、Ｐスライスの場合（Ｓ６４のＹ）、伝送制御部３０は、当該Ｉ、Ｐスライスの再送を送信側のサーバまたは中継装置に要求する（Ｓ６６）。Ｉ、Ｐスライスでない、すなわちＢスライスの場合（Ｓ６４のＮ）、再送要求処理は発動しない。

実施例６も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、Ｉスライスで構成されるＩピクチャは、Ｐスライスで構成されるＰピクチャは、ＰピクチャまたはＢピクチャの参照元となるため、参照元とならないＢピクチャと比較し、欠落の影響が他のピクチャに大きく影響する。よって、Ｉ、Ｐスライスは、Ｂスライスより画質に与える影響が大きいといえる。

したがって、Ｉ、Ｐスライスの欠落に対して再送要求し、Ｂスライスの欠落に対して再送要求しないことにより、画質低下の影響を抑制しつつ、再送要求の発動を抑制することができる。スライスヘッダは、伸張復号後に参照可能となるヘッダであるが、このヘッダからスライス種別を特定することにより、画質にどの程度影響を与える動画像データであるかを明確に識別することができる。さらに、スライス単位で再送要求が可能であるため、再送されるデータ量を低減することができる。

実施例７に係る再送要求処理７は、実施例６に係る再送要求処理６の変形例である。図７に示したフローチャートのステップＳ６４の「Ｉ、Ｐスライス？」を「Ｉスライス？」に置き換える。すなわち、実施例７は、Ｉスライスの欠落に対して再送要求し、Ｐ、Ｂスライスの欠落に対して再送要求しない例である。実施例６と比較し、画質より、伝送路の負荷軽減をより優先した例である。

図８は、実施例８に係る再送要求処理８の流れを示すフローチャートである。解析部２０は、送受信部１０で受信したパケットのＲＴＰヘッダを参照して、欠落パケットを検知する（Ｓ７０）。欠落パケットの前または後のパケットに含まれる動きベクトルを参照する（Ｓ７２）。ここでは、前後の数パケットに含まれる動きベクトルを参照することが好ましい。Ｈ．２６４／ＡＶＣでは、動きベクトルの参照元マクロブロックは、同一の参照元ピクチャに設定される必要がなく、マクロブロック単位で異なる参照元ピクチャに設定されることが可能である。

解析部２０は、当該参照の結果、欠落パケットに参照元マクロブロックが含まれるか否か判定する（Ｓ７４）。参照元マクロブロックが含まれる場合（Ｓ７４のＹ）、伝送制御部３０は、当該参照元マクロブロックの再送を送信側のサーバまたは中継装置に要求する（Ｓ７６）。参照元マクロブロックが含まれない場合（Ｓ７４のＮ）、再送要求処理は発動しない。

実施例８も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、参照元マクロブロックは、予測差分信号で規定されたＰピクチャまたはＢピクチャのマクロブロックから参照される。したがって、その参照元マクロブロックが欠落すると、それを参照するＰピクチャまたはＢピクチャのマクロブロックが正確に復号できなくなってしまう。したがって、参照元マクロブロックは、非参照元マクロブロックより、画質に与える影響が大きいといえる。

したがって、参照元マクロブロックの欠落に対して再送要求し、非参照元マクロブロックの欠落に対して再送要求しないことにより、画質低下の影響を抑制しながら、再送要求の発動を抑制することができる。また、動きベクトルは、伸張復号後に参照可能となる情報である。この動きベクトルから、欠落したパケットに参照元マクロブロックが含まれるか否かを特定することにより、画質にどの程度影響を与える動画像データであるかを明確に識別することができる。さらに、マクロブロック単位で再送要求が可能であるため、再送されるデータ量を低減することができる。

以上説明した八種類の再送要求処理の中から、設計者は、任意の再送要求処理を選択することができる。また、実施例２と実施例４を組み合わせるなど、八種類の再送要求処理のうち、複数の再送要求処理を任意に組み合わせてもよい。上述したように八種類の再送要求処理は、それぞれ得失がある。設計者は、伝送路および受信装置のスペックや使用状況に適合する処理を選択することができる。

以上説明したように実施の形態１によれば、欠落パケットに含まれる動画像データの性質を考慮することにより、効率的な伝送制御が可能となる。たとえば、画質に影響が少ないデータの再送要求を抑制することにより、画質低下の影響を抑制しつつ、伝送路にかかる負荷を軽減することができる。また、上述した重要度の判定は、受信側の処理のみで可能であるため、送信側の負荷を増大させることもない。

つぎに、実施の形態２について説明する。実施の形態１は、複数の再生要求処理の中から設計者が任意の処理を設定した。この点、実施の形態２は、通信状況に応じた再生要求処理を適応的に選択する。

図９は、本発明の実施の形態２に係る受信装置２００の構成を示す図である。実施の形態２に係る受信装置２００の構成は、実施の形態１に係る受信装置１００の構成に、通信状況判定部１２および変換テーブル１４を追加した構成である。以下、実施の形態１に係る受信装置１００との相違点を中心に説明する。

通信状況判定部１２は、伝送路の通信状況を判定する。たとえば、伝送路のスループット、より具体的にはビットレートを特定し、通信状況を判定する。伝送路のビットレートは、ＲＴＰヘッダに含まれるタイムスタンプから検出してもよいし、図示しない速度計から取得してもよい。

通信状況判定部１２は、伝送路の通信状況を伝送路の余裕度として把握してもよい。伝送路の余裕度は、伝送路のビットレートと、受信したパケットに含まれる画像データのビットレートとの差に基づいて、特定されてもよい。すなわち、差が大きいほど、余裕度が高く、差が小さいほど余裕度が低いと判定される。ここで、画像データのビットレートは、符号化の際のビットレートであってもよいし、復号部４０で実際に復号されているデータのビットレートであってもよい。

変換テーブル１４は、複数段階に分類された伝送路の余裕度と、複数段階に分類された再送要求処理のレベルと、それぞれの再送要求処理のレベルにおける判断データと、を関連付けて管理する。

図１０は、実施の形態２に係る受信装置２００に設けられる変換テーブル１４の一例を示す。この変換テーブル１４は、余裕度１４１、再送要求処理のレベル１４２、および判断データ１４３の項目を備える。再送要求処理のレベル１４２は、実施の形態１で説明した八種類の再送要求処理に対応する。レベル１が再送要求処理１に対応し、レベル２が再送要求処理２に対応し、以下、レベル８まで同様である。再送要求処理８が伝送路に最も負荷をかけない処理であり、再送要求処理１が最も画質低下を抑制できる処理である。再生要求処理２〜７は、それぞれ、その間の効果を享受する処理である。

判断データ１４３は、再送要求処理のレベル１４２に応じて特定される。レベル１のときＲＴＰヘッダ、レベル１のときＲＴＰペイロードヘッダ、レベル３、４、５のときＮＡＬヘッダ、レベル６、７のときスライスヘッダ、およびレベル８のとき動きベクトルとなる。ＲＴＰヘッダおよびＲＴＰペイロードヘッダは、通信用ヘッダであり、復号部４０で復号しなくても参照可能である。ＮＡＬヘッダは、ＮＡＬペイロードから分離する必要があるが、伸張復号する必要はない。なお、ＮＡＬペイロードは圧縮符号化されている。スライスヘッダおよび動きベクトルは、伸張復号後に参照可能となる。

余裕度１４１は、上述した伝送路の余裕度である。ここでは、再送要求処理のレベル数に合わせて八分類される。伝送路の余裕度が分類されるために、あらかじめ複数のレンジが設定される。このレンジは、設計者が実験やシミュレーションまたは設計思想に基づき設定される。なお、各レンジの上限値および下限値が特定されていれば、通信状況判定部１２により求められた余裕度と、各レンジの上限値および下限値とが比較されることにより、当該余裕度が属すべきレンジが特定される。図１０では、レンジ８が最も伝送路に余裕がある良好な通信状況であり、レンジ１が最も悪い通信状況であることを示す。なお、レンジ１の下限、およびレンジ８の上限はオープンであってもよい。

このように、余裕度のレンジが特定されると、再送要求処理のレベル１４２および判断データ１４３が特定される関係にある。

図９に戻り、解析部２０は、通信状況判定部１２により判定された通信状況に応じて、再送要求処理の判断データとして解析すべき参照情報の種別を適応的に変更する。図１０の例では、解析すべき参照情報の種別は、ＲＴＰヘッダ、ＲＴＰペイロードヘッダ、ＮＡＬヘッダ、スライスヘッダ、および動きベクトルのいずれかである。解析部２０は、変換テーブル１４を参照して、通信状況判定部１２により判定された余裕度から、解析すべき参照情報の種別を特定することができる。

伝送制御部３０は、通信状況判定部１２により判定された通信状況に応じて、再送要求処理のレベルを変更する。伝送制御部３０は、変換テーブル１４を参照して、通信状況判定部１２により判定された余裕度から、再送要求処理のレベルを特定することができる。

以下、具体例を挙げる。まず、具体例１について説明する。
解析部２０は、通信状況判定部１２により判定された余裕度が所定の基準値より低いとき、たとえば、余裕度がレンジ２またはレンジ３に属すとき、復号部４０による復号後に参照可能なスライスヘッダを解析する。また、余裕度がレンジ１に属すとき、復号部４０による復号後に参照可能な動きベクトルを解析する。伝送制御部３０は、解析部２０による解析結果を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて、再送要求すべきか否か判定する。

つぎに、具体例２について説明する。
解析部２０は、通信状況判定部１２により判定された余裕度が所定の基準値より高いとき、たとえば、余裕度がレンジ８に属すとき、送受信部１０で受信するパケットの通信用ヘッダであるＲＴＰヘッダを解析する。伝送制御部３０は、解析部２０による解析結果を参照して、欠落パケットが検知された場合、その欠落パケットの再送要求をする。

以上説明したように実施の形態２によれば、伝送路の通信状況に応じて、再送要求処理のレベルを変更することにより、効率的な伝送制御が可能である。また、伝送路に余裕がある場合、伸張復号を待たずに、早期に解析が可能なヘッダ情報を利用して再送要求処理を実行するため、再送要求を早期に送出することができる。その場合、受信装置の負荷も軽減することができる。

たとえば、余裕度が低いレベル１のとき、動きベクトルを参照して再送要求するか否か判断し、余裕度が高いレベル８のとき、ＲＴＰヘッダを参照して判断する。すなわち、レベル８の場合、通信路に余裕があるため、再送データ量が増えても問題ない。そこで、伝送量制御装置の処理負荷を軽減するため、欠落パケットのデータの性質を加味しないで再送要求する。具体的にはＲＴＰヘッダのみに基づいて再送要求の必要性を判断する。これにより、再送要求の処理速度も向上させることができる。

一方、レベル１の場合、通信路に余裕がないため、再送データ量を極力減らす必要がある。そこで、動きベクトルなどを解析することにより、実際に再送が必要なパケットを特定する。これにより、再送データ量を減らすことができる。

以上、本発明をいくつかの実施形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述した実施の形態１では、伝送制御処理の一つとして、再送要求処理について説明した。実施の形態１は再送要求処理に限定されるものではなく、中継装置のバッファ管理などにも利用することができる。たとえば、受信装置１００は、受信したパケットに含まれるデータが画質に影響の大きいデータであるか否かを表す情報を中継装置にフィードバックする。中継装置は、パケットデータを一時記憶しているバッファの容量が溢れたとき、その情報を参照して、画質に影響の大きいデータを残し、影響の小さいデータを破棄する。これにより、中継装置のバッファ内で重要なデータが比較的、長い時間保持されることになり、他の受信装置からの再送要求などに対し、対処しやすくなる。

本発明の実施の形態１に係る受信装置の構成を示す図である。 実施例１に係る再送要求処理１の流れを示すフローチャートである。 実施例２に係る再送要求処理２の流れを示すフローチャートである。 実施例３に係る再送要求処理３の流れを示すフローチャートである。 実施例４に係る再送要求処理４の流れを示すフローチャートである。 実施例５に係る再送要求処理５の流れを示すフローチャートである。 実施例６に係る再送要求処理６の流れを示すフローチャートである。 実施例８に係る再送要求処理８の流れを示すフローチャートである。 本発明の実施の形態２に係る受信装置の構成を示す図である。 実施の形態２に係る受信装置に設けられる変換テーブルの一例を示す図である。

符号の説明

１０ 送受信部、 １２ 通信状況判定部、 １４ 変換テーブル、 ２０ 解析部、 ３０ 伝送制御部、 ４０ 復号部、 ４２ エントロピー復号部、 ４４ 逆量子化部、 ４６ 逆直交変換部、 ４８ 加算部、 ５０ デブロッキングフィルタ、 ５２ 画像内予測部、 ５４ 動き補償部、 ５６ 切替部、 １００ 受信装置、 ２００ 受信装置。

Claims (9)

1. 画像データを含むパケットを伝送路を介して受信する受信部と、
   前記受信部で受信する一連のパケットのうち欠落パケットに含まれる画像データの種類を解析する解析部と、
   前記解析部により解析された種類を参照して、前記欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて伝送制御処理を実行する伝送制御部と、
   を備えることを特徴とする受信装置。
2. 圧縮符号化された動画像データを含むパケットを伝送路を介して受信する受信部と、
   前記受信部で受信するパケットに含まれる動画像データを伸張復号する復号部と、
   前記受信部で受信する一連のパケットのうち欠落パケットに含まれる動画像データの種類を、前記復号部により伸張復号されたデータの一部を参照して、解析する解析部と、
   前記解析部により解析された種類を参照して、前記欠落パケットに含まれる動画像データの重要度を判定し、その重要度に応じて再送要求処理を実行する伝送制御部と、
   を備えることを特徴とする受信装置。
3. 前記重要度は、画質への寄与度により判定されることを特徴とする請求項１または２に記載の受信装置。
4. 前記解析部は、所定のヘッダ情報を参照して、前記欠落パケットに含まれる動画像データが参照元ピクチャであるか否か判定し、
   前記伝送制御部は、前記解析部による解析の結果、前記欠落パケットに含まれる動画像データが参照元ピクチャの場合、送信側に再送要求をし、非参照元ピクチャの場合、再送要求をしないことを特徴とする請求項１または２に記載の受信装置。
5. 前記解析部は、所定のヘッダ情報を参照して、前記欠落パケットに含まれる動画像データがＩスライス、またはＩおよびＰスライスであるか否か判定し、
   前記伝送制御部は、前記解析部による解析の結果、前記欠落パケットに含まれる動画像データがＩスライス、またはＩおよびＰスライスの場合、送信側に再送要求をし、ＰおよびＢスライス、またはＢスライスの場合、再送要求をしないことを特徴とする請求項１または２に記載の受信装置。
6. 前記解析部は、前記欠落パケットの前方および後方の少なくとも一方のパケットに含まれる動きベクトルを参照して、前記欠落パケットに含まれる動画像データが参照元マクロブロックであるか否か判定し、
   前記伝送制御部は、前記解析部による解析の結果、前記欠落パケットに含まれる動画像データが参照元マクロブロックの場合、送信側に再送要求をし、非参照元マクロブロックの場合、再送要求をしないことを特徴とする請求項１または２に記載の受信装置。
7. 前記解析部は、前記欠落パケット、またはその前もしくは後のパケットに含まれるＮＡＬヘッダを参照して、前記欠落パケットに含まれるＮＡＬユニットがＶＣＬＮＡＬユニットであるか非ＶＣＬＮＡＬユニットであるか判定し、
   前記伝送制御部は、前記解析部による解析の結果、前記欠落パケットに含まれるＮＡＬユニットがＶＣＬＮＡＬユニットである場合、送信側に再送要求をし、非ＶＣＬＮＡＬユニットである場合、再送要求をしないことを特徴とする請求項１に記載の受信装置。
8. 前記解析部は、前記欠落パケット、またはその前もしくは後のパケットに含まれるＮＡＬヘッダを参照して、前記欠落パケットに含まれる動画像データがＩＤＲピクチャであるか否か判定し、
   前記伝送制御部は、前記解析部による解析の結果、前記欠落パケットに含まれる動画像データがＩＤＲピクチャである場合、送信側に再送要求をし、非ＩＤＲピクチャである場合、再送要求をしないことを特徴とする請求項１に記載の受信装置。
9. 画像データを含むパケットを伝送路を介して受信する受信部と、
   前記受信部で受信する一連のパケットのうち欠落パケットに含まれる画像データの種類を解析する解析部と、
   前記解析部により解析された種類を参照して、前記欠落パケットに含まれる画像データの再送要求処理を実行する伝送制御部と、を備え、
   前記解析部は、前記欠落パケット、またはその前もしくは後のパケットに含まれるＲＴＰペイロードヘッダを参照して、前記欠落パケットに含まれるＮＡＬユニットが分割ＮＡＬユニットであり、かつ部分欠落であるか否か判定し、
   前記伝送制御部は、前記解析部による解析の結果、前記欠落パケットに含まれるＮＡＬユニットが分割ＮＡＬユニットであり、かつ部分欠落である場合、送信側に再送要求をし、そうでない場合、再送要求をしないことを特徴とする受信装置。

Images