JP2009065258A - 受信装置 - Google Patents
受信装置 Download PDFInfo
- Publication number
- JP2009065258A JP2009065258A JP2007229008A JP2007229008A JP2009065258A JP 2009065258 A JP2009065258 A JP 2009065258A JP 2007229008 A JP2007229008 A JP 2007229008A JP 2007229008 A JP2007229008 A JP 2007229008A JP 2009065258 A JP2009065258 A JP 2009065258A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- retransmission request
- communication status
- packet
- header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
Abstract
【課題】伝送路の負荷を軽減したい。
【解決手段】受信部は、画像データを含むパケットを伝送路を介して受信する。復号部40は、受信部で受信したパケットに含まれる画像データを復号する。通信状況判定部12は、伝送路の通信状況を判定する。解析部20は、受信部で受信するパケットに含まれる所定の参照情報を解析する。伝送制御部30は、受信部で受信する一連のパケットに欠落パケットが検知された場合、解析部による解析結果を参照して、所定の再送要求処理を実行する。解析部20は、通信状況判定部12により判定された通信状況に応じて、再送要求処理の判断データとして解析すべき参照情報の種別を変更する。伝送制御部30は、通信状況に応じて、再送要求処理のレベルを変更してもよい。
【選択図】図9
【解決手段】受信部は、画像データを含むパケットを伝送路を介して受信する。復号部40は、受信部で受信したパケットに含まれる画像データを復号する。通信状況判定部12は、伝送路の通信状況を判定する。解析部20は、受信部で受信するパケットに含まれる所定の参照情報を解析する。伝送制御部30は、受信部で受信する一連のパケットに欠落パケットが検知された場合、解析部による解析結果を参照して、所定の再送要求処理を実行する。解析部20は、通信状況判定部12により判定された通信状況に応じて、再送要求処理の判断データとして解析すべき参照情報の種別を変更する。伝送制御部30は、通信状況に応じて、再送要求処理のレベルを変更してもよい。
【選択図】図9
Description
本発明は、画像データを受信する受信装置に関する。
ブロードバンド回線の普及に伴い、インターネットを利用した動画像ストリーミング配信などの動画像伝送が普及してきている。動画像伝送では、伝送路上でパケットロスや遅延が発生する場合がある。これに対し、受信側から送信側に欠落したパケットや所定の時間以上遅延したパケットの再送を要求する技術が広く用いられている。
特許文献1は、パケット受信再生装置を開示する。この装置は、RTP(Real-time Transport Protocol)パケットのヘッダに、画像データの種類、ビデオフレームやビデオパケットの個数や開始位置、あるいは符号化タイプ等の情報を付加して伝送する。特許文献2は、情報処理装置を開示する。この装置は、撮影画像を格子状に分割し(以下、格子状に分割された個々の画像をタイルと称する)、表示領域に対応するタイル、および表示領域に対応するタイルの周囲のタイルをRTPパケットに格納して、表示装置に送信する。
特開2001−78181号公報
特開2004−48546号公報
受信側から送信側への再送要求は、それ自体が伝送路の負荷を大きくする要因となる。それにより、新たなパケットロスや遅延が発生しやすくなるという悪循環に陥ってしまう。
本発明はこうした状況に鑑みなされたものであり、その目的は、効率的な伝送制御が可能な受信装置を提供することにある。
本発明のある態様の受信装置は、画像データを含むパケットを伝送路を介して受信する受信部と、受信部で受信するパケットに含まれる画像データを復号する復号部と、伝送路の通信状況を判定する通信状況判定部と、受信部で受信するパケットに含まれる所定の参照情報を解析する解析部と、受信部で受信する一連のパケットに欠落パケットが検知された場合、解析部による解析結果を参照して、所定の再送要求処理を実行する伝送制御部と、を備える。解析部は、通信状況判定部により判定された通信状況に応じて、再送要求処理の判断データとして解析すべき参照情報の種別を変更する。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、効率的な伝送制御が可能となる。
図1は、本発明の実施の形態1に係る受信装置100の構成を示す図である。受信装置100は、送受信部10、解析部20、伝送制御部30、および復号部40を備える。復号部40は、エントロピー復号部42、逆量子化部44、逆直交変換部46、加算部48、デブロッキングフィルタ50、画像内予測部52、動き補償部54、および切替部56を含む。
この受信装置100の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。たとえば、解析部20、伝送制御部30、および復号部40をロジック回路で一体集積化してもよい。この場合、ヘッダ情報などの解析処理およびその結果を用いた伝送制御を高速化することができる。よって、後述するような伸張復号後に参照可能となるヘッダ情報などを解析し、その結果を利用して伝送制御することも時間的に可能である。
以下、受信装置100が、H.264/AVCで圧縮符号化された動画像データを含むRTPパケットを受信する例を説明する。なお、当該動画像データは、H.264/AVCに限らず、MPEG(Moving Picture Experts Group)−2、MPEG−4およびその他の規格で圧縮符号化された動画像データであってもよい。
送受信部10は、画像データを含むパケットPを伝送路を介して受信する。
解析部20は、送受信部10で受信する一連のパケットPのうち、欠落パケットに含まれる画像データの種類または性質を解析する。ここで、欠落パケットには、所定の時間遅延したパケットも含む。解析部20は、RTPヘッダに記述されているシーケンス番号を参照して、パケットの欠落を検知することができる。すなわち、シーケンス番号が飛んでいる場合、そのパケットが欠落していると判定することができる。
解析部20は、送受信部10で受信する一連のパケットPのうち、欠落パケットに含まれる画像データの種類または性質を解析する。ここで、欠落パケットには、所定の時間遅延したパケットも含む。解析部20は、RTPヘッダに記述されているシーケンス番号を参照して、パケットの欠落を検知することができる。すなわち、シーケンス番号が飛んでいる場合、そのパケットが欠落していると判定することができる。
解析部20は、欠落パケットに含まれる画像データの種類または性質を、様々な階層のヘッダ情報または動きベクトルを参照して、解析する。たとえば、RTPパケットの場合、IP(Internet Protocol)ヘッダ、UDP(User Datagram Protocol)ヘッダ、RTPヘッダ、RTPペイロードヘッダ、NAL(Network Abstraction Information)ヘッダ、スライスヘッダのうち、少なくとも一つを参照する。
伝送制御部30は、解析部20による解析結果を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて伝送制御処理を実行する。たとえば、その重要度に応じて再送要求処理を実行する。ここで、画像データの重要度は、画質への寄与度であってもよい。また、復号処理の円滑性に影響を与える程度であってもよい。伝送制御部30は、重要度が高い画像データについて、優先的に再送要求し、重要度が低い画像データについて再送要求を抑制する。これにより、必要性の低い再送要求を抑制し、伝送路にかける負荷を軽減することができる。
復号部40は、送受信部10で受信したパケットPに含まれる動画像データを伸張復号する。エントロピー復号部42は、圧縮符号化された動画像データをエントロピー復号する。逆量子化部44は、エントロピー復号された動画像データを逆量子化する。逆直交変換部46は、逆量子化された動画像データを逆直交変換する。MPEGシリーズでは、逆DCT(Discrete Cosine Transform)変換する。
デブロッキングフィルタ50は、画像の符号化時に生じるブロック歪みを低減し、動画像MIを出力する。画像内予測部52は、復号された画像に基づき、画像内予測信号を生成する。動き補償部54は、復号された画像と、復号された動きベクトルに基づいて画像間予測信号を生成する。切替部56は、画像内予測部52の出力経路と、動き補償部54の出力経路とを選択的に加算部48に接続する。
加算部48は、画像内予測部52と接続されている場合、画像内予測部52で生成された画像内予測信号と、Iピクチャに含まれる予測誤差信号とを合成し、画像を復元する。加算部48は、動き補償部54と接続されている場合、動き補償部54で生成された画像間予測信号と、P、Bピクチャに含まれる予測誤差信号とを合成し、画像を復元する。
つぎに、伝送制御部30による再送要求処理の具体例を説明する。以下、再送要求処理に係る実施例を八通り挙げる。
以下、実施例1で使用されるRTPパケットヘッダについて説明する。まず、RTPパケットは、RTPヘッダとRTPペイロードで構成される。RTPヘッダには、RTPペイロードに格納されるメディアの種類やRTPパケットのシーケンス番号、RTPペイロード内のアクセスユニットのサンプリング時刻などが格納される。
以下、実施例1で使用されるRTPパケットヘッダについて説明する。まず、RTPパケットは、RTPヘッダとRTPペイロードで構成される。RTPヘッダには、RTPペイロードに格納されるメディアの種類やRTPパケットのシーケンス番号、RTPペイロード内のアクセスユニットのサンプリング時刻などが格納される。
図2は、実施例1に係る再送要求処理1の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照する(S10)。RTPヘッダは、復号部40で伸張復号せずに参照可能なデータである。解析部20は、RTPヘッダを参照して、シーケンス番号およびタイムスタンプを解析し、欠落パケットの有無を監視する(S12)。欠落パケットが発生した場合(S12のY)、伝送制御部30は、欠落パケットの再送を送信側のサーバまたは中継装置に要求する(S14)。欠落パケットがない場合(S12のN)、再送要求処理は発動しない。
実施例1は、最もシンプルな再送要求処理である。RTPヘッダは伸張復号せずに参照可能であるため、パケットを受信後、早期に再送要求を送信側に出すことが可能である。ただし、欠落パケットに含まれるデータの性質を加味しない画一的処理であるため、再送要求を出す回数を抑制することはできない。伝送路に余裕がある場合、有効な処理である。
つぎに、実施例2で使用されるRTPペイロードヘッダについて説明する。まず、RTPペイロードは、RTPペイーロードヘッダおよびRTPペイロードデータで構成される。RTPペイーロードヘッダには、パケット化の種類を示すパケット識別子が格納される。H.264/AVCでは、ビットストリームデータのパケット化の種類として、三種類の方法を規定する。単一NALユニットパケット、集合NALユニットパケット、および分割NALユニットパケットである。NALは、動画像符号化処理そのものを扱うVCL(Video Coding Layer)と、符号化された情報を伝送および蓄積する下位システムとの間に規定される層である。H.264/AVCでは、VCLとNALが分離された構造をとる。
単一NALユニットパケットは、一つのRTPパケットに一つのNALユニットを格納する方法である。集合NALユニットパケットは、一つのRTPパケットに複数のNALユニットを格納する方法である。分割NALユニットパケットは、一つのRTPパケットに一つのNALユニットが分割された単位を格納する方法である。
図3は、実施例2に係る再送要求処理2の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照して、欠落パケットを検知する(S20)。解析部20は、欠落パケット、またはその前もしくは後のパケットに含まれるRTPペイロードヘッダを参照する(S22)。なお、欠落パケットに含まれるRTPペイロードヘッダが欠落していない場合、欠落パケットのRTPペイロードヘッダを参照すればよい。欠落パケットに含まれるRTPペイロードヘッダが欠落している場合、欠落パケットの前方および後方の数パケットのRTPペイロードヘッダのうち、少なくとも一つのパケットのRTPペイロードヘッダを参照する。解析部20は、当該参照の結果、欠落パケットに含まれるNALユニットのパケット化種別を特定する。
解析部20は、特定したNALユニットのパケット化種別が分割NALユニットであるか否か判定する(S24)。分割NALユニットでない場合、すなわち、単一NALユニットおよび集合NALユニットである場合(S24のN)、伝送制御部30は再送要求処理を発動しない。分割NALユニットである場合(S24のY)、解析部20は、その分割NALユニットが部分欠落であるか否か判定する(S26)。部分欠落である場合(S26のY)、伝送制御部30は、その欠落部分の再送を送信側のサーバまたは中継装置に要求する(S28)。部分欠落でない場合、すなわち、分割NALユニットのすべてが欠落した場合(S26のN)、再送要求処理は発動しない。
実施例2は、伝送路にかかる負荷を軽減するため、欠落したデータ量が少ないとき、再送要求し、データ量が多いとき再送要求しない。具体的には、単一NALユニットおよび集合NALユニットが欠落した場合、データ量が多くなるため再送要求をしない。また、分割NALユニットであっても、全部欠落の場合、データ量が多くなるため再送要求をしない。分割NALユニットの部分欠落の場合、データ量が少ないため再送要求する。
また、RTPペイロードヘッダは伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。ただし、欠落パケットに含まれるデータが画質にどの程度影響を与えるデータであるか否かは判断材料に入れない。再送要求による画質向上の効果は限定的となるが、伝送路の負荷を簡単な処理で大きく軽減できるため、伝送路および受信装置100のスペックが低い場合に有効な処理である。
つぎに、実施例3で使用されるNALヘッダについて説明する。NALユニットには、VCLNALユニットと、非VCLNALユニットがある。VCLNALユニットは、VCLで生成された符号化データを格納するユニットである。非VCLNALユニットは、パラメータセットや、SEI(Suplemental Enhancement Information)などを格納する。NALヘッダには、参照元ピクチャとなり得るスライスを含むか否かを示す識別子、およびNALユニットの種類を示す識別子が格納される。NALユニットの種類を示す識別子は、IDR(Instantaneous Decoding Refresh)ピクチャのスライスであるか否か、パラメータセットであるか否か、などを定義することができる。
図4は、実施例3に係る再送要求処理3の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照して、欠落パケットを検知する(S30)。解析部20は、欠落パケット、またはその前もしくは後のパケットに含まれるNALヘッダを参照する(S32)。
解析部20は、当該参照の結果、欠落パケットに含まれNALユニットが、VCLNALユニットであるか非VCLNALユニットであるか特定する(S34)。解析部20は、特定したNALユニットがVCLNALユニットの場合(S34のY)、伝送制御部30は、そのVCLNALユニットの再送を送信側のサーバまたは中継装置に要求する(S36)。特定したNALユニットが非VCLNALユニットの場合(S34のN)、再送要求処理は発動しない。
実施例3は、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、非VCLNALユニットに含まれるパラメータなどは、前に受信した非VCLNALユニットに含まれるパラメータなどと同じ値であることが多い。したがって、前に受信したパラメータなどをそのまま使用しても画質に与える影響は小さいと考えられる。VCLNALユニットに含まれる符号化画像データは、非VCLNALユニットに含まれるパラメータより画質に与える影響は大きいと考えられる。
したがって、VCLNALユニットの欠落に対して再送要求し、非VCLNALユニットの欠落に対して再送要求しないことにより、画質低下の影響を抑制しながら、再送要求の発動を抑制することができる。また、NALヘッダは、NALペイロードと異なり、伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。
図5は、実施例4に係る再送要求処理4の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照して、欠落パケットを検知する(S40)。解析部20は、欠落パケット、またはその前もしくは後のパケットに含まれるNALヘッダを参照する(S42)。
解析部20は、当該参照の結果、欠落パケットに含まれNALユニットに、参照元ピクチャのスライスが含まれるか否か判定する(S44)。解析部20は、参照元ピクチャのスライスが含まれる場合(S44のY)、伝送制御部30は、当該参照元ピクチャの再送を送信側のサーバまたは中継装置に要求する(S46)。参照元ピクチャのスライスが含まれない場合(S44のN)、再送要求処理は発動しない。
実施例4も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、参照元ピクチャのスライスは、予測差分信号で規定されたPピクチャまたはBピクチャから参照される。したがって、そのスライスが欠落すると、それを参照するPピクチャまたはBピクチャのスライスが正確に復号できなくなってしまう。したがって、参照元ピクチャのスライスは、非参照元ピクチャのスライスより、画質に与える影響が大きいといえる。
したがって、参照元ピクチャのスライスの欠落に対して再送要求し、非参照元ピクチャのスライスの欠落に対して再送要求しないことにより、画質低下の影響を抑制しながら、再送要求の発動を抑制することができる。また、NALヘッダは、NALペイロードと異なり、伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。
図6は、実施例5に係る再送要求処理5の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照して、欠落パケットを検知する(S50)。解析部20は、欠落パケット、またはその前もしくは後のパケットに含まれるNALヘッダを参照する(S52)。
解析部20は、当該参照の結果、欠落パケットに含まれるNALユニットに、IDRピクチャのスライスが含れるか否か判定する(S54)。IDRピクチャは、そのピクチャより時間的に前のピクチャを参照することなく、そのピクチャより時間的に後のピクチャを正確に復号できることを保証するピクチャである。H.264/AVCでは、MPEG−2、MPEG−4におけるIピクチャより時間的に前のピクチャも参照可能であるため、IDRピクチャによりバッファのクリアタイミングなどを保証することができる。
解析部20は、欠落パケットに含まれNALユニットに、IDRピクチャのスライスが含まれる場合(S54のY)、伝送制御部30は、当該IDRピクチャの再送を送信側のサーバまたは中継装置に要求する(S56)。IDRピクチャのスライスが含まれない場合(S54のN)、再送要求処理は発動しない。
実施例5も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、IDRピクチャは、復号動作の瞬時リフレッシュの基準となる。したがって、IDRピクチャが欠落すると、復号側で参照データを破棄できずにたまってしまう。このように、IDRピクチャは、非IDRピクチャより、復号動作の円滑性に与える影響が大きいといえる。
したがって、IDRピクチャのスライスの欠落に対して再送要求し、非IDRピクチャのスライスの欠落に対して再送要求しないことにより、復号動作の円滑性を維持しつつ、再送要求の発動を抑制することができる。また、NALヘッダは、NALペイロードと異なり、伸張復号せずに参照可能であるため、パケットを受信後、比較的早期に再送要求を送信側に出すことが可能である。
図7は、実施例6に係る再送要求処理6の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照して、欠落パケットを検知する(S60)。解析部20は、欠落パケット、またはその前もしくは後のパケットに含まれるスライスヘッダを参照する(S62)。
解析部20は、当該参照の結果、欠落パケットに含まれるスライスの種別がIスライスか否か判定する(S64)。I、Pスライスの場合(S64のY)、伝送制御部30は、当該I、Pスライスの再送を送信側のサーバまたは中継装置に要求する(S66)。I、Pスライスでない、すなわちBスライスの場合(S64のN)、再送要求処理は発動しない。
実施例6も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、Iスライスで構成されるIピクチャは、Pスライスで構成されるPピクチャは、PピクチャまたはBピクチャの参照元となるため、参照元とならないBピクチャと比較し、欠落の影響が他のピクチャに大きく影響する。よって、I、Pスライスは、Bスライスより画質に与える影響が大きいといえる。
したがって、I、Pスライスの欠落に対して再送要求し、Bスライスの欠落に対して再送要求しないことにより、画質低下の影響を抑制しつつ、再送要求の発動を抑制することができる。スライスヘッダは、伸張復号後に参照可能となるヘッダであるが、このヘッダからスライス種別を特定することにより、画質にどの程度影響を与える動画像データであるかを明確に識別することができる。さらに、スライス単位で再送要求が可能であるため、再送されるデータ量を低減することができる。
実施例7に係る再送要求処理7は、実施例6に係る再送要求処理6の変形例である。図7に示したフローチャートのステップS64の「I、Pスライス?」を「Iスライス?」に置き換える。すなわち、実施例7は、Iスライスの欠落に対して再送要求し、P、Bスライスの欠落に対して再送要求しない例である。実施例6と比較し、画質より、伝送路の負荷軽減をより優先した例である。
図8は、実施例8に係る再送要求処理8の流れを示すフローチャートである。解析部20は、送受信部10で受信したパケットのRTPヘッダを参照して、欠落パケットを検知する(S70)。欠落パケットの前または後のパケットに含まれる動きベクトルを参照する(S72)。ここでは、前後の数パケットに含まれる動きベクトルを参照することが好ましい。H.264/AVCでは、動きベクトルの参照元マクロブロックは、同一の参照元ピクチャに設定される必要がなく、マクロブロック単位で異なる参照元ピクチャに設定されることが可能である。
解析部20は、当該参照の結果、欠落パケットに参照元マクロブロックが含まれるか否か判定する(S74)。参照元マクロブロックが含まれる場合(S74のY)、伝送制御部30は、当該参照元マクロブロックの再送を送信側のサーバまたは中継装置に要求する(S76)。参照元マクロブロックが含まれない場合(S74のN)、再送要求処理は発動しない。
実施例8も、欠落パケットに含まれる符号化画像データの重要度を加味して、再送要求処理を実行する。すなわち、参照元マクロブロックは、予測差分信号で規定されたPピクチャまたはBピクチャのマクロブロックから参照される。したがって、その参照元マクロブロックが欠落すると、それを参照するPピクチャまたはBピクチャのマクロブロックが正確に復号できなくなってしまう。したがって、参照元マクロブロックは、非参照元マクロブロックより、画質に与える影響が大きいといえる。
したがって、参照元マクロブロックの欠落に対して再送要求し、非参照元マクロブロックの欠落に対して再送要求しないことにより、画質低下の影響を抑制しながら、再送要求の発動を抑制することができる。また、動きベクトルは、伸張復号後に参照可能となる情報である。この動きベクトルから、欠落したパケットに参照元マクロブロックが含まれるか否かを特定することにより、画質にどの程度影響を与える動画像データであるかを明確に識別することができる。さらに、マクロブロック単位で再送要求が可能であるため、再送されるデータ量を低減することができる。
以上説明した八種類の再送要求処理の中から、設計者は、任意の再送要求処理を選択することができる。また、実施例2と実施例4を組み合わせるなど、八種類の再送要求処理のうち、複数の再送要求処理を任意に組み合わせてもよい。上述したように八種類の再送要求処理は、それぞれ得失がある。設計者は、伝送路および受信装置のスペックや使用状況に適合する処理を選択することができる。
以上説明したように実施の形態1によれば、欠落パケットに含まれる動画像データの性質を考慮することにより、効率的な伝送制御が可能となる。たとえば、画質に影響が少ないデータの再送要求を抑制することにより、画質低下の影響を抑制しつつ、伝送路にかかる負荷を軽減することができる。また、上述した重要度の判定は、受信側の処理のみで可能であるため、送信側の負荷を増大させることもない。
つぎに、実施の形態2について説明する。実施の形態1は、複数の再生要求処理の中から設計者が任意の処理を設定した。この点、実施の形態2は、通信状況に応じた再生要求処理を適応的に選択する。
図9は、本発明の実施の形態2に係る受信装置200の構成を示す図である。実施の形態2に係る受信装置200の構成は、実施の形態1に係る受信装置100の構成に、通信状況判定部12および変換テーブル14を追加した構成である。以下、実施の形態1に係る受信装置100との相違点を中心に説明する。
通信状況判定部12は、伝送路の通信状況を判定する。たとえば、伝送路のスループット、より具体的にはビットレートを特定し、通信状況を判定する。伝送路のビットレートは、RTPヘッダに含まれるタイムスタンプから検出してもよいし、図示しない速度計から取得してもよい。
通信状況判定部12は、伝送路の通信状況を伝送路の余裕度として把握してもよい。伝送路の余裕度は、伝送路のビットレートと、受信したパケットに含まれる画像データのビットレートとの差に基づいて、特定されてもよい。すなわち、差が大きいほど、余裕度が高く、差が小さいほど余裕度が低いと判定される。ここで、画像データのビットレートは、符号化の際のビットレートであってもよいし、復号部40で実際に復号されているデータのビットレートであってもよい。
変換テーブル14は、複数段階に分類された伝送路の余裕度と、複数段階に分類された再送要求処理のレベルと、それぞれの再送要求処理のレベルにおける判断データと、を関連付けて管理する。
図10は、実施の形態2に係る受信装置200に設けられる変換テーブル14の一例を示す。この変換テーブル14は、余裕度141、再送要求処理のレベル142、および判断データ143の項目を備える。再送要求処理のレベル142は、実施の形態1で説明した八種類の再送要求処理に対応する。レベル1が再送要求処理1に対応し、レベル2が再送要求処理2に対応し、以下、レベル8まで同様である。再送要求処理8が伝送路に最も負荷をかけない処理であり、再送要求処理1が最も画質低下を抑制できる処理である。再生要求処理2〜7は、それぞれ、その間の効果を享受する処理である。
判断データ143は、再送要求処理のレベル142に応じて特定される。レベル1のときRTPヘッダ、レベル1のときRTPペイロードヘッダ、レベル3、4、5のときNALヘッダ、レベル6、7のときスライスヘッダ、およびレベル8のとき動きベクトルとなる。RTPヘッダおよびRTPペイロードヘッダは、通信用ヘッダであり、復号部40で復号しなくても参照可能である。NALヘッダは、NALペイロードから分離する必要があるが、伸張復号する必要はない。なお、NALペイロードは圧縮符号化されている。スライスヘッダおよび動きベクトルは、伸張復号後に参照可能となる。
余裕度141は、上述した伝送路の余裕度である。ここでは、再送要求処理のレベル数に合わせて八分類される。伝送路の余裕度が分類されるために、あらかじめ複数のレンジが設定される。このレンジは、設計者が実験やシミュレーションまたは設計思想に基づき設定される。なお、各レンジの上限値および下限値が特定されていれば、通信状況判定部12により求められた余裕度と、各レンジの上限値および下限値とが比較されることにより、当該余裕度が属すべきレンジが特定される。図10では、レンジ8が最も伝送路に余裕がある良好な通信状況であり、レンジ1が最も悪い通信状況であることを示す。なお、レンジ1の下限、およびレンジ8の上限はオープンであってもよい。
このように、余裕度のレンジが特定されると、再送要求処理のレベル142および判断データ143が特定される関係にある。
図9に戻り、解析部20は、通信状況判定部12により判定された通信状況に応じて、再送要求処理の判断データとして解析すべき参照情報の種別を適応的に変更する。図10の例では、解析すべき参照情報の種別は、RTPヘッダ、RTPペイロードヘッダ、NALヘッダ、スライスヘッダ、および動きベクトルのいずれかである。解析部20は、変換テーブル14を参照して、通信状況判定部12により判定された余裕度から、解析すべき参照情報の種別を特定することができる。
伝送制御部30は、通信状況判定部12により判定された通信状況に応じて、再送要求処理のレベルを変更する。伝送制御部30は、変換テーブル14を参照して、通信状況判定部12により判定された余裕度から、再送要求処理のレベルを特定することができる。
以下、具体例を挙げる。まず、具体例1について説明する。
解析部20は、通信状況判定部12により判定された余裕度が所定の基準値より低いとき、たとえば、余裕度がレンジ2またはレンジ3に属すとき、復号部40による復号後に参照可能なスライスヘッダを解析する。また、余裕度がレンジ1に属すとき、復号部40による復号後に参照可能な動きベクトルを解析する。伝送制御部30は、解析部20による解析結果を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて、再送要求すべきか否か判定する。
解析部20は、通信状況判定部12により判定された余裕度が所定の基準値より低いとき、たとえば、余裕度がレンジ2またはレンジ3に属すとき、復号部40による復号後に参照可能なスライスヘッダを解析する。また、余裕度がレンジ1に属すとき、復号部40による復号後に参照可能な動きベクトルを解析する。伝送制御部30は、解析部20による解析結果を参照して、欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて、再送要求すべきか否か判定する。
つぎに、具体例2について説明する。
解析部20は、通信状況判定部12により判定された余裕度が所定の基準値より高いとき、たとえば、余裕度がレンジ8に属すとき、送受信部10で受信するパケットの通信用ヘッダであるRTPヘッダを解析する。伝送制御部30は、解析部20による解析結果を参照して、欠落パケットが検知された場合、その欠落パケットの再送要求をする。
解析部20は、通信状況判定部12により判定された余裕度が所定の基準値より高いとき、たとえば、余裕度がレンジ8に属すとき、送受信部10で受信するパケットの通信用ヘッダであるRTPヘッダを解析する。伝送制御部30は、解析部20による解析結果を参照して、欠落パケットが検知された場合、その欠落パケットの再送要求をする。
以上説明したように実施の形態2によれば、伝送路の通信状況に応じて、再送要求処理のレベルを変更することにより、効率的な伝送制御が可能である。また、伝送路に余裕がある場合、伸張復号を待たずに、早期に解析が可能なヘッダ情報を利用して再送要求処理を実行するため、再送要求を早期に送出することができる。その場合、受信装置の負荷も軽減することができる。
たとえば、余裕度が低いレベル1のとき、動きベクトルを参照して再送要求するか否か判断し、余裕度が高いレベル8のとき、RTPヘッダを参照して判断する。すなわち、レベル8の場合、通信路に余裕があるため、再送データ量が増えても問題ない。そこで、伝送量制御装置の処理負荷を軽減するため、欠落パケットのデータの性質を加味しないで再送要求する。具体的にはRTPヘッダのみに基づいて再送要求の必要性を判断する。これにより、再送要求の処理速度も向上させることができる。
一方、レベル1の場合、通信路に余裕がないため、再送データ量を極力減らす必要がある。そこで、動きベクトルなどを解析することにより、実際に再送が必要なパケットを特定する。これにより、再送データ量を減らすことができる。
以上、本発明をいくつかの実施形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上述した実施の形態1では、伝送制御処理の一つとして、再送要求処理について説明した。実施の形態1は再送要求処理に限定されるものではなく、中継装置のバッファ管理などにも利用することができる。たとえば、受信装置100は、受信したパケットに含まれるデータが画質に影響の大きいデータであるか否かを表す情報を中継装置にフィードバックする。中継装置は、パケットデータを一時記憶しているバッファの容量が溢れたとき、その情報を参照して、画質に影響の大きいデータを残し、影響の小さいデータを破棄する。これにより、中継装置のバッファ内で重要なデータが比較的、長い時間保持されることになり、他の受信装置からの再送要求などに対し、対処しやすくなる。
10 送受信部、 12 通信状況判定部、 14 変換テーブル、 20 解析部、 30 伝送制御部、 40 復号部、 42 エントロピー復号部、 44 逆量子化部、 46 逆直交変換部、 48 加算部、 50 デブロッキングフィルタ、 52 画像内予測部、 54 動き補償部、 56 切替部、 100 受信装置、 200 受信装置。
Claims (7)
- 画像データを含むパケットを伝送路を介して受信する受信部と、
前記受信部で受信するパケットに含まれる画像データを復号する復号部と、
前記伝送路の通信状況を判定する通信状況判定部と、
前記受信部で受信するパケットに含まれる所定の参照情報を解析する解析部と、
前記受信部で受信する一連のパケットに欠落パケットが検知された場合、前記解析部による解析結果を参照して、所定の再送要求処理を実行する伝送制御部と、を備え、
前記解析部は、前記通信状況判定部により判定された通信状況に応じて、前記再送要求処理の判断データとして解析すべき参照情報の種別を変更することを特徴とする受信装置。 - 前記伝送制御部は、前記通信状況に応じて、前記再送要求処理のレベルを変更することを特徴とする請求項1に記載の受信装置。
- 前記通信状況判定部は、前記通信状況として前記伝送路の余裕度を判定し、
前記解析部は、前記通信状況判定部により判定された余裕度が所定の基準値より低いとき、前記復号部による復号後に参照可能な、ヘッダ情報および動きベクトルの少なくとも一方を解析し、
前記伝送制御部は、前記解析部による解析結果を参照して、前記欠落パケットに含まれる画像データの重要度を判定し、その重要度に応じて、再送要求すべきか否か判定することを特徴とする請求項1または2に記載の受信装置。 - 前記通信状況判定部は、前記通信状況として前記伝送路の余裕度を判定し、
前記解析部は、前記通信状況判定部により判定された余裕度が所定の基準値より高いとき、前記受信部で受信するパケットの通信用ヘッダを解析し、
前記伝送制御部は、前記解析部による解析結果を参照して、前記欠落パケットが検知された場合、その欠落パケットの再送要求をすることを特徴とする請求項1から3のいずれかに記載の受信装置。 - 複数段階に分類された前記余裕度と、複数段階に分類された前記再送要求処理のレベルと、それぞれの再送要求処理のレベルにおける判断データと、を関連付けて管理するテーブルをさらに備えることを特徴とする請求項3または4に記載の受信装置。
- 前記通信状況判定部は、前記通信状況として前記伝送路の余裕度を判定し、
前記解析部は、
前記通信状況判定部により判定された余裕度が所定の基準値より低いとき、前記復号部による復号後に参照可能な、ヘッダ情報および動きベクトルの少なくとも一方を解析し、
前記通信状況判定部により判定された余裕度が所定の基準値より高いとき、前記受信部で受信するパケットの通信用ヘッダを解析することを特徴とする請求項1または2に記載の受信装置。 - 前記通信状況判定部は、前記伝送路のビットレートと前記画像データのビットレートとの差に基づいて、前記余裕度を特定することを特徴とする請求項3から6のいずれかに記載の受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007229008A JP2009065258A (ja) | 2007-09-04 | 2007-09-04 | 受信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007229008A JP2009065258A (ja) | 2007-09-04 | 2007-09-04 | 受信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009065258A true JP2009065258A (ja) | 2009-03-26 |
Family
ID=40559477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007229008A Pending JP2009065258A (ja) | 2007-09-04 | 2007-09-04 | 受信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009065258A (ja) |
-
2007
- 2007-09-04 JP JP2007229008A patent/JP2009065258A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nightingale et al. | HEVStream: a framework for streaming and evaluation of high efficiency video coding (HEVC) content in loss-prone networks | |
US8374246B2 (en) | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression | |
JP5916624B2 (ja) | マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング | |
KR101859155B1 (ko) | 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝 | |
US8837605B2 (en) | Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay | |
US20160021397A1 (en) | Method for protecting a video frame sequence against packet loss | |
US20170142029A1 (en) | Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium | |
WO2021021550A1 (en) | Intra refresh and error tracking based on feedback information | |
US8750373B2 (en) | Delay aware rate control in the context of hierarchical P picture coding | |
WO2012119459A1 (zh) | 数据传输的方法、装置和系统 | |
KR102118678B1 (ko) | 부호화된 비디오 스트림 전송 장치 및 방법 | |
US20160360220A1 (en) | Selective packet and data dropping to reduce delay in real-time video communication | |
US8503805B2 (en) | Method and apparatus for encoding and decoding image adaptive to buffer status | |
EP2308215B1 (en) | Thinning of packet-switched video data | |
JP2009065259A (ja) | 受信装置 | |
TW201330625A (zh) | 用於數位視訊處理的裝置及方法 | |
JP5099697B2 (ja) | 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置 | |
JP2009065258A (ja) | 受信装置 | |
TWI683572B (zh) | 基於畫面動態資訊的視訊位元率傳輸控制方法 | |
JP2012165475A (ja) | 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法 | |
Saputra | The effect of packet loss and delay jitter on the video streaming performance using H. 264/MPEG-4 Scalable Video Coding | |
Shaout et al. | Dynamic Video Content Streaming | |
CN118590722A (en) | Multi-connection-based streaming media transmission method and device and electronic equipment | |
Gallucci et al. | Content-adaptive robust h. 264/svc video communications over 802.11 e networks | |
Mahmood et al. | A hybrid adaptive compression scheme for Multimedia Streaming over wireless networks |