JP2002118854A - ネットワークビデオ方法 - Google Patents

ネットワークビデオ方法

Info

Publication number
JP2002118854A
JP2002118854A JP2001238451A JP2001238451A JP2002118854A JP 2002118854 A JP2002118854 A JP 2002118854A JP 2001238451 A JP2001238451 A JP 2001238451A JP 2001238451 A JP2001238451 A JP 2001238451A JP 2002118854 A JP2002118854 A JP 2002118854A
Authority
JP
Japan
Prior art keywords
frame
probability
transmission
coded frame
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2001238451A
Other languages
English (en)
Inventor
Madhukar Budgavi
バダガビイ マドヒュカル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of JP2002118854A publication Critical patent/JP2002118854A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

(57)【要約】 【課題】 正しいフレームの再構築の確率を最大化し、
正しいフレーム再構築の確率が予測符号化フレームの反
復送信速度を含むビデオの動き補償方法及びコントロー
ラを得る。 【解決手段】 パケット送信損失のマルコフ・モデルに
従って正しいフレーム再構築の確率を最大化することに
よって、パケット化ネットワークを介した送信用のリア
ル・タイム・ビデオの動きの補正を制御する。この制御
は、イントラ符号化フレーム速度と反復予測符号化フレ
ーム速度とのトレードオフを決定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、電子装置に関し、
特に、ビデオ符号化,送信及び復号化/合成方法及び回
路に関する。
【0002】移動テレビ会議のようなネットワーク送信
を使用するリアル・タイム・ディジタル・ビデオ・シス
テムの性能は、現在の予測可能なディジタル通信により
ますます重要になってきた。専用チャネル送信とネット
ワークを介したパケット化送信とはビデオ信号の圧縮に
よる恩恵である。H.263及びMPEGのビデオにお
いて広く利用されている動き補償圧縮は、別々に符号化
される複数のIフレーム(イントラ・フレーム)と、
[前のフレームのマクロブロックに対する動きベクト
ル]+[動きベクトル・予測マクロブロックと実際との
間の残差]として符号化される複数のPフレーム(予測
フレーム)とを使用する。
【0003】インターネットを介したリアル・タイム・
ビデオ送信は、通常、リアル・タイム転送プロトコル
(RTP)を使用して行われる。RTPはユーザ・デー
タグラム・プロトコル(UDP)の先頭に置かれる。U
DPは、全送信パケットの伝達を保証しない非信頼性プ
ロトコルである。パケット紛失は、受信機で再構築され
たビデオの品質に好ましくない影響をもたらす。したが
って、誤り修復技術は、パケット紛失の影響を軽減する
ために採用する必要がある。使用される一般的なヒュー
リスティック技術は、Pフレームの伝搬を阻止するため
に、Iフレームの頻繁な周期的送信である。すなわち、
動き補償は、Iフレームの数を増加しPフレームの数を
減少するように調整される。
【発明が解決しようとする課題】
【0004】しかしながら、Iフレーム符号化はPフレ
ーム符号化よりも遙かに多くのビットを必要とするの
で、これは送信速度を低下させる。
【0005】本発明は、Pフレームの反復送信とIフレ
ーム速度とをトレードオフするパケット化ネットワーク
を介した送信用の動き補償ビデオ方法を提供する。
【0006】これは、改善された性能を含む効果があ
る。
【0007】
【実施例】1.概要 パケット化ネットワークを介した動き補償されたビデオ
送信用の好ましい実施例の複数のエンコーダ及び方法
が、図2に機能ブロック形式で概要的に示されている。
これらの好ましい実施例は、Iフレームの速度を決定す
ることによって動き補償圧縮を制御するために、(図1
に示す)マルコフ・チェーン・モデルを適用する。すな
わち、低いIフレーム速度は、フォワード誤り訂正(F
EC)方法としてPフレームの反復送信を可能にする。
これは、Iフレーム速度を増加させかつPフレームを反
復させないアプローチと対照的である。特に、好ましい
実施例は、Iフレーム送信速度の関数として誤りのない
フレーム再構築の確率を最大化する。すなわち、低いI
フレーム送信速度は、Pフレームの反復送信を可能に
し、したがって、Pフレームの誤りのない受信の確率を
増加させる。
【0008】2.第1の好ましい実施例 図1は、第1の好ましい実施例のシステム用のマルコフ
・モデルを示す。このシステムは、現在のビデオ・フレ
ーム再構築が誤りを有しないときのS0状態と、現在の
ビデオ・フレーム再構築が少なくとも1つの誤りを有す
るときのS1状態との2状態を有する。これらの確率は
次のとおりである。q0は、送信されたフレームがIフ
レームである確率であり、q1=1−q0は、送信された
フレームがPフレームである確率であり、Bフレームは
この解析では無視される。送信されたIフレームが紛失
する確率はPe0であり、送信されたPフレームが紛失す
る確率はPe1である。したがって、図1は、確率q
0(1−Pe0)+q1(1−Pe1)で状態S0に留まるこ
とを示し、これは、単純に、[Iフレームが送信されて
紛失しない確率]+[Pフレームが送信されて紛失しな
い確率]である。同様に、このシステムは確率1−q0
(1−Pe0)で状態S1に留まり、これは、誤りがPフ
レームに伝搬するので、誤再構築フレームに続くフレー
ムについての再構築誤りを避けるための唯一の方法が送
信Iフレームを(紛失なしに)受信することであること
を単純に表している。したがって、q0(1−Pe0)は
また、状態S1から状態S0へ遷移する確率である。逆
に、状態S1から状態S0に遷移する確率は、単純にq0
e0+q1e1である次のフレームを紛失する確率その
ものである。すなわち、1−[状態S0に留まる確率]
である。したがって、状態S0にある全確率はq0(1−
e0)/(q0+q1e0)であり、それはS1からS0
の遷移の確率を状態遷移の確率の和で割ったものであ
る。q0はIフレーム間の(フレーム単位の)期間の逆
数に等しいことに留意すべきである。すなわち、各n番
目のフレームがIフレームであれば、送信されたIフレ
ームの確率は1/nである。
【0009】インターネットを介する各送信パケット
は、圧縮ビデオ・データとRTPヘッダとUDP/IP
ヘッダとからなる。vはパケット・ヘッダのビット数を
表すものとする。RTP/UDP/IPに基づくシステ
ムについては、v=320である。この大きなパケット
・オーバーヘッドのために、単一パケット内で可能な限
り多くのソース・ビットを送信するのがよい。パケット
の全サイズはパケット・ネットワークの最大送信ユニッ
ト(MTU)によって制限される。イサーネットについ
ては、MTUは約1500バイトである。現在のインタ
ーネット・ビデオ・アプリケーションは比較的低ビット
速度を使用し、また、低ビット速度で多数のPフレーム
を単一パケットに適合することができる。単一パケット
の紛失は多数のPフレームの紛失に至るので、単一パケ
ット内で多数のPフレームを送信することに伴う問題
は、パケット紛失の影響が深刻になることにある。した
がって、1パケットではたった1つのPフレームが送信
されるだけである。しかしながら、1500バイトのM
TUでは、Iフレームは単一パケットに適応せず多数パ
ケットに分割される必要がある。説明を容易にするため
に、下記のように設定する。I0は、複数ビットで表現
されたIフレームの平均サイズを表す。I1は、ビット
単位のPフレームの平均サイズを表す。n1は、単一I
フレームに必要なパケットの数を表す。k0は、Iフレ
ームを送信するのに使用される総ビット数(圧縮ビット
・ストリーム+ヘッダ・ビット)を表し、したがって、
0=I0+n1vである。ただし、vはビットでのパケ
ット・ヘッダ・サイズである。k1は、Pフレームを送
信するのに使用される総ビット数を表す。RTは、許容
される最大送信ビット速度を表す。qf1は、各Pフレー
ムが再送信される回数を表す。
【0010】fフレーム/秒の一定フレーム速度を想定
する。送信源のビット速度RSはRS=q0fk0+q1
1と表すことができ、また、各Pフレームのqf1再送
信を加えたフォワード誤り訂正ビット速度RFはRF=q
1f1fk1(qf1は非負)である。したがって、全送信
速度Rは、R=RS+RF=q0fk0+q1fk1+q1f
1fk1である。
【0011】Peは、インターネット上で発生されたパ
ケット紛失率(ランダムであると仮定する)であるとす
る。Pフレームのみが再送信されるので、Iフレームを
紛失する確率は次式で与えられる。
【0012】
【数1】
【0013】これは、Iフレームの一部を含むn1パケ
ットのいずかが紛失したときはIフレーム全体が紛失す
ることをまさに意味している。同じように、Pフレーム
の紛失の確率は次式で与えられる。
【0014】
【数2】
【0015】ここで、
【外1】 はqf1よりも大きくない最も大きい整数であり、
【外2】 はqf1よりも小さくない最も小さい整数であり、m1
f1の小数点以下の部分、すなわち、 である。qf1が整数であれば、Pフレームを含む1+q
f1パケットの全てを紛失する確率はPフレームを紛失す
る確率となるので、pe1=pe 1+qfである。整数でない
f1については、pe1に対する上記の式は、qf1を括弧
で囲む整数値間の線形補間そのものである。
【0016】したがって、好ましい実施例のFEC法
は、Iフレーム送信と制約条件R≦R Tを仮定すると状
態S0(=q0(1−pe0)/(q0+q1e1))にある
確率を最大化する反復Pフレーム送信との速度を決定す
る。f,k0及びk1はシステム及びq1=1−q0の固定
パラメータであるので、Iフレーム送信の与えられた確
率q0に対しては、qf1の値は最大送信速度RTに等しい
送信速度R=q0fk0+q1fk1+q1f1fk1 を取
ることに直ちに従うことに留意すべきである。また、I
フレームの周期的な送信はq0が1/n形式となること
を意味することに留意すべきである。ここで、nは、2
つのIフレーム間のフレーム単位の期間であり、整数で
ある。したがって、nのすべての合理的な値に対する状
態S0にある制約条件付き確率を評価し、また、確率を
最大化するq0を選択する。
【0017】3.実験結果 2つの一般的なビデオ・シーケンス(“Akiyo”及び“M
other and Daughter”)が、マルコフ・モデルを使用し
て上記の好ましい実施例の方法を評価するのに使用され
た。チャネル・パケット紛失率はpe=10%であると
仮定する。フレーム又はフレームの一部(Iフレームの
場合には)が受信機で受信されないときはいつでも、評
価は、単純に、前のフレームからの対応画像データをコ
ピーした。各パケット紛失により大きなデータ量を紛失
しているので、多くの更に複雑な誤り修復技術は性能を
改善しないことに留意すべきである。2つのメトリック
を用いた。すなわち(i)平均ピーク信号対雑音比(P
SNR)と、(ii)しきい値よりも小さいPSNR歪
みを有する受信機で再構築されたフレームの一部とであ
る。PSNRは、シミュレートされたパケット紛失チャ
ネルを介したビデオ・ビットストリームの送信の100
ランにわたるPSNRの平均を求めることによって得ら
れ、また、歪みしきい値に対して再構築された複数のフ
レームの小数点以下の部分をdtと表す。
【0018】最大総ビット速度RTは約50kb/sで
あるとし、かつ、量子化パラメータはビデオ・シーケン
スを圧縮するために“8”であるとした。両ビデオ・シ
ーケンスについて、q0=1/6は、f=10フレーム
/sで約50〜55kb/sのビット速度をもたらし
た。したがって、使用されたq0の集合は、q0=1/
6,1/8,…,1/20であった。q0が減少するに
従ってソース・ビット速度が減少することに留意すべき
である。範囲q0=1/6〜1/20では、q0=1/6
はIフレームの最大送信速度の場合に対応することに留
意すべきである。各ビデオ・シーケンスに対して、8ビ
ットストリーム(q0の各値について1つ)が発生され
た。マルコフ・チェーン解析のために使用されたフレー
ム長I0,I1は、圧縮されたビットストリームのIフレ
ーム長及びPフレーム長を平均化することによってそれ
ぞれ得られた。また、Iフレーム・サイズ及びMTU考
察に基づいてn1=3が使用された。
【0019】“Akiyo”については、下記のリストがマ
ルコフ・チェーン・モデルのために使用されたパラメー
タを要約している。 Pe=0.1 f=10フレーム/s Iフレームの平均サイズ,I0=20,475ビット Pフレームの平均サイズ,I1=1,711ビット RT=52.89kb/b n1=3 集合1/6,1/8,…,1/20内のq0
【0020】図3(a)は状態S0にある確率である結
果のPr(S0)を示し、図3(b)はq0の種々の値に対
する平均PSNRを示し、図3(c)はしきい値よりも
小さな歪みを有する再構築フレームの小数点以下の部分
tを示す。図3(b)及び図3(c)を得るために、
総合ビット速度(ソース速度+FEC速度)がq0=1
/6に対するソース・ビット速度(総合ビット速度)に
非常に近くなるように、マルコフ・チェーン解析から得
られたPフレーム再送信速度qf1は手動で処理された。
これは、結果の公正な比較を得るために行われた。図3
(d)は、得られた総合ビット速度を示す。図3(d)
において、Rsはソース速度を表し、RFはFECによっ
て使用された速度を表し、RTは総合ビット速度を表
す。
【0021】図3(a)から明らかなように、マルコフ
・チェーン・モデルは、改善された性能を得るために、
Iフレームの頻度を(q0=1/6からq0=1/14,
…,1/20へ)減少させるとともに、代わって、Pフ
レームの再送信を使用することを認識させることを予測
している。0.4dB〜0.55dBの範囲で平均PS
NRに改善があり、また、t(t=0.5,1.0,
1.5dB)よりも小さい再構築誤りを有する再構築フ
レームの小数点以下の部分が約0.15〜0.2だけ増
加する。図3(c)のdt曲線は、Iフレーム送信の頻
度を増加する代わりにPフレームの再送信が使用される
ときは、約20〜25%のもっと「良好な」フレームが
あることを意味する。
【0022】“Mother and Daughter”については、下
記のリストはマルコフ・チェーン・モデルのために使用
されたパラメータを要約している。 Pe=0.1 f=10フレーム/s Iフレームの平均サイズ,I0=18,010ビット Pフレームの平均サイズ,I1=2,467ビット RT=54.84kb/s n1=3 集合1/6,1/8,…,1/20内のq0
【0023】図4(a)は結果のPr(S0)を示し、図
4(b)はq0の種々の値に対する平均PSNRを示
し、図4(c)はその結果d1を示す。図4(b)及び
図4(c)を得るために、総合ビット速度がq0=1/
6に対するソース・ビット速度(総合ビット速度)に非
常に近づくように、再びマルコフ・チェーン解析から得
たPフレーム再送信速度qf1が手動で処理された。これ
は、結果の公正な比較を得るために行われた。図4
(d)は得られた総合ビット速度を示す。図4(d)に
おいて、RSはソース速度を表し、RFはFECにより使
用された速度を表し、R Tは総合ビット速度を表す。
【0024】この場合のマルコフ・チェーン解析は、I
フレームの頻度を減少することによって性能の向上を達
成することができる(図4(a)を参照)。図4(b)
及び図4(c)のPSNR及びdt曲線はこの要求を支
持する。PSNR及びdt曲線は多かれ少なかれ平坦の
ままである。PSNR及びdt曲線は図4(a)のPr
(S0)曲線のように下方に移動していないことに留意す
べきである。これは、マルコフ・チェーン・モデルが非
常に簡単化されたモデルでありかつPSNRメトリック
に基づいていないという事実によるものと考えられる。
PSNR性能をモデル化するためにもっと複雑なモデル
を考えることもできるが、それらはデコーダでの動き補
償の使用のために複雑となる。
【0025】4.システムの好ましい実施例 図5は、好ましい実施例の動き補償されたビデオ送信方
法を使用する好ましい実施例システムの一部を形成する
機能ブロックを示す。そのようなシステムは、複数エン
ドでのインターネットを介した無線リンクとのテレビ電
話通信と、ところどころにビデオ・パケットが挿入され
た音声パケットとを含む。二方向通信バージョンは両方
向について図5の構造を有する。好ましい実施例では、
通信システム・ユーザ(トランシーバ及び/又は受信
機)ハードウェアは、1つ以上のディジタル信号プロセ
ッサ(DSP)、及び/又は、好ましい実施例の方法の
信号処理の実行用の格納されたプログラムを有するRI
SCプロセッサのような他のプログラムラマブル装置を
備えてもよい。代わりに、(部分的に)ハードウェア化
された方法の好ましい実施例の方法により特殊回路(A
SIC)を使用してもよい。ユーザは、通信チャネルへ
の入力又は通信チャネルからの出力の増幅又はフィルタ
用の、及び、アナログとディジタルとの間での変換用の
アナログ及び/又は混合信号集積回路を備えてもよい。
そのようなアナログ及びディジタル回路は一つのダイに
集積されてもよい。複数のコードブックを含めて格納さ
れたプログラムは、例えば、プロセッサと集積されてい
る又はプロセッサの外部にあるROM又はフラッシュE
EPROM又はFeRAMに存在してもよい。複数のア
ンテナが、インターネットのようなネットワークに対す
るエア・インターフェース用の多数フィンガRAKE検
出器を有する複数の受信機のパーツであってもよい。D
SPコアの例は、テキサス・インスツルメンツ社のTM
S320C6xxxファミリ及びTMS320C5xx
xファミリにあってもよい。
【0026】5.変形 これらの好ましい実施例は、反復Pフレーム送信可能性
の観点から、Iフレーム速度の最適化の1つ以上の特徴
を維持しながら、種々の方法で変更されてもよい。
【0027】例えば、予測符号化フレームはBフレーム
を含むことができる。フレーム・レイアウトは、大きな
バッファ及び遅延を含んで、複数のIフレーム・パケッ
トに対する何らかの自動反復要求からいくつかの反復P
フレーム・パケットを取り換えることを可能にする。ネ
ットワーク・プロトコルは異なることができる。
【0028】実際に、多数のサーバを使用して同じビデ
オ受信顧客にサービスする概念を導入することができ
る。例えば、2つのビデオ・サーバの使用を仮定して同
じ顧客にサービスする。この状況は、ビデオ顧客に2つ
のネットワーク・チャネル供給させる。一方のチャネル
を使用してIフレーム及びPフレームを(反復なしに)
送信したのち、他方のチャネルを使用してFEC Pフ
レームを送信する。顧客において受信されるビデオの速
度は一つのサーバが使用されているときと同じであるこ
とに留意すべきである。2つのチャネルの使用は、同じ
時間で劣化する両チャネルの確率が減少するので、性能
を改善する。
【0029】(関連する出願の相互参照)本出願は、2
000年6月30日に出願された米国特許仮出願第60
/214,457号により優先権を主張する。
【図面の簡単な説明】
【図1】好ましい実施例のマルコフ・チェーン・モデル
を示す図である。
【図2】好ましい実施例のエンコーダの機能ブロック図
である。
【図3】実験結果を示す図である。
【図4】実験結果を示す図である。
【図5】システムを示す図である。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 動き補償ビデオ方法であって、(a)パ
    ケット化された送信チャネルのパラメータを評価するス
    テップと、(b)入力ビデオ用のイントラ符号化フレー
    ム及び予測符号化フレームのサイズを評価するステップ
    と、(c)ステップ(a)及びステップ(b)の結果を
    使用して正しいフレーム再構築の確率を最大化すること
    によってイントラ符号化フレームの速度及び予測符号化
    フレームの速度を設定するステップと、 を備え、 前記正しいフレーム再構築の確率が、予測符号化フレー
    ムの反復送信の速度を含む、 動き補償ビデオ方法。
  2. 【請求項2】(a)前記送信チャネルはインターネット
    であり、(b)前記予測符号化フレームはPフレームで
    ある、 請求項1記載の動き補償ビデオ方法。
  3. 【請求項3】(a)前記ステップ(a)のパラメータ
    は、前記送信チャネルを介したパケット紛失率を含む、
    請求項1記載の動き補償ビデオ方法。
  4. 【請求項4】(a)前記確率は、q0(1−Pe0)/
    (q0+q1e1)であり、ここで、q0はイントラ符号
    化フレームの確率であり、q1は予測符号化フレームの
    確率であり、Pe0は紛失した送信イントラ符号化フレー
    ムの確率であり、Pe1は紛失した送信予測符号化フレー
    ムの確率である、請求項3記載の方法。
  5. 【請求項5】 ビデオに対する動き補償コントローラで
    あって、 (a)パケット化送信チャネルのチャネル・パラメータ
    用の第1の入力と、(b)ビデオ・パラメータ用の第2
    の入力と、(c)前記第1及び第2の入力に結合され、
    かつ、前記チャネルを介するイントラ符号化フレーム送
    信速度と前記チャネルを介する前記予測符号化フレーム
    送信速度と前記チャネルを介する前記予測符号化フレー
    ムの反復送信速度との出力を有する確率最大化器と、 を備え、 前記確率最大化器が、前記第1及び第2の入力を使用し
    て正しいフレーム再構築の確率を最大化し、 前記正しいフレーム再構築の確率が、予測符号化フレー
    ムの反復送信速度を含む、 動き補償コントローラ。
JP2001238451A 2000-06-30 2001-07-02 ネットワークビデオ方法 Abandoned JP2002118854A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US215457 1994-03-21
US21545700P 2000-06-30 2000-06-30

Publications (1)

Publication Number Publication Date
JP2002118854A true JP2002118854A (ja) 2002-04-19

Family

ID=22803055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001238451A Abandoned JP2002118854A (ja) 2000-06-30 2001-07-02 ネットワークビデオ方法

Country Status (3)

Country Link
EP (1) EP1182876B1 (ja)
JP (1) JP2002118854A (ja)
DE (1) DE60129083T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014132779A (ja) * 2006-08-29 2014-07-17 Echostar Technologies Llc 記憶前のインデキシング無しに、マルチメディアプログラミングを受信、記憶、および表示するための方法と装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674482B (zh) * 2009-09-25 2011-05-11 上海大学 部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法
CN113015020A (zh) * 2021-03-01 2021-06-22 深圳市安赛通科技有限公司 一种网络传输协议快速纠错的算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014132779A (ja) * 2006-08-29 2014-07-17 Echostar Technologies Llc 記憶前のインデキシング無しに、マルチメディアプログラミングを受信、記憶、および表示するための方法と装置

Also Published As

Publication number Publication date
EP1182876A3 (en) 2004-02-18
DE60129083D1 (de) 2007-08-09
EP1182876A2 (en) 2002-02-27
DE60129083T2 (de) 2008-02-28
EP1182876B1 (en) 2007-06-27

Similar Documents

Publication Publication Date Title
US20060130104A1 (en) Network video method
US8472520B2 (en) Systems and methods for transmitting and receiving data streams with feedback information over a lossy network
CN107196746B (zh) 实时通信中的抗丢包方法、装置和系统
KR100554062B1 (ko) 패킷 채널을 통한 멀티미디어 통신 방법
CN107231328B (zh) 实时视频传输方法、装置、设备及系统
Wu et al. Improving multipath video transmission with raptor codes in heterogeneous wireless networks
JP4659838B2 (ja) 一連のフレームを予測的にコード化する装置
JP5675719B2 (ja) マルチメディアデータを処理する方法および装置
CN109951254A (zh) 一种数据处理方法及装置、计算机可读存储介质
Singh et al. Comparison of multiple-description coding and layered coding based on network simulations
CN105681342A (zh) 一种基于h264的多路视频会议系统的抗误码方法及系统
KR20040071765A (ko) Rs 코드들을 기초로 하여 포워드 에러 정정을 이용하는 비동등 에러 보호
JPWO2005122455A1 (ja) 双方向通信方法と装置、システムならびにプログラム
Wee et al. Optimized video streaming for networks with varying delay
KR20040101046A (ko) 화상전송방법 및 화상전송장치
JP2002118854A (ja) ネットワークビデオ方法
Bucciol et al. Perceptual ARQ for H. 264 video streaming over 3G wireless networks
Wang et al. Error resilient video coding using flexible reference frames
KR101703133B1 (ko) 실시간 소스-채널 복합부호화 방법 및 그 장치
Vilei et al. A novel unbalanced multiple description scheme for video transmission over wlan
JP2009260719A (ja) データ伝送端末装置およびデータ伝送方法
Fowdur et al. Robust JPEG image transmission using unequal error protection and code combining
Gao et al. A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC
KR20040047010A (ko) 영상 전화 시스템의 비트율 조절방법
CN118433164A (zh) 一种基于Priority NACK的RTC传输优化技术

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080411

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090113