JP2005538606A - ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 - Google Patents

ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 Download PDF

Info

Publication number
JP2005538606A
JP2005538606A JP2004533955A JP2004533955A JP2005538606A JP 2005538606 A JP2005538606 A JP 2005538606A JP 2004533955 A JP2004533955 A JP 2004533955A JP 2004533955 A JP2004533955 A JP 2004533955A JP 2005538606 A JP2005538606 A JP 2005538606A
Authority
JP
Japan
Prior art keywords
frame
rate
encoding
control method
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004533955A
Other languages
English (en)
Other versions
JP4390112B2 (ja
Inventor
リ，ゼングオ
パン，フェン
リム，ケン，パン
ウ，ダジュン
ユ，ロンシャン
フェン，ゲナン
ワン，ダシェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of JP2005538606A publication Critical patent/JP2005538606A/ja
Application granted granted Critical
Publication of JP4390112B2 publication Critical patent/JP4390112B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【解決手段】
各々が少なくともＩフレームとインタフレームとを備える複数のＧＯＰからなるビデオシーケンスを符号化する際のレート制御方法であって、ＧＯＰ内のインタフレームを符号化する以下の各工程、即ち、前記ビデオシーケンスの送信に使用される利用可能なチャンネル帯域幅と当該符号化処理に利用可能な計算資源とに基づいて所望のフレームレートを決定する工程と、前記所望のフレームレートと前記Ｉフレームに対する前記インタフレームの位置とに基づいてターゲットバッファレベルを決定する工程と、前記ターゲットバッファレベルと前記利用可能なチャンネル帯域幅とに基づいて、前記ビデオシーケンスを符号化する前記レートを制御するために使用されるターゲットビットレートを決定する工程とを含んでいるレート制御方法。

Description

本発明は、利用可能なチャンネル帯域幅及び計算資源(Computational Resources)を考慮に入れた、ビデオシーケンスの符号化レートを制御する方法及び装置並びにビデオ符号化装置に関する。
例えばインターネット又は無線ネットワークなど、帯域幅の限られたチャンネル上でのライブビデオの符号化において、レート制御は重要な役割を果たしており、多くの研究者によって幅広く研究されている。非特許文献1乃至４に開示されるレート制御についてのこれまでの研究結果は、計算資源が常に十分で所望の符号化フレームレートが常に保証されるという仮定に基づいている。
しかしながら、ライブビデオがマルチタスク環境下でソフトウェアによって符号化されるとき、ＣＰＵ（Central Processing Unit）の計算資源は、符号化処理とって必ずしも十分ではない。これは、ＣＰＵの計算資源が、より優先順位の高い他の処理に取られることに起因している。リアルタイムビデオ符号化システムにおいて、符号化されたビットは、ネットワークを介してデコーダへ送信される前に、バッファに格納される。割り当てられた計算資源が符号化処理には不十分であるとき、実際の符号化フレームレートは、所望のフレームレートよりも遅く、バッファ内に格納される生成ビット数も少なすぎる。その結果、利用可能なチャンネル帯域幅が無駄になる。この現象は、とりわけビデオ符号化処理が計算能力の限られたハンドヘルド装置において実行される場合によくみられる。
また、これまでの大抵のレート制御方法は、ビデオ送信に利用可能なチャンネル帯域幅が一定である場合に焦点が合わされていた。しかしながら、ライブビデオがインターネットや無線ネットワークのような限られた帯域幅のチャンネルを使用して送信されるとき、ビデオ送信に利用可能なチャンネル帯域幅は経時変化するのが普通である。利用可能はチャンネル帯域幅が減少するとき、バッファ内においてビット数が蓄積する。バッファ内のビット数が大きくなりすぎると、通常はエンコーダが幾つかのフレームをスキップしてバッファ遅延を軽減し、バッファオーバーフローを防止する。フレームをスキップすることにより、望ましくない不連続な動きがビデオシーケンスに発生する。
最近の資料である非特許文献５には、可変性の利用可能な帯域幅に符号化レートを適応させうるレート制御方法が開示されている。このレート制御方法は、流体フローモデル（fluid flow model）を使用して、ビデオシーケンスの各フレームについてターゲットビットレートを計算している。しかしながら、非特許文献５に開示されるレート制御方法は、利用可能な計算資源を考慮に入れていない。更に、各ＧＯＰ（Group of Pictures）に割り当てられたビット総数は、そのＧＯＰ内の各Ｐフレームに均等に分配されている。
H.J.Lee and T.H.Chiang and Y.Q.Zhang. Scalable Rate Control for MPEG-4 Video. IEEE Trans. Circuit Syst. Video Technology, 10: 878-894, 2000. T.Chiang and Y.Q.Zhang. A new rate control scheme using quadratic rate-distortion modeling. IEEE Trans. Circuit Syst. Video Technology, 7: 246-250, 1997. J. Ribas-Corbera and S. Lei. Rate Control in DCT video coding for low-delay communications. IEEE Trans. Circuit Syst. Video Technology, 9: 172-185, 1999. A. Vetro, H.Sun and Y. Wang. MPEG-4 rate control for multiple video objects. IEEE Trans. Circuit Syst. Video Technology, 9: 186-199, 1999. Z.G.Li, X. Lin, C. Zhu and F. Pan. A novel rate control scheme for video over the internet. In Proceedings ICASSP 2002, Florida, USA, Vol. 2, pp. 2065-2068, May 2002. Z.G.Li, N. Lin, C. Zhu, X.K.Yang, G.N.Feng, S.Wu and F. Pan. Packetization algorithm for MPEG-4 Fine Granularity Scalability over the internet. In the 3rd workshop and Exhibition on MPEG-4, USA, California, pp. 17-20, June 25-27, 2002.
本発明の目的は、計算資源が可変であり、帯域幅が可変であるライブビデオ符号化処理に好適なレート制御方法を提供することである。
上記目的は、ビデオシーケンスを符号化するレートを制御するレート制御方法であって、前記ビデオシーケンスが複数のＧＯＰを含んでおり、各ＧＯＰが少なくともＩフレームとインタフレームとを含んでおり、当該方法が、当該ＧＯＰにおける各インタフレームを符号化する以下の工程、即ち、前記ビデオシーケンスの送信に使用される利用可能なチャンネル帯域幅と当該符号化処理に利用可能な計算資源とに基づいて所望のフレームレートを決定する工程と、前記所望のフレームレートと前記Ｉフレームに対する前記インタフレームの位置とに基づいてターゲットバッファレベルを決定する工程と、前記ターゲットバッファレベルと前記利用可能なチャンネル帯域幅とに基づいて、前記ビデオシーケンスを符号化する前記レートを制御するために使用されるターゲットビットレートを決定する工程とを含んでいるレート制御方法によって達成される。
ビデオシーケンスのＧＯＰは、Ｉフレーム（イントラフレーム、即ち、動き検出／動き補償を実行せずに完全に符号化されるフレーム）と、インタフレームとしての複数のＰフレーム（予測フレーム、即ち、動き検出／動き補償を使用して符号化されるフレーム）若しくはＢフレーム（双方向フレーム、即ち、二つの近接するイントラフレームから動き検出／動き補償を使用して符号化されるフレーム）とを含んでいるものとする。ビットはその複雑性に基づいてＩフレームに割り当てられ、また本発明によるレート制御方法を使用して、各インタフレーム、好ましくは各Ｐフレームに割り当てられる。
レート制御方法、とりわけターゲットバッファレベルとそれに対応するターゲットビットレートの決定は、ＧＯＰのＰフレーム上で実行することが好ましいが、本発明による速度制御方法はＢフレーム上においても実行できる。
インタフレーム、好ましくはＰフレームを符号化する際、まず所望のフレームレートを、利用可能なチャンネル帯域幅と符号化工程に利用可能な計算資源とに基づいて決定する。所望のフレームレートは一定ではなく、利用可能なチャンネル帯域幅と利用可能な計算資源とに応じて、各インタフレームに合わせて変化する。
所望のフレーム速度を得るのに利用可能な計算資源が不十分であれば、エンコーダバッファに蓄積される符号化ビットは少なくなり、その結果、バッファアンダーフローやチャンネル帯域幅の無駄を招くこととなる。従って、符号化処理に利用可能な計算資源を考慮してターゲットバッファレベルを予め定義することによって、バッファアンダーフローを防止する。
ターゲットバッファレベルは、ＧＯＰに割り当てられたビット総数がＧＯＰの各インタフレーム（好ましくはＰフレーム）へどのように分配されるか、即ち各インタフレームのバジェットを定義する。しかしながら、各インタフレームのバジェットと各インタフレームが実際に使用するビットとの間には違いがあるのが普通である。そこで、各インタフレームひいては各ＧＯＰがそのバジェットを確実に使用するように、各インタフレームについてターゲットビットレートが計算される。ターゲットビットレートは、流体フローモデルと線形制御理論（linear system control theory）とを使用して、ターゲットバッファレベルと利用可能なチャンネル帯域幅とを考慮に入れて計算される。
所望のフレームレートは、インタフレーム（好ましくはＰフレーム）についてターゲット符号化タイムインターバル、即ち、インタフレームを符号化するのに必要な時間を決定することにより決定される。ターゲット符号化タイムインターバルは、所望のフレームレートに反比例し、利用可能な帯域幅に基づいて、そして好ましくは平均符号化タイムインターバルにも基づいて決定される。インタフレームを符号化する平均符号化タイムインターバルは、計算資源に比例するので、利用可能な計算資源の指標となる。利用可能な帯域幅は、非特許文献６に開示される方法を使用して概算できる。
インタフレームを符号化するターゲット符号化タイムインターバルは、次式を使用して決定される。
Figure 2005538606
この式において、Tfi(n)は、前記インタフレームについての前記ターゲット符号化タイムインターバル、A1は、0.80<A1<1.00のパラメータであり、A2は、1.00<A2<1.10のパラメータであり、B1は、1.00<B1<2.00のパラメータであり、B2は、0<B2<1.00のパラメータであり、TBmad(n)はBmad(n)の平均であり、Bmad(n)は、次式によって平均符号化タイムインターバルTaveに関連付けられる。
Figure 2005538606
この式において、u(n)は前記利用可能なチャンネル帯域幅であり、Tave(n-1)は、インタフレームについての平均符号化タイムインターバルであり、MAD(n)は、現在のフレームとその前のフレームとの間の平均差分絶対値または差分絶対値和（mean absolute difference）である。
本発明においては、A1は0.9に設定されることが好ましく、A2は1.05に設定されることが好ましく、B1は1.5に設定されることが好ましく、B2は0.25に設定されることが好ましい。
取得されたターゲット符号化タイムインターバルTfi(n)の値は、次式を用いてさらに調整することが望ましい。
Figure 2005538606
ターゲット符号化タイムインターバルTfi(n)は、所望のフレームレートに反比例する。
平均符号化タイムインターバルは、インタフレームを符号化する実際の符号化タイムインターバル、ターゲット符号化タイムインターバル、及びバッファオーバーフローに起因してスキップされるフレームの数に関する情報を使用して決定される。
平均符号化タイムインターバルは、次式を使用して決定される。
Figure 2005538606
この式において、Tave(n)はインタフレームを符号化する平均タイムインターバルであり、χは加重係数であり、Tc(n)はインタフレームを符号化する実際の時間であり、Frは予め定義されたフレームレートであり、RTstは次式で更に定義される。
Figure 2005538606
この式においてNpost(n)はバッファオーバーフローに起因してスキップされるフレームの数である。
Figure 2005538606
この記号は、ａ未満の最大整数を表している。
スライドウインドウに基づいた方法を使用してTfi(n)を計算することは、符号化処理全体のパフォーマンス全般へのバーストノイズの影響を軽減するという利点を有する。
本発明に係る所望のフレームレートを調整するこの単純な方法は、知覚動作平滑度（perceptual motion smoothness）を顕著に低下させることなく、突然の動き変化およびチャンネル帯域幅の経時変化のもとで、インタフレームの品質を許容範囲内に維持することもできる。
所望のフレームレートは、平均符号化タイムインターバルTave(n)に関する情報を使用して、即ち、利用可能な計算資源に基づいて決定される。
各ＧＯＰにおいて、各フレームのターゲットバッファレベルは、同じＧＯＰに属する遠くのインタフレームよりもＧＯＰのＩフレームに近いインタフレーム（好ましくはＰフレーム）に、より多くのビットが割り当てられるように予め定義される。この方法では、Ｉフレームに近いインタフレームが、高品質で符号化され、この高品質インタフレームから予測される次のインタフレームもまた高品質となる。その結果、このインタフレームに基づく予測ゲインは向上する。
ターゲットバッファレベルは次式を使用して決定される。
Figure 2005538606
この式において、Target(n)はターゲットバッファレベルであり、Ngopは一のＧＯＰにおけるフレーム数であり、Bsはバッファサイズであり、BcはＩフレーム符号化後の実際のバッファ占有率であり、Scは所望のフレームレートでインタフレームを符号化するには不十分な利用可能計算資源に起因してスキップされるフレームの平均数であり、Wpos(l)はｌ番目のインタフレームの位置加重（position weight）であり、次式
Figure 2005538606
及び
Figure 2005538606
を満足する。
不十分な利用可能計算資源に起因してスキップされるフレームの平均数は、インタフレームを符号化する際の不十分な計算資源に起因してスキップされるフレームの現在数または即時数（instant number）
Figure 2005538606
に基づいて決定される。不十分な計算資源に起因してスキップされるフレームの現在の数は、実際の符号化タイムインターバルとターゲット符号化タイムインターバルとに基づいて決定される。不十分な計算資源に起因してスキップされるフレームの現在の数は、次式を使用してまとめることができる。
Figure 2005538606
この式において、TST(n)は更に次式で定義される。
Figure 2005538606
この式において、
Figure 2005538606
は、次式のように定義される。
Figure 2005538606
この式において、Tc(n)は実際の符号化タイムインターバルであり、Frは予め定義されたフレームレートである。
不十分な計算資源に起因してスキップされるフレームの平均数は、次式を使用して決定される。
Figure 2005538606
この式において、θは加重係数である。
ターゲットバッファレベルを計算するために、スキップされるフレームの現在数の代わりに、スキップされるフレームの平均数Scを使用することの利点は、Scの値が緩やかに変化することである。このScの緩やかな変化は、ビデオの符号化処理に使用される量子化パラメータの緩やかな調整と一致する。
しかしながら、本発明における他の実施形態においては、スキップされるフレームの平均数の代わりに、スキップされるフレームの現在数
Figure 2005538606
を使用して、ターゲットバッファレベルを決定することもできる。
チャンネル帯域幅が一定である場合、各フレームの複雑性は等しく、所望のフレーム速度が保証され、ｉ番目のＧＯＰにおけるｎ番目のインタフレームについてのターゲットバッファレベルは次式のように単純化することができる。
Figure 2005538606
この式から分かるように、現在のインタフレームのターゲットバッファレベルは、次のインタフレームのターゲットバッファレベルよりも大きい。換言すれば、同じＧＯＰに属するＩフレーム（即ちイントラフレーム）から遠いインタフレームよりもＩフレームに近いインタフレームに、より多くのビットが割り当てられる。
本発明の好適な一実施形態に係るターゲットビットレートは、インタフレームについての平均符号化タイムインターバルと、不十分な計算資源に起因してスキップされるフレームの平均数と、ターゲットバッファレベルと、利用可能なチャンネル帯域幅と、実際のバッファ占有率とに基づいて決定される。とりわけ、本発明の好適な一実施形態に係るターゲットビットレートは、次式を使用して決定される。
Figure 2005538606
この式において、
Figure 2005538606
は、ターゲットビットレートであり、tn,iは、i番目のＧＯＰにおけるn番目のインタフレームが符号化された時刻であり、γは定数である。
利用可能なチャンネル帯域幅u(tn,i)及び平均符号化タイムインターバルTave(n-1)は、インタフレームについてのターゲットビットレート決定に使用されるので、本発明に係るビットレート制御方法は、利用可能なチャンネル帯域幅及び利用可能な計算資源の両方に適用可能である。
このように決定されたインタフレームについてのターゲットビットレートは、次式を使用する加重時間平滑化（weighted temporal smoothing）によって更に調整される。
Figure 2005538606
この式において、f(n)は平滑化されたターゲットビットレートであり、μは加重制御定数であり、Hhdr(n)は前のフレームのヘッダ、動きベクトル及び形状情報に使用されるビット量である。
他の実施形態においては、平均符号化タイムインターバルTave(n)の代わりに、実際の符号化タイムインターバルTfi(n)を使用してターゲットビットレートを決定することもできる。ターゲットビットレートの計算にTcの代わりに平均符号化タイムインターバルTaveを使用することの利点は、Taveが緩やかに変化することにある。このことは、ビデオシーケンスの符号化処理に係る量子化パラメータＱを緩やかに調整することと一致する。また、実際のフレームレートが予め定義されたフレームレートよりも遅いとき、即ち、次式の関係があるとき、各フレームにはより多くのビットが割り当てられる。
Figure 2005538606
従って、他の既存のレート制御方法に比べて、バッファアンダーフローの可能性が軽減され、チャンネル帯域幅の利用性が向上する。
各インタフレームについてターゲットビットレートが計算されると、それに対応する符号化処理の量子化パラメータの計算が可能となる。その際、非特許文献５に記載されたＲＤ法（レート−ひずみ法：Rate-Distortion method）を使用することが好ましい。
本発明に係るレート制御方法の符号化後のステージにおいて、符号化処理のスリープ時間は、次式を使用して更新される。
Figure 2005538606
この式において、STc(n)は、符号化処理のスリープ時間である。次のフレームの符号化開始時間は、次式によって与えられる。
Figure 2005538606
この式において、SCT(n)は符号化開始時間である。次のフレームの復号化開始時間は、次式により決定される。
Figure 2005538606
この式において、SDT(n)は復号化開始時間である。復号化開始時間は、デコーダへ送られ、そこで符号化されたビデオシーケンスの各フレームを複合化する時間に関する情報を提供する。
スリープ時間STc(n)及び復号化開始時間SDT(n)を決定する際は、三つの点を考慮すべきである。どのフレームも二度符号化されることはなく、時間分解能は1/Frであり、必要時間はバッファがオーバーフローする危険のあるときに経過するものとする。
本発明に係る他の目的、特徴及び利点は、以下に記載する例示的実施形態の詳細な説明を添付の図面と共に参照することにより明らかにされる。
図１は、本発明の好適な一実施形態に係るレート制御方法をブロック図として示している。
本発明に係るレート制御方法は、以下の三つのステージからなる。即ち、開始ステージ、前符号化ステージ及び後符号化ステージである。
ステップ１０１において、ＧＯＰの符号化処理に係るフレームレートFrが予め定義される。この段階で好適な符号化フレームレートを選択すると共に、エンコーダ及びデコーダのパラメータ／仕様などの実際的な問題を考慮すべきである。更に、レート制御を含むビデオ符号化処理が実行されるハードウェアが、予め定義されたフレームレートをサポートしうるのか否かは、常に明らかであるとは限らない。
ステップ１０２において、ビデオフレームのバッファサイズが、待ち時間要件に基づいて設定される。Ｉフレームを符号化する前に、バッファはBs＊σに初期化されるが、Bsはバッファサイズであり、σは0≦σ≦0.5として定義されるパラメータである。続いてステップ１０３にて、Ｉフレームは予め定義された量子化パラメータQ0の初期値を使用して符号化される。ステップ１０３におけるＩフレームの符号化は、非特許文献１、３、４及び５に記載された方法のいずれかを使用して実行してもよい。
Ｉフレームを符号化した後、対応するビデオフレームの符号化に好適な量子化パラメータを決定するために後で使用するレート−ひずみ（ＲＤ）モデルのパラメータが、後符号化ステージ（ステップ１０４）において更新される。後符号化ステージの次のステップ１０５において、バッファオーバーフローに起因してスキップされるフレーム数Ｎpost(n)が決定される。このとき非特許文献５に開示された方法を使用することが好ましい。
ステップ１０６において、現在のフレームの後の符号化工程のスリープ時間STc(n)が決定され、このスリープ時間STc(n)は次のフレームの符号化開始時間SCT(n)を決定するために使用される。続いてステップ１０７において、先に決定された符号化開始時間SCT(n)を使用して、次のフレームの復号化開始時間SDT(n)が決定され、デコーダへ送られる。
Ｉフレームの符号化が完了した後、インタフレームである次のフレームが、先の前符号化ステージで決定された量子化パラメータを使用して符号化される。
ビデオコンテンツの統計値又はチャンネル帯域幅が経時変化するとき、ビデオシーケンスの各フレーム量は、符号化フレームレートが予め定義されたフレーム速度Frに固定されるなら顕著に変化する。これを避けるため、前符号化ステージにおいて、利用可能なチャンネル帯域幅と突然の動きの変化とによってターゲットフレームレート又は所望フレームレートを決定する。
ステップ１０８において、平均符号化タイムインターバルTave(n)、又はＰフレームの符号化に必要な平均タイムインターバルが決定される。次いでステップ１０９において、平均符号化タイムインターバルTave(n)を使用してターゲット符号化タイムインターバルTfi(n)を決定する。ターゲット符号化タイムインターバルTfi(n)は、所望フレームレートに反比例している。
次いでステップ１１０において、決定された所望レートを使用して、Ｐフレームのターゲットバッファレベルを決定する。ステップ１１１において、ターゲットバッファレベル、実際のバッファ占有率、利用可能なチャンネル帯域幅、所望フレームレート及び平均符号化タイムインターバルTaveを使用して、Ｐフレームのターゲットビットレートf(n)を決定する。
ターゲットビットレートf(n)に基づいて、ステップ１１２においてＰフレームにビットが割り当てられる。対応する量子化パラメータＱは、ステップ１０４で更新されたＲＤモデルを使用してステップ１１３において非特許文献５に記載されたように計算される。ステップ１０４において、量子化パラメータＱを使用してＰフレームが符号化される。
次のフレームがＰフレームであるなら、後符号化ステージにおけるステップ１０４においてＲＤモデルを再び更新され、前符号化ステージ及び後符号化ステージ全体の相互作用により次のＰフレームが符号化される。
次のフレームが次のＧＯＰのＩフレームであるなら、符号化工程は再びステップ１０１から開始し、次のＩフレームの符号化を行う。
本発明に係る前符号化ステージにおけるステップ８から１１１並びに後符号化ステージにおけるステップ１０６及び１０７の実施を以下詳細に説明する。
ｉ番目のＩフレームを符号化した後、ターゲットバッファレベルの初期値を次式の如く初期化する。
Figure 2005538606
この式において、Bc(ti,I)はｉ番目のＩフレームを符号化した後の実際のバッファ占有率であり、ti,Iはｉ番目のＩフレームを符号化する時刻である。
ＧＯＰの各Ｐフレームのターゲットビットレートを決定するには、Ｐフレームのターゲットバッファレベルを決定する必要がある。ターゲットバッファレベルを決定する第一段階は、所望のフレームレートを決定することである。これは、まず次式を使用してＰフレームの平均符号化タイムインターバルTave(n)を決定することによりなされる（ステップ１０８）。
Figure 2005538606
この式において、χは加重係数であり、Tc(n)はＰフレームを符号化する実際の時間であり、RTstは次式で定義される。
Figure 2005538606
この式において
Figure 2005538606
は、ａ未満の最大整数である。
加重係数χは、０＜χ＜１であり、好ましくは値0.125に設定される。平均符号化タイムインターバルTave(n)の初期値は、次式で与えられる。
Figure 2005538606
更にRTst(n)の初期値は次式によって与えられる。
Figure 2005538606
更に変数Bmad(n)は次式によって定義される。
Figure 2005538606
この式において、u(n)は利用可能なチャンネル帯域幅であり、MAD(n)は、現在のフレームと前のフレームとの間の平均差分絶対値である。
利用可能なチャンネル帯域幅u(n)は、非特許文献６に記載の方法によって概算することができる。
続いて次式を使用してBmad(n)の平均値が計算される。
Figure 2005538606
この式において、TBmad(n)はBmad(n)の平均値であり、εは加重係数であり好ましくは値0.125である。
TBmad(n)の値を計算した後は、以下のようにターゲット符号化タイムインターバルTfi(n)を計算することができる（ステップ１０９）。
Figure 2005538606
この式において、A1は0.80＜A1＜1.00のパラメータであり、A2は1.00＜A2＜1.10のパラメータであり、B1は1.00＜B1＜2.00のパラメータであり、B2は0＜B2＜1.00のパラメータである。
等式（９）、（１０）、（１１）から決定されたターゲット符号化タイムインターバルTfi(n)の値は、次式によって更に調整してもよい。
Figure 2005538606
この式において、Tfi(n)の初期値は次式で与えられる。
Figure 2005538606
所望のフレームレートがターゲット符号化タイムインターバルTfi(n)の逆数から決定された後、不十分な計算資源に起因してスキップされるフレームの平均数Sc(n)を決定して、ターゲットバッファレベルを決定する。
二つの時間変数は次式で定義される。
Figure 2005538606
Figure 2005538606
これらの式において、TST(n)の初期値は次式で与えられる。
Figure 2005538606
不十分な計算資源に起因してスキップされるフレームの現在数
Figure 2005538606
は、次式によって与えられる。
Figure 2005538606
更に不十分な計算資源に起因してスキップされるフレームの平均数Sc(n)は、次式によって与えられる。
Figure 2005538606
この式においてθは0＜θ＜1であり、好ましくは値0.125に設定される。Sc(n)の初期値は、次式によって与えられる。
Figure 2005538606
Ｐフレームのターゲットバッファレベルは、ここで次式を使用して決定することができる（ステップ１１０）。
Figure 2005538606
この式において、Target(n)はターゲットバッファレベルであり、NgopはＧＯＰ内のフレーム数であり、Wpos(l)は次式を満足するｌ番目のインタフレームの位置加重（position weight）である。
Figure 2005538606
Figure 2005538606
ＲＤモデルは正確ではないので、各フレームのターゲットバッファレベルと実際のバッファ占有率との間には差があるのが通常である。従って、実際のバッファ占有率がターゲットバッファレベルとなるように、各フレームについて、ターゲットビットレートが計算される。各フレームについてのターゲットビットレートは、次式で決定される。
Figure 2005538606
この式において
Figure 2005538606
はターゲットビットレートであり、tn,iはｉ番目のＧＯＰにおけるｎ番目のＰフレームが符号化される時刻であり、γは0＜γ＜１の定数であり、好ましくは値0.25に設定される。
各Ｐフレームのターゲットビットレートを決定するために、利用可能なチャンネル帯域幅u(tn,i)及び平均符号化タイムインターバルTave(n-1)が使用されるので、本発明に係るビットレート制御方法（レート制御方法）は、チャンネル帯域幅及び計算資源に適用可能である。
また以下の加重時間平滑化式を使用して、ターゲットビットレートを更に調整してもよい。
Figure 2005538606
この式において、f(n)は平滑化されたターゲットビットレートであり、μは加重制御定数であり好ましくは値0.5に設定される。Hhdr(n)は、前のフレームのヘッダ、動きベクトル及び形状情報に使用されるビット量である。
ターゲットビットレートが決定されると、このターゲットビットレートに基づいて各Ｐフレームにビットが割り当てられる（ステップ１１２）。非特許文献５に記載された方法を私用して、対応する量子化パラメータＱも計算される（ステップ１１３）。続いて、対応する量子化パラメータＱをＰフレームの符号化に使用する（ステップ１１４）。
Ｐフレームの符号化が完了した後、後符号化ステージ（ステップ１０４、１０５）において、各々非特許文献５に開示された方法を使用して、ＲＤモデルのパラメータを更新し、バッファオーバーフローに起因してスキップされるフレーム数を決定する。
後符号化ステージの次のステップ（ステップ１０６）において、次式を使用して、現在のフレーム後の符号化工程のスリープ時間を決定する。
Figure 2005538606
この式において、STc(n)は符号化工程のスリープ時間である。次のフレームの符号化開始時間は、次式を使用して求めることができる。
Figure 2005538606
この式において、SCT(n)は符号化開始時間である。続いて次式を使用して、次のフレームの復号化開始時間を求めることができる（ステップ１０７）。
Figure 2005538606
この式において、SDT(n)は復号化開始時間である。続いて、次のフレームのSDT(n)がデコーダへ送られ、SDT(n)によって示される時間で次のフレームが複合化される。
STc(n)及びSDT(n)の決定において、二度符号化されるフレームはなく、時間分解能は1/Frであり、バッファオーバーフローの可能性があるとき必要時間を経過させる。
本発明に係るレート制御方法の目的が達成されたことを示すために、本発明に係るレート制御方法と、標準的なMPEG-4符号化装置において使用されるレート制御方法とを二つのビデオシーケンスに適用し、それらのパフォーマンスを比較した。
二つのビデオシーケンスは、夫々「天気」及び「子供」と称され、いずれもＱＣＩＦサイズである。予め定義されたフレームレートFcは30 fps（frames per second）であり、各ＧＯＰの長さは50である。ビデオシーケンスの各フレームの符号化に使用される計算時間並びに利用可能なチャンネル帯域幅を夫々図２及び図3に示す。
実際のフレームレートは約17 fpsであり、これは予め定義されたフレームレート30 fpsよりも遅い。初期バッファ充填度は、Bs/8に設定され、初期量子化パラメータＱ０は15に設定される。
図４及び図５は、本発明に係るレート制御方法並びにMPEG-4で使用されるレート制御方法夫々によるピークＳＮ比（PSNR）を、「天気」及び「子供」ビデオシーケンス夫々について示している。
本発明に係るレート制御方法による「天気」ビデオシーケンスの平均PSNRは34.16 dBであり、MPEG-4で使用されるレート制御方法による「天気」ビデオシーケンスの平均PSNRは32.6 dBである。同様に、本発明に係るレート制御方法による「子供」ビデオシーケンスの平均PSNRは30.51 dBであり、MPEG-4で使用されるレート制御方法による「子供」ビデオシーケンスの平均PSNRは29.87 dBである。
従って、本発明に係るレート制御方法によるビデオシーケンスの平均PSNRの方が、MPEG-4に係るレート制御方法による場合よりも大きい。
図６及び図７は、本発明に係るレート制御方法並びにMPEG-4で使用されるレート制御方法夫々による実際のバッファ占有率を、「天気」及び「子供」ビデオシーケンス夫々について示している。
図6及び図７から分かるように、MPEG-4に係るレート制御方法による場合のバッファアンダーフローの発生は、「天気」ビデオシーケンスについては12回、「子供」ビデオシーケンスについては18回である。本発明に係るレート制御方法による場合は、これら二つのビデオシーケンスについてバッファアンダーフローは発生しない。
本発明の好適な一実施形態に係るレート制御方法を示すブロック図である。 「天気」と「子供」のビデオシーケンスにおける各フレームに使用されるチャンネル帯域幅を示す図である。 本発明の好適な前記実施形態を使用する「天気」と「子供」のビデオシーケンスにおける各フレームの符号化に必要な計算時間を示す図である。 「天気」のビデオシーケンスに係るＰＳＮＲの比較図である。 「子供」のビデオシーケンスに係るＰＳＮＲの比較図である。 「天気」のビデオシーケンスに係る実際のバッファ占有率の比較図である。 「子供」のビデオシーケンスに係る実際のバッファ占有率の比較図である。

Claims (23)

  1. ビデオシーケンスを符号化するレートを制御するレート制御方法であって、前記ビデオシーケンスが複数のＧＯＰを含んでおり、各ＧＯＰが少なくともＩフレームとインタフレームとを含んでおり、当該方法が、当該ＧＯＰにおける各インタフレームを符号化する以下の工程、即ち、
    前記ビデオシーケンスの送信に使用される利用可能なチャンネル帯域幅と当該符号化処理に利用可能な計算資源とに基づいて所望のフレームレートを決定する工程と、
    前記所望のフレーム速度と前記Ｉフレームに対する前記インタフレームの位置とに基づいてターゲットバッファレベルを決定する工程と、
    前記ターゲットバッファレベルと前記利用可能なチャンネル帯域幅とに基づいて、前記ビデオシーケンスを符号化する前記レートを制御するために使用されるターゲットビットレートを決定する工程と
    を含んでいるレート制御方法。
  2. 前記インタフレームについてターゲット符号化タイムインターバルを決定する工程と、
    決定された前記ターゲット符号化タイムインターバルに基づいて前記所望のフレームレートを決定する工程と
    を更に含んでいる請求項１に記載のレート制御方法。
  3. 前記インタフレームについての前記ターゲット符号化タイムインターバルが、前記利用可能なチャンネル帯域幅と前記インタフレームの符号化に使用される平均符号化タイムインターバルとに基づいて決定され、前記平均符号化タイムインターバルが前記符号化処理に利用可能な計算資源に比例する請求項２に記載の速度制御方法。
  4. 前記インタフレームについての前記ターゲット符号化タイムインターバルが、次式を使用して決定され、
    Figure 2005538606
     この式において、Tfi(n)は、前記インタフレームについての前記ターゲット符号化タイムインターバルであり、A1は、0.80<A1<1.00のパラメータであり、A2は、1.00<A2<1.10のパラメータであり、B1は、1.00<B1<2.00のパラメータであり、B2は、0<B2<1.00のパラメータであり、TBmad(n)はBmad(n)の平均であり、Bmad(n)は、次式によって定義され、
    Figure 2005538606
     この式において、u(n)は前記利用可能なチャンネル帯域幅であり、Tave(n-1)は、前記インタフレームについての前記平均符号化タイムインターバルであり、MAD(n)は、現在のフレームとその前のフレームとの間の平均差分絶対値（mean absolute difference）である請求項３に記載のレート制御方法。
  5. 前記ターゲット符号化タイムインターバルが、次式、
    Figure 2005538606
     により更に調整される請求項４に記載のレート制御方法。
  6. 前記インタフレームについての前記平均符号化タイムインターバルが、前記インタフレームについての実際の符号化タイムインターバルに基づいて決定される請求項３に記載のレート制御方法。
  7. 前記インタフレームについての前記平均符号化タイムインターバルが、更に、前記ターゲット符号化タイムインターバルとバッファオーバーフローに起因してスキップされるフレームの数とに基づいて決定される請求項６に記載のレート制御方法。
  8. 前記インタフレームについての前記平均符号化タイムインターバルが、次式を使用して決定され、
    Figure 2005538606
     この式において、χは加重係数であり、Tc(n)は実際の符号化時間であり、Frは予め定義されたフレームレートであり、RTstは次式
    Figure 2005538606
     で更に定義され、この式においてNpost(n)はバッファオーバーフローに起因してスキップされるフレームの数である請求項７に記載のレート制御方法。
  9. 同一ＧＯＰに属するＩフレーム由来の他のインタフレームに比べて当該ＧＯＰにおける前記Ｉフレームにより近いインタフレームがより高いターゲットバッファレベルを有するように前記ターゲットバッファレベルが決定される請求項５に記載のレート制御方法。
  10. 前記ターゲットバッファレベルが次式を使用して決定され、
    Figure 2005538606
     この式において、Target(n)はターゲットバッファレベルであり、Ngopは一のＧＯＰにおけるフレーム数であり、Bsはバッファサイズであり、Bcは実際のバッファ占有率であり、Scは所望のフレームレートでインタフレームを符号化するには不十分な利用可能計算資源に起因してスキップされるフレームの平均数であり、Wpos(l)はｌ番目のインタフレームの位置加重（position weight）であり、次式
    Figure 2005538606
     及び
    Figure 2005538606
     を満足する請求項９に記載の速度制御方法。
  11. 前記所望のフレームレートで前記インタフレームを符号化するには不十分な利用可能計算資源に起因してスキップされるフレームの前記平均数が、前記インタフレームを符号化する間、前記不十分な計算資源に起因してスキップされるフレームの現在数（instant number）に基づいて決定される請求項１０に記載のレート制御方法。
  12. 前記不十分な計算資源に起因してスキップされるフレームの現在数が、前記実際の符号化タイムインターバルと前記ターゲット符号化タイムインターバルとに基づいて決定される請求項１１に記載のレート制御方法。
  13. 前記スキップされるフレームの現在数が、次式を使用して決定され、
    Figure 2005538606
     この式において、TST(n)は更に次式で定義され、
    Figure 2005538606
     この式において、
    Figure 2005538606
     は、次式のように定義され、
    Figure 2005538606
     この式において、
    Figure 2005538606
     は、不十分な計算資源に起因してスキップされるフレームの現在数であり、Tc(n)は実際の符号化タイムインターバルであり、Frは予め定義されたフレーム速度である請求項１２に記載のレート制御方法。
  14. 前記不十分な計算資源に起因してスキップされるフレームの平均数が、次式を使用して決定され、
    Figure 2005538606
     この式において、θは加重係数である請求項１３に記載の速度制御方法。
  15. 前記ターゲットビットレートが、前記インタフレームについての前記平均符号化タイムインターバルと、前記不十分な計算資源に起因してスキップされるフレームの平均数と、前記ターゲットバッファレベルと、前記利用可能なチャンネル帯域幅と、前記実際のバッファ占有率とに基づいて決定される請求項１４に記載のレート制御方法。
  16. 前記ターゲットビットレートが、次式を使用して決定され、
    Figure 2005538606
     この式において、
    Figure 2005538606
     は、ターゲットビットレートであり、tn,iは、i番目のＧＯＰにおけるn番目のインタフレームが符号化された時刻であり、γは定数である請求項８及び１５に記載のレート制御方法。
  17. 前記ターゲットビットレートが、次式を使用する加重時間平滑化によって更に調整され、
    Figure 2005538606
     この式において、f(n)は平滑化されたターゲットビットレートであり、μは加重制御定数であり、Hhdr(n)は前のフレームのヘッダ、動きベクトル及び形状情報に使用されるビット量である請求項１６に記載のレート制御方法。
  18. 各フレームを符号化した後の各フレームのスリープ時間を決定する工程と、
    前記計算されたスリープ時間に基づいて、各フレームの符号化開始時間を決定する工程と、
    前記計算された符号化開始時間に基づいて、次のフレームの復号化開始時間を決定する工程と、
    前記ビデオシーケンスを復号化するよう構成されたデコーダへ、前記決定された復号化開始時間を送信する工程と
    を更に含んでいる請求項１に記載のレート制御方法。
  19. 前記スリープ時間が、次式により決定され、
    Figure 2005538606
     この式において、STc(n)は前記符号化工程の前記スリープ時間である請求項１８に記載のレート制御方法。
  20. 前記符号化開始時間が、次式により決定され、
    Figure 2005538606
     この式において、SCT(n)は符号化開始時間である請求項１９に記載のレート制御方法。
  21. 前記復号化開始時間が、次式により決定され、
    Figure 2005538606
     この式において、SDT(n)は復号化開始時間である請求項２０に記載のレート制御方法。
  22. ビデオシーケンスを符号化するレートを制御するレート制御装置であって、前記ビデオシーケンスが複数のＧＯＰを含んでおり、各ＧＯＰが少なくともＩフレームとインタフレームとを含んでおり、当該装置が、各ＧＯＰにおける前記インタフレームを符号化する以下の工程、即ち、
    前記ビデオシーケンスの送信に使用される利用可能なチャンネル帯域幅と当該符号化工程に利用可能な計算資源とに基づいて所望のフレームレートを決定する工程と、
    前記所望のフレームレートと前記Ｉフレームに対する前記インタフレームの位置とに基づいてターゲットバッファレベルを決定する工程と、
    前記ターゲットバッファレベルと前記利用可能なチャンネル帯域幅とに基づいて、前記ビデオシーケンスを符号化する前記レートを制御するために使用されるターゲットビットレートを決定する工程と
    を実行するよう構成された処理ユニットを含んでいるレート制御装置。
  23. ビデオシーケンスを符号化するレートを制御するビデオ符号化装置であって、前記ビデオシーケンスが複数のＧＯＰを含んでおり、各ＧＯＰが少なくともＩフレームとインタフレームとを含んでおり、当該装置が、当該ＧＯＰにおける各インタフレームを符号化する以下の工程、即ち、
    前記ビデオシーケンスの送信に使用される利用可能なチャンネル帯域幅と当該符号化工程に利用可能な計算資源とに基づいて所望のフレーム速度を決定する工程と、
    前記所望のフレームレートとその複雑性と前記Ｉフレームに対する前記インタフレームの位置とに基づいてターゲットバッファレベルを決定する工程と、
    前記ターゲットバッファレベルと前記利用可能なチャンネル帯域幅とに基づいて、前記ビデオシーケンスを符号化する前記レートを制御するために使用されるターゲットビットレートを決定する工程と
    を実行するよう構成された処理ユニットを含んでいるビデオ符号化装置。
JP2004533955A 2002-09-05 2002-09-05 ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 Expired - Fee Related JP4390112B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2002/000206 WO2004023821A1 (en) 2002-09-05 2002-09-05 A method and an apparatus for controlling the rate of a video sequence; a video encoding device

Publications (2)

Publication Number Publication Date
JP2005538606A true JP2005538606A (ja) 2005-12-15
JP4390112B2 JP4390112B2 (ja) 2009-12-24

Family

ID=31974287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004533955A Expired - Fee Related JP4390112B2 (ja) 2002-09-05 2002-09-05 ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置

Country Status (8)

Country Link
US (1) US7876821B2 (ja)
EP (1) EP1547393A4 (ja)
JP (1) JP4390112B2 (ja)
CN (1) CN100401782C (ja)
AU (1) AU2002334568A1 (ja)
MX (1) MXPA05002511A (ja)
TW (1) TWI323122B (ja)
WO (1) WO2004023821A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530892A (ja) * 2006-03-14 2009-08-27 キヤノン株式会社 ビデオ画像シーケンスの時間的頻度を適合させる方法および装置
JP2010512697A (ja) * 2006-12-12 2010-04-22 ヴァントリックス コーポレーション 映像符号化規格に対応した映像レート制御の改善
JP2010530673A (ja) * 2007-06-19 2010-09-09 ヴァントリックス・コーポレーション ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御
JP2015084295A (ja) * 2013-10-25 2015-04-30 株式会社メガチップス 照明用モジュール、無線通信用モジュール、照明装置、および、照明制御システム

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760772B2 (en) * 2000-12-15 2004-07-06 Qualcomm, Inc. Generating and implementing a communication protocol and interface for high data rate signal transfer
US8812706B1 (en) 2001-09-06 2014-08-19 Qualcomm Incorporated Method and apparatus for compensating for mismatched delays in signals of a mobile display interface (MDDI) system
KR101166734B1 (ko) * 2003-06-02 2012-07-19 퀄컴 인코포레이티드 고속 데이터 레이트를 위한 신호 프로토콜 및 인터페이스의 생성 및 구현
JP2007507918A (ja) * 2003-08-13 2007-03-29 クゥアルコム・インコーポレイテッド さらに高速なデータレート用の信号インタフェース
KR100973103B1 (ko) * 2003-09-10 2010-08-02 콸콤 인코포레이티드 고속 데이터 인터페이스
EP1665567A4 (en) * 2003-09-15 2010-08-25 Directv Group Inc METHOD AND SYSTEM FOR ADAPTIVELY TRANSCODING AND TRANSRATING IN A VIDEO NETWORK
AU2004306903C1 (en) * 2003-10-15 2009-01-22 Qualcomm Incorporated High data rate interface
AU2004307162A1 (en) * 2003-10-29 2005-05-12 Qualcomm Incorporated High data rate interface
KR100915250B1 (ko) * 2003-11-12 2009-09-03 콸콤 인코포레이티드 향상된 링크 제어를 제공하는 고속 데이터 레이트 인터페이스
WO2005053272A1 (en) * 2003-11-25 2005-06-09 Qualcomm Incorporated High data rate interface with improved link synchronization
EP2247070B1 (en) * 2003-12-08 2013-09-25 QUALCOMM Incorporated High data rate interface with improved link synchronization
EP2375676B1 (en) 2004-03-10 2013-06-26 Qualcomm Incorporated High data rate interface apparatus and method
EP1735986B1 (en) * 2004-03-17 2013-05-22 Qualcomm, Incorporated High data rate interface apparatus and method
BRPI0509147A (pt) * 2004-03-24 2007-09-11 Qualcomm Inc equipamentos e método para interface de alta taxa de dados
US8650304B2 (en) * 2004-06-04 2014-02-11 Qualcomm Incorporated Determining a pre skew and post skew calibration data rate in a mobile display digital interface (MDDI) communication system
KR100926658B1 (ko) * 2004-06-04 2009-11-17 퀄컴 인코포레이티드 고 데이터 레이트 인터페이스 장치 및 방법
DE102004030631A1 (de) * 2004-06-24 2006-01-19 Infineon Technologies Ag Unterdrückung von durch Burst-artige Veränderungen der Datenrate verursachten Störungen bei synchroner Funkübertragung
US8539119B2 (en) * 2004-11-24 2013-09-17 Qualcomm Incorporated Methods and apparatus for exchanging messages having a digital data interface device message format
US8692838B2 (en) 2004-11-24 2014-04-08 Qualcomm Incorporated Methods and systems for updating a buffer
US8723705B2 (en) * 2004-11-24 2014-05-13 Qualcomm Incorporated Low output skew double data rate serial encoder
US8873584B2 (en) * 2004-11-24 2014-10-28 Qualcomm Incorporated Digital data interface device
US8667363B2 (en) * 2004-11-24 2014-03-04 Qualcomm Incorporated Systems and methods for implementing cyclic redundancy checks
US8699330B2 (en) * 2004-11-24 2014-04-15 Qualcomm Incorporated Systems and methods for digital data transmission rate control
US8355434B2 (en) * 2005-01-10 2013-01-15 Qualcomm Incorporated Digital video line-by-line dynamic rate adaptation
US7974193B2 (en) 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US7974341B2 (en) 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
US8692839B2 (en) * 2005-11-23 2014-04-08 Qualcomm Incorporated Methods and systems for updating a buffer
US8730069B2 (en) * 2005-11-23 2014-05-20 Qualcomm Incorporated Double data rate serial encoder
US8582905B2 (en) * 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
EP1838108A1 (en) * 2006-03-23 2007-09-26 Texas Instruments France Processing video data at a target rate
US8249141B1 (en) * 2007-07-13 2012-08-21 Sprint Spectrum L.P. Method and system for managing bandwidth based on intraframes
FR2919779B1 (fr) * 2007-08-02 2010-02-26 Canon Kk Procede et dispositif de codage avec perte d'un signal numerique
US9055301B2 (en) 2008-03-18 2015-06-09 Texas Instruments Incorporated Changing motion estimation precision to maintain encoding within desired time
CN101621351B (zh) * 2008-06-30 2013-09-11 华为技术有限公司 一种调节多媒体编码速率的方法、装置及系统
US8406297B2 (en) * 2008-10-17 2013-03-26 Futurewei Technologies, Inc. System and method for bit-allocation in video coding
CN101795386B (zh) * 2009-02-03 2013-07-31 英华达(上海)电子有限公司 可视电话发送端的视频帧流控制方法
CA2755774C (en) * 2009-03-19 2015-01-06 Azuki Systems, Inc. Method for scalable live streaming delivery for mobile audiences
WO2010111261A1 (en) * 2009-03-23 2010-09-30 Azuki Systems, Inc. Method and system for efficient streaming video dynamic rate adaptation
ES2398803T3 (es) 2009-06-29 2013-03-21 Nds Limited Extracción del mensaje de protección del contenido
US20120307886A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Adaptive Video Encoding Based on Predicted Wireless Channel Conditions
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
CN102325275A (zh) * 2011-10-17 2012-01-18 深圳市融创天下科技股份有限公司 一种流媒体播放的丢包方法、装置及服务器
SG11201502244WA (en) * 2012-09-21 2015-05-28 Agency Science Tech & Res A circuit arrangement and method of determining a priority of packet scheduling
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US20140177701A1 (en) * 2012-12-26 2014-06-26 Thomson Licensing System and method for time budget achievement in real-time video encoding
GB2514540B (en) * 2013-04-10 2020-01-08 Microsoft Technology Licensing Llc Resource for encoding a video signal
GB2518909B (en) * 2013-12-16 2015-10-28 Imagination Tech Ltd Encoder adaptation
CN105208390B (zh) * 2014-06-30 2018-07-20 杭州海康威视数字技术股份有限公司 视频编码的码率控制方法及其系统
US9979970B2 (en) * 2014-08-08 2018-05-22 Qualcomm Incorporated System and method for determining buffer fullness for display stream compression
US10841626B2 (en) 2014-10-27 2020-11-17 Texas Instruments Incorporated Selective picture-based encryption of video streams
CN106162257B (zh) * 2016-07-29 2019-05-03 南京云恩通讯科技有限公司 一种实时视频的自适应网络传输优化方法
EP3396961A1 (en) * 2017-04-24 2018-10-31 Axis AB Method and rate controller for controlling output bitrate of a video encoder
PL3970363T3 (pl) * 2019-05-15 2023-07-17 Huawei Technologies Co., Ltd. Obsługa narzędzia kodowania dwukierunkowego przepływu optycznego (bio) dla ponownego próbkowania obrazu referencyjnego w kodowaniu wideo
CN112291564B (zh) * 2020-11-20 2021-09-14 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4744787A (en) * 1984-10-29 1988-05-17 Medtronic, Inc. Iontophoresis apparatus and methods of producing same
US5135477A (en) * 1984-10-29 1992-08-04 Medtronic, Inc. Iontophoretic drug delivery
US5134476A (en) * 1990-03-30 1992-07-28 At&T Bell Laboratories Video signal encoding with bit rate control
US5147297A (en) * 1990-05-07 1992-09-15 Alza Corporation Iontophoretic delivery device
DE4014913C2 (de) * 1990-05-10 1996-05-15 Lohmann Therapie Syst Lts Miniaturisiertes transdermales therapeutisches System für die Iontophorese
US5405317A (en) * 1991-05-03 1995-04-11 Alza Corporation Iontophoretic delivery device
FR2687321B1 (fr) * 1992-02-14 1999-04-16 Elf Aquitaine Dispositif d'ionophorese pour l'administration transcutanee d'une quantite totale donnee d'un principe actif a un sujet.
US5717464A (en) * 1995-12-18 1998-02-10 Divicom, Inc. Rate control for a video encoder
US5872598A (en) * 1995-12-26 1999-02-16 C-Cube Microsystems Scene change detection using quantization scale factor rate control
US6366614B1 (en) * 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression
JPH10304360A (ja) 1996-10-15 1998-11-13 Matsushita Electric Ind Co Ltd 映像・音声符号化方法、符号化装置、及び符号化プログラム記録媒体
US6263020B1 (en) * 1996-12-24 2001-07-17 Intel Corporation Method and apparatus for bit rate control in a digital video system
DE69837003T2 (de) 1997-02-12 2007-10-18 Mediatek Inc. Vorrichtung und verfahren zur optimierung der bitratensteurung in einem kodiersystem
US5969764A (en) 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6043844A (en) * 1997-02-18 2000-03-28 Conexant Systems, Inc. Perceptually motivated trellis based rate control method and apparatus for low bit rate video coding
JPH10243399A (ja) * 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US6219343B1 (en) * 1997-07-29 2001-04-17 Nokia Mobile Phones Ltd. Rate control techniques for efficient high speed data services
GB2337392B (en) * 1997-12-08 2002-04-17 Sony Corp Coding device and method
US6181742B1 (en) * 1998-01-26 2001-01-30 International Business Machines Corporation Single pass target allocation for video encoding
US6256350B1 (en) * 1998-03-13 2001-07-03 Conexant Systems, Inc. Method and apparatus for low cost line-based video compression of digital video stream data
US6167088A (en) * 1998-04-03 2000-12-26 Sarnoff Corporation Method and apparatus for performing adaptive encoding rate control of a video information stream including 3:2 pull-down video information
US6091776A (en) * 1998-05-26 2000-07-18 C-Cube Microsystems, Inc. Delay balanced video encoder system
US6212232B1 (en) * 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
WO2000012172A1 (en) * 1998-08-31 2000-03-09 Birch Point Medical Inc. Controlled dosage drug delivery system
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
US6141380A (en) * 1998-09-18 2000-10-31 Sarnoff Corporation Frame-level rate control for video compression
JP3948597B2 (ja) 2000-03-08 2007-07-25 Ｋｄｄｉ株式会社 動画像圧縮符号化送信装置、受信装置および送受信装置
US6731685B1 (en) * 2000-09-20 2004-05-04 General Instrument Corporation Method and apparatus for determining a bit rate need parameter in a statistical multiplexer
US6731977B2 (en) * 2001-01-22 2004-05-04 Iomed, Inc. Iontophoretic electrode with improved current distribution

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530892A (ja) * 2006-03-14 2009-08-27 キヤノン株式会社 ビデオ画像シーケンスの時間的頻度を適合させる方法および装置
JP2010512697A (ja) * 2006-12-12 2010-04-22 ヴァントリックス コーポレーション 映像符号化規格に対応した映像レート制御の改善
US8401076B2 (en) 2006-12-12 2013-03-19 Vantrix Corporation Video rate control for video coding standards
JP2013258754A (ja) * 2006-12-12 2013-12-26 Vantrix Corp 映像符号化規格に対応した映像レート制御の改善
US9407909B2 (en) 2006-12-12 2016-08-02 Vantrix Corporation Video rate control for video coding standards
JP2010530673A (ja) * 2007-06-19 2010-09-09 ヴァントリックス・コーポレーション ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御
US8824546B2 (en) 2007-06-19 2014-09-02 Vantrix Corporation Buffer based rate control in video coding
JP2015084295A (ja) * 2013-10-25 2015-04-30 株式会社メガチップス 照明用モジュール、無線通信用モジュール、照明装置、および、照明制御システム

Also Published As

Publication number Publication date
CN100401782C (zh) 2008-07-09
AU2002334568A1 (en) 2004-03-29
MXPA05002511A (es) 2005-08-16
JP4390112B2 (ja) 2009-12-24
US20060140270A1 (en) 2006-06-29
EP1547393A1 (en) 2005-06-29
TWI323122B (en) 2010-04-01
EP1547393A4 (en) 2010-10-13
WO2004023821A1 (en) 2004-03-18
TW200410564A (en) 2004-06-16
US7876821B2 (en) 2011-01-25
CN1685734A (zh) 2005-10-19

Similar Documents

Publication Publication Date Title
JP4390112B2 (ja) ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置
KR100927083B1 (ko) 예측에 의한 유사 고정 품질 레이트 제어
Lee et al. Scalable rate control for MPEG-4 video
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
EP1639801B1 (en) Multipass video rate control to match sliding window channel constraints
Chen et al. Source model for transform video coder and its application. II. Variable frame rate coding
US7826530B2 (en) Use of out of order encoding to improve video quality
KR100601615B1 (ko) 네트워크 대역폭에 적응적인 영상 압축 장치
WO2002096120A1 (en) Bit rate control for video compression
CN100574442C (zh) 基于图像直方图的码率控制方法
EP4333433A1 (en) Video coding method and apparatus, and electronic device
US7274739B2 (en) Methods and apparatus for improving video quality in statistical multiplexing
CN102724507B (zh) 一种gpu加速编码器码率控制方法
JP2001028753A (ja) 動画像符号化装置及びその方法
JP2004040811A (ja) 動映像符号化のためのｄｃｔ演算量調節方法及びその装置
KR100949755B1 (ko) 비디오 시퀀스의 레이트를 제어하는 방법 및 장치, 비디오부호화 장치
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
KR20100129091A (ko) Ｈ.264를 위한 프레임 단위 비트율 제어 방법
CN117956160A (zh) 码率控制方法、码率控制装置以及计算机存储介质
CN110572661A (zh) 一种面向4k/8k超高清视频编码的低延时码率控制方法
Li et al. Adaptive rate control for real time video coding process
Liu et al. Improved methods for initializing RQ model parameters and quantization parameter in H. 264 rate control
Song et al. Real-time motion-based H. 263+ frame rate control
Lei et al. A frame layer bit allocation for H. 263+ based video transcoding
Song An Adaptive Rate Control Algorithm for RCBR Transmission of Streaming Video

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080904

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080919

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081006

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081106

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090409

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090410

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090930

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees