JP2010512697A - 映像符号化規格に対応した映像レート制御の改善 - Google Patents
映像符号化規格に対応した映像レート制御の改善 Download PDFInfo
- Publication number
- JP2010512697A JP2010512697A JP2009540563A JP2009540563A JP2010512697A JP 2010512697 A JP2010512697 A JP 2010512697A JP 2009540563 A JP2009540563 A JP 2009540563A JP 2009540563 A JP2009540563 A JP 2009540563A JP 2010512697 A JP2010512697 A JP 2010512697A
- Authority
- JP
- Japan
- Prior art keywords
- size
- frame
- interframe
- bit rate
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
1.イントラフレーム用の目標フレームサイズを指定し、また、満足することが可能であること。
‐そうすることにより、イントラフレームの品質及びイントラフレームの存在に起因するビットレートの変動を制御し得る。また、
‐QP(量子化パラメータ)は、固定されず、イントラフレーム特性に基づき演算され、また、指定されたイントラフレーム目標サイズを満足するために、イントラフレームの各ブロックの画素に対して、変えることができる。
2.平均ビットレートに加えて、最大ビットレートを指定して、満たすことが可能であること。
‐更に、フレームを符号化した後、符号化されたフレームサイズの検証を実施し、最大ビットレートと比較して、符号化されたフレームサイズが、大き過ぎて許容できない場合、フレームは、より小さい目標サイズで再符号化するか又は削除する必要がある。
‐対照的に、TMN8レート制御は、例えば、フレームを削除することによって、平均ビットレートだけを満たそうとするが、それは、最大ビットレートを満たせない。
3.最大ビットレートを管理する円形バッファ及び平均ビットレート用の他のバッファを有すること。
‐対照的に、TMN8は、1つの送信バッファだけを用いる。
4.イントラフレームのタイミング及び符号化に依存するインターフレーム目標サイズを推定し計算すること。イントラフレームが、つい最近符号化された場合又はイントラフレームが、まもなく符号化される場合、
‐更に、インターフレーム目標サイズの推定には、イントラフレームのサイズ、2つのイントラフレーム間の期間、平均ビットレートを下回る又は上回るビット数等、様々なパラメータを考慮する。
‐対照的に、TMN8は、送信バッファ占有期間及び割合だけに基づく目標サイズを用いる。それは、後続イントラフレームを予測せず、また通常、イントラフレームの符号化後、多くのフレームをスキップし、このため映像品質の劣化を招く。
5.フレームを事前に且つ予防的に削除すること。
‐本発明の1つの非限定的な例示の実施形態による装置は、最大ビットレートを超過しないことを保証し、また、必要に応じて、送信する前にフレームを削除する。フレーム削除の判断は、推定されたものと実現されたもの、即ち、実際に符号化されたものとの間の差異に基づく。
‐対照的に、TMN8は、大き過ぎて目標サイズを超過することになるフレームを生成して送信した後、フレームを省く。そのようにしても、映像の品質には、既に害が及んでしまっている。更に、フレーム削除の判断は、送信バッファの埋まり具合に基づく。
まず、映像通信システムについて、そこで映像符号化が行われる通信システムを定義するように述べる。しかしながら、この通信システムは、本発明の一部ではない。
レート制御装置42は、エンコーダ14においてレート制御の改善を実現する。更に具体的には、装置42は、平均及び最大ビットレート制約条件を満たすように、H.263及びMPEG4映像符号化規格におけるビットレート制御のための方法100を実装している。方法100については、後述する。
以下、H.263規格等の映像符号化規格におけるビットレート制御のための、本発明の非限定的な例示の実施形態による方法100について、図4と共に述べる。
映像符号化における映像品質を改善するために、超過してはならないRMAXで表す最大ビットレートを設定する。最大ビットレートは、任意の1秒間内にチャネルを介して送信し得るビットの最大数として定義する。この定義の場合、最大サイズは、最大ビットレートと等価である。最大ビットレートの他の定義にも該当し得ることに留意されたい。各用途に応じて最大ビットレートを指定及び定義することは、当業者の範囲及び知識内である。更に、ある期間のフレームに渡って、平均ビットレートをどのように指定するかは、当分野で公知である。
映像符号化の特定用途並びに指定された最大及び平均ビットレートに基づき、イントラフレーム目標サイズをどのように指定するかを知ることは、当業者の知識及び理解の範囲内である。例えば、イントラフレーム目標サイズは、最大ビットレートRMAX又は平均ビットレートRavgの百分率として設定し得る。
このために、以降、参考文献2と称する、2004年、パン(Pan)らによる「超低ビットレート映像符号化のための適応イントラフレーム量子化」に開示された推定アルゴリズムに基づき、量子化モジュール38に用いるQP(量子化パラメータ)を予測するための推定アルゴリズムが、開発されている。
非限定的な例として、動作101において指定されたイントラフレーム目標サイズは、一定と見なされる。しかしながら、インターフレーム目標サイズは、状況に依存する。2つのケースを考慮する必要がある。即ち、
i)ケース1:イントラフレームが、直近の1秒間に符号化された又は後続の1秒間に符号化される場合と、
ii)ケース2:インターフレームだけが、直近の1秒間に符号化された又は後続の1秒間に符号化され、イントラフレームからは何ら影響を受けない場合。
図5では、ケース1においてインターフレーム目標サイズを計算するための方法200について述べる。
BPI=B2
次に、図6では、ケース2において、インターフレーム目標サイズを計算するための方法250について述べる。
動作106は、平均及び最大ビットレート制約条件を双方共に満たし得る方法を用いる。これらの方法には、2つの要素がある。i)平均及び最大ビットレート制約条件を満たすためのインターフレーム目標サイズの演算、並びに、ii)過去のフレームの符号化に用いられず、将来のフレームの符号化に用い得る追加ビットの管理。
次に、図7では、ケース1において、動作104で計算されたインターフレーム目標サイズを再計算するための方法300について述べる。
Bextra>0の場合(これは、実際のビットレートが平均ビットレート未満であるケースに対応する)、
上述したように、理想的な場合にのみ、インターフレームは、同じサイズになる。現実には、最大ビットレート制約条件により、イントラフレームに近接して配置されたインターフレームの目標サイズは、大幅に低減されたはずである。サイズ上のこれらの差異を補償するために、イントラフレームによって影響されないインターフレームのサイズを再評価する。
この節では、映像符号化におけるレート制御のための方法100に従って、幾つかの数値例について述べる。
TMN8レート制御において、全ての符号化されたフレームは、それらを送信すると、指定された平均ビットレートを超過する状況になる場合であっても、送信される。フレームの送信後、指定された平均ビットレートを超過した場合、エンコーダは、指定された平均ビットレートを再び守れるようになるまで、必要に応じて、1つ又は複数のフレームをスキップする。従って、この制御は、事前対処的ではなく、事後対処的である。
●方法100の動作102で指定されたイントラフレーム目標サイズ
●方法100の動作101で指定された平均ビットレート
●方法100の動作101で指定された最大ビットレート
上記実施形態において、最大ビットレートRMAXは、1秒間に送信し得るビットの最大数として定義した。
例えば、以前の数値例で与えたられたものと同じ値を用いることができる。即ち、RMAX=48000ビット、BI=40000ビット、F=10fps、T=40、即ち、4sである。更に、N=3及びL=F−1=9と仮定すると、
12 映像ソース
14 映像エンコーダ
16 ネットワーク
18 デコーダ
20 映像プレーヤ
301−30N プロセス
32 動き推定モジュール
34 動き補償モジュール
36 DCTモジュール
38 量子化モジュール
40 バッファ
42 レート制御装置
50 予測器
52 第1計算器
54 第2計算器
56 検証器
Claims (59)
- 映像符号化におけるレート制御のための方法であって、
最大ビットレート及び平均ビットレートを指定する段階と、
前記指定された最大ビットレートを満たすためのインターフレームサイズを計算する段階であって、前記インターフレームサイズが、イントラフレームの位置を基準とした前記インターフレームの位置に関連する前記段階と、
前記指定された最大ビットレート及び前記平均ビットレートを双方共に満たすために、前記計算されたインターフレームサイズを調整する段階と、
が含まれる方法。 - 請求項1に記載の方法であって、更に、前記イントラフレームのサイズを指定する段階が含まれる方法。
- 請求項2に記載の方法であって、更に、前記指定されたイントラフレームサイズを満たすために、前記イントラフレームを符号化するための前記イントラフレームの量子化パラメータを推定する段階が含まれる方法。
- 請求項2に記載の方法であって、
前記指定された最大ビットレートを満たすための前記インターフレームサイズを計算する段階には、前記指定された最大ビットレートに基づき、理想的なインターフレームサイズを計算する段階が含まれる方法。 - 請求項5に記載の方法であって、前記指定された最大ビットレートを満たすために前記インターフレームサイズを計算する段階には、更に、過去に符号化されたフレームを考慮する段階が含まれる方法。
- 請求項7に記載の方法であって、過去に符号化されたフレームを考慮する前記インターフレームサイズを計算する段階には、過去のイントラフレームを考慮する段階が含まれる方法。
- 請求項9に記載の方法であって、前記指定された最大ビットレートを満たすための前記インターフレームサイズを計算する段階には、更に、前記指定された最大ビットレートによって許容された最大サイズに前記インターフレームサイズを制限する段階が含まれる方法。
- 請求項1に記載の方法であって、前記指定された最大及び平均ビットレートを双方共に満たすために、前記計算されたインターフレームサイズを調整する段階には、前記指定された平均ビットレートに基づき、理想的なインターフレームサイズ計算する段階が含まれる方法。
- 請求項15に記載の方法であって、前記指定された最大及び平均ビットレートを双方共に満たすために、前記計算されたインターフレームサイズを調整する段階には、過去に符号化されたフレームを考慮する段階が含まれる方法。
- 請求項17に記載の方法であって、前記指定された最大及び平均ビットレートを双方共に満たすために、前記計算されたインターフレームサイズを調整する段階には、更に、前記計算されたインターフレームサイズを対応する符号化されたフレームサイズと比較する段階が含まれる方法。
- 請求項18に記載の方法であって、前記計算されたインターフレームサイズを対応する符号化されたフレームサイズと比較する段階には、前記比較の結果を変数に記憶する段階が含まれる方法。
- 請求項20に記載の方法であって、前記変数Bextraを更新する段階には、前記変数Bextraが正である場合、将来のインターフレームを符号化するために使用可能な余分なビットを次のインターフレームサイズに分配する段階が含まれる方法。
- 請求項20に記載の方法であって、前記変数を更新する段階には、前記変数Bextraが負である場合、次のインターフレームサイズのために、前記計算されたインターフレームサイズを低減する段階が含まれる方法。
- 請求項20に記載の方法であって、前記変数を更新する段階には、前記変数Bextraが所定のしきい値未満である場合、符号化されたインターフレームを削除する段階が含まれる方法。
- 請求項14に記載の方法であって、前記指定された最大及び平均ビットレートを双方共に満たすための前記計算されたインターフレームサイズを調整する段階には、更に、前記指定された最大ビットレートによって許容された最大サイズに前記インターフレームサイズを制限する段階が含まれる方法。
- 請求項1に記載の方法であって、更に、送信に先立って、符号化されたフレームサイズは、前記調整されたインターフレームサイズより下であることを検証する段階が含まれる方法。
- 請求項1に記載の方法であって、更に、フレームを符号化する前に、エンコーダ状態変数を記憶する段階と、符号化されたフレームを削除した後に、前記状態変数を復元する段階と、が含まれる方法。
- 請求項1に記載の方法であって、更に、前記指定された最大ビットレートを超過することになるサイズを有する符号化されたフレームを削減する段階が含まれる方法。
- 請求項27に記載の方法であって、更に、前記指定された平均ビットレートを超過することになるサイズを有する符号化されたフレームを削減する段階が含まれる方法。
- 請求項28に記載の方法であって、更に、前記指定された平均及び最大ビットレートを超過することになるサイズを有する符号化されたフレームを異なる符号化パラメータで再符号化する段階が含まれる方法。
- 復号遅延を考慮する場合、イントラフレームで分離された一連のインターフレームを含むシーケンスの映像符号化におけるレート制御を改善するための方法であって、
前記一連の各インターフレームについて、目標フレームサイズを演算する段階と、
前記一連の各インターフレームについて、先行イントラフレーム及び後続イントラフレームを基準とした各インターフレームの位置に関連する最大バッファレベルを演算する段階と、
前記演算された目標フレームサイズ及び前記演算された最大バッファレベルに応じて、送信バッファレベルを最適化する段階と、
が含まれる方法。 - 請求項30に記載の方法であって、更に、符号化されたフレームが、前記最大バッファレベルを超過する場合、フレームを削減する段階が含まれる方法。
- 請求項30に記載の方法であって、更に、フレームを符号化する前に、エンコーダ状態変数を記憶する段階が含まれる方法。
- 請求項32に記載の方法であって、更に、次のフレームの符号化に先立って、符号化されたフレームを削除した後、前記エンコーダ状態変数を復元する段階が含まれる方法。
- 請求項30に記載の方法であって、更に、送信されるフレームサイズは、所定の最大限度より小さいことを保証する段階が含まれる方法。
- 請求項34に記載の方法であって、前記最大限度は、最大ビットレートである方法。
- 請求項30に記載の方法であって、前記一連の各インターフレームについて、前記目標フレームサイズを演算する段階には、下式、
- 請求項36に記載の方法であって、前記一連の各インターフレームについて、前記目標フレームサイズを演算する段階には、更に、
イントラフレームの符号化において用いられないビットの数を求める段階と、
前記イントラフレームに続く前記目標フレームサイズのN個のインターフレームに渡って前記未使用ビットの数を分配する段階と、
が含まれる方法。 - 請求項37に記載の方法であって、前記イントラフレームの符号化において前記未使用ビットの数を求める段階には、前記符号化されたイントラフレームサイズと、対応するイントラフレーム目標サイズとの間の差異を計算する段階が含まれる方法。
- 請求項38に記載の方法であって、前記目標フレームサイズのN個のインターフレームに前記未使用ビットの数を分配する段階には、0≦N≦Lとすると、数Lのインターフレームに渡って前記送信バッファレベルを最適化する段階が含まれる方法。
- 請求項37に記載の方法であって、前記目標フレームサイズのN個のインターフレームに前記未使用ビットの数を分配する段階には、前記N個のインターフレームサイズの前記目標フレームサイズに前記未使用ビットの数をほぼ均等に分配する段階が含まれる方法。
- 請求項30に記載の方法であって、前記一連の各インターフレームについて、前記目標フレームサイズを演算する段階には、更に、前記目標フレームサイズのN個のインターフレームに未使用ビットの数をほぼ均等に分配する場合、下式、
0<t≦Nの場合、
- 請求項30に記載の方法であって、前記一連の各インターフレームについて、先行及び後続イントラフレームを基準とした各インターフレームの前記位置に関連する前記最大バッファレベルを演算する段階は、前記送信バッファが、前記後続イントラフレームを収容できることを保証する方法。
- 請求項42に記載の方法であって、前記一連の各インターフレームについて、前記最大バッファレベルを演算する段階には、符号化されるインターフレームが先行イントラフレームに近い場合、最大バッファサイズに近い最大バッファレベルを演算し、また、前記インターフレームが後続イントラフレームに近い場合、ゼロに近い最大バッファレベルを演算する段階が含まれる方法。
- 請求項30に記載の方法であって、前記計算された目標フレームサイズ及び前記最大バッファレベルに応じて、前記送信バッファレベルを最適化する段階には、前記演算された目標フレームサイズと前記演算された最大バッファレベルとの間の差異を演算する段階が含まれる方法。
- 請求項45に記載の方法であって、前記演算された目標フレームサイズと前記演算された最大バッファレベルとの間の差異を演算する段階には、フレームを符号化するためのマージンを演算する段階が含まれる方法。
- 請求項47に記載の方法であって、更に、各インターフレーム目標サイズを更新する段階が含まれる方法。
- 請求項48に記載の方法であって、各インターフレーム目標サイズを更新する段階には、先行フレームの符号化において用いられなかったビットの数を計算する段階が含まれる方法。
- 映像符号化におけるレート制御のための装置であって、
指定された最大ビットレートを満たすためのインターフレームサイズを計算するための手段であって、前記インターフレームサイズは、イントラフレームの位置を基準とした前記インターフレームの位置に関連する前記手段と、
前記指定された最大ビットレートに加えて、指定された平均ビットレートを満たすために前記計算されたインターフレームサイズを調整するための手段と、
が含まれる装置。 - 映像符号化におけるレート制御のための装置であって、
指定された最大ビットレートを満たすためのインターフレームサイズの第1計算器であって、前記インターフレームサイズは、イントラフレームの位置を基準とした前記インターフレームの位置に関連する前記第1計算器と、
前記指定された最大ビットレートに加えて、指定された平均ビットレートを満たすために、前記第1計算器によって計算された前記インターフレームサイズの第2計算器と、
が含まれる装置。 - 請求項52に記載の装置であって、更に、イントラフレームサイズの予測器及び前記イントラフレームの量子化パラメータの予測器が含まれる装置。
- 請求項52に記載の装置であって、更に、送信に先立って、符号化されたフレームサイズが、前記調整されたインターフレームサイズより小さいということの検証器が含まれる装置。
- 請求項52に記載の装置であって、更に、送信されたフレームを含むための円形バッファが含まれる装置。
- 請求項52に記載の装置であって、更に、フレームを符号化する前に記憶され、また、符号化されたフレームを削除した後に復元される状態変数を有するエンコーダが含まれる装置。
- 復号遅延が許容される場合、イントラフレームで分離された一連のインターフレームを含むシーケンスの映像符号化におけるレート制御を改善するための装置であって、
各インターフレームについて、目標フレームサイズを演算するための手段と、
各インターフレームについて、先行イントラフレーム及び後続イントラフレームを基準とした各インターフレームの位置に関係する最大バッファレベルを演算する手段と、
前記演算された目標フレームサイズ及び前記演算された最大バッファレベルに応じて、送信バッファレベルを最適化するための手段と、
が含まれる装置。 - 復号遅延が許容される場合、イントラフレームで分離された一連のインターフレームを含むシーケンスの映像符号化におけるレート制御を改善するための装置であって、
各インターフレーム用の目標フレームサイズの計算器と、
先行イントラフレーム及び後続イントラフレームを基準とした各インターフレームの位置に関係する最大バッファレベルの計算器であって、各インターフレーム用の前記計算器と、
前記演算された目標フレームサイズ及び前記演算された最大バッファレベルに応じた送信バッファレベルの最適化器と、
が含まれる装置。 - 請求項58に記載の装置であって、更に、フレームを符号化する前に記憶され、また、符号化されたフレームを削除した後に復元される状態変数を有するエンコーダが含まれる装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US87425006P | 2006-12-12 | 2006-12-12 | |
US60/874,250 | 2006-12-12 | ||
PCT/CA2007/002242 WO2008070987A1 (en) | 2006-12-12 | 2007-12-11 | An improved video rate control for video coding standards |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013171123A Division JP5676705B2 (ja) | 2006-12-12 | 2013-08-21 | 映像符号化規格に対応した映像レート制御の改善 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010512697A true JP2010512697A (ja) | 2010-04-22 |
JP2010512697A5 JP2010512697A5 (ja) | 2011-02-03 |
JP5351040B2 JP5351040B2 (ja) | 2013-11-27 |
Family
ID=39511201
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009540563A Expired - Fee Related JP5351040B2 (ja) | 2006-12-12 | 2007-12-11 | 映像符号化規格に対応した映像レート制御の改善 |
JP2013171123A Active JP5676705B2 (ja) | 2006-12-12 | 2013-08-21 | 映像符号化規格に対応した映像レート制御の改善 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013171123A Active JP5676705B2 (ja) | 2006-12-12 | 2013-08-21 | 映像符号化規格に対応した映像レート制御の改善 |
Country Status (8)
Country | Link |
---|---|
US (2) | US8401076B2 (ja) |
EP (1) | EP2123040B1 (ja) |
JP (2) | JP5351040B2 (ja) |
KR (1) | KR101418950B1 (ja) |
CN (2) | CN101647278B (ja) |
CA (1) | CA2672339C (ja) |
IL (1) | IL199335A (ja) |
WO (1) | WO2008070987A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014505400A (ja) * | 2010-12-15 | 2014-02-27 | フル・エルエルシー | メディアプログラムのハイブリッドトランスコーディングのための方法および機器 |
JP2016197484A (ja) * | 2015-04-03 | 2016-11-24 | 株式会社半導体エネルギー研究所 | 放送システム |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US10201760B2 (en) | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
US8526490B2 (en) * | 2002-12-10 | 2013-09-03 | Ol2, Inc. | System and method for video compression using feedback including data related to the successful receipt of video content |
US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US9138644B2 (en) * | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US8549574B2 (en) * | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
US20100166056A1 (en) * | 2002-12-10 | 2010-07-01 | Steve Perlman | System and method for encoding video using a selected tile and tile rotation pattern |
US9446305B2 (en) | 2002-12-10 | 2016-09-20 | Sony Interactive Entertainment America Llc | System and method for improving the graphics performance of hosted applications |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US8366552B2 (en) * | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
EP2123040B1 (en) | 2006-12-12 | 2017-12-06 | Vantrix Corporation | An improved video rate control for video coding standards |
US8824546B2 (en) | 2007-06-19 | 2014-09-02 | Vantrix Corporation | Buffer based rate control in video coding |
US9168457B2 (en) | 2010-09-14 | 2015-10-27 | Sony Computer Entertainment America Llc | System and method for retaining system state |
TWI419519B (zh) * | 2009-12-22 | 2013-12-11 | Ind Tech Res Inst | 適用於多媒體串流的網路封包傳送系統與方法 |
JP5694674B2 (ja) * | 2010-03-03 | 2015-04-01 | 株式会社メガチップス | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 |
US20110310956A1 (en) * | 2010-06-22 | 2011-12-22 | Jian-Liang Lin | Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof |
US8831108B2 (en) * | 2011-05-04 | 2014-09-09 | Cavium, Inc. | Low latency rate control system and method |
US20130208786A1 (en) * | 2012-02-15 | 2013-08-15 | Wei Xiong | Content Adaptive Video Processing |
US20140104493A1 (en) * | 2012-10-11 | 2014-04-17 | Tangome, Inc. | Proactive video frame dropping for hardware and network variance |
US9549189B2 (en) * | 2012-11-06 | 2017-01-17 | Ittiam Systems (P) Ltd. | Method for media rate control in a video encoding system |
CN102970246B (zh) * | 2012-11-23 | 2017-12-22 | 上海寰创通信科技股份有限公司 | 一种以太网报文流量控制方法 |
KR101610436B1 (ko) | 2013-07-24 | 2016-04-08 | 연세대학교 산학협력단 | 트래픽 조절 방법 및 장치 |
CN103581670B (zh) * | 2013-10-09 | 2015-05-20 | 合一网络技术(北京)有限公司 | H264自适应帧内模式选择码率估计的率失真优化方法及其装置 |
US9537779B2 (en) * | 2013-10-11 | 2017-01-03 | Huawei Technologies Co., Ltd. | System and method for real-time traffic delivery |
US10157620B2 (en) * | 2014-03-04 | 2018-12-18 | Interactive Intelligence Group, Inc. | System and method to correct for packet loss in automatic speech recognition systems utilizing linear interpolation |
US9848193B2 (en) | 2014-04-15 | 2017-12-19 | Qualcomm Incorporated | System and method for selecting quantization parameter (QP) in display stream compression (DSC) |
US10397574B2 (en) * | 2014-05-12 | 2019-08-27 | Intel Corporation | Video coding quantization parameter determination suitable for video conferencing |
WO2016192079A1 (en) * | 2015-06-04 | 2016-12-08 | Intel Corporation | Adaptive batch encoding for slow motion video recording |
US20160360206A1 (en) * | 2015-06-04 | 2016-12-08 | Microsoft Technology Licensing, Llc | Rate controller for real-time encoding and transmission |
US10542262B2 (en) | 2016-11-15 | 2020-01-21 | City University Of Hong Kong | Systems and methods for rate control in video coding using joint machine learning and game theory |
EP3376766B1 (en) * | 2017-03-14 | 2019-01-30 | Axis AB | Method and encoder system for determining gop length for encoding video |
US10924744B2 (en) * | 2017-11-17 | 2021-02-16 | Intel Corporation | Selective coding |
WO2020101547A1 (en) * | 2018-11-14 | 2020-05-22 | Saab Ab | Video data burst control for remote towers |
CN113141541B (zh) * | 2020-01-17 | 2022-06-10 | 北京达佳互联信息技术有限公司 | 码率切换方法、装置、设备及存储介质 |
US11413542B2 (en) * | 2020-04-29 | 2022-08-16 | Dell Products L.P. | Systems and methods for measuring and optimizing the visual quality of a video game application |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005538606A (ja) * | 2002-09-05 | 2005-12-15 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3187097B2 (ja) * | 1991-10-17 | 2001-07-11 | 株式会社東芝 | 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置 |
US5619341A (en) * | 1995-02-23 | 1997-04-08 | Motorola, Inc. | Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system |
JP3300561B2 (ja) * | 1995-02-28 | 2002-07-08 | 株式会社東芝 | 可変レート圧縮装置及び可変レート伸長装置 |
EP0757490A3 (en) * | 1995-08-02 | 1999-01-13 | Matsushita Electric Industrial Co., Ltd. | Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein |
US5717464A (en) * | 1995-12-18 | 1998-02-10 | Divicom, Inc. | Rate control for a video encoder |
JPH114444A (ja) * | 1997-06-11 | 1999-01-06 | Sony Corp | 画像符号化装置および方法 |
KR100610520B1 (ko) | 1997-07-08 | 2006-08-09 | 소니 가부시끼 가이샤 | 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체 |
US6141380A (en) * | 1998-09-18 | 2000-10-31 | Sarnoff Corporation | Frame-level rate control for video compression |
US6233226B1 (en) * | 1998-12-14 | 2001-05-15 | Verizon Laboratories Inc. | System and method for analyzing and transmitting video over a switched network |
EP1089569A1 (en) * | 1999-04-19 | 2001-04-04 | Sony Corporation | Image encoding device and its method |
US6330286B1 (en) * | 1999-06-09 | 2001-12-11 | Sarnoff Corporation | Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus |
US6731685B1 (en) | 2000-09-20 | 2004-05-04 | General Instrument Corporation | Method and apparatus for determining a bit rate need parameter in a statistical multiplexer |
US7023924B1 (en) * | 2000-12-28 | 2006-04-04 | Emc Corporation | Method of pausing an MPEG coded video stream |
US20040252758A1 (en) * | 2002-08-14 | 2004-12-16 | Ioannis Katsavounidis | Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder |
CN1658673A (zh) * | 2005-03-23 | 2005-08-24 | 南京大学 | 视频压缩编解码方法 |
US7864840B2 (en) * | 2005-04-15 | 2011-01-04 | Inlet Technologies, Inc. | Scene-by-scene digital video processing |
US20090225829A2 (en) * | 2005-07-06 | 2009-09-10 | Do-Kyoung Kwon | Method and apparatus for operational frame-layerrate control in video encoder |
US9544602B2 (en) * | 2005-12-30 | 2017-01-10 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
EP2123040B1 (en) | 2006-12-12 | 2017-12-06 | Vantrix Corporation | An improved video rate control for video coding standards |
-
2007
- 2007-12-11 EP EP07855524.0A patent/EP2123040B1/en active Active
- 2007-12-11 CN CN2007800512510A patent/CN101647278B/zh not_active Expired - Fee Related
- 2007-12-11 CN CN2012100883231A patent/CN102638687A/zh active Pending
- 2007-12-11 CA CA2672339A patent/CA2672339C/en active Active
- 2007-12-11 JP JP2009540563A patent/JP5351040B2/ja not_active Expired - Fee Related
- 2007-12-11 KR KR1020097014521A patent/KR101418950B1/ko active IP Right Grant
- 2007-12-11 US US12/518,955 patent/US8401076B2/en active Active
- 2007-12-11 WO PCT/CA2007/002242 patent/WO2008070987A1/en active Application Filing
-
2009
- 2009-06-14 IL IL199335A patent/IL199335A/en active IP Right Grant
-
2013
- 2013-03-04 US US13/783,793 patent/US9407909B2/en active Active
- 2013-08-21 JP JP2013171123A patent/JP5676705B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005538606A (ja) * | 2002-09-05 | 2005-12-15 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014505400A (ja) * | 2010-12-15 | 2014-02-27 | フル・エルエルシー | メディアプログラムのハイブリッドトランスコーディングのための方法および機器 |
US9832540B2 (en) | 2010-12-15 | 2017-11-28 | Hulu, LLC | Method and apparatus for hybrid transcoding of a media program |
US10334327B2 (en) | 2010-12-15 | 2019-06-25 | Hulu, LLC | Hybrid transcoding of a media program |
JP2016197484A (ja) * | 2015-04-03 | 2016-11-24 | 株式会社半導体エネルギー研究所 | 放送システム |
US11232831B2 (en) | 2015-04-03 | 2022-01-25 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device for vector-matrix multiplication |
Also Published As
Publication number | Publication date |
---|---|
EP2123040A1 (en) | 2009-11-25 |
JP2013258754A (ja) | 2013-12-26 |
US9407909B2 (en) | 2016-08-02 |
KR20090108026A (ko) | 2009-10-14 |
US8401076B2 (en) | 2013-03-19 |
CA2672339C (en) | 2018-12-04 |
CN101647278A (zh) | 2010-02-10 |
CN102638687A (zh) | 2012-08-15 |
US20100080292A1 (en) | 2010-04-01 |
CA2672339A1 (en) | 2008-06-19 |
JP5351040B2 (ja) | 2013-11-27 |
KR101418950B1 (ko) | 2014-07-17 |
CN101647278B (zh) | 2012-05-30 |
JP5676705B2 (ja) | 2015-02-25 |
EP2123040B1 (en) | 2017-12-06 |
EP2123040A4 (en) | 2011-12-21 |
IL199335A (en) | 2015-03-31 |
IL199335A0 (en) | 2010-03-28 |
US20130182766A1 (en) | 2013-07-18 |
WO2008070987A1 (en) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5676705B2 (ja) | 映像符号化規格に対応した映像レート制御の改善 | |
KR101518358B1 (ko) | 비디오 코딩에서 프레임 복잡성, 버퍼 레벨 및 인트라 프레임들의 위치를 이용하는 버퍼 기반의 비율 제어 | |
US6526097B1 (en) | Frame-level rate control for plug-in video codecs | |
KR100942395B1 (ko) | 다층 비디오 설계를 위한 레이트 제어 | |
KR100927083B1 (ko) | 예측에 의한 유사 고정 품질 레이트 제어 | |
US6480539B1 (en) | Video encoding method and apparatus | |
EP1745653A2 (en) | Encoder with adaptive rate control for h.264 | |
US20060165168A1 (en) | Multipass video rate control to match sliding window channel constraints | |
WO2009149564A1 (en) | Method and device for controlling bit-rate for video encoding, video encoding system using same and computer product therefor | |
US20130235928A1 (en) | Advanced coding techniques | |
KR101371507B1 (ko) | 저지연 영상 통신 시스템 및 방법 | |
KR100789535B1 (ko) | 영상의 변화율에 따른 적응적 비트율 제어 장치 및 방법 | |
JP3779066B2 (ja) | 動画像符号化装置 | |
US8862758B1 (en) | System and method for controlling one or more media stream characteristics | |
Jiang | Adaptive rate control for advanced video coding | |
Abdullah et al. | Constant Bit Rate For Video Streaming Over Packet Switching Networks | |
Khamiss et al. | Constant Bit Rate For Video Streaming Over Packet Switching Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5351040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |