TWI452907B - 最佳化之解區塊濾波器 - Google Patents

最佳化之解區塊濾波器 Download PDF

Info

Publication number
TWI452907B
TWI452907B TW100128608A TW100128608A TWI452907B TW I452907 B TWI452907 B TW I452907B TW 100128608 A TW100128608 A TW 100128608A TW 100128608 A TW100128608 A TW 100128608A TW I452907 B TWI452907 B TW I452907B
Authority
TW
Taiwan
Prior art keywords
block
vector
image
deblocking
error
Prior art date
Application number
TW100128608A
Other languages
English (en)
Other versions
TW201215155A (en
Inventor
Barin Geoffry Haskell
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201215155A publication Critical patent/TW201215155A/zh
Application granted granted Critical
Publication of TWI452907B publication Critical patent/TWI452907B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

最佳化之解區塊濾波器
本發明係關於視訊編碼，且更特定言之，係關於使用內插濾波器作為運動補償編碼之部分的視訊編碼系統。
視訊編碼解碼器通常對像素之區塊(本文中被稱為「像素區塊」)使用離散餘弦變換(「DCT」)來編碼視訊框，與針對用於靜態影像之原始JPEG編碼器所使用的幾乎相同。編碼初始圖框(被稱為「內」圖框)並將其作為獨立圖框來傳輸。使用被稱為運動補償(「MC」)之技術在框間模式下有效地編碼經模型化為由於場景中之物件的小運動而緩慢改變之後續圖框，其中將像素區塊自其在先前已編碼之圖框中的位置的位移作為運動向量而與在預測像素區塊與來自原始影像之像素區塊之間的差異一起傳輸。
下文提供對運動補償之簡要回顧。圖1及圖2展示運動補償式影像編碼器/解碼器系統的方塊圖。該系統組合了變換編碼(呈像素之像素區塊之DCT的形式)與預測編碼(呈差分脈碼調變(「PCM」的形式))以便減少壓縮影像之儲存及計算，且同時給予高度之壓縮及適應性。因為運動補償難以在變換域中執行，故框間編碼器中之第一步驟為產生運動補償預測誤差。此計算要求在編碼器及解碼器兩者中的一或多個圖框儲存器。使用DCT來變換所得誤差信號，藉由自適應量化器量化該所得誤差信號，使用可變長度編碼器(「VLC」)來熵編碼該所得誤差信號，且緩衝該所得誤差信號以用於經由一通道傳輸。
運動估計器如圖3中所說明而工作。在其最簡單之形式中，將當前圖框分割成具有恆定大小(例如16×16或8×8)的運動補償區塊(本文中被稱為「巨集區塊(mcblock)」)。然而，常常使用可變大小之巨集區塊，尤其在諸如H.264、ITU-T標準H.264、進階視訊編碼之較新編碼解碼器中。當然亦已研究並提議非矩形巨集區塊。巨集區塊在大小上通常大於或等於像素區塊。
此外，在運動補償之最簡單形式中，將先前已解碼之圖框用作參考圖框，如圖3中所展示。然而，亦可使用許多可能的參考圖框中之一者，尤其在諸如H.264之較新編碼解碼器中。事實上，藉由適當的傳訊，可針對每一巨集區塊使用不同參考圖框。
比較當前圖框中之每一巨集區塊與參考圖框中之一組已位移巨集區塊以判定哪一已位移巨集區塊最佳地預測當前巨集區塊。當找到最佳匹配的巨集區塊時，判定一指定參考巨集區塊之位移的運動向量。
利用空間冗餘
因為視訊為一連串靜態影像，所以有可能使用類似於JPEG之技術達成某種壓縮。此等壓縮方法被稱為框內編碼技術，其中個別且獨立地壓縮或編碼視訊之每一圖框。框內編碼利用存在於一圖框之鄰近像素之間的空間冗餘。僅使用框內編碼來編碼之圖框被稱為「I圖框」。
利用時間冗餘
在上文所描述之單向運動估計(被稱為「向前預測(forward prediction)」)中，待編碼之圖框中的目標巨集區塊與在過去圖框(被稱為「參考圖框」)中具有相同大小之一組巨集區塊相匹配。將參考圖框中「最佳匹配於」目標巨集區塊的巨集區塊用作參考巨集區塊。接著將預測誤差計算為在目標巨集區塊與參考巨集區塊之間的差異。一般而言，預測巨集區塊並不與參考圖框中之已編碼之巨集區塊邊界對準。此最佳匹配的參考巨集區塊的位置係由描述該參考巨集區塊與目標巨集區塊之間的位移的運動向量來指示。亦連同預測誤差一起編碼並傳輸運動向量資訊。使用向前預測來編碼之圖框被稱為「P圖框」。
使用上文概述之基於DCT之框內編碼技術來傳輸預測誤差本身。
雙向時間預測
雙向時間預測(亦被稱為「運動補償內插」)為現代視訊編碼解碼器之關鍵特徵。藉由雙向預測來編碼之圖框使用兩個參考圖框，通常一個在過去及一個在未來。然而，亦可使用許多可能的參考圖框中之兩者，尤其在諸如H.264之較新編碼解碼器中。事實上，藉由適當的傳訊，可針對每一巨集區塊使用不同參考圖框。
經雙向編碼之圖框中的目標巨集區塊可藉由來自過去參考圖框之一巨集區塊來預測(向前預測)，或藉由來自未來參考圖框之一巨集區塊來預測(向後預測)，或藉由兩個巨集區塊(來自每一參考圖框的一個巨集區塊)之平均值來預測(內插)。在每一情況下，來自參考圖框之預測巨集區塊與運動向量相關聯，使得多達每巨集區塊兩個運動向量可用於雙向預測。在圖4中說明用於經雙向預測之圖框中之巨集區塊的運動補償內插。使用雙向預測來編碼之圖框被稱為「B圖框」。
雙向預測提供許多優點。主要優點為：所獲得之壓縮通常高於僅僅自向前(單向)預測可獲得之壓縮。為了獲得相同的圖像品質，與僅使用向前預測之圖框相比而言，可藉由較少之位元來編碼經雙向預測之圖框。
然而，雙向預測在編碼程序中引入額外延遲，此係因為必須以失序方式編碼圖框。此外，雙向預測要求額外編碼複雜性，此係因為針對每一目標巨集區塊必須執行兩次巨集區塊匹配(需要最多計算之編碼程序)，一次是與過去參考圖框相匹配且一次是與未來參考圖框相匹配。
用於雙向預測之典型編碼器架構
圖5展示典型雙向視訊編碼器。假定圖框重排序在編碼之前發生，亦即，必須在相應B圖框中之任一者之前編碼並傳輸用於B圖框預測之I或P圖框。在此編碼解碼器中，B圖框並未用作參考圖框。藉由架構之改變，其可如H.264中一樣。
將輸入視訊饋送至運動補償估計器/預測器，該運動補償估計器/預測器將一預測饋送至減法器之負輸入。對於每一巨集區塊，框間/框內分類器接著比較輸入像素與減法器之預測誤差輸出。通常，若均方預測誤差超過均方像素值，則決定框內巨集區塊。涉及像素及預測誤差兩者之DCT的更為複雜的比較得出稍好之效能，但通常認為其不划算。
對於框內巨集區塊，將該預測設定為零。在其他情況下，該預測來自於預測器，如上文所描述。接著使預測誤差通過DCT及量化器，然後將其編碼、多工化且發送至緩衝器。
由反向量化將量化階層轉換成重建構之DCT係數，且接著由反DCT單元(「IDCT」)變換其反形式以產生已編碼之預測誤差。加法器將該預測加至該預測誤差且將結果(例如)截割至0至255的範圍，以產生已編碼之像素值。
對於B圖框，運動補償估計器/預測器使用保持於圖像儲存器中之先前圖框及未來圖框兩者。
對於I及P圖框，將加法器所輸出之已編碼像素寫入至下一圖像儲存器，而同時將舊像素自下一圖像儲存器複製至先前圖像儲存器。實務上，通常藉由記憶體位址之簡單改變來完成此操作。
又，實務上，已編碼像素在進入圖像儲存器之前可由自適應解區塊濾波器濾波。此改良了運動補償預測，尤其是對於低位元率(編碼假影在低位元率下可變為可見的)。
編碼統計資料處理器結合量化器配接器而控制輸出位元率且儘可能地最佳化圖像品質。
用於雙向預測之典型解碼器架構
圖6展示典型雙向視訊解碼器。其具有對應於使用反轉程序之編碼器之像素重建構部分的結構。假定圖框重排序在解碼及視訊輸出之後發生。如編碼器中一樣，內插濾波器可能置放於運動補償預測器之輸出處。
分數運動向量位移
圖3及圖4將參考圖框中的參考巨集區塊展示為相對於在當前圖框中被解碼之當前巨集區塊的位置而水平且垂直地位移。位移之量由被稱為運動向量的二維向量[dx,dy]表示。可編碼並傳輸運動向量，或可自已經在解碼器中的資訊估計運動向量(在此情況下，不傳輸運動向量)。對於雙向預測而言，每一經傳輸之巨集區塊要求兩個運動向量。
在其最簡單形式中，dx及dy為帶正負號的整數，其表示水平方向上像素之數目及垂直方向上線之數目以使參考巨集區塊位移。在此情況下，僅藉由自參考儲存器讀取適當像素來獲得參考巨集區塊。
然而，在較新視訊編碼解碼器中，已發現允許dx及dy之分數值係有益的。通常，分數值允許位移精度低至四分之一像素，亦即，整數+- 0.25、0.5或0.75。
分數運動向量不僅僅要求自參考儲存器直接讀取像素。為了獲得用於參考儲存器像素之間的位置的參考巨集區塊值，有必要在其間進行內插。
簡單雙線性內插可相當適用。然而，實務上已發現使用為此目的而特別設計之二維內插濾波器為有益的。事實上，由於效能及實用性，濾波器常常並非偏移不變濾波器。實情為，分數運動向量之不同值可利用不同內插濾波器。
使用自適應內插濾波器之運動補償
最適宜的運動補償內插濾波器取決於許多因素。舉例而言，場景中之物件可能並非以純平移之方式移動。在二維及三維兩者中，皆可存在物件旋轉。其他因素包括變焦、相機運動及由陰影或變化之照明造成之亮度變更。
相機特性可歸因於其感測器之特殊屬性而改變。舉例而言，許多消費型相機本身係交錯式的，且對其輸出進行解交錯及濾波以提供無交錯假影之好看的圖像。低亮度條件可造成每圖框的曝光時間增加，從而導致移動物件之運動相依性模糊。像素可為非正方形。
因此，在許多情況下，若運動補償內插濾波器可適合於此等及其他外部因素，則可獲得改良之效能。在此等系統中，可藉由在每一圖框內最小化當前巨集區塊與其相應參考巨集區塊之間的均方誤差來設計內插濾波器。此等即所謂的文納(Wiener)濾波器。接著將在待用於實際運動補償編碼中之每一圖框開始時量化並傳輸濾波器係數。在H.264及類似編碼解碼器中，允許週期性地調整僅少數解區塊參數。此外，因為濾波器操作的非線性程度很高，所以不能應用普通的文納濾波器。
因此，此項技術中需要一種用於在編碼期間選擇解區塊濾波器之參數的有效方案。
本發明之實施例提供用於選擇用於已編碼視訊之解區塊參數的反覆方法。根據該方法，可根據與多維解區塊向量相關聯之參數來解區塊一已解碼圖像，且可自其估計一誤差(被稱為「解區塊誤差」)。若估計誤差超過一預定臨限值，則可產生替代之解區塊向量，每一替代之解區塊向量在一各別維度中自當前解區塊向量前移。該方法可根據每一已前移向量來解區塊該已解碼圖像，且可估計來自每一已前移向量之解區塊中之每一者的誤差。最後，可根據自該等向量維度之該等估計之解區塊誤差導出的一梯度來修正該解區塊向量以用於下一次反覆。此基於梯度之搜尋方法可以一有效方式收斂於一組最終解區塊參數。
圖7說明適合於配合本發明而使用的編碼器/解碼器系統100。提供經由網路130與解碼器120通信的編碼器110。編碼器110可對原始視訊之一資料串流執行編碼操作，可經由相機器件在編碼器處本端擷取該資料串流或自儲存器件(圖中未繪示)擷取該資料串流。編碼操作減少原始視訊資料之頻寬，從而自其產生已編碼視訊。編碼器110可經由網路130將已編碼視訊傳輸至解碼器120。解碼器120可反轉由編碼器110執行之編碼操作以自已編碼之視訊資料產生已恢復之視訊資料串流。由編碼器110執行之編碼操作通常為有損耗的程序，且因此，已恢復之視訊資料可為原始視訊資料之不精確複本。解碼器120可在顯示器件上呈現已恢復之視訊資料，或者解碼器120可儲存已恢復之視訊資料以供稍後使用。
如所說明，網路130可將已編碼之視訊資料自編碼器110傳送至解碼器120。可將網路130提供為任何數目個有線或無線通信網路、電腦網路或其組合。此外，可將網路130提供為儲存單元，諸如電、光學或磁性儲存器件。
圖8為適合於配合本發明而使用之編碼器的簡化方塊圖。編碼器200可包括基於區塊之編碼鏈210及預測單元220。
基於區塊之編碼鏈210可包括減法器212、變換單元214、量化器216及可變長度編碼器218。減法器212可接收來自原始影像之輸入巨集區塊及來自預測單元220的預測巨集區塊。減法器212可自輸入巨集區塊減去預測巨集區塊，從而產生像素殘餘之區塊。變換單元214可根據空間變換(通常為離散餘弦變換(「DCT」或小波變換))將巨集區塊之殘餘資料轉換成變換係數之陣列。量化器216可根據量化參數(「QP」)截斷每一區塊之變換係數。用於截斷之QP值可在一通道中傳輸至解碼器。可變長度編碼器218可根據熵編碼演算法(例如，可變長度編碼演算法)編碼量化係數。在可變長度編碼之後，每一巨集區塊之已編碼資料可儲存於緩衝器240中以等候經由一通道傳輸至解碼器。
預測單元220可包括：反量化單元222、反變換單元224、加法器226、解區塊濾波器228、參考圖像快取記憶體230、運動補償預測器232及運動估計器234。反量化單元222可根據量化器216所使用之QP來量化已編碼之視訊資料。反變換單元224可將重新量化之係數變換至像素域。加法器226可將來自反變換單元224之像素殘餘輸出與來自運動補償預測器232的預測運動資料相加。解區塊濾波器228可在同一圖框之已恢復巨集區塊與其他已恢復巨集區塊之間的接縫處濾波已恢復之影像資料。參考圖像快取記憶體230可儲存已恢復之圖框以便在編碼稍後接收之巨集區塊期間用作參考圖框。
運動補償預測器232可產生預測巨集區塊以供區塊編碼器210使用。運動估計器234可估計所編碼之原始影像與儲存於參考圖像快取記憶體230中之參考圖框之間的影像運動。運動估計器234可選擇待使用之預測模式(例如，單向P型編碼或雙向B型編碼)，且產生在此預測性編碼中使用的運動向量。可將運動向量輸出至運動補償預測器232且輸出至通道。作為回應，運動補償預測器232可自參考圖像快取記憶體230擷取預測巨集區塊且可將預測區塊輸出至區塊編碼器210。視情況，運動補償預測器232可在將經擷取之巨集區塊輸出至區塊編碼器210(圖中未繪示)之前對其執行內插濾波。
解區塊濾波器228之操作可基於控制參數而改變。在編碼器中，控制邏輯(圖中未繪示)可審查由預測單元產生之已編碼影像資料，且可比較已編碼影像資料與原始影像之資料以判定哪些參數使編碼誤差最小化。在一實施例中，可藉由歷經若干候選參數值而快速收斂於一組合適之參數的梯度搜尋程序來強化選擇程序。一旦選定合適之參數，即可將參數識別符傳輸至解碼器以供解碼中使用。舉例而言，可傳輸解區塊參數以用於圖像中之每一巨集區塊或用於較大實體(例如，巨集區塊或片段)。可與已編碼巨集區塊之其他資料(例如，運動向量、量化參數及已編碼殘餘)一起傳輸解區塊參數。
圖9說明根據本發明之一實施例之方法300。方法300可開始於編碼及解碼原始圖像(方塊310)，接著使用與當前解區塊向量相關聯之解區塊參數對圖像執行解區塊(方塊320)。在方法300之第一次反覆中，可將向量設定為預設值。方法300可計算與已解區塊圖像相關聯之誤差(方塊330)且比較該誤差與預定臨限值(方塊340)。若該誤差小於預定臨限值，則方法300可將已編碼圖像資料及當前解區塊向量傳輸至解碼器(方塊350)且方法300可針對當前圖像終止。
解區塊參數可被視為表示具有多個值的N維向量。舉例而言，H.264可定義可由編碼器在影像編碼中定義的兩個參數：slice_alpha_c0_offset_div2及slice_beta_offset_div2(本文中稱為「α」及「β」)。在應用於H.264實施時，解區塊參數可被視為二維向量。未來編碼協定可定義額外類型之解區塊參數，在圖9之方法300的情形中考慮時，可將該等解區塊參數表示為3維、4維或更大維度之空間。
當方塊340之比較判定該誤差超過臨限值時，方法300可執行多維搜尋以獲得新的解區塊向量。具體而言，方法300可獨立地在各個維度i中增量當前向量(方塊360)。方法300可使用與已增量向量中之每一者相關聯之參數來執行已解碼圖像之解區塊(方塊370)且計算在原始圖像與已解區塊圖像之間的一誤差(方塊380)。在N維向量空間中，存在N個已解區塊圖像及自其獲得的N個誤差值。方法300可藉由比較在方塊330處獲得之誤差值與在方塊380中自每一維度之計算獲得的誤差來計算一梯度值(方塊390)。方法300可自該梯度產生一新的向量(方塊400)且執行分析之另一次反覆(返回至方塊320)。
梯度向量可為N維向量，其中可藉由比較來自方塊330之解區塊誤差與自方塊380獲得之維度誤差來獲得每一維度i之分量。舉例而言，可將梯度向量G計算為：
G=[G1 ,G2 ,...,GN ]，其中，針對梯度向量之每一分量Gi ，Gi =erri -errDBLK 。
方法300可進一步將新的解區塊向量V產生為：
，其中
w表示演算法之步長，且每一維度分量Vi 經捨位而具有整數值。步長w為通常基於每一維度中的解區塊向量空間之大小來設定的可程式化值。
舉例而言，在應用於H.264實施時，方法300可將梯度向量G產生為G=[errα -errDBLK , errβ -errDBLK ]，其中errα 及errβ 為由方塊380分別在α及β維度中獲得的誤差值。方法300可進一步將新的解區塊向量[α,β]new 產生為：
，其中
[α,β]new 同樣經捨位而具有整數值。實務上，w=1.4之值可給予令人滿意的結果。
吾人預期，在操作期間，圖9之梯度搜尋方法300可經由若干次反覆而收斂於產生低於臨限值之誤差(方塊340)的一組解區塊參數。方法300之其他實施例提供其他測試以在達成可接受之低誤差情況之前終止操作。
舉例而言，在已解碼該已編碼圖像(方塊310)之後，方法300可計算一解碼誤差且比較該解碼誤差與另一臨限值(方塊410)。若該解碼誤差小於臨限值，則方法300可使該已編碼圖像被傳輸至解碼器而不傳輸解區塊參數(方塊420)。此測試有利地判定解區塊並非達成合適之影像品質所必要的，且因此，可節省執行方塊320至400之操作所需的處理資源。
在另一實施例中，若在方塊340處判定之誤差大於臨限值，則方法300可進一步判定在當前反覆與前一反覆之間的誤差之改變(展示為「Δerror」)。在執行第一次反覆時，可容許自當前誤差值及在方塊410處獲得之解碼誤差值導出Δerror。或者，第一次反覆可省略方塊420。方法300可比較Δerror值與另一臨限值(方塊430)。若Δerror值超過預定臨限值，則此情形可暗示梯度搜尋方法之收斂速率不可能充分改良影像增強以致於保證方法300的進一步執行。在此情況下，方法300可前進至方塊350且將已編碼圖像之資料及解區塊向量傳輸至解碼器。
在另一實施例中，在方法300設定新的向量(方塊400)之後，方法300可判定是否在該方法之某一較早的反覆期間使用過該新的向量(方塊440)。若如此，則此情形可指示方法300之進一步執行不可能在改良影像增強的程度上超出經由當前反覆所獲得之結果。在此情況下，方法300可前進至方塊350且將已編碼圖像之資料及在方塊400之操作之前所獲得之解區塊向量傳輸至解碼器。
且，在又一實施例中，方法300可在已執行方塊320至400之預定數目次反覆而未產生足夠低以致於到達方塊350之誤差的情況下終止。
在許多實施中，每一解區塊參數維度之可能值的範圍將為有限的。舉例而言，在H.264實施中，α及β值各自必須為具有在-6與6之間的值之整數。在一實施例中，若在特定維度i中增量一向量(方塊360)的程序將使已增量值超出法定值(例如，α=7)，則應將該已增量值設定為極限值(α=6)且可省略與各別維度相關聯之方塊370至380的處理。在該情況下，可估計與各別維度相關聯之errori 值等於在方塊330處導出的誤差值。
在另一實施例中，當方法300自誤差值計算梯度(方塊390)時，該方法300可進一步計算梯度之量值對在方塊330處獲得之解區塊誤差的比率，且比較該比率與另一臨限值(方塊450)。若該比率小於臨限值，則方法300可前進至方塊350且將已編碼圖像之資料及在方塊320處使用之解區塊向量傳輸至解碼器。
在實施期間，用於方塊340、410及430至450處之比較的臨限值可為可經調整以適合個別需要的可程式化值。該等臨限值可設定為靜態、經預先程式化的值。或者，該等臨限值可在操作期間動態地改變。舉例而言，臨限值可基於指派給各別圖像之編碼操作之類型(例如，I型編碼、P型編碼或B型編碼)而改變或可基於用以編碼該圖像之量化參數而改變。臨限值可基於在編碼器處控管編碼操作的目標位元率預算而改變。此外，臨限值可基於描述編碼該視訊資料所針對的目標解碼器(例如，大螢幕器件(膝上型電腦、平板電腦)或小螢幕器件(攜帶型媒體播放器、智慧型手機))之資料而改變。
圖10說明對例示性解區塊矩陣執行之圖9之梯度搜尋方法的操作。如所示，解區塊矩陣為由值α、β編索引之二維13×13矩陣。此實例對應於可用於H.264實施中的解區塊矩陣。由α及β值編索引之每一單元位置與可由解碼器應用之一組解區塊參數相關聯。在操作期間，編碼器可傳輸α及β的識別符，解碼器使用該等識別符自已儲存之矩陣擷取解區塊濾波器參數。
在該方法之第一次反覆中，可將解區塊向量510設定為預設值，例如[0,0]。可使用與解區塊向量510相關聯之參數來執行第一解區塊操作。假定自其獲得之誤差不足以終止該方法，則可在每一維度中增量該解區塊向量。在二維向量空間中，此情形產生一對已增量向量520、530。可執行一對解區塊操作，每一解區塊操作使用與各別已增量向量520、530相關聯的參數。可自與該對解區塊操作相關聯之誤差值及自原始解區塊向量510獲得之誤差值來導出梯度向量G。其後，可使用自該梯度向量G導出之已更新解區塊向量540執行另一次反覆，且若自其獲得之誤差不足以終止該方法之操作，則可計算另一對已增量向量550、560。操作可繼續，從而產生新的解區塊向量、已增量解區塊向量及梯度向量(圖中未繪示)，直至到達停止點。
在二維之情況下，可藉由以下程序流程執行圖9之方法的操作：
圖11說明根據本發明之一實施例之方法600。方法600可開始於編碼及解碼原始圖像(方塊610)，接著使用與當前解區塊向量相關聯之解區塊參數對圖像執行解區塊(方塊620)。在方法600之第一次反覆中，可將向量設定為預設值。方法600可計算與已解區塊圖像相關聯之誤差(方塊630)且比較該誤差與預定臨限值(方塊640)。若該誤差小於預定臨限值，則方法600可將已編碼圖像資料及當前解區塊向量傳輸至解碼器(方塊650)且方法600可針對當前圖像終止。
解區塊向量可被視為表示具有多個值的N維向量。如在圖9實施例中，在應用於H.264實施時，α及β參數可被視為二維向量。未來編碼協定可定義額外類型之解區塊參數，在圖11之方法600的情形中考慮時，可將該等解區塊參數表示為3維、4維或更大維度之空間。
當方塊640之比較判定該誤差超過臨限值時，方法600可執行多維搜尋以獲得新的解區塊向量。具體而言，方法600可根據用於維度i之控管搜尋方向獨立地使當前向量在每一維度i中前移(方塊660)。方法600可使用與已前移向量中之每一者相關聯之參數來執行已解碼圖像之解區塊(方塊670)且計算在原始圖像與已解區塊圖像之間的一誤差(方塊680)。在N維向量空間中，存在N個已解區塊圖像及自其獲得的N個誤差值。方法600可藉由比較在方塊630處獲得之誤差值與在方塊680中自每一維度之計算獲得的誤差來計算一梯度值(方塊690)。方法600可自該梯度產生一新的向量(方塊700)且執行分析之另一次反覆(返回至方塊620)。
梯度向量可為N維向量，其中可藉由比較來自方塊630之解區塊誤差與自方塊680獲得之維度誤差來獲得每一維度i之分量。舉例而言，可將梯度向量G計算為：G=[G1 ,G2 ,...,GN ]，其中，針對梯度向量之每一分量Gi ，Gi =(erri -errDBLK )‧DIRi 。在前述方程式中，DIRi 表示用於各別維度的控管搜尋方向，其具有值-1或1。
方法600可進一步將新的解區塊向量V產生為：
，其中
w表示演算法之步長，且每一維度分量Vi 經捨位而具有整數值。步長w為通常基於每一維度中的解區塊向量空間之大小來設定的可程式化值。
舉例而言，在應用於H.264實施時，方法600可將梯度向量G產生為G=[(err α -errDBLK )‧DIR α ,(err β -errDBLK )‧DIR β ]，其中errα 及errβ 為由方塊380獲得之誤差值，且DIRα 及DIRβ 分別表示在α及β維度中的搜尋方向指示符。方法600可進一步將新的解區塊向量[α,β]new 產生為：
，其中
又，[α,β]new 經捨位而具有整數值。實務上，w=1.4之值可給予令人滿意的結果。
吾人預期，在操作期間，圖11之梯度搜尋方法600可經由若干次反覆而收斂於產生低於臨限值之誤差(方塊640)的一組解區塊參數。方法600之其他實施例提供其他測試以在達成可接受之低誤差情況之前終止操作。
舉例而言，在已解碼該已編碼圖像(方塊610)之後，方法600可計算一解碼誤差且比較該解碼誤差與另一臨限值(方塊710)。若該解碼誤差小於臨限值，則方法600可使該已編碼圖像被傳輸至解碼器而不傳輸解區塊參數(方塊720)。此測試有利地判定解區塊並非達成合適之影像品質所必要的，且因此，可節省執行方塊620至700之操作所需的處理資源。
在另一實施例中，若在方塊640處判定之誤差大於臨限值，則方法600可進一步判定在當前反覆與前一反覆之間的誤差之改變(經展示為「Δerror」)。在執行第一次反覆時，可容許自當前誤差值及在方塊710處獲得之解碼誤差值導出Δerror。或者，第一次反覆可省略方塊720。方法600可比較Δerror值與另一臨限值(方塊730)。若Δerror值超過預定臨限值，則此情形可暗示梯度搜尋方法之收斂速率不可能充分改良影像增強以致於保證方法600的進一步執行。在此情況下，方法600可前進至方塊650且將已編碼圖像之資料及解區塊向量傳輸至解碼器。
在另一實施例中，在方法600設定新的向量(方塊700)之後，方法600可判定是否在該方法之某一較早的反覆期間使用過該新的向量(方塊740)。若如此，則可指示方法600之進一步執行不可能在改良影像增強的程度上超出經由當前反覆所獲得之結果。在此情況下，方法600可前進至方塊650且將已編碼圖像之資料及在方塊700之操作之前所獲得之解區塊向量傳輸至解碼器。
且，在又一實施例中，方法600可在已執行方塊620至700之預定數目次反覆而未產生足夠低以致於到達方塊650之誤差的情況下終止。
在許多實施中，每一解區塊參數維度之可能值的範圍將為有限的。舉例而言，在H.264實施中，α及β值各須為具有在-6與6之間的值之整數。在一實施例中，若使向量在特定維度i中前移(方塊660)的程序將使已前移向量超出法定值(例如，α=-7)，則應將該已前移值設定為極限值(α=-6)且可省略與各別維度相關聯之方塊670至680的處理。在該情況下，可估計與各別維度相關聯之errori 值等於在方塊630處導出的誤差值。
在另一實施例中，當方法600自誤差值計算梯度(方塊690)時，該方法600可進一步計算梯度之量值對在方塊630處獲得之解區塊誤差的比率，且比較該比率與另一臨限值(方塊750)。若該比率小於臨限值，則方法600可前進至方塊650且將已編碼圖像之資料及在方塊620處使用之解區塊向量傳輸至解碼器。
在實施期間，用於方塊640、710及730至750處之比較的臨限值可為可經調整以適合個別需要的可程式化值。該等臨限值可設定為靜態、經預先程式化的值。或者，該等臨限值可在操作期間動態地改變。舉例而言，臨限值可基於指派給各別圖像之編碼操作之類型(例如，I型編碼、P型編碼或B型編碼)而改變或可基於用以編碼該圖像之量化參數而改變。臨限值可基於在編碼器處控管編碼操作的目標位元率預算而改變。此外，臨限值可基於描述編碼該視訊資料所針對的目標解碼器(例如，大螢幕器件(膝上型電腦、平板電腦)或小螢幕器件(攜帶型媒體播放器、智慧型手機))之資料而改變。
圖12說明對例示性解區塊矩陣執行之圖11之梯度搜尋方法的操作。如所示，解區塊矩陣為由值α、β編索引之二維13×13矩陣。此實例對應於可用於H.264實施中的解區塊矩陣。由α及β值編索引之每一單元位置與可由解碼器應用之一組解區塊參數相關聯。在操作期間，編碼器可傳輸α及β的識別符，解碼器使用該等識別符自已儲存之矩陣擷取解區塊濾波器參數。
在該方法之第一次反覆中，可將解區塊向量810設定為預設值，例如[0,0]。可使用與解區塊向量810相關聯之參數來執行第一解區塊操作。假定自其獲得之誤差不足以終止該方法，則可在每一維度中根據預設方向使該解區塊向量前移。在二維向量空間中，此情形產生一對已增量向量820、830。可執行一對解區塊操作，每一解區塊操作使用與各別已增量向量820、830相關聯的參數。可自與該對解區塊操作相關聯之誤差值及自原始解區塊向量810獲得之誤差值來導出梯度向量G。其後，可使用自該梯度向量G導出之已更新解區塊向量840執行另一次反覆，且若自其獲得之誤差不足以終止該方法之操作，則可計算另一對已前移向量850、860。在第二次反覆中，可在對應於第一次反覆之梯度向量G之負值的方向上使維度向量850、860前移。操作可繼續，從而產生新的解區塊向量、已增量解區塊向量及梯度向量(圖中未繪示)，直至到達停止點。
在二維之情況下，可藉由以下程序流程執行圖11之方法的操作：
在前述方法中，值w表示將在解區塊矩陣內的梯度向量G之計算期間使用之步幅長度。如上文所指示，可將該步幅長度w設定為預定值，諸如1.4。在另一實施例中，可動態地設定該步幅長度。舉例而言，可將該步幅長度w設定為較大值(諸如，3.5)且在該等方法之操作期間改進。在此實施例中，可根據w=a*w(其中a<1)或w=w-a藉由一比例因數來減小該步幅長度w。此外，可基於在解區塊濾波器之執行中可觀察到的誤差來動態地設定步幅長度w之減小。當執行每一新的解區塊操作(上文之方塊320或620)時，可在本次反覆之解區塊誤差與前一次反覆之解區塊誤差之間做比較。若在誤差值之間的比率低於預定臨限值(例如，|ei+1 /ei |>th)，則可比該比率超過該臨限值之情況下更多地修正該步幅長度。
在前述實施例中，方法300及600將第一次反覆之解區塊向量初始化為該解區塊矩陣之中心(例如，[0,0])。其他實施例可將解區塊向量初始化為其他值以加速收斂。舉例而言，在一實施例中，最初可將解區塊向量設定為在對前一圖像執行該方法期間最終獲得之向量。或者，最初可將解區塊向量設定為在處理共同編碼類型之前一圖像期間最終獲得之向量(在對B型圖像操作時為前一B型圖像，或在對P型圖像操作時為前一P型圖像)。在又一實施例中，可將初始解區塊向量設定為在處理與正在處理的圖像表現出類似的運動向量或參考共同的參考圖像之先前圖像期間獲得之向量的值。或者，最初可將解區塊向量設定為自展現出共同編碼參數(諸如量化參數、像素縱橫比、編碼率、雜訊位準或影像複雜性)的其他圖像之處理所獲得之值。
本發明之原理可應用於各種類型之誤差計算。舉例而言，可藉由計算所考慮的圖像之間的均方誤差來計算在方塊330及380處(圖9)或在方塊630及680處(圖11)執行之誤差計算，該均方誤差呈之形式，其中p1、p2表示來自一對圖框的像素且i、j表示在該等圖像內之像素位置。該等誤差值可為可與臨限值比較之純量值。
在另一實施例中，可將該誤差計算執行為呈之形式的加權均方誤差計算，其中di,j 表示各別像素離介於已解碼區塊之間的最近邊界的距離。此實施例可將相對較高的權重指派給在區塊邊界處發生的誤差，區塊假影在區塊邊界處往往最為顯著。
在另一實施例中，該誤差計算可對離區塊邊界之邊緣在一預定距離內且在數學上展現一共同的正負號之每一像素的誤差求和。可根據離該邊緣之距離來加權每一像素之誤差。可在圖像內對結果求平方且求平均值。在此實施例中，該誤差計算不但將較大權重指派給靠近區塊邊緣之像素，而且亦將較大權重給予沿著邊緣之共同誤差。具有共同正負號之誤差往往比隨機雜訊誤差更明顯。
在另一實施例中，代替使用均方誤差準則，可使用考慮有主觀意義之誤差的誤差模型來執行該誤差計算。舉例而言，該誤差計算可計算使原始視訊與已編碼視訊之間無可覺察失真的最小檢視距離(「MVD」)。亦將此量度稱為使恰可覺察失真(「JND」)為零之最小檢視距離。在此實施例中，可如題為「Quality Metrics for Coded Video Using Just Noticeable Difference Models」之同在申請中的申請案s.n. 12/415,340中所揭示來計算JND值。在方塊340(圖9)或640(圖11)中，若計算出之MVD小於預定臨限值，則該方法可分別前進至方塊350或650。
在前述論述中，已將誤差計算論述為判定在原始圖像與已解碼、已解區塊之圖像之間的誤差。在另一實施例中，可使用已濾波之原始圖像而非未濾波之原始圖像來執行該誤差計算。以此方式，前述方法將計算在每一圖像(或圖像之部分)內已濾波之未編碼之當前巨集區塊與已解區塊之已編碼之當前巨集區塊之間的誤差。不需要將用以濾波該等未編碼之當前巨集區塊之濾波器標準化或傳達給解碼器。該等濾波器可適用於諸如上文提及之參數的參數，或適用於解碼器未知之其他參數(諸如傳入視訊中之雜訊之位準)。該等參數可強調高空間頻率以便將額外加權給予銳緣。
圖13為根據本發明之一實施例的解碼器900之簡化方塊圖。解碼器900可包括可變長度解碼器910、反向量化920、反變換單元930、加法器940、圖框緩衝器950及解區塊濾波器960。解碼器900可進一步包括預測單元，該預測單元包括參考圖像快取記憶體970及運動補償預測器980。
可變長度解碼器910可解碼自通道緩衝器接收之資料。可變長度解碼器910可將已編碼係數資料投送至反向量化920，將運動向量投送至運動補償預測器980且將解區塊向量資料投送至解區塊濾波器960。反向量化920可將自反可變長度解碼器910接收之係數資料乘以一量化參數。反變換單元930可將自反向量化920接收之經反量化的係數資料變換至像素資料。反變換單元930(如其名稱所暗示)可執行由編碼器之變換單元執行之變換操作(例如，DCT或小波變換)的逆操作。加法器940可以逐個像素為基礎將由反變換單元930獲得之像素殘餘資料與自運動補償預測器980獲得之預測像素資料相加。加法器940可輸出已恢復之巨集區塊資料，自該已恢復之巨集區塊資料可在顯示器件(圖中未繪示)上構建並呈現已恢復之圖框。圖框緩衝器950可累積已解碼之巨集區塊且自其產生重建構之圖框。解區塊濾波器960可根據由通道識別之濾波參數對已恢復之圖框資料執行解區塊濾波操作。
運動補償預測可經由參考圖像快取記憶體970及運動補償預測器980發生。參考圖像快取記憶體970可儲存由解區塊濾波器960輸出之已恢復之影像資料以用於經識別為參考圖框的圖框(例如，已解碼之I或P圖框)。回應於自通道接收之巨集區塊運動向量資料，運動補償預測器980可自參考圖像快取記憶體970擷取參考巨集區塊。運動補償預測器可將參考巨集區塊輸出至加法器940。
前述論述識別可用於根據本發明之各種實施例而構建之視訊編碼系統中的功能區塊。實務上，此等系統可應用於各種器件中，諸如具備整合式視訊攝影機的行動器件(例如，具備相機功能之電話、娛樂系統及電腦)及/或有線通信系統(諸如，視訊會議設備及具備相機功能之桌上型電腦)。在一些應用中，可將上文所描述之功能區塊提供為整合式軟體系統的元件，其中可將該等區塊提供為電腦程式之獨立元件。在其他應用中，可將該等功能區塊提供為處理系統之離散電路組件，諸如數位信號處理器或特殊應用積體電路內的功能單元。本發明之其他應用可體現為專用硬體及軟體組件之混合系統。此外，未必將本文所描述之功能區塊提供為獨立單元。舉例而言，雖然圖8將基於區塊之編碼鏈210及預測單元220之組件說明為獨立單元，但在一或多個實施例中，該等組件中之一些或全部可被整合且其未必為獨立單元。除非上文另有說明，否則此等實施細節對本發明之操作來說並不重要。
本文具體說明及/或描述了本發明之若干實施例。然而，應瞭解，在不脫離本發明之精神及預期範疇的情況下，本發明之修改及變更可由上述教示涵蓋且在所附申請專利範圍之範圍內。
110．．．編碼器
120．．．解碼器
130．．．網路
210．．．基於區塊之編碼鏈
212．．．減法器
214．．．變換單元
216．．．量化器
218．．．可變長度編碼器
220．．．預測單元
222．．．反量化單元
224．．．反變換單元
226．．．加法器
228．．．解區塊濾波器
230．．．參考圖像快取記憶體
232．．．運動補償預測器
234．．．運動估計器
240．．．緩衝器
300．．．方法
510．．．解區塊向量
520．．．已增量向量
530．．．已增量向量
540．．．已更新解區塊向量
550．．．已增量向量
560．．．已增量向量
600．．．方法
810．．．解區塊向量
820．．．已增量向量
830．．．已增量向量
840．．．已更新解區塊向量
850．．．維度向量/已前移向量
860．．．維度向量/已前移向量
910．．．可變長度解碼器
920．．．反向量化
930．．．反變換單元
940．．．加法器
950．．．圖框緩衝器
960．．．解區塊濾波器
970．．．參考圖像快取記憶體
980．．．運動補償預測器
圖1為習知視訊編碼器的方塊圖。
圖2為習知視訊解碼器的方塊圖。
圖3說明運動補償預測之原理。
圖4說明雙向時間預測之原理。
圖5為習知雙向視訊編碼器的方塊圖。
圖6為習知雙向視訊解碼器的方塊圖。
圖7說明適合於配合本發明之實施例而使用的編碼器/解碼器系統。
圖8為根據本發明之一實施例之視訊編碼器的簡化方塊圖。
圖9說明根據本發明之一實施例的方法。
圖10說明根據本發明之一實施例之梯度搜尋方法的例示性操作。
圖11說明根據本發明之另一實施例的方法。
圖12說明根據本發明之另一實施例之梯度搜尋方法的例示性操作。
圖13為根據本發明之一實施例之視訊解碼器的簡化方塊圖。
300．．．方法

Claims (32)

  1. 一種判定用於已編碼視訊之解區塊參數的方法，其包含反覆地：根據一解區塊向量執行一已解碼圖像之解區塊，自已解區塊、已解碼之圖像估計一解區塊誤差，若該估計誤差超過一預定臨限值，則針對複數個向量維度中之每一者：在該各別維度中使該解區塊向量前移，根據該已前移之維度來解區塊該已解碼圖像，及自根據該已前移之維度來解區塊之該已解碼圖像估計一解區塊誤差；根據自該等向量維度之該等估計之解區塊誤差導出的一梯度來修正該解區塊向量以用於下一次反覆。
  2. 如請求項1之方法，其進一步包含，若該估計誤差未超過該臨限值，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  3. 如請求項1之方法，其進一步包含重複該方法直至該解區塊誤差小於一預定臨限值。
  4. 如請求項1之方法，其進一步包含，在該方法之一第二次反覆時：估計在一第一次反覆與該第二次反覆之間的估計誤差的一改變率，若該改變率小於一第二臨限值，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  5. 如請求項1之方法，其進一步包含，若該梯度之一量值小於一第二臨限值，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  6. 如請求項1之方法，其進一步包含，在該方法之後續反覆時：判定該經修正之解區塊向量是否匹配在該方法之先前反覆中使用的一解區塊向量，若匹配，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  7. 如請求項1之方法，其中該前移包含在該各別維度中增量該解區塊向量。
  8. 如請求項1之方法，其中該前移包含在由一先前反覆之該梯度判定之一方向上在該各別維度中調整該解區塊向量。
  9. 如請求項1之方法，其中將一第一次反覆之該解區塊向量設定為一預設值。
  10. 如請求項1之方法，其中將一第一次反覆之該解區塊向量設定為藉由對一先前圖像執行該方法而獲得之一最終解區塊向量值。
  11. 如請求項1之方法，其中將一第一次反覆之該解區塊向量設定為藉由對與一當前圖像具有一共同編碼指派的一先前圖像執行該方法而獲得之一最終解區塊向量值。
  12. 如請求項1之方法，其中將一第一次反覆之該解區塊向量設定為藉由對與一當前圖像具有類似運動屬性的一先前圖像執行該方法而獲得之一最終解區塊向量值。
  13. 如請求項1之方法，其中根據該已解區塊、已解碼之圖像與未經濾波之原始圖像資料的一比較來判定該已解區塊圖像之該估計誤差。
  14. 如請求項1之方法，其中根據該已解區塊、已解碼之圖像與經濾波之原始圖像資料的一比較來判定該已解區塊圖像之該估計誤差。
  15. 一種視訊編碼方法，其包含：藉由運動補償來編碼原始圖像之區塊，解碼參考圖像之區塊，該解碼包括：藉由一反覆式基於梯度的搜尋程序來估計一解區塊濾波操作之參數，及根據最終估計之解區塊參數來解區塊濾波該等已解碼之參考圖像，將該已解區塊圖像儲存於一參考圖像儲存器中，及將該已編碼圖像之資料及該等最終估計之解區塊參數傳輸至一通道。
  16. 如請求項15之方法，其中該搜尋程序包含反覆地：根據一解區塊向量執行該已解碼圖像之解區塊，自已解區塊、已解碼之圖像估計一解區塊誤差，若該估計誤差超過一預定臨限值，則針對複數個向量維度中之每一者：在該各別維度中使該解區塊向量前移，根據該已前移之維度來解區塊該已解碼圖像，及自根據該已前移之維度來解區塊之該已解碼圖像估計一解區塊誤差；根據自該等向量維度之該等估計之解區塊誤差導出的一梯度來修正該解區塊向量以用於下一次反覆。
  17. 如請求項16之方法，其進一步包含，若該估計誤差未超過該臨限值，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  18. 如請求項16之方法，其進一步包含重複該方法直至該解區塊誤差小於一預定臨限值。
  19. 如請求項16之方法，其進一步包含，在該方法之一第二次反覆時：估計在一第一次反覆與該第二次反覆之間的估計誤差的一改變率，若該改變率小於一第二臨限值，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  20. 如請求項16之方法，其進一步包含，若該梯度之一量值小於一第二臨限值，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  21. 如請求項16之方法，其進一步包含，在該方法之一後續反覆時：判定該經修正之解區塊向量是否匹配在該方法之先前反覆中使用的一解區塊向量，若匹配，則將已編碼圖像資料及該解區塊向量之一識別符傳輸至一解碼器。
  22. 如請求項16之方法，其中該前移包含在該各別維度中增量該解區塊向量。
  23. 如請求項16之方法，其中該前移包含在由一先前反覆之該梯度判定之一方向上在該各別維度中調整該解區塊向量。
  24. 如請求項16之方法，其中將一第一次反覆之該解區塊向量設定為一預設值。
  25. 如請求項16之方法，其中將一第一次反覆之該解區塊向量設定為藉由對一先前圖像執行該方法而獲得之一最終解區塊向量值。
  26. 如請求項16之方法，其中將一第一次反覆之該解區塊向量設定為藉由對與一當前圖像具有一共同編碼指派的一先前圖像執行該方法而獲得之一最終解區塊向量值。
  27. 如請求項16之方法，其中將一第一次反覆之該解區塊向量設定為藉由對與一當前圖像具有類似運動屬性的一先前圖像執行該方法而獲得之一最終解區塊向量值。
  28. 如請求項16之方法，其中根據該已解區塊、已解碼之圖像與未經濾波之原始圖像資料的一比較來判定該已解區塊圖像之該估計誤差。
  29. 如請求項16之方法，其中根據該已解區塊、已解碼之圖像與經濾波之原始圖像資料的一比較來判定該已解區塊圖像之該估計誤差。
  30. 一種視訊編碼器，其包含：一基於區塊之編碼器，其具有用於一原始圖像及預測區塊的輸入，耦接至該基於區塊之編碼器之一預測單元，其包含：一基於區塊之解碼器，其用以解碼參考圖像之已編碼區塊，該基於區塊之解碼器包括一解區塊濾波器及用以藉由一反覆式基於梯度之搜尋程序來估計解區塊參數的控制邏輯，及用於已解區塊圖像的一參考圖像儲存器，及一傳輸緩衝器，其用以儲存該等已編碼圖像之資料及該等最終估計之解區塊參數。
  31. 如請求項30之編碼器，其中該控制邏輯反覆地：根據一解區塊向量解區塊該已解碼圖像，自已解區塊、已解碼之圖像估計一解區塊誤差，若該估計誤差超過一預定臨限值，則針對複數個向量維度中之每一者：在該各別維度中使該解區塊向量前移，根據該已前移之維度來解區塊該已解碼圖像，及自根據該已前移之維度來解區塊之該已解碼圖像估計一解區塊誤差；根據自該等向量維度之該等估計之解區塊誤差導出的一梯度來修正該解區塊向量以用於下一次反覆。
  32. 一種視訊解碼器，其包含：一基於區塊之解碼器，其具有用於已編碼圖像資料及預測區塊資料的輸入，耦接至該基於區塊之解碼器的一預測單元，其用以回應於在一通道中接收到之運動向量資料而預測區塊資料，及一解區塊濾波器，其接收來自該基於區塊之解碼器的已恢復之區塊資料，且回應於在該通道中接收到之一解區塊向量而使用由該解區塊向量識別之參數來執行解區塊，該解區塊向量已由一反覆式基於梯度之搜尋程序產生。
TW100128608A 2010-09-30 2011-08-10 最佳化之解區塊濾波器 TWI452907B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/895,688 US8976856B2 (en) 2010-09-30 2010-09-30 Optimized deblocking filters

Publications (2)

Publication Number Publication Date
TW201215155A TW201215155A (en) 2012-04-01
TWI452907B true TWI452907B (zh) 2014-09-11

Family

ID=44504278

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100128608A TWI452907B (zh) 2010-09-30 2011-08-10 最佳化之解區塊濾波器

Country Status (9)

Country Link
US (1) US8976856B2 (zh)
EP (1) EP2622855A2 (zh)
JP (1) JP5579936B2 (zh)
KR (1) KR101482896B1 (zh)
CN (1) CN103141097B (zh)
AU (1) AU2011312795B2 (zh)
CA (1) CA2808160C (zh)
TW (1) TWI452907B (zh)
WO (1) WO2012047373A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020415A1 (en) * 2008-01-18 2012-01-26 Hua Yang Method for assessing perceptual quality
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9374598B2 (en) 2011-03-21 2016-06-21 Lg Electronics Inc. Method for selecting motion vector predictor and device using same
US10715817B2 (en) 2012-12-19 2020-07-14 Nvidia Corporation Apparatus and method for enhancing motion estimation based on user input
US20140195560A1 (en) * 2013-01-09 2014-07-10 Samsung Electronics Co., Ltd Two way local feature matching to improve visual search accuracy
CN106134201B (zh) * 2014-05-23 2019-10-25 华为技术有限公司 在块预测技术中使用的预处理预测滤波的方法和装置
CN105530517B (zh) * 2014-09-29 2018-07-31 炬芯（珠海）科技有限公司 一种解码器及有损解码视频图像的方法
CN104602018B (zh) * 2014-10-21 2018-09-18 腾讯科技（北京）有限公司 视频数据的运动信息的获取方法和装置、编码方法和装置
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
JP7094076B2 (ja) * 2016-08-19 2022-07-01 沖電気工業株式会社 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
GB2553557B (en) * 2016-09-08 2022-04-20 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US11451788B2 (en) * 2018-06-28 2022-09-20 Apple Inc. Rate control for low latency video encoding and transmission
US11146808B2 (en) 2019-06-27 2021-10-12 Tencent America LLC Method and apparatus for video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117653A1 (en) * 2003-10-24 2005-06-02 Jagadeesh Sankaran Loop deblock filtering of block coded video in a very long instruction word processor
US20050244063A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US20060256872A1 (en) * 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. Filtering characteristic error concealing apparatus
US20090274215A1 (en) * 2008-04-30 2009-11-05 Metsugi Katsuhiko Image processing apparatus, image processing method and image processing program
US20090285308A1 (en) * 2008-05-14 2009-11-19 Harmonic Inc. Deblocking algorithm for coded video

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958226A (en) 1989-09-27 1990-09-18 At&T Bell Laboratories Conditional motion compensated interpolation of digital motion video
FR2656129B1 (fr) * 1989-12-20 1992-03-13 Gen Electric Cgr Procede de reconstruction multi-echelle de l'image de la structure d'un corps.
US5465119A (en) 1991-02-22 1995-11-07 Demografx Pixel interlacing apparatus and method
EP0533947B1 (en) 1991-04-10 1999-03-17 Mitsubishi Denki Kabushiki Kaisha Encoder and decoder
US5313204A (en) 1991-04-25 1994-05-17 Mitsubishi Denki Kabushiki Kaisha Encoding and decoding devices with predictor and detector
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5414469A (en) 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5408328A (en) 1992-03-23 1995-04-18 Ricoh Corporation, California Research Center Compressed image virtual editing system
JPH05316360A (ja) 1992-05-14 1993-11-26 Fuji Xerox Co Ltd 画像信号の符号化復号装置
JP3293920B2 (ja) 1993-01-22 2002-06-17 キヤノン株式会社 画像処理装置およびその方法
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR970003102B1 (ko) 1993-09-17 1997-03-14 대우전자 주식회사 영상 복호기에서의 하프 픽셀 움직임 보상 회로
JP2956464B2 (ja) 1993-12-29 1999-10-04 日本ビクター株式会社 画像情報圧縮伸長装置
DE69535228T2 (de) 1994-06-08 2007-09-13 Matsushita Electric Industrial Co., Ltd., Kadoma Bildumsetzungsvorrichtung
JP3732867B2 (ja) 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5619256A (en) 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5999189A (en) 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5673210A (en) * 1995-09-29 1997-09-30 Lucent Technologies Inc. Signal restoration using left-sided and right-sided autoregressive parameters
US5786855A (en) 1995-10-26 1998-07-28 Lucent Technologies Inc. Method and apparatus for coding segmented regions in video sequences for content-based scalability
US6026183A (en) 1995-10-27 2000-02-15 Texas Instruments Incorporated Content-based video compression
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5778097A (en) 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
JP2003235041A (ja) 1996-08-07 2003-08-22 Matsushita Electric Ind Co Ltd リアルタイム画像符号化装置
US7006575B2 (en) 1996-08-07 2006-02-28 Matsushita Electric Industrial Co., Ltd. Picture and sound decoding apparatus picture and sound encoding apparatus and information transmission system
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
KR100235347B1 (ko) 1996-09-19 1999-12-15 전주범 윤곽선 영상신호 부호화 방법 및 장치
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US5952943A (en) 1996-10-11 1999-09-14 Intel Corporation Encoding image data for decode rate control
WO1998017068A1 (en) 1996-10-11 1998-04-23 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
US5978509A (en) 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
US5886736A (en) 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6173013B1 (en) 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6043846A (en) 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6148026A (en) 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US5960111A (en) 1997-02-10 1999-09-28 At&T Corp Method and apparatus for segmenting images prior to coding
US6347116B1 (en) 1997-02-14 2002-02-12 At&T Corp. Non-linear quantizer for video coding
EP0859326A3 (en) 1997-02-14 1999-05-12 Canon Kabushiki Kaisha Data transmission apparatus, system and method, and image processing apparatus
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6453071B2 (en) 1997-04-04 2002-09-17 Canon Kabushiki Kaisha Data communication apparatus, method and system and programs for data communication process stored in computer readable storage medium
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6310857B1 (en) 1997-06-16 2001-10-30 At&T Corp. Method and apparatus for smoothing and multiplexing video data flows
US6226410B1 (en) 1997-06-30 2001-05-01 Intel Corporation Method and apparatus for providing image and video coding with iterative post-processing using transmitted step size information
US6351563B1 (en) 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6317131B2 (en) 1997-07-15 2001-11-13 At&T Corp. Interaction modalities for multimedia delivery and presentation using nodes
JPH11122624A (ja) 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
JPH11127288A (ja) 1997-10-24 1999-05-11 Canon Inc 画像処理装置及びその方法並びにメモリ媒体
US6731811B1 (en) 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6347157B2 (en) 1998-07-24 2002-02-12 Picsurf, Inc. System and method for encoding a video sequence using spatial and temporal transforms
US6459731B1 (en) * 1998-08-28 2002-10-01 Lucent Technologies Inc. Technique for video communications using a coding-matched filter arrangement
US6412011B1 (en) 1998-09-14 2002-06-25 At&T Corp. Method and apparatus to enhance a multicast information stream in a communication network
EP0994627B1 (en) 1998-10-13 2006-03-08 Matsushita Electric Industrial Co., Ltd. Regulation of the computational and memory requirements of a compressed bitstream in a video decoder
JP2000244909A (ja) 1999-02-19 2000-09-08 Matsushita Electric Ind Co Ltd 圧縮ビデオのビットストリームの検定方法および装置
US6693957B1 (en) * 1998-12-31 2004-02-17 Nortel Networks Limited Adaptive front end for discrete multitone modem
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
US6967597B1 (en) 2000-11-08 2005-11-22 Lg Electronics, Inc. Method and apparatus for coding information, method and apparatus for decoding information, method of fabricating a recording medium, the recording medium and modulated signal
US6678416B1 (en) * 2000-02-08 2004-01-13 University Of Washington Detecting and segmenting local deformation in a tracked video object
US7221483B2 (en) 2000-09-05 2007-05-22 Ricoh Company, Ltd. Image encoding method and apparatus, image decoding method and apparatus, image processing apparatus, image formation apparatus, and computer-executable programs
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
WO2003029989A1 (fr) 2001-09-27 2003-04-10 Hitachi, Ltd. Systeme multisupport
EP1446955A2 (en) 2001-11-21 2004-08-18 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
ES2467940T3 (es) * 2001-11-29 2014-06-13 Panasonic Corporation Método de extracción de distorsión de codificación
EP1978748B1 (en) * 2001-11-29 2014-04-16 Panasonic Corporation Coding distortion removal method
US20030198294A1 (en) 2002-04-23 2003-10-23 Andre Zaccarin Methods and apparatuses for selecting encoding options based on decoding energy requirements
WO2003102868A2 (en) * 2002-05-29 2003-12-11 Pixonics, Inc. Classifying image areas of a video signal
US20030235250A1 (en) * 2002-06-24 2003-12-25 Ankur Varma Video deblocking
JP2006514757A (ja) * 2002-07-05 2006-05-11 アスペクタス エルティーディー 多数の同時の動画像における事象検出を効率的に実行する方法およびシステム
KR20040007818A (ko) 2002-07-11 2004-01-28 삼성전자주식회사 동영상 부호화를 위한 ｄｃｔ연산량 조절 방법 및 그 장치
US7088776B2 (en) * 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
JP4593556B2 (ja) 2003-01-09 2010-12-08 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 映像符号化方法及びデバイス
EP1582061A4 (en) * 2003-01-10 2010-09-22 Thomson Licensing DECODER AND METHOD FOR SMOOTHING ARTIFACTS RESULTING FROM ERROR MASKING
US20060104357A1 (en) * 2003-01-20 2006-05-18 Dzevdet Burazerovic Video coding
US20040158878A1 (en) 2003-02-07 2004-08-12 Viresh Ratnakar Power scalable digital video decoding
US7324604B2 (en) * 2003-03-03 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. System and method for shaping ultra wide bandwidth signal spectrum
US7193649B2 (en) 2003-04-01 2007-03-20 Logitech Europe S.A. Image processing device supporting variable data technologies
WO2005011255A2 (en) 2003-06-26 2005-02-03 Thomson Licensing S.A. Multipass video rate control to match sliding window channel constraints
ATE411705T1 (de) 2003-06-27 2008-10-15 Nxp Bv Codierungsverfahren für tragbare vorrichtungen
US20050024651A1 (en) 2003-07-29 2005-02-03 Zhenghua Yu Adaptive complexity scalable post-processing method
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
JP2005217532A (ja) 2004-01-27 2005-08-11 Canon Inc 解像度変換方法及び解像度変換装置
EP1721467A2 (en) 2004-02-06 2006-11-15 Apple Computer, Inc. Rate and quality controller for h.264/avc video coder and scene analyzer therefor
US7894526B2 (en) * 2004-02-27 2011-02-22 Panasonic Corporation Motion estimation method and moving picture coding method
US20050195901A1 (en) 2004-03-03 2005-09-08 Teemu Pohjola Video compression method optimized for low-power decompression platforms
US7522774B2 (en) * 2004-03-10 2009-04-21 Sindhara Supermedia, Inc. Methods and apparatuses for compressing digital image data
US7881386B2 (en) 2004-03-11 2011-02-01 Qualcomm Incorporated Methods and apparatus for performing fast mode decisions in video codecs
US20050201469A1 (en) 2004-03-11 2005-09-15 John Sievers Method and apparatus for improving the average image refresh rate in a compressed video bitstream
WO2005096515A1 (ja) * 2004-03-31 2005-10-13 Pioneer Corporation デジタル受信装置
US8315307B2 (en) 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US8316068B2 (en) * 2004-06-04 2012-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Memory compression
US7636490B2 (en) * 2004-08-09 2009-12-22 Broadcom Corporation Deblocking filter process with local buffers
JP4578197B2 (ja) 2004-09-29 2010-11-10 三洋電機株式会社 画像表示装置
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
JP2006115168A (ja) 2004-10-14 2006-04-27 Sony Corp 画像復号装置および画像表示装置
JP4407472B2 (ja) * 2004-10-29 2010-02-03 ソニー株式会社 符号化及び復号装置並びに符号化及び復号方法
JP4453518B2 (ja) * 2004-10-29 2010-04-21 ソニー株式会社 符号化及び復号装置並びに符号化及び復号方法
US7924910B2 (en) * 2005-01-04 2011-04-12 Vitesse Semiconductor Corporation Adaptive equalization with group delay
JP4515922B2 (ja) * 2005-01-11 2010-08-04 パナソニック株式会社 データ保持装置、画像符号化装置および画像復号化装置
US7953283B2 (en) 2005-01-27 2011-05-31 Panasonic Corporation Portable terminal
US7715589B2 (en) * 2005-03-07 2010-05-11 Massachusetts Institute Of Technology Occluding contour detection and storage for digital photography
JP4708819B2 (ja) * 2005-03-14 2011-06-22 キヤノン株式会社 画像処理装置、方法、コンピュータプログラム及び記憶媒体
US7949044B2 (en) * 2005-04-12 2011-05-24 Lsi Corporation Method for coefficient bitdepth limitation, encoder and bitstream generation apparatus
JP4856954B2 (ja) * 2005-06-08 2012-01-18 パナソニック株式会社 画像符号化装置
US7908627B2 (en) * 2005-06-22 2011-03-15 At&T Intellectual Property I, L.P. System and method to provide a unified video signal for diverse receiving platforms
US7805005B2 (en) * 2005-08-02 2010-09-28 The United States Of America As Represented By The Secretary Of The Army Efficient imagery exploitation employing wavelet-based feature indices
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
US8081682B1 (en) * 2005-10-13 2011-12-20 Maxim Integrated Products, Inc. Video encoding mode decisions according to content categories
US8126283B1 (en) * 2005-10-13 2012-02-28 Maxim Integrated Products, Inc. Video encoding statistics extraction using non-exclusive content categories
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
US8031777B2 (en) 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
US8780997B2 (en) 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
CN101371584B (zh) 2006-01-09 2011-12-14 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
JP4643454B2 (ja) 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
KR101232780B1 (ko) 2006-01-12 2013-09-03 (주)휴맥스 통합 코덱 장치 및 방법
US8213495B2 (en) * 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
US8937997B2 (en) 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US7911538B2 (en) 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8243815B2 (en) * 2006-06-16 2012-08-14 Via Technologies, Inc. Systems and methods of video compression deblocking
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US8253752B2 (en) 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US7408550B2 (en) * 2006-07-24 2008-08-05 Bunnell Michael T System and methods for real-time rendering of deformable geometry with global illumination
TW200808067A (en) * 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
JP2008042566A (ja) 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
JP4410225B2 (ja) 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
US8428118B2 (en) * 2006-08-17 2013-04-23 Ittiam Systems (P) Ltd. Technique for transcoding MPEG-2/MPEG-4 bitstream to H.264 bitstream
WO2008027249A2 (en) * 2006-08-28 2008-03-06 Thomson Licensing Method and apparatus for determining expected distortion in decoded video blocks
US8711372B2 (en) 2006-08-31 2014-04-29 Ricoh Co., Ltd. Techniques for image segment accumulation in document rendering
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US20080095238A1 (en) 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
US7813425B2 (en) * 2006-11-29 2010-10-12 Ipera Technology, Inc. System and method for processing videos and images to a determined quality level
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
ATE488096T1 (de) * 2006-12-18 2010-11-15 Koninkl Philips Electronics Nv Bildkomprimierung und dekomprimierung
US20100074328A1 (en) * 2006-12-19 2010-03-25 Koninklijke Philips Electronics N.V. Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal
US20080152009A1 (en) 2006-12-21 2008-06-26 Emrah Akyol Scaling the complexity of video encoding
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
US8315817B2 (en) * 2007-01-26 2012-11-20 Illumina, Inc. Independently removable nucleic acid sequencing system and method
JP2010516285A (ja) * 2007-01-26 2010-05-20 イルミナ インコーポレイテッド 核酸配列決定システムおよび方法
US20080181298A1 (en) 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
US7656318B2 (en) 2007-01-29 2010-02-02 Ntt Docomo, Inc. Optimized content-based and royalty-based encoding and distribution of media data
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8036485B2 (en) * 2007-04-09 2011-10-11 Tektronix, Inc. Systems and methods for measuring loss of detail in a video codec block
US8582656B2 (en) 2007-04-13 2013-11-12 Apple Inc. Method and system for video encoding and decoding
US8619874B2 (en) 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
WO2008134482A1 (en) 2007-04-26 2008-11-06 Polycom, Inc. De-blocking filter arrangements
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
JP4842899B2 (ja) * 2007-08-15 2011-12-21 Ｋｄｄｉ株式会社 動画像符号化装置、動画像符号化方法およびプログラム
US8081842B2 (en) * 2007-09-07 2011-12-20 Microsoft Corporation Image resizing for web-based image search
EP2051530A2 (en) * 2007-10-17 2009-04-22 Electronics and Telecommunications Research Institute Video encoding apparatus and method using pipeline technique with variable time slot
US8743972B2 (en) 2007-12-20 2014-06-03 Vixs Systems, Inc. Coding adaptive deblocking filter and method for use therewith
JP5417342B2 (ja) * 2007-12-21 2014-02-12 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ビデオ符号化に対する改善された画素予測
US8345774B2 (en) 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
US8165204B2 (en) * 2008-02-29 2012-04-24 Michael Bronstein Resource allocation for frame-based controller
US20090245351A1 (en) * 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
US8270466B2 (en) * 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
TWI386068B (zh) 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
US20100118982A1 (en) * 2008-10-24 2010-05-13 Chanchal Chatterjee Method and apparatus for transrating compressed digital video
US9131241B2 (en) * 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
KR101260157B1 (ko) 2009-02-13 2013-05-06 리서치 인 모션 리미티드 인트라코딩된 이미지 또는 프레임에 대한 인루프 디블로킹
US20100245672A1 (en) * 2009-03-03 2010-09-30 Sony Corporation Method and apparatus for image and video processing
US8270498B2 (en) * 2009-03-26 2012-09-18 Apple Inc. Dynamic dithering for video compression
US8761268B2 (en) * 2009-04-06 2014-06-24 Intel Corporation Selective local adaptive wiener filter for video coding and decoding
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
US8619928B2 (en) * 2009-09-03 2013-12-31 Qualcomm Incorporated Multi-stage interference suppression
US8743957B2 (en) * 2010-04-12 2014-06-03 Sony Corporation Context adaptive directional intra prediction
US20110262013A1 (en) * 2010-04-21 2011-10-27 Harris Corporation Fingerprint matcher using iterative process and related methods
US20110293019A1 (en) * 2010-05-27 2011-12-01 Freescale Semiconductor Inc. Video processing system, computer program product and method for decoding an encoded video stream
US8447565B2 (en) * 2010-06-07 2013-05-21 Lawrence Livermore National Security, Llc Approximate error conjugation gradient minimization methods
US8396440B2 (en) * 2010-06-22 2013-03-12 Qualcomm Incorporated Signal reception method and apparatus for non-stationary channels
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
CN103026707B (zh) * 2010-07-21 2016-11-09 杜比实验室特许公司 使用用于视频编码的高级运动模型的参考处理
US8781782B2 (en) * 2010-09-30 2014-07-15 Siemens Aktiengesellschaft System and method for conditional multi-output regression for machine condition monitoring
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117653A1 (en) * 2003-10-24 2005-06-02 Jagadeesh Sankaran Loop deblock filtering of block coded video in a very long instruction word processor
US20050244063A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US20060256872A1 (en) * 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. Filtering characteristic error concealing apparatus
US20090274215A1 (en) * 2008-04-30 2009-11-05 Metsugi Katsuhiko Image processing apparatus, image processing method and image processing program
US20090285308A1 (en) * 2008-05-14 2009-11-19 Harmonic Inc. Deblocking algorithm for coded video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wang S. H., et al, "Boundary-energy sensitive visual de-blocking for H.264/AVC coder", Proc. Of SPIE, vol.5558, pp.512-523, 2004. Boyang Li ; Yew-Soon Ong ; Minh Nghia Le ; Chi Keong Goh, "Memetic Gradient Search," IEEE Congress on Evolutionary Computation, 2008. CEC, Page(s): 2894 - 2901, 2008. *

Also Published As

Publication number Publication date
CA2808160A1 (en) 2012-04-12
TW201215155A (en) 2012-04-01
JP2013542670A (ja) 2013-11-21
KR101482896B1 (ko) 2015-01-15
JP5579936B2 (ja) 2014-08-27
KR20130054396A (ko) 2013-05-24
EP2622855A2 (en) 2013-08-07
AU2011312795A1 (en) 2013-03-07
WO2012047373A3 (en) 2013-01-31
AU2011312795B2 (en) 2015-02-05
CA2808160C (en) 2016-03-15
US8976856B2 (en) 2015-03-10
CN103141097B (zh) 2016-04-06
US20120082236A1 (en) 2012-04-05
CN103141097A (zh) 2013-06-05
WO2012047373A2 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
TWI452907B (zh) 最佳化之解區塊濾波器
JP7109558B2 (ja) 適応型補間フィルタ
AU2015213340B2 (en) Video decoder, video encoder, video decoding method, and video encoding method
US8023562B2 (en) Real-time video coding/decoding
US9602819B2 (en) Display quality in a variable resolution video coder/decoder system
US9414086B2 (en) Partial frame utilization in video codecs
US9628821B2 (en) Motion compensation using decoder-defined vector quantized interpolation filters
JP5623640B2 (ja) 高解像度の参照フレームを用いるビデオコーディング
KR100790178B1 (ko) 동영상의 프레임 레이트 변환 방법
US20120008686A1 (en) Motion compensation using vector quantized interpolation filters
TWI468018B (zh) 使用向量量化解區塊過濾器之視訊編碼
US20120087411A1 (en) Internal bit depth increase in deblocking filters and ordered dither
US8170110B2 (en) Method and apparatus for zoom motion estimation
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees