TWI669950B - 影像處理裝置及方法 - Google Patents

Abstract

一種影像處理裝置，包括一解碼單元，配置以解碼一位元流來產生一圖片、一參考列表設定單元，配置以藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測解碼單元所產生的圖片、及一預測單元，配置以藉由參考參考列表設定單元所設定的參考列表，來預測解碼單元所產生的圖片。

Description

影像處理裝置及方法 [交叉參考相關應用]

本申請書主張申請於2012/12/21的日本優先權專利申請書第JP 2012-279847號之利益，本文藉由參考來合併其全部內容。

本揭露關於一種影像處理裝置及方法，且更具體來說是能夠提高多視角編碼之編碼效率的影像處理裝置及方法。

近年來，處理為數位形式之影像資訊的裝置，且在此例中利用特用於影像資訊的冗餘以實現壓縮及藉由基於正交轉換(如離散餘弦轉換)和移動補償來使用用於壓縮的編碼架構來編碼影像以有效地傳輸和累積資訊的裝置已變得愈來愈普遍。這類編碼架構的實例包括動態圖像專家群組(MPEG)、及H.264和MPEG-4第10部分(高級視頻編碼；以下稱為「AVC」)。

目前，稱為高效視頻編碼(HEVC)的編碼架構正由JCTVC(視頻編碼聯合工作小組)標準化，這是國際電信聯盟標準化部門(ITU-T)和國際標準組織/國際電工委員會(ISO/IEC)的聯合標準化組織，用於實現比H.264/AVC更提高的編碼效率。擴展版本、或用於多視角影像的編碼也被標準化。Gerhard Tech、Krzysztof Wegner、Ying Chen、及Miska Hannuksela於2012年11月7日已準備了「MV-HEVC Draft Text 2」，JCT3V-B1004(以下稱為「非專利文獻1」)，其已發行作為用於編碼多視角影像的草案。

以優先權的順序來列出其中排放用於解碼B圖片的候選參考圖片的參考列表係從在為暫時列表之時間列表中以優先權的順序來排放之參考圖片的開頭相繼地產生。

在非專利文獻1中，產生了時間列表，使得在時間方向參考圖片之後排放視角方向參考圖片。因此，在不使用參考列表命令來增加視角方向參考圖片在時間列表中的優先權之順序之情況下，將難以在參考列表中排放視角方向參考圖片。這樣的難處導致難以參考視角方向參考圖片。

藉此，Li Zhang、Ying Chen、及Jewon Kang於2012年10月7日的「AHG5：MV-Hevc software for HTM」，JCT3V-B0046(以下稱為「非專利文獻2」)提出當產生時間列表時，指定將在複數個時間方向參考圖片之 間插入的視角方向參考圖片之位置的資訊會在片段標頭中傳輸。上述資訊之傳輸確保在考慮視角間相關性時，於時間列表中的期望位置插入視角方向參考圖片。

然而，即使不需要改變視角方向參考圖片在時間列表中的插入位置，非專利文獻2所述之技術仍涉及片段標頭之傳輸，這可能導致降低編碼效率。

因此，希望提高分層編碼或多視角編碼的編碼效率。

根據本揭露之第一實施例的影像處理裝置包括一解碼單元，配置以解碼位元流來產生圖片、一參考列表設定單元，配置以藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定將被參考的參考列表以預測解碼單元所產生的圖片、及一預測單元，配置以藉由參考參考列表設定單元所設定的參考列表，來預測解碼單元所產生的圖片。

參考列表設定單元可藉由於能在時間方向上被參考的複數個參考圖片中之時間上位於比圖片早的參考圖片與時間上位於比圖片晚的參考圖片之間插入能在層方向上被參考的參考圖片，來設定參考列表。

參考列表設定單元可藉由以時間上位於比圖片早的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片晚的參考圖片之順序排放參考圖片，來設 定用於第一方向的參考列表。

參考列表設定單元可藉由以時間上位於比圖片晚的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片早的參考圖片之順序排放參考圖片，來設定用於第二方向的參考列表。

參考列表設定單元可藉由交替地排放能在時間方向上被參考的參考圖片和能在層方向上被參考的參考圖片，來設定參考列表。

參考列表設定單元可藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於第一方向的參考列表。能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片早的參考圖片和時間上位於比圖片晚的參考圖片之順序排放的方式來設定。能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

參考列表設定單元可藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於第二方向的參考列表。能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片晚的參考圖片和時間上位於比圖片早的參考圖片之順序排放的方式來設定。能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

參考列表設定單元可藉由以與能在用於第一方向之層方向上被參考的參考圖片之順序相反的順序插入能在層方向上被參考的參考圖片，來設定用於第二方向的參考列表。

參考列表設定單元可包括一時間列表設定單元，配置以藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定一時間列表，時間列表係用以設定參考列表的暫時列表、及一參考圖片列表設定單元，配置以基於時間列表設定單元所設定的時間列表來設定參考列表。

根據本揭露之第一實施例的影像處理方法包括使用影像處理裝置，解碼位元流來產生圖片；藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定將被參考的參考列表以預測產生的圖片；及藉由參考設定之參考列表來預測產生的圖片。

根據本揭露之第二實施例的影像處理裝置包括一參考列表設定單元，配置以藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定將被參考的參考列表以預測一圖片、一預測單元，配置以藉由參考參考列表設定單元所設定的參考列表來預測圖片、及一編碼單元，配置以使用預測單元所預測的圖片來進行編碼以產生位元流。

參考列表設定單元可藉由於能在時間方向上 被參考的複數個參考圖片中之時間上位於比圖片早的參考圖片與時間上位於比圖片晚的參考圖片之間插入能在層方向上被參考的參考圖片，來設定參考列表。

參考列表設定單元可藉由以時間上位於比圖片早的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片晚的參考圖片之順序排放參考圖片，來設定用於第一方向的參考列表。

參考列表設定單元可藉由以時間上位於比圖片晚的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片早的參考圖片之順序排放參考圖片，來設定用於第二方向的參考列表。

參考列表設定單元可藉由交替地排放能在時間方向上被參考的參考圖片和能在層方向上被參考的參考圖片，來設定參考列表。

參考列表設定單元可藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於第一方向的參考列表。能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片早的參考圖片和時間上位於比圖片晚的參考圖片之順序排放的方式來設定。能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

參考列表設定單元可藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被 參考的一列參考圖片之元件，來設定用於第二方向的參考列表。能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片晚的參考圖片和時間上位於比圖片早的參考圖片之順序排放的方式來設定。能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

參考列表設定單元藉由以與能在用於第一方向之層方向上被參考的參考圖片之順序相反的順序插入能在層方向上被參考的參考圖片，來設定用於第二方向的參考列表。

參考列表設定單元可包括一時間列表設定單元，配置以藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定時間列表，時間列表係用以設定參考列表的暫時列表、及一參考圖片列表設定單元，配置以基於時間列表設定單元所設定的時間列表來設定參考列表。

根據本揭露之第二實施例的影像處理方法包括使用影像處理裝置，藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定將被參考的參考列表以預測圖片；藉由參考設定之參考列表來預測圖片；及使用所預測之圖片來進行編碼以產生一位元流。

在本揭露之第一實施例中，解碼位元流來產生圖片、及藉由於能在時間方向上被參考的複數個參考圖 片之間插入能在層方向上被參考的參考圖片，來設定將被參考的參考列表以預測所產生的圖片。藉由參考設定之參考列表來預測所產生的圖片。

在本揭露之第二實施例中，藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定將被參考的參考列表以預測圖片。藉由參考設定之參考列表來預測圖片，及使用所預測之圖片來進行編碼以產生位元流。

上述之每個影像處理裝置可以是獨立裝置或包括在影像編碼裝置或影像解碼裝置中的內部方塊。

根據本揭露之第一實施例，可解碼圖片。尤其是，可提高編碼效率。

根據本揭露之第二實施例，可編碼圖片。尤其是，可提高編碼效率。

100‧‧‧影像編碼裝置

101‧‧‧A/D轉換單元

102‧‧‧畫面重排緩衝器

103‧‧‧計算單元

104‧‧‧正交轉換單元

105‧‧‧量化單元

106‧‧‧無損編碼單元

107‧‧‧累積緩衝器

108‧‧‧反量化單元

109‧‧‧反向正交轉換單元

110‧‧‧計算單元

111‧‧‧去區塊濾波器

112‧‧‧解碼圖片緩衝器

113‧‧‧選擇單元

114‧‧‧框內預測單元

115‧‧‧移動像差預測/補償單元

116‧‧‧選擇單元

117‧‧‧速率控制單元

121‧‧‧語法處理單元

122‧‧‧參考列表產生單元

123‧‧‧適應性偏移濾波器

124‧‧‧適應性迴路濾波器

131‧‧‧參考圖片設定單元

132‧‧‧時間列表產生單元

133‧‧‧參考圖片列表產生單元

S101-S120‧‧‧步驟

S131-S138‧‧‧步驟

S151-S160‧‧‧步驟

200‧‧‧影像解碼裝置

201‧‧‧累積緩衝器

202‧‧‧無損解碼單元

203‧‧‧反量化單元

204‧‧‧反向正交轉換單元

205‧‧‧計算單元

206‧‧‧去區塊濾波器

207‧‧‧畫面重排緩衝器

208‧‧‧D/A轉換單元

209‧‧‧解碼圖片緩衝器

210‧‧‧選擇單元

211‧‧‧框內預測單元

212‧‧‧移動像差預測/補償單元

213‧‧‧選擇單元

221‧‧‧語法處理單元

222‧‧‧參考列表產生單元

223‧‧‧適應性偏移濾波器

224‧‧‧適應性迴路濾波器

231‧‧‧參考圖片設定單元

232‧‧‧時間列表產生單元

233‧‧‧參考圖片列表產生單元

S201-S215‧‧‧步驟

S231-S238‧‧‧步驟

S251-S260‧‧‧步驟

300‧‧‧影像編碼裝置

350‧‧‧影像解碼裝置

500‧‧‧電腦

501‧‧‧中央處理單元

502‧‧‧唯讀記憶體

503‧‧‧隨機存取記憶體

504‧‧‧匯流排

510‧‧‧輸入/輸出介面

511‧‧‧輸入單元

512‧‧‧輸出單元

513‧‧‧儲存單元

514‧‧‧通訊單元

515‧‧‧驅動器

521‧‧‧可移除媒體

900‧‧‧電視裝置

901‧‧‧天線

902‧‧‧調諧器

903‧‧‧解多工器

904‧‧‧解碼器

905‧‧‧視頻信號處理單元

906‧‧‧顯示單元

907‧‧‧音頻信號處理單元

908‧‧‧揚聲器

909‧‧‧外部介面

910‧‧‧控制單元

911‧‧‧使用者介面

912‧‧‧匯流排

920‧‧‧行動電話

921‧‧‧天線

922‧‧‧通訊單元

923‧‧‧音頻編解碼器

924‧‧‧揚聲器

925‧‧‧麥克風

926‧‧‧照相機單元

927‧‧‧影像處理單元

928‧‧‧多工/解多工單元

929‧‧‧記錄/再生單元

930‧‧‧顯示單元

931‧‧‧控制單元

932‧‧‧操作單元

933‧‧‧匯流排

940‧‧‧記錄/再生裝置

941‧‧‧調諧器

942‧‧‧外部介面

943‧‧‧編碼器

944‧‧‧硬碟機

945‧‧‧磁碟機

946‧‧‧選擇器

947‧‧‧解碼器

948‧‧‧螢幕上顯示器

949‧‧‧控制單元

950‧‧‧使用者介面

960‧‧‧影像擷取裝置

961‧‧‧光學方塊

962‧‧‧影像擷取單元

963‧‧‧信號處理單元

964‧‧‧影像處理單元

965‧‧‧顯示單元

966‧‧‧外部介面

967‧‧‧記憶體

968‧‧‧媒體驅動器

969‧‧‧OSD

970‧‧‧控制單元

971‧‧‧使用者介面

972‧‧‧匯流排

1300‧‧‧視頻組

1311‧‧‧視頻模組

1312‧‧‧外部記憶體

1313‧‧‧電源管理模組

1314‧‧‧前端模組

1321‧‧‧連接

1322‧‧‧照相機

1323‧‧‧感測器

1331‧‧‧應用程式處理器

1332‧‧‧視頻處理器

1333‧‧‧寬頻數據機

1334‧‧‧RF模組

1351‧‧‧天線單元

1352‧‧‧濾波器

1353‧‧‧放大器單元

1401‧‧‧視頻輸入處理單元

1402‧‧‧第一影像放大/縮小單元

1403‧‧‧第二影像放大/縮小單元

1404‧‧‧視頻輸出處理單元

1405‧‧‧訊框記憶體

1406‧‧‧記憶體控制單元

1407‧‧‧編碼/解碼引擎

1408A‧‧‧視頻基本流緩衝器

1408B‧‧‧視頻基本流緩衝器

1409A‧‧‧音頻ES緩衝器

1409B‧‧‧音頻ES緩衝器

1410‧‧‧音頻編碼器

1411‧‧‧音頻解碼器

1412‧‧‧多工器

1413‧‧‧解多工器

1414‧‧‧串流緩衝器

1511‧‧‧控制單元

1512‧‧‧顯示介面

1513‧‧‧顯示引擎

1514‧‧‧影像處理引擎

1515‧‧‧內部記憶體

1516‧‧‧編解碼器引擎

1517‧‧‧記憶體介面

1518‧‧‧多工器/解多工器

1519‧‧‧網路介面

1520‧‧‧視頻介面

1531‧‧‧主CPU

1532‧‧‧副CPU

1533‧‧‧系統控制器

1541‧‧‧MPEG-2視頻

1542‧‧‧AVC/H.264

1543‧‧‧HEVC/H.265

1544‧‧‧HEVC/H.265(可適性)

1545‧‧‧HEVC/H.265(多視角)

1551‧‧‧MPEG-DASH

第1圖係繪示根據本揭露之第一實施例之影像編碼裝置的示範配置之方塊圖；第2圖係描繪參考圖片之結構之實例的圖；第3圖係繪示習知技術之參考列表產生方法之實例的圖；第4圖係繪示習知技術之參考列表產生方法之另一實例的圖；第5圖係繪示根據本技術之實施例之參考列 表產生方法之實例的圖；第6圖係繪示根據本技術之實施例之參考列表產生方法之另一實例的圖；第7圖係繪示根據本技術和習知技術之實施例之方法之間的比較表；第8圖係描繪根據本技術之實施例之視角間圖片之排放順序的圖；第9圖係繪示根據本技術之實施例之用於改變視角間圖片的排放順序之方法的圖；第10圖係繪示第1圖所示之參考列表產生單元之示範配置的方塊圖；第11圖係描繪編碼程序之流程的實例之流程圖；第12圖係描繪參考列表產生程序之流程的實例之流程圖；第13圖係描繪參考列表產生程序之流程的另一實例之流程圖；第14圖係繪示根據本揭露之第二實施例之影像解碼裝置的示範配置之方塊圖；第15圖係繪示第14圖所示之參考列表產生單元之示範配置的方塊圖；第16圖係描繪解碼程序之流程之實例的流程圖；第17圖係描繪參考列表產生程序之流程的實 例之流程圖；第18圖係描繪參考列表產生程序之流程的另一實例之流程圖；第19圖係繪示根據本揭露之第三實施例之影像編碼裝置的示範配置之方塊圖；第20圖係繪示根據本揭露之第三實施例之影像解碼裝置的示範配置之方塊圖；第21圖係繪示根據本揭露之第四實施例之電腦的示範配置之方塊圖；第22圖係繪示電視裝置之示範示意配置的方塊圖；第23圖係繪示行動電話之示範示意配置的方塊圖；第24圖係繪示記錄/再生裝置之示範示意配置的方塊圖；第25圖係繪示影像擷取裝置之示範示意配置的方塊圖；第26圖係繪示根據本揭露之第五實施例之視頻組之示範示意配置的方塊圖；第27圖係繪示根據本揭露之第五實施例之視頻處理器之示範示意配置的方塊圖；及第28圖係繪示根據本揭露之第五實施例之視頻處理器之另一示範示意配置的方塊圖。

以下將說明本揭露之一些實施例。將依下面順序來提出說明。

1.第一實施例(影像編碼裝置)

2.第二實施例(影像解碼裝置)

3.第三實施例(基於AVC架構的影像編碼裝置和影像解碼裝置)

4.第四實施例(電腦)

5.示範應用

6.第五實施例(集合、單元、模組、及處理器)

第一實施例 分層編碼的說明

如MPEG2和AVC之現有的影像編碼架構具有可適性功能。「可適性編碼」或「分層編碼」之術語係指用於將圖片分離(或階層式分解)成複數個層及編碼每個層的架構。

在圖片之階層式分解中，圖片基於某些參數被分成複數個圖片(或層)。基本上，每個層係由差異資料組成以便允許減少冗餘，例如，圖片被階層式分解成兩層，即，基本層和增強層。在這種情況下，僅以基本層的資料來獲得比原始圖片具有更低品質的圖片，且以基本層的資料與增強層的資料之組合來獲得原始圖片(即，高品質圖片)。

以此方式，將圖片階層式分解成層能依照情況而輕易獲得具有各種品質等級的圖片。例如，僅用於基本層的影像壓縮資訊被傳輸至具有低處理能力的終端(如行動電話)，如此以低空間時間解析度或低影像品質來再生移動影像，且用於基本層和增強層的影像壓縮資訊被傳輸至具有高處理能力的終端(如電視組或個人電腦)，如此以高空間時間解析度或高影像品質來再生移動影像。因此，有可能依照終端或網路的能力傳輸來自伺服器的影像壓縮資訊而無需進行轉碼。

提供可適性之上述參數的實例包括空間解析度(稱為空間可適性)。在空間可適性中，層與層之間的解析度不同。亦即，每個圖片被階層式分解成兩個層，即，空間上具有比原始圖片更低之解析度的基本層和與基本層中的圖片結合以獲得原始圖片(原始空間解析度)的增強層。了解上述階層式分解的層數是一實例，且每個圖片可被階層式分解成任何數量的層。

提供可適性之上述參數的其他實例包括時間解析度(稱為時間可適性)。在時間可適性中，層與層之間的訊框速率不同。亦即，在這種情況下，每個圖片被階層式分解成具有不同訊框速率的層。具有高訊框速率的層加上具有低訊框速率的層導致獲得具有提高之訊框速率的移動影像。另外，所有層的加上導致獲得原始移動影像(或原始訊框速率)。上述階層式分解的層數是一實例，且每個圖片可被階層式分解成任何數量的層。

提供可適性之上述參數的其他實例包括雜訊比(SNR)(稱為SNR可適性)。在SNR可適性中，層與層之間的SN比不同。亦即，每個圖片被階層式分解成被階層式分解成兩個層，即，具有比原始圖片更低之SNR的基本層、和與基本層中的圖片結合以獲得原始圖片(原始SNR)的增強層。關於低峰值SNR(PSNR)影像的資訊被傳輸作為基本層影像壓縮資訊。藉由將增強層影像壓縮資訊加上基本層影像壓縮資訊，有可能重新形成高PSNR影像。了解上述階層式分解的層數是一實例，且每個圖片可被階層式分解成任何數量的層。

可使用提供除了上述可適性之外之可適性的任何參數。一個實例是其中基本層係由8位元圖片組成且加上增強層以獲得10位元圖片的位元深度可適性。

另一實例是色度可適性。基本層係由4：2：0格式的成分圖片組成，且將增強層加上基本層導致獲得4：2：2格式的成分圖片。

提供可適性之參數的另外其他實例包括多個視圖。在這種情況下，每個圖片被階層式分解成不同視圖(或視角)的層。

如在本實施例中使用的「層」之詞係用以包括上述可適性編碼中的空間、時間、SNR、位元深度、色彩和視角可適性、及其他適當的可適性。

再者，如本文所使用的「層」之詞係用以包括上述可適性(或分層)編碼中的層、及在多個視角的多個 視圖之各者。

儘管將在視角可適性的內文中提出下面的說明，但本技術也可藉由替換視圖為其他層之任一者而適用於上述其他層。

影像編碼裝置的示範配置

第1圖繪示根據本揭露之第一實施例之當作影像處理裝置的影像編碼裝置100之配置。

第1圖所示之影像編碼裝置100係配置以使用預測程序來編碼影像資料。例如，編碼架構係使用HEVC架構來實作。因此，在影像編碼裝置100中，在編碼單元(CU)中進行處理。

在第1圖所示之實例中，影像編碼裝置100包括類比/數位(A/D)轉換單元101、畫面重排緩衝器102、計算單元103、正交轉換單元104、量化單元105、無損編碼單元106、及累積緩衝器107。影像編碼裝置100也包括反量化單元108、反向正交轉換單元109、計算單元110、去區塊濾波器111、解碼圖片緩衝器112、選擇單元113、框內預測單元114、移動像差預測/補償單元115、選擇單元116、及速率控制單元117。

影像編碼裝置100更包括語法處理單元121、參考列表產生單元122、適應性偏移濾波器123、及適應性迴路濾波器124。

A/D轉換單元101對輸入影像資料進行A/D轉 換，且將產生之資料輸出至畫面重排緩衝器102以供儲存。

畫面重排緩衝器102依照圖片組(GOP)結構來以顯示順序將已儲存訊框的圖片重排成編碼順序。畫面重排緩衝器102將其訊框已重排序的圖片供應至語法處理單元121。

語法處理單元121順序地檢查從畫面重排緩衝器102讀取的圖片資料，且將從前一級(未示出)供應的標頭資訊插入圖片資料中。標頭資訊包括例如視頻參數組(VPS)、序列參數組(SPS)、圖片參數組(PPS)、等等。語法處理單元121進一步將片段標頭(SH)加至每個片段的開頭。

語法處理單元121將已插入標頭資訊等等的圖片供應至計算單元103、框內預測單元114、及移動像差預測/補償單元115。語法處理單元121也將各別的標頭資訊和如片段標頭的資訊供應至參考列表產生單元122。

計算單元103透過選擇單元116從來自語法處理單元121供應的圖片減去從框內預測單元114或移動像差預測/補償單元115供應的預測圖片以獲得指出它們之間差異的差異資訊，且將差異資訊輸出至正交轉換單元104。

例如，在將被框內編碼之圖片的情況下，計算單元103從來自語法處理單元121供應的圖片減去從框內預測單元114供應的預測圖片。例如，在將被框間編碼 之圖片的情況下，計算單元103從來自語法處理單元121供應的圖片減去從移動像差預測/補償單元115供應的預測圖片。

正交轉換單元104對從計算單元103供應的差異資訊進行正交轉換(如離散餘弦轉換或Karhunen-Loève轉換)，且將用於正交轉換的轉換係數供應至量化單元105。

量化單元105量化從正交轉換單元104輸出的轉換係數。量化單元105將量化的轉換係數供應至無損編碼單元106。

無損編碼單元106對量化的轉換係數進行無損編碼，如可變長度編碼或算術編碼。

無損編碼單元106從框內預測單元114取得指示框內預測模式的框內預測模式資訊、等等，且從移動像差預測/補償單元115取得指示框間預測模式、移動向量資訊、等等的框間預測模式資訊。

無損編碼單元106編碼量化的轉換係數，且將框內預測模式資訊、框間預測模式資訊、移動向量資訊、和量化參數併入(或多工)至編碼資料的標頭資訊中。無損編碼單元106將藉由進行編碼所獲得的編碼資料供應至累積緩衝器107以供累積。

例如，在無損編碼單元106中，進行如可變長度編碼或算術編碼的無損編碼。可變長度編碼的實例包括內容適應性可變長度編碼(CAVLC)。算術編碼的實例包 括內容適應性二進制算術編碼(CABAC)。

累積緩衝器107暫時地保持從無損編碼單元106供應的編碼資料，且在隨後階段中的特定時間將編碼資料輸出至裝置(如影像解碼裝置、記錄裝置(未示出)、和傳輸路徑(未示出)、等等)作為已進行編碼的編碼圖片。

量化單元105所量化的轉換係數也被供應至反量化單元108。反量化單元108使用對應於量化單元105所進行之量化方法的方法來反量化量化的轉換係數。反量化單元108將獲得的轉換係數供應至反向正交轉換單元109。

反向正交轉換單元109使用對應於正交轉換單元104所進行之正交轉換程序的方法來對供應的轉換係數進行反向正交轉換。反向正交轉換的輸出(或復原差異資訊)被供應至計算單元110。

計算單元110透過選擇單元116將從框內預測單元114或移動像差預測/補償單元115供應的預測圖片加上從反向正交轉換單元109供應的反向正交轉換之結果(或復原差異資訊)以獲得本地解碼的圖片(解碼圖片)。

例如，若差異資訊對應於將被框內編碼的圖片，則計算單元110將從框內預測單元114供應的預測圖片加上差異資訊。例如，若差異資訊對應於將被框間編碼的圖片，則計算單元110將從移動像差預測/補償單元115供應的預測圖片加上差異資訊。

相加的結果被供應至去區塊濾波器111和解 碼圖片緩衝器112。

去區塊濾波器111適當地進行去區塊濾波器處理以從解碼圖片中移除(或至少減少)區塊失真。去區塊濾波器111將濾波器處理的結果供應至適應性偏移濾波器123。

適應性偏移濾波器123對已藉由去區塊濾波器111進行適應性去區塊濾波器處理的圖片進行取樣適應性偏移(SAO)濾波器處理以主要地移除振鈴。

更具體來說，適應性偏移濾波器123為每個最大編碼單元(LCU)決定適應性偏移濾波器處理的類型，且決定將在適應性偏移濾波器處理中使用的偏移量。適應性偏移濾波器123使用決定的偏移量來對已進行適應性去區塊濾波器處理之圖片進行已決定其類型的適應性偏移濾波器處理。適應性偏移濾波器123將已進行適應性偏移濾波器處理的圖片供應至適應性迴路濾波器124。

適應性偏移濾波器123具有用於儲存偏移量的緩衝器。適應性偏移濾波器123為每個LCU判斷在適應性去區塊濾波器處理中使用的偏移量是否已儲存在緩衝器中。

若判定在適應性去區塊濾波器處理中使用的偏移量已儲存在緩衝器中，則適應性偏移濾波器123將指示偏移量是否已儲存在緩衝器中的儲存旗標設為指示偏移量已儲存在緩衝器中的值(在這裡是「1」)。

接著，針對每個LCU，適應性偏移濾波器 123將設為「1」的儲存旗標、指示偏移量在緩衝器中之儲存位置的索引、及指示已進行適應性偏移濾波器處理之類型的類型資訊供應至無損編碼單元106。

若在適應性去區塊濾波器處理中使用的偏移量尚未儲存在緩衝器中，則適應性偏移濾波器123順序地儲存偏移量在緩衝器中。此外，適應性偏移濾波器123將儲存旗標設為指示偏移量尚未儲存在緩衝器中的值(在這裡是「0」)。接著，針對每個LCU，適應性偏移濾波器123將設為「0」的儲存旗標、及類型資訊供應至無損編碼單元106。

適應性迴路濾波器124對已進行適應性偏移濾波器處理的圖片進行適應性迴路濾波器(ALF)處理，其係從在例如LCU之單元中的適應性偏移濾波器123供應。適應性迴路濾波器處理的實例包括使用二維維納(Wiener)濾波器的處理。了解可使用除了維納濾波器之外的任何濾波器。

具體來說，針對每個LCU，適應性迴路濾波器124計算將在適應性迴路濾波器處理中使用的濾波器係數，使得為從語法處理單元121輸出之圖片的原始圖片與已進行適應性迴路濾波器處理的圖片之間的殘量最小。然後，適應性迴路濾波器124使用所計算的濾波器係數，在LCU之單元中，對已進行適應性偏移濾波器處理的圖片進行適應性迴路濾波器處理。

適應性迴路濾波器124將已進行適應性迴路 濾波器處理的圖片供應至解碼圖片緩衝器112。適應性迴路濾波器124進一步將濾波器係數供應至無損編碼單元106。

儘管在此假設在LCU之單元中進行適應性迴路濾波器處理，但進行適應性迴路濾波器處理的單元並不限於LCU。將適應性偏移濾波器123進行處理所使用的單元與適應性迴路濾波器124進行處理所使用的單元彼此配合，藉此實現高效處理。

解碼圖片緩衝器122在某個時間透過選擇單元113將裡面累積的參考圖片輸出至框內預測單元114或移動像差預測/補償單元115。

例如，在將被框內編碼之圖片的情況下，解碼圖片緩衝器112透過選擇單元113將參考圖片供應至框內預測單元114。例如，在將被框間編碼之圖片的情況下，解碼圖片緩衝器112透過選擇單元113將參考圖片供應至移動像差預測/補償單元115。

若從解碼圖片緩衝器112供應的參考圖片是用於框內編碼的圖片，則選擇單元113將參考圖片供應至框內預測單元114。若從解碼圖片緩衝器112供應的參考圖片是用於框間編碼的圖片，則選擇單元113將參考圖片供應至移動像差預測/補償單元115。

框內預測單元114使用在從語法處理單元121供應之輸入圖片之畫面中的像素值來進行框內預測(畫面內預測)以產生預測圖片。框內預測單元114在複數個模 式(框內預測模式)下進行框內預測。

框內預測單元114在所有框內預測模式下產生預測圖片，計算各自預測圖片，及選擇最佳模式。當選擇最佳框內預測模式時，框內預測單元114透過選擇單元116將在最佳框內預測模式下產生的預測圖片供應至計算單元103和計算單元110。

如上所述，若需要的話，框內預測單元114也將如指示所採用之框內預測模式之框內預測模式資訊的資訊供應至無損編碼單元106。

移動像差預測/補償單元115透過選擇單元113使用從語法處理單元121供應的輸入圖片和從解碼圖片緩衝器112供應的參考圖片來對將被框間編碼的圖片進行移動像差預測。在這種情況下，移動像差預測/補償單元115使用由參考列表產生單元122產生的參考列表所示之參考圖片索引的參考圖片。移動像差預測/補償單元115依照偵測移動和像差向量來進行移動像差預測/補償程序，且產生預測圖片(框間預測圖片資訊)。

移動像差預測/補償單元115在所有候選框間預測模式下進行框間預測程序，且產生預測圖片。移動像差預測/補償單元115透過選擇單元116將所產生的預測圖片供應至計算單元103和計算單元110。

移動像差預測/補償單元115進一步將指示所採用之框間預測模式的框間預測模式資訊和指示所計算之移動向量的移動向量資訊供應至無損編碼單元106。

在將被框內編碼之圖片的情況下，選擇單元116將框內預測單元114的輸出供應至計算單元103和計算單元110。在將被框間編碼之圖片的情況下。選擇單元116將移動像差預測/補償單元115的輸出供應至計算單元103和計算單元110。

速率控制單元117依照累積在累積緩衝器107中的壓縮圖片來控制量化單元105之量化操作的速率以防止或降低溢位或下溢的發生。

參考列表產生單元122使用在累積於解碼圖片緩衝器112中的參考圖片上的資訊(圖片順序計數(POC)資訊或視圖資訊)來產生參考列表以被移動像差預測/補償單元115參考來預測目標圖片。在這種情況下，參考列表產生單元122藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片來產生參考列表。

具體來說，參考列表產生單元122藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片，來產生時間列表，其係用以產生參考列表的暫時列表。接著，參考列表產生單元122基於所產生的時間列表來產生參考列表。

「能在時間方向上被參考的參考圖片」之術語係指能在不同時間週期被參考的參考圖片，且「能在視角(層)方向上被參考的參考圖片」之術語係指能在不同視角(層)被參考的參考圖片。

參考圖片的結構

現在將參考第2圖來說明HEVC架構中的參考圖片之結構。

在第2圖所示之實例中，以從左至右的POC順序來繪示長期(「long-term：LT」)參考圖片、短期(在目前圖片之前)參考圖片(以下稱為「短期(Curr之前)參考圖片」)(「Short-term before Curr：STbC」)、標有「C」的目前圖片、和短期(在目前圖片之後)參考圖片(以下稱為「短期(Curr之後)參考圖片」)(「Short-term after Curr：STaC」)。另外，以從下至上的順序在視角(像差)方向上繪示出標有「C」的目前圖片和視角間(「Inter-view：IV」)參考圖片。各別參考圖片的號碼指示排放於解碼圖片緩衝器112中的參考圖片之索引。

在HEVC架構中，當將進行框間預測時，繪示於第2圖中的四種類型圖片，即，長期參考圖片、短期(Curr之前)參考圖片、短期(Curr之後)參考圖片、和視角間參考圖片可作為候選參考圖片。

短期(Curr之前)參考圖片是在相同視角中之時間上位於比標有「C」的目前圖片早的短期參考圖片(具有小POC)，且短期(Curr之後)參考圖片是在相同視角中之時間上位於比目前圖片晚的短期參考圖片(具有大POC)。長期參考圖片是在相同視角中被識別為長期參考圖片的參考圖片。視角間參考圖片是在相同時間點於不同 視角中的參考圖片。

習知技術實例1的參考列表產生方法

接下來，將參考第3圖在習知技術實例1之方法的內文中說明HEVC架構中的預設參考列表產生方法。在第3圖所示之實例中，舉例來說，參考每種類型的四個圖片。亦即，繪示出在解碼圖片緩衝器112中的一列(或串)短期(Curr之前)參考圖片(RefPicSetStCurrBefore[i])、一列短期(Curr之後)參考圖片(RefPicSetStCurrAfter[i])、一列長期參考圖片(RefPicLtCurr[i])、和一列視角間參考圖片(RefPicSetIvCurr[i])(其中i表示範圍從0至3的索引)。

針對短期參考圖片，藉由使用片段標頭或參考圖片集(RPS)語法，為可能被參考的圖片設定used_by_curr旗標。RPF是為包括在SPS中的每個圖片明確地表明解碼圖片緩衝器112之狀態的語法。針對長期參考圖片，藉由使用片段標頭或SPS語法，為可能被參考的圖片設定used_by_curr旗標。只有具有為1之used_by_curr旗標的圖片被加至為用以產生參考列表之暫時列表的時間列表。由於沒有為視角間參考圖片設定used_by_curr旗標，因此排放於整列視角間參考圖片中的所有視角間參考圖片被加至時間列表。

在第3圖所示之實例中，繪示出從這些參考圖片列表產生的L0(L0方向)時間列表 (RefPicListTemp0[rldx])和L1(L1方向)時間列表(RefPicListTemp1[rldx])。在本揭露之實施例中，L0方向是第一方向，且L1方向是第二方向。

L0時間列表(RefPicListTemp0[rldx])係藉由以短期(Curr之前)參考圖片、短期(Curr之後)參考圖片、長期參考圖片、和視角間參考圖片之順序加上具有為1之used_by_curr旗標的圖片來產生。藉此，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0和1的短期(Curr之後)參考圖片、具有索引0的長期參考圖片、和具有索引0至3的視角間參考圖片之順序來排放參考圖片。

L1時間列表(RefPicListTemp1[rldx])係藉由以短期(Curr之後)參考圖片、短期(Curr之前)參考圖片、長期參考圖片、和視角間參考圖片之順序加上具有為1之used_by_curr旗標的圖片來產生。藉此，產生了L1時間列表(RefPicListTemp1[rldx])，使得以具有索引0和1的短期(Curr之後)參考圖片、具有索引0和1的短期(Curr之前)參考圖片、具有索引0的長期參考圖片、和具有索引0至3的視角間參考圖片之順序來排放參考圖片。

再者，在第3圖所示之實例中，繪示出從L0時間列表產生的L0參考列表(RefPicList0[rldx])和從L1時間列表產生的L1參考列表(RefPicList1[rldx])。

在此，在時間列表中，藉由使用片段標頭或SPS語法來設定num_ref_idx_l0_active_minus1和 num_ref_idx_l1_active_minus1以指示能被參考的圖片數量。由num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1定義參考圖片的數量從L0/L1時間列表的開頭加至各別參考列表，且可作為參考圖片。

例如，num_ref_idx_l0_active_minus1是4。在這種情況下，從L0時間列表之開頭(來自左側之第一個)的圖片至第五圖片被加至L0參考列表(RefPicList0[rldx)，且由此產生L0參考列表。在第3圖所示之實例中，產生了L0參考列表，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0和1的短期(Curr之後)參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

例如，num_ref_idx_l1_active_minus1是3。在這種情況下，從L1時間列表之開頭的圖片至第四圖片被加至L1參考列表(RefPicList1[rldx])，且由此產生L1參考列表。在第3圖所示之實例中，產生了L1參考列表，使得以具有索引0和1的短期(Curr之後)參考圖片和具有索引0和1的短期(Curr之前)參考圖片之順序來排放參考圖片。

因此，在HEVC架構中，產生了時間列表，使得在時間方向參考圖片之後排放視角方向參考圖片。這種排放可能造成難以在參考列表中排放視角方向參考圖片。

在HEVC架構中，定義出用於改變參考列表的改變命令。發送改變命令，使得在時間列表中如期望而重排的參考圖片能包括在參考列表中。於是，有可能參考視角方向參考圖片。然而，由於以語法來傳輸改變命令，因此產生了額外位元。

因此，上述方法適用於在時間相關性顯著地大於視角間相關性之情況下使用。然而，在一般序列中，視角間相關性並非顯著地低。由此，像差預測涉及使用參考列表命令。

藉此，非專利文獻2提出當將產生時間列表時，指定將於複數個時間方向參考圖片之間插入之視角方向參考圖片之位置的資訊會在片段標頭中傳送。

習知技術實例2的參考列表產生方法

然後，將參考第4圖在習知技術實例2之方法的內容中說明非專利文獻2所述的預設參考列表產生方法。在第4圖中，僅繪示出關於L0的實例。

在非專利文獻2所述之方法中，取決於時間列表之產生的處理類似於HEVC架構中的處理，且本文中將不說明以避免多餘說明。

亦即，類似於HEVC架構，L0時間列表(RefPicListTemp0[rldx])係藉由以短期(Curr之前)參考圖片、短期(Curr之後)參考圖片、長期參考圖片、和視角間參考圖片之順序加上具有為1之used_by_curr旗標的圖片 來產生。藉此，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0和1的短期(Curr之後)參考圖片、具有索引0的長期參考圖片、和具有索引0至3的視角間參考圖片之順序來排放參考圖片。

在非專利文獻2所述之方法中，藉由在片段標頭擴展中設定來傳輸將在時間列表中插入視角間參考圖片的位置(inter_view_ref_start_position)。

例如，如箭頭P1所指，從時間列表之開頭(第一處)的第二處被inter_view_ref_start_position指定。在這種情況下，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0的短期(Curr之前)參考圖片、具有索引0至3的視角間參考圖片、具有索引1的短期(Curr之前)參考圖片、具有索引0和1的短期(Curr之前)參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l0_active_minus1是4，因此產生了L0參考列表，使得以具有索引0的短期(Curr之前)參考圖片和具有索引0至3的視角間參考圖片之順序來排放參考圖片。

例如，如箭頭P2所指，從時間列表之開頭(第一處)的第三處被inter_view_ref_start_position指定。在這種情況下，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0至3的視角間參考圖片、具有索引0和1的短期 (Curr之後)參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l0_active_minus1是4，因此產生了L0參考列表，使得以具有索引0和1的短期(Curr之前)參考圖片和具有索引0至2的視角間參考圖片之順序來排放參考圖片。

例如，如箭頭P3所指，從時間列表之開頭(第一處)的第四處被inter_view_ref_start_position指定。在這種情況下，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0的短期(Curr之後)參考圖片、具有索引0至3的視角間參考圖片、具有索引1的短期(Curr之後)參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l0_active_minus1是4，因此產生了L0參考列表，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0的短期(Curr之後)參考圖片、和具有索引0和1的視角間參考圖片之順序來排放參考圖片。

由此，在非專利文獻2所述之方法中，藉由使用片段標頭擴展以語法來傳輸將在時間列表中插入視角間參考圖片的位置。因此有可能當考慮視角間相關性時，於時間列表中的期望位置插入視角間參考圖片。

然而，即使不需要偏移視角間參考圖片，非專利文獻2所述之方法仍涉及語法之傳輸。

再者，在這種情況下，可同時在語法所設定的位置插入複數個視角間參考圖片。由此不需要傳輸參考列表改變命令以使時間列表包括視角間參考圖片和短期參考圖片或長期參考圖片。

藉此，在本技術中，藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片來產生時間列表。

根據本技術之實例1的參考列表產生方法

之後，將參考第5圖來說明根據本技術之實例1的參考列表產生方法。在第5圖所示之實例中，舉例來說，參考每種類型的四個圖片。亦即，繪示出在解碼圖片緩衝器112中的一列(或串)短期(Curr之前)參考圖片(RefPicSetStCurrBefore[i])、一列短期(Curr之後)參考圖片(RefPicSetStCurrAfter[i])、一列長期參考圖片(RefPicLtCurr[i])、和一列視角間參考圖片(RefPicSetIvCurr[i])(其中i表示範圍從0至3的索引)。

在本技術之實例1中，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0和1的短期(Curr之前)參考圖片、具有索引0至3的視角間參考圖片、具有索引0和1的短期(Curr之後)參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l0_active_minus1是4，因此產生了L0參考列表，使得以具有索引0和1的短期 (Curr之前)參考圖片和具有索引0至2的視角間參考圖片之順序來排放參考圖片。

在本技術之實例1中，產生了L1時間列表(RefPicListTemp1[rldx])，使得以具有索引0和1的短期(Curr之後)參考圖片、具有索引0至3的視角間參考圖片、具有索引0和1的短期(Curr之前)參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l0_active_minus1是3，因此產生了L1參考列表，使得以具有索引0和1的短期(Curr之後)參考圖片和具有索引0和1的視角間參考圖片之順序來排放參考圖片。

因此，在根據本技術之實例1的方法中，以於短期(Curr之前)參考圖片與短期(Curr之後)參考圖片之間插入視角間圖片的方式來產生時間列表。

此程序是預設的，且沒有傳輸額外的語法。另外，由於短期(Curr之後)參考圖片包括在L1的列表中作為最高優先，因此在L0的短期(Curr之後)參考圖片之前插入視角間參考圖片可防止多餘使用L0/L1的短期(Curr之後)參考圖片。

然而，在L0之情況下，若短期(Curr之前)參考圖片的數量大，則視角間圖片可能不一定包括在參考列表中。為了解決這種不便，短期(Curr之前)參考圖片的數量能被RPS限制。雖然「之前」和「之後」之目標是相對的，但同樣適用於L1的短期參考圖片。

此外，同時在短期(Curr之前/之後)參考圖片之後插入複數個視角間參考圖片。因此需要傳輸參考列表改變命令以使時間列表包括視角間參考圖片和短期參考圖片或長期參考圖片。

再者，若時間相關性顯著地高於視角間相關性，則可能降低編碼效率。

根據本技術之實例2的參考列表產生方法

現在將參考第6圖來說明根據本技術之實例2的參考列表產生方法。在第6圖所示之實例中，舉例來說，參考每種類型的四個圖片。亦即，繪示出在解碼圖片緩衝器112中的一列(或串)短期(Curr之前)參考圖片(RefPicSetStCurrBefore[i])、一列短期(Curr之後)參考圖片(RefPicSetStCurrAfter[i])、一列長期參考圖片(RefPicLtCurr[i])、和一列視角間參考圖片(RefPicSetIvCurr[i])(其中i表示範圍從0至3的索引)。

在本技術之實例2中，產生了L0時間列表(RefPicListTemp0[rldx])，使得以具有索引0的短期(Curr之前)參考圖片、具有索引0的視角間參考圖片、具有索引1的短期(Curr之前)參考圖片、和具有索引1的視角間參考圖片、具有索引0的短期(Curr之後)參考圖片、具有索引2的視角間參考圖片、具有索引1的短期(Curr之後)參考圖片、具有索引3的視角間參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l0_active_minus1是4，因此產生了L0參考列表，使得以具有索引0的短期(Curr之前)參考圖片、具有索引0的視角間參考圖片、具有索引1的短期(Curr之前)參考圖片、具有索引1的視角間參考圖片、和具有索引0的短期(Curr之後)參考圖片之順序來排放參考圖片。

在本技術之實例2中，產生了L1時間列表(RefPicListTemp1[rldx])，使得以具有索引0的短期(Curr之後)參考圖片、具有索引0的視角間參考圖片、具有索引1的短期(Curr之後)參考圖片、具有索引1的視角間參考圖片、具有索引0的短期(Curr之前)參考圖片、具有索引2的視角間參考圖片、具有索引1的短期(Curr之前)參考圖片、具有索引3的視角間參考圖片、和具有索引0的長期參考圖片之順序來排放參考圖片。

在此例中，由於num_ref_idx_l1_active_minus1是3，因此產生了L1參考列表，使得以具有索引0的短期(Curr之後)參考圖片、具有索引0的視角間參考圖片、具有索引1的短期(Curr之後)參考圖片、和具有索引1的視角間參考圖片之順序來排放參考圖片。

因此，在根據本技術之實例2的方法中，以交替地排放時間方向參考圖片和視角方向參考圖片的方式來產生時間列表。

時間相關性的程度和視角間相關性的程度之交替排放提供高參考效率。在L0之情況下，即使短期 (Curr之前)參考圖片的數量大，視角間參考圖片仍藉由預設而輕易地加至參考列表。另外，此程序是預設的，且沒有傳輸額外的語法。

然而，若時間相關性顯著地高於視角間相關性，則可能降低編碼效率。

習知技術實例與本技術之實例之間的比較

在第7圖所示之實例中，繪示出用於比較習知技術實例中的方法與上述本技術之實例中的方法之表格。

本技術之實例1具有兩項優點超過習知技術實例1。第一項優點是對具有高視角間相關性之(一般)序列提高編碼效率。「視角間相關性」之術語係指存在於視角間圖片之間的相關性。第二項優點是若STbC圖片(短期(Curr之前)參考圖片)的數量小且STaC圖片(短期(Curr之後)參考圖片)的數量小，則增加所有L0/L1參考列表中的特有圖片數量。

本技術之實例1具有兩項優點超過習知技術實例2。第一項優點是沒有傳輸額外的語法。第二項優點是小處理量，因為時間列表中沒有重排。

本技術之實例2具有兩項優點超過習知技術實例1。第一項優點是對時間相關性和視角間相關性的程度之交替排放提高編碼效率。「時間相關性」之術語係指存在於在不同時間週期的框間圖片之間的相關性。「視角 間相關性」之術語係指存在於視角間圖片之間的相關性。第二項優點是在最壞情況下，從參考列表之開頭的第二處排放視角間參考圖片的能力。

本技術之實例2具有兩項優點超過習知技術實例2。第一項優點是沒有傳輸額外的語法。第二項優點是對時間相關性和視角間相關性的程度之交替排放提高編碼效率。

進一步比較本技術之實例1與本技術之實例2。

本技術之實例2具有兩項優點超過本技術之實例1。第一項優點是對時間相關性和視角間相關性的程度之交替排放提高編碼效率。第二項優點是在最壞情況下，從參考列表之開頭的第二處排放視角間參考圖片的能力。

在前面的說明中，類似於習知技術，對L0和L1(時間列表)以相同的順序加入視角間圖片。然而，L0和L1的順序可能不同。

視角間圖片的排放

之後，將參考第8圖來說明根據本技術之實施例的視角間圖片之排放順序。

在習知技術中，視角間參考圖片依照視頻參數集(VPS)中的ref_layer_id[i][j]以j=0、1、2、...之順序來加至參考列表(時間列表)。此程序對於L0與L1兩者而 言是完全相同的，且因此以相同順序在L0/L1時間列表中排放視角間參考圖片。

藉此，在本技術之實施例中，視角間參考圖片以ref_layer_id[i][j](j=0、1、2、...)之順序來加至L0時間列表。此外，視角間參考圖片以ref_layer_id[i][j](j=...、2、1、0)之順序來加至L1時間列表。

具體來說，如第8圖之左部分所示，例如，在具有view_id=0、1、2、3之四個視圖的情況下，假設當將編碼具有view_id=2的視圖影像時，在VPS中以view_id=1、0、3之順序來說明參考關係。

在這種情況下，在本技術之實施例中，如第8圖之右部分所示，在L0時間列表中，以在VPS中所述之view_id=1、0、3之順序來排放視角間參考圖片。在L1時間列表中，以與在VPS中所述之view_id之順序相反的順序(即，以view_id=3、0、1之順序)來排放視角間參考圖片。

若在L0/L1時間列表中只有參考到第{ref_id=(n+1)}張圖片的圖片，即，若只有到第{ref_id=(n+1)}張圖片的圖片加至參考列表，則上述排放對L0和L1允許參考不同的視角間參考圖片。

具體來說，在第8圖所示之實例中，在L0之情況中，第(n+1)張參考圖片是具有view_id=1的參考圖片v1。在L1之情況中，第(n+1)張參考圖片是具有 view_id=3的參考圖片v3。因此，可使L0和L1的第(n+1)張視角間參考圖片不同。

以此方式，由於對L0/L1能參考不同的視角間參考圖片，因此很可能像差預測的效能比在對L0/L1參考相同圖片之情況下的效能高，以致於提高期望的編碼效率。

在第8圖所示之實例中，如同在第3圖所示之習知技術實例中，舉例來說，在時間方向參考圖片之後加入視角方向參考圖片。上述排放也可適用於上面關於第5圖和第6圖所述之本技術之實例中的視角間參考圖片之順序。

在本技術之實施例中，如第9圖之實線所示，對L0不改變非專利文獻1中的敘述，然而，如第9圖之虛線所示，改變敘述，使得對L0以相反的順序來加入視角間圖片。

進行上述處理的第1圖所示之參考列表產生單元122具有第10圖所示之配置。

參考列表產生單元的示範配置

第10圖係繪示進行上述處理的參考列表產生單元122之示範配置的方塊圖。

在第10圖所示之實例中，參考列表產生單元122包括參考圖片設定單元131、時間列表產生單元132、及參考圖片列表產生單元133。

參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的時間點資訊(即，POC資訊)和用於短期參考圖片的used_by_curr旗標(其在從語法處理單元121供應的片段標頭或RPS中設定)，設定短期(Curr之前)參考圖片，且產生短期(Curr之前)參考圖片列表(RefPicSetStCurrBefore[i])。參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的時間點資訊和短期參考圖片的used_by_curr旗標(其在從語法處理單元121供應的片段標頭或RPS中設定)，設定短期(Curr之後)參考圖片，且產生短期(Curr之後)參考圖片列表(RefPicSetStCurrAfter[i])。

參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的時間點資訊和在片段標頭或SPS中設定之長期參考圖片的used_by_curr旗標，設定長期參考圖片，且產生長期參考圖片列表(RefPicLtCurr[i])。參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的視角資訊，設定視角間參考圖片(RefPicSetIvCurr[i])，且產生視角間參考圖片列表。

根據上述本技術之實施例之時間列表產生單元132以某個順序來結合參考圖片設定單元131所設定的列表以產生L0和L1時間列表(RefPicListTemp0[rldx]、RefPicListTemp1[rldx])。

參考圖片列表產生單元133參考在從語法處理單元121供應之片段標頭或SPS中設定的 num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。參考圖片列表產生單元133從時間列表產生單元132所產生的L0/L1時間列表提取和加入參考圖片(其數量係由num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1設定)以產生L0/L1參考列表。

藉由移動像差預測/補償單元115來參考參考圖片列表產生單元133所產生的L0/L1參考列表。

編碼程序的流程

接下來，將說明藉由上述影像編碼裝置100所執行的程序流程。首先，將參考第11圖所示之流程圖來說明編碼程序的流程實例。

在步驟S101中，A/D轉換單元101對輸入圖片進行A/D轉換。在步驟S102中，畫面重排緩衝器102儲存已進行A/D轉換的圖片，且以顯示順序將圖片重排成編碼順序。

在步驟S103中，語法處理單元121順序地檢查從畫面重排緩衝器102讀取的圖片之資料，且將標頭資訊插入圖片之資料中。語法處理單元121將已插入標頭資訊等等的圖片供應給計算單元103、框內預測單元114、及移動像差預測/補償單元115。語法處理單元121也將如VPS、SPS(包括RPS)、和片段標頭的資訊供應給參考列表產生單元122。

在步驟S104中，計算單元103計算從語法處 理單元121供應的圖片與預測圖片之間的差異。預測圖片從用於框間預測的移動像差預測/補償單元115或從用於框內預測的框內預測單元114經過選擇單元116被供應至計算單元103。

差異資料具有比原始影像資料更少的資料量。因此，資料可能比當編碼影像時被壓縮得更多。

在步驟S105中，正交轉換單元104對步驟S104之處理所產生的差異資訊進行正交轉換。具體來說，進行如離散餘弦轉換或Karhunen-Loève轉換的正交轉換，且輸出轉換係數。

在步驟S106中，量化單元105量化步驟S105之處理所獲得的正交轉換係數。

以下列方式本地地解碼步驟S106之處理所量化的差異資訊：在步驟S107中，反量化單元108以對應於量化單元105之特性的特性來反量化步驟S106之處理所產生之量化的正交轉換係數(也稱為量化係數)。

在步驟S108中，反向正交轉換單元109以對應於正交轉換單元104之特性的特性對步驟S107之處理所獲得的正交轉換係數進行反向正交轉換。

在步驟S109中，計算單元110將預測圖片加上本地解碼的差異資訊以產生本地解碼的圖片(對應於對計算單元103之輸入的圖片)。

在步驟S110中，去區塊濾波器111對從計算單元110供應的圖片進行濾波器處理以移除(或至少減少) 區塊失真。去區塊濾波器111將產生之圖片供應至適應性偏移濾波器123。

在步驟S111中，針對每個LCU，適應性偏移濾波器123對從去區塊濾波器111供應的圖片進行適應性偏移濾波器處理。適應性偏移濾波器123將產生之圖片供應至適應性迴路濾波器124。針對每個LCU，適應性偏移濾波器123也將儲存旗標、索引或偏移量、及類型資訊供應至無損編碼單元106作為偏移濾波器資訊。

在步驟S112中，針對每個LCU，適應性迴路濾波器124對從適應性偏移濾波器123供應的圖片進行適應性迴路濾波器處理。適應性迴路濾波器124將產生之圖片供應至解碼圖片緩衝器112。適應性迴路濾波器124也將使用於適應性迴路濾波器處理的濾波器係數供應至無損編碼單元106。

在步驟S113中，解碼圖片緩衝器112儲存已進行濾波器處理的圖片。解碼圖片緩衝器112也從計算單元110被供應尚未進行濾波器處理的圖片，且將其儲存於其中。累積於解碼圖片緩衝器112中的圖片透過選擇單元113被供應至移動像差預測/補償單元115或框內預測單元114作為參考圖片。

在步驟S114中，框內預測單元114在框內預測模式下進行框內預測程序。

在步驟S115中，參考列表產生單元122藉由移動像差預測/補償單元115來產生將被參考的參考列表 以預測目標圖片。以下將參考第12圖來說明參考列表產生程序的細節。

經過步驟S115，藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片來產生時間列表，其為用以產生參考列表的暫時列表。接著，基於所產生的時間列表來產生參考列表。

在步驟S116中，移動像差預測/補償單元115使用由步驟S115之處理產生的參考列表所示之參考圖片索引的參考圖片來進行框間移動像差預測程序。框間移動像差預測程序是用於在框間預測模式下進行移動像差預測或移動像差補償的程序。

在步驟S117中，選擇單元116依照從框內預測單元114和移動像差預測/補償單元115輸出的成本函數來決定最佳預測模式。亦即，選擇單元116選擇框內預測單元114所產生的預測圖片和移動像差預測/補償單元115所產生的預測圖片之其一者。

指示已選定何者預測圖片的選擇資訊被供應至已選定預測圖片的框內預測單元114和移動像差預測/補償單元115之其一者。若選擇最佳框內預測模式中的預測圖片，則框內預測單元114將指示最佳框內預測模式的資訊(即，框內預測模式資訊)供應至無損編碼單元106。

若選擇最佳框間預測模式中的預測圖片，則移動像差預測/補償單元115將指示最佳框間預測模式的資訊和(若需要的話)對應於最佳框間預測模式的資訊輸出 至無損編碼單元106。對應於最佳框間預測模式的資訊包括移動向量資訊、像差向量資訊、旗標資訊、參考訊框資訊、等等。

在步驟S118中，無損編碼單元106編碼步驟S106之處理所量化的轉換係數。亦即，對差異影像(針對框內預測，是二次差異影像)進行如可變長度編碼或算術編碼的無損編碼。

無損編碼單元106進一步將關於步驟S117之處理所選定的預測圖片之預測模式的資訊加上藉由編碼差異影像所獲得的編碼資料。亦即，無損編碼單元106將從框內預測單元114供應的框內預測模式資訊、從移動像差預測/補償單元115供應的資訊(如對應於最佳框間預測模式的資訊)加上編碼資料。

在步驟S119中，累積緩衝器107累積從無損編碼單元106輸出的編碼資料。累積於累積緩衝器107中的編碼資料如期望地被讀取，且透過傳輸路徑被傳輸至解碼端。

在步驟S120中，速率控制單元117依照藉由步驟119之處理而累積於累積緩衝器107中的壓縮圖片來控制量化單元105之量化操作的速率以防止或減少溢位或下溢的發生。

在完成步驟S120的處理之後，編碼程序結束。

參考列表產生程序的流程

接著，將參考第12圖所示之流程圖來說明第11圖之步驟S115中所執行之參考列表產生程序的流程之實例。透過所示之程序，產生了上面關於第5圖所述的本技術之實例1中的參考列表。只有當解碼圖片(即，將被預測的圖片)是P圖片或B圖片時才執行所示之程序。

在上述第11圖之步驟S103中，語法處理單元121將解碼圖片的資訊(如VPS、SPS(包括RPS)、和片段標頭)供應至參考列表產生單元122。已在從語法處理單元121供應的片段標頭或RPS中設定用於短期參考圖片的used_by_curr旗標。已在片段標頭或SPS中設定用於長期參考圖片的used_by_curr旗標。

在步驟S131中，參考列表產生單元122的參考圖片設定單元131參考從解碼圖片緩衝器122供應之參考圖片的時間點資訊(即，POC資訊)和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之前)參考圖片(STbC)，且產生RefPicSetStCurrBefore[i]列表。

在步驟S132中，參考圖片設定單元131參考從解碼圖片緩衝器122供應之參考圖片的時間點資訊和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之後)參考圖片(STaC)，且產生RefPicSetStCurrAfter[i]列表。

在步驟S133中，參考圖片設定單元131參考 從解碼圖片緩衝器122供應之參考圖片的時間點資訊和片段標頭或SPS中用於長期參考圖片的used_by_curr旗標，設定長期參考圖片(LT)，且產生RefPicLtCurr[i]列表。

在步驟S134中，參考圖片設定單元131參考從解碼圖片緩衝器122供應之參考圖片的視角資訊，設定視角間參考圖片(IV)，且產生RefPicSetIvCurr[i]列表。

在步驟S135中，時間列表產生單元132以STbC、IV、STaC、和LT的順序來結合參考圖片設定單元131所設定的上述四個列表以產生L0時間列表(RefPicListTemp0[rldx])。

具體來說，在上述四個列表中，以STbC、IV、STaC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生L0時間列表。在這種情況下，加入所有IV圖片(視角間參考圖片)。

在步驟S136中，時間列表產生單元132以STaC、IV、STbC、和LT的順序來結合參考圖片設定單元131所設定的上述四個列表以產生L1時間列表(RefPicListTemp1[rldx])。

具體來說，以STaC、IV、STbC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生L1時間列表。在這種情況下，加入所有IV圖片(視角間參考圖片)。可以與在L0方向上的順序相反之順序來加入IV圖片(視角間參考圖片)，如上面關於第8圖所述。

已在從語法處理單元121供應的片段標頭或SPS中設定num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步驟S137中，參考圖片列表產生單元133提取從L0時間列表(RefPicListTem0[rldx])之開頭至num_ref_idx_l0_active_minus1+1所識別之元件的元件，且產生L0參考列表(RefPicList0[rldx])。

在步驟S138中，參考圖片列表產生單元133提取從L1時間列表(RefPicListTemp1[rldx])之開頭至num_ref_idx_l1_active_minus1+1所識別之元件的元件，且產生L1參考列表(RefPicList1[rldx])。

以上述方式，於短期(Curr之前)參考圖片與短期(Curr之後)參考圖片之間插入視角間圖片，且產生上面關於第5圖所述之參考列表。

參考列表產生程序的另一流程

接著，將參考第13圖所示之流程圖來說明第11圖之步驟S115中所執行之參考列表產生程序的流程之另一實例。透過所示之程序，產生了上面關於第6圖所述的本技術之實例2中的參考列表。只有當解碼圖片(即，將被預測的圖片)是P圖片或B圖片時才執行所示之程序。

在上述第11圖之步驟S103中，語法處理單元121將解碼圖片的資訊(如VPS、SPS(包括RPS)、和片 段標頭)供應至參考列表產生單元122。已在從語法處理單元121供應的片段標頭或RPS中設定用於短期參考圖片的used_by_curr旗標。已在片段標頭或SPS中設定用於長期參考圖片的used_by_curr旗標。

在步驟S151中，參考列表產生單元122的參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的時間點資訊(即，POC資訊)和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之前)參考圖片(STbC)，且產生RefPicSetStCurrBefore[i]列表。

在步驟S152中，參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的時間點資訊和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之後)參考圖片(STaC)，且產生RefPicSetStCurrAfter[i]列表。

在步驟S153中，參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的時間點資訊和片段標頭或SPS中用於長期參考圖片的used_by_curr旗標，設定長期參考圖片(LT)，且產生RefPicLtCurr[i]列表。

在步驟S154中，參考圖片設定單元131參考從解碼圖片緩衝器112供應之參考圖片的視角資訊，設定視角間參考圖片(IV)，且產生RefPicSetIvCurr[i]列表。

在步驟S155中，時間列表產生單元132產生 兩個列表，即，以STbC、STaC、和LT之順序來結合參考圖片設定單元131所設定之關於STbC、STaC、和LT之三個列表的列表1、及包括IV圖片的列表2。亦即，以STbC、STaC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生列表1。另外，加入RefPicSetIvCurr[i]列表中的所有IV圖片以產生列表2。

在步驟S156中，時間列表產生單元132從步驟S155中所產生的列表1和列表2之各者的開頭逐一地提取元件，且交替地排放所提取的元件以產生L0時間列表(RefPicListTemp0[rldx])。

在步驟S157中，時間列表產生單元132產生兩個列表，即，以STaC、STbC、和LT之順序來結合參考圖片設定單元131所設定之關於STaC、STbC、和LT之三個列表的列表11、及包括IV圖片的列表12。亦即，以STaC、STbC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生列表11。另外，加入RefPicSetIvCurr[i]列表中的所有IV圖片以產生列表12。可以與在L0方向上的順序相反之順序來加入IV圖片，如上面關於第8圖所述。

在步驟S158中，時間列表產生單元132從步驟S157中所產生的列表11和列表12之各者的開頭逐一地提取元件，且交替地排放所提取的元件以產生L1時間列表(RefPicListTemp1[rldx])。

已在從語法處理單元121供應的片段標頭或 SPS中設定num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步驟S159中，參考圖片列表產生單元133提取從L0時間列表(RefPicListTem0[rldx])之開頭至num_ref_idx_l0_active_minus1+1所識別之元件的元件，且產生L0參考列表(RefPicList0[rldx])。

在步驟S160中，參考圖片列表產生單元133提取從L1時間列表(RefPicListTem1[rldx])之開頭至num_ref_idx_l1_active_minus1+1所識別之元件的元件，且產生L1參考列表(RefPicList1[rldx])。

以上述方式，以交替地排放時間方向參考圖片和視角方向參考圖片的方式來產生時間列表，且產生上面關於第6圖所述之參考列表。

在前面的說明中，舉例來說，使用兩個參考列表。例如，指示已選定何者參考列表的1位元參考列表選擇旗標可從編碼端發送至解碼端，且參考列表可依照參考列表選擇旗標來產生於解碼端上。可例如在片段之單元中發送參考列表選擇旗標。

例如，如上面關於第7圖所述，期望列表取決於序列中之時間相關性的程度或視角間相關性的程度。藉由以上述方式來發送參考列表選擇旗標，相較於例如依據圖片來發送改變命令的情況或例如如同在非專利文獻2中每次發送語法的情況，有可能提高編碼效率。

2.第二實施例 影像解碼裝置

第14圖繪示當作根據本揭露之實施例之影像處理裝置的影像解碼裝置200之配置。第14圖所示之影像解碼裝置200是對應於第1圖所示之影像編碼裝置100的解碼裝置。

假設已藉由影像編碼裝置100進行編碼的編碼資料經過特定傳輸路徑被傳輸至對應於影像編碼裝置100的影像解碼裝置200，且使用例如HEVC架構來解碼。

如第14圖所示，影像解碼裝置200包括累積緩衝器201、無損解碼單元202、反量化單元203、反向正交轉換單元204、計算單元205、去區塊濾波器206、畫面重排緩衝器207、及數位/類比(D/A)轉換單元208。影像解碼裝置200也包括解碼圖片緩衝器209、選擇單元210、框內預測單元211、移動像差預測/補償單元212、及選擇單元213。

影像解碼裝置200更包括語法處理單元221、參考列表產生單元222、適應性偏移濾波器223、及適應性迴路濾波器224。

累積緩衝器201累積所傳輸的編碼資料。編碼資料是已藉由影像編碼裝置100來進行編碼的資料。語法處理單元221在某個時間取得來自從累積緩衝器201讀取之編碼資料的VPS、SPS、片段標頭、等等，且將取得 的各別標頭資訊與編碼資料一起供應至無損解碼單元202。語法處理單元221也將取得的標頭資訊等等供應至參考列表產生單元222。

無損解碼單元202使用對應於第1圖所示之無損編碼單元106之編碼架構的架構來解碼從語法處理單元221供應的編碼資料。反量化單元203使用對應於第1圖所示之量化單元105之量化架構的架構來反量化透過藉由無損解碼單元202解碼所獲得的係數資料(量化係數)。亦即，反量化單元203藉由使用從影像編碼裝置100供應的量化參數，使用類似於第1圖所示之反量化單元108之方法的方法來反量化量化係數。

反量化單元203將反量化係數資料(即，正交轉換係數)供應至反向正交轉換單元204。反向正交轉換單元204使用對應於第1圖所示之正交轉換單元104之正交轉換架構的架構來對正交轉換係數進行反向正交轉換以獲得解碼剩餘資料，其對應於尚未受到藉由影像編碼裝置100的正交轉換之剩餘資料。

藉由受到反向正交轉換所獲得的解碼剩餘資料被供應至計算單元205。計算單元205也透過選擇單元213被供應來自框內預測單元211或移動像差預測/補償單元212的預測圖片。

計算單元205將解碼剩餘資料與預測圖片相加在一起以獲得解碼圖片資料，其對應於尚未藉由影像編碼裝置100之計算單元103減去預測圖片的影像資料。計 算單元205將解碼圖片資料供應至去區塊濾波器206。

去區塊濾波器206適當地進行去區塊濾波器處理以移除(或至少減少)來自解碼圖片的區塊失真。去區塊濾波器206將產生之圖片供應至適應性偏移濾波器223。

適應性偏移濾波器223具有緩衝器用於順序地儲存從無損解碼單元202供應的偏移量。此外，針對每個LCU，適應性偏移濾波器223依照從無損解碼單元202供應之偏移濾波器資訊對已藉由去區塊濾波器206進行適應性去區塊濾波器處理的圖片進行適應性偏移濾波器處理。

具體來說，若包括在偏移濾波器資訊中的儲存旗標是「0」，則適應性偏移濾波器223藉由使用包括在偏移濾波器資訊中的偏移量，在LCU之單元中對已進行去區塊濾波器處理之圖片進行類型資訊所指之類型的適應性偏移濾波器處理。

若包括在偏移濾波器資訊中的儲存旗標是「1」，則適應性偏移濾波器223在LCU之單元中讀取在包括在用於已進行去區塊濾波器處理的圖片之偏移濾波器資訊中的索引所指之位置所儲存的偏移量。然後，適應性偏移濾波器223藉由使用讀取偏移量來進行類型資訊所指之類型的適應性偏移濾波器處理。適應性偏移濾波器223將已進行適應性偏移濾波器處理的圖片供應至適應性迴路濾波器224。

針對每個LCU，適應性迴路濾波器224使用從無損解碼單元202供應的濾波器係數來對從適應性偏移濾波器223供應的圖片進行適應性迴路濾波器處理。適應性迴路濾波器224將產生之圖片供應至畫面重排緩衝器207。

畫面重排緩衝器207重排圖片。亦即，藉由第1圖所示之畫面重排緩衝器102以編碼順序重排的訊框之順序被改變為原始顯示順序。D/A轉換單元208對從畫面重排緩衝器207供應的圖片進行D/A轉換，將產生之圖片輸出至顯示器(未示出)以供顯示。

適應性迴路濾波器224的輸出也被供應至解碼圖片緩衝器209。

解碼圖片緩衝器209、選擇單元210、框內預測單元211、移動像差預測/補償單元212、和選擇單元213分別對應於影像編碼裝置100的解碼圖片緩衝器112、選擇單元113、框內預測單元114、移動像差預測/補償單元115、和選擇單元116。

選擇單元210從解碼圖片緩衝器209讀取將用於框間預測的圖片和將被參考的圖片，且將讀取圖片供應至移動像差預測/補償單元212。選擇單元210進一步從解碼圖片緩衝器209讀取將用於框內預測的圖片，且將讀取圖片供應至框內預測單元211。

框內預測單元211從無損解碼單元202被適當地供應指示從標頭資訊獲得之框內預測模式的資訊、等 等。框內預測單元211依照資訊產生來自從解碼圖片緩衝器209取得之參考圖片的預測圖片，且將所產生的預測圖片供應至選擇單元213。

移動像差預測/補償單元212從無損解碼單元202被供應從標頭資訊獲得的資訊(如預測模式資訊、移動向量資訊、像差向量資訊、及各種參數)。移動像差預測/補償單元212也被提供參考列表產生單元222所分配的參考圖片索引。

移動像差預測/補償單元212依照從無損解碼單元202供應的上述資訊和由參考列表產生單元222產生之參考列表所示之參考圖片索引，產生來自從解碼圖片緩衝器209取得之參考圖片的預測圖片。移動像差預測/補償單元212將所產生的預測圖片供應至選擇單元213。

選擇單元213選擇移動像差預測/補償單元212或框內預測單元211所產生的預測圖片，且將預測圖片供應至計算單元205。

參考列表產生單元222基本上具有類似於影像編碼裝置100的參考列表產生單元122之配置的配置。參考列表產生單元222藉由使用累積於解碼圖片緩衝器209中之參考圖片的資訊(POC資訊和視角資訊)來產生將被移動像差預測/補償單元212參考的參考列表以預測目標圖片。在這種情況下，參考列表產生單元122藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片來產生參考列表。

具體來說，參考列表產生單元222藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片來產生時間列表，其為用以產生參考列表的暫時列表。接著，參考列表產生單元222基於所產生的時間列表來產生參考列表。

參考列表產生單元的示範配置

第15圖係繪示第14圖所示之參考列表產生單元222之示範配置的方塊圖。

在第15圖所示之實例中，參考列表產生單元222包括參考圖片設定單元231、時間列表產生單元232、及參考圖片列表產生單元233。

參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊(即，POC資訊)和用於短期參考圖片的used_by_curr旗標(在從語法處理單元221供應之片段標頭或RPS中設定)，設定短期(Curr之前)參考圖片，且產生短期(Curr之前)參考圖片列表(RefPicSetStCurrBefore[i]。參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊和用於從語法處理單元221供應之短期參考圖片的used_by_curr旗標(在片段標頭或RPS中設定)，設定短期(Curr之後)參考圖片，且產生短期(Curr之後)參考圖片列表(RefPicSetStCurrAfter[i])。

參考圖片設定單元231參考從解碼圖片緩衝 器209供應之參考圖片的時間點資訊和在片段標頭或SPS中設定之用於長期參考圖片的used_by_curr旗標，設定長期參考圖片，且產生長期參考圖片列表(RefPicLtCurr[i])。參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的視角資訊，設定視角間參考圖片(RefPicSetIvCurr[i])，且產生視角間參考圖片列表。

時間列表產生單元232以根據上述本技術之實施例的某個順序來結合參考圖片設定單元231所設定的列表以產生L0和L1時間列表(RefPicListTemp0[rldx]、RefPicListTemp1[rldx])。

參考圖片列表產生單元233參考在從語法處理單元221供應之片段標頭或SPS中設定的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。參考圖片列表產生單元233從時間列表產生單元232所產生的L0/L1時間列表提取參考圖片(其數量係由num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1設定)，且加入所提取的參考圖片以產生L0/L1參考列表。

藉由移動像差預測/補償單元212來參考參考圖片列表產生單元233所產生的L0/L1參考列表。

解碼程序的流程

之後，將說明藉由上述影像解碼裝置200所執行之程序的流程。首先，將參考第16圖所示之流程圖 來說明解碼程序的流程實例。

在步驟S201中，當解碼程序開始時，累積緩衝器202累積所傳輸的編碼資料。在步驟S202中，語法處理單元221在某個時間取得來自從累積緩衝器201讀取之編碼資料的標頭資訊。語法處理單元221將取得的標頭資訊與編碼資料一起供應至無損解碼單元202。語法處理單元221也將取得的標頭資訊(VPS、SPS(包括RPS)、和片段標頭)等等供應至參考列表產生單元222。

在步驟S203中，無損解碼單元202解碼從語法處理單元221供應的編碼資料。亦即，解碼被第1圖所示之無損編碼單元106編碼的I圖片、P圖片、和B圖片。

此時，從各別標頭資訊取得移動向量資訊、像差向量資訊、參考訊框資訊、預測模式資訊(框內預測模式或框間預測模式)、及如旗標和量化參數的資訊。

若預測模式資訊是框內預測模式資訊，則預測模式資訊被供應至框內預測單元211。若預測模式資訊是框間預測模式資訊，則預測模式資訊和相關移動向量資訊被供應至移動像差預測/補償單元212。

在步驟S204中，反量化單元203反量化透過被無損解碼單元202解碼所獲得的量化正交轉換係數。在步驟S205中，反向正交轉換單元204使用對應於第1圖所示之正交轉換單元104之方法的方法來對透過藉由反量化單元203反量化所獲得的正交轉換係數進行反向正交轉 換。藉此，對應於第1圖所示之正交轉換單元104之輸入(或計算單元103之輸出)的差異資訊被解碼。

在步驟S206中，計算單元205將預測圖片加上步驟S205之處理所獲得的差異資訊。於是，解碼原始影像資料。

在步驟S207中，去區塊濾波器206適當地濾波步驟S206之處理所獲得的解碼圖片。因此，可從解碼圖片適當地移除(或可至少減少)區塊失真。去區塊濾波器206將產生之圖片供應至適應性偏移濾波器223。

在步驟S208中，針對每個LCU，適應性偏移濾波器223依照從無損解碼單元202供應的偏移濾波器資訊，對已藉由去區塊濾波器206進行去區塊濾波器處理的圖片進行適應性偏移濾波器處理。適應性偏移濾波器223將已進行適應性偏移濾波器處理的圖片供應至適應性迴路濾波器224。

在步驟S209中，針對每個LCU，適應性迴路濾波器224使用從無損解碼單元202供應的濾波器係數，對從適應性偏移濾波器223供應的圖片進行適應性迴路濾波器處理。適應性迴路濾波器224也將產生之圖片供應至解碼圖片緩衝器209和畫面重排緩衝器207。

在步驟S210中，解碼圖片緩衝器209儲存已進行濾波器處理的解碼圖片。

在步驟S211中，參考列表產生單元222產生將被移動像差預測/補償單元212參考的參考列表以預測 目標圖片。於下將參考第17圖來說明參考列表產生程序的細節。

經過步驟S211，藉由於能在時間方向上被參考的複數個參考圖片之間插入能在視角方向上被參考的參考圖片來產生時間列表，其為用以產生參考列表的暫時列表。接著，基於所產生的時間列表來產生參考列表。

在步驟S212中，框內預測單元211或移動像差預測/補償單元212依照從無損解碼單元202供應的預測模式資訊來進行影像預測程序。

具體來說，若從無損解碼單元202供應框內預測模式資訊，則框內預測單元211在框內預測模式下進行框內預測程序。若從無損解碼單元202供應框間預測模式資訊，則移動像差預測/補償單元212使用由步驟S211之處理產生的參考列表所示之參考圖片索引的參考圖片來在框間預測模式下進行移動像差預測/補償程序。

在步驟S213中，選擇單元213選擇預測圖片。亦即，選擇單元213被供應框內預測單元211所產生的預測圖片或移動像差預測/補償單元212所產生的預測圖片。選擇單元213選擇已被供應預測圖片的一端，且將預測圖片供應至計算單元205。預測圖片藉由步驟S206之處理來加入差異資訊。

在步驟S214中，畫面重排緩衝器207重排解碼圖片資料的訊框。亦即，被重排來被影像編碼裝置100之畫面重排緩衝器102(第1圖)編碼之解碼圖片資料的訊 框順序被改變為原始顯示順序。

在步驟S215中，D/A轉換單元208對其訊框已被畫面重排緩衝器207重排的解碼圖片資料進行D/A轉換。將解碼圖片資料輸出至顯示器(未示出)，且顯示基於影像資料的影像。在完成步驟S215的處理之後，解碼程序結束。

參考列表產生程序的流程

接著，將參考第17圖所示之流程圖來說明第16圖之步驟S211中所執行之參考列表產生程序的流程之實例。透過所示之程序，產生了上面關於第5圖所述的本技術之實例1中的參考列表。只有當解碼圖片(即，將被預測的圖片)是P圖片或B圖片時才執行所示之程序。

在上述第16圖之步驟S203中，語法處理單元221將解碼圖片上的資訊(如VPS、SPS(包括RPS)、和片段標頭)供應至參考列表產生單元222。已在從語法處理單元221供應的片段標頭或RPS中設定用於短期參考圖片的used_by_curr旗標。已在片段標頭或SPS中設定用於長期參考圖片的used_by_curr旗標。

在步驟S231中，參考列表產生單元222的參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊(即，POC資訊)和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之前)參考圖片(STbC)，且產生RefPicSetStCurrBefore[i] 列表。

在步驟S232中，參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之後)參考圖片(STaC)，且產生RefPicSetStCurrAfter[i]列表。

在步驟S233中，參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊(即，POC資訊)和片段標頭或SPS中用於長期參考圖片的used_by_curr旗標，設定長期參考圖片(RefPicLtCurr[i]：LT)，且產生RefPicLtCurr[i]列表。

在步驟S234中，參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的視角資訊，設定視角間參考圖片(IV)，且產生RefPicSetIvCurr[i]列表。

在步驟S235中，時間列表產生單元232以STbC、IV、STaC、和LT的順序來結合被參考圖片設定單元231設定之上述四個列表以產生L0時間列表(RefPicListTemp0[rldx])。

具體來說，在上述四個列表中，以STbC、IV、STaC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生L0時間列表。在這種情況下，加入所有IV圖片(視角間參考圖片)。

在步驟S236中，時間列表產生單元232以STaC、IV、STbC、和LT的順序來結合參考圖片設定單元 231所設定之四個列表以產生L1時間列表(RefPicListTemp1[rldx])。

具體來說，以STaC、IV、STbC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生L1時間列表。在這種情況下，加入所有IV圖片(視角間參考圖片)。可以與在L0方向上的順序相反之順序來加入IV圖片，如上面關於第8圖所述。

已在從語法處理單元121供應的片段標頭或SPS中設定num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步驟S237中，參考圖片列表產生單元233提取從L0時間列表(RefPicListTem0[rldx])之開頭至num_ref_idx_l0_active_minus1+1所識別之元件的元件，且產生L0參考列表(RefPicList0[rldx])。

在步驟S238中，參考圖片列表產生單元233提取從L1時間列表(RefPicListTemp1[rldx])之開頭至num_ref_idx_l1_active_minus1+1所識別之元件的元件，且產生L1參考列表(RefPicList1[rldx])。

以上述方式，於短期(Curr之前)參考圖片與短期(Curr之後)參考圖片之間插入視角間圖片，且產生上面關於第5圖所述之參考列表。

參考列表產生程序的另一流程

接著，將參考第18圖所示之流程圖來說明第 16圖之步驟S211中所執行之參考列表產生程序的流程之實例。透過所示之程序，產生了上面關於第6圖所述的本技術之實例2中的參考列表。只有當解碼圖片(即，將被預測的圖片)是P圖片或B圖片時才執行所示之程序。

在上述第16圖之步驟S203中，語法處理單元221將解碼圖片的資訊(如VPS、SPS(包括RPS)、和片段標頭)供應至參考列表產生單元222。已在從語法處理單元121供應的片段標頭或RPS中設定用於短期參考圖片的used_by_curr旗標。已在片段標頭或SPS中設定用於長期參考圖片的used_by_curr旗標。

在步驟S251中，參考列表產生單元222的參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊(即，POC資訊)和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之前)參考圖片(STbC)，且產生RefPicSetStCurrBefore[i]列表。

在步驟S252中，參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊和片段標頭或RPS中用於短期參考圖片的used_by_curr旗標，設定短期(Curr之後)參考圖片(STaC)，且產生RefPicSetStCurrAfter[i]列表。

在步驟S253中，參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的時間點資訊和片段標頭或SPS中用於長期參考圖片的used_by_curr旗 標，設定長期參考圖片(LT)，且產生RefPicLtCurr[i]列表。

在步驟S254中，參考圖片設定單元231參考從解碼圖片緩衝器209供應之參考圖片的視角資訊，設定視角間參考圖片(IV)，且產生RefPicSetIvCurr[i]列表。

在步驟S255中，時間列表產生單元232產生兩個列表，即，以STbC、STaC、和LT之順序來結合參考圖片設定單元231所設定之關於STbC、STaC、和LT之三個列表的列表1、及包括IV圖片的列表2。亦即，以STbC、STaC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生列表1。另外，加入RefPicSetIvCurr[i]列表中的所有IV圖片以產生列表2。

在步驟S256中，時間列表產生單元232從步驟S255中所產生的列表1和列表2之各者的開頭逐一地提取元件，且交替地排放所提取的元件以產生L0時間列表(RefPicListTemp0[rldx])。

在步驟S257中，時間列表產生單元232產生兩個列表，即，以STaC、STbC、和LT之順序來結合參考圖片設定單元231所設定之關於STaC、STbC、和LT之三個列表的列表11、及包括IV圖片的列表12。亦即，以STaC、STbC、和LT的順序來只結合具有為1之used_by_curr旗標的參考圖片以產生列表11。另外，加入RefPicSetIvCurr[i]列表中的所有IV圖片以產生列表12。可以與在L0方向上的順序相反之順序來加入IV圖片，如 上面關於第8圖所述。

在步驟S258中，時間列表產生單元232從步驟S257中所產生的列表11和列表12之各者的開頭逐一地提取元件，且交替地排放所提取的元件以產生L1時間列表(RefPicListTemp1[rldx])。

已在從語法處理單元221供應的片段標頭或SPS中設定num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。

在步驟S259中，參考圖片列表產生單元233提取從L0時間列表(RefPicListTem0[rldx])之開頭至num_ref_idx_l0_active_minus1+1所識別之元件的元件，且產生L0參考列表(RefPicList0[rldx])。

在步驟S260中，參考圖片列表產生單元233提取從L1時間列表(RefPicListTem1[rldx])之開頭至num_ref_idx_l1_active_minus1+1所識別之元件的元件，且產生L1參考列表(RefPicList1[rldx])。

以上述方式，以交替地排放時間方向參考圖片和視角方向參考圖片的方式來產生時間列表，且產生上面關於第6圖所述之參考列表。

在前面的說明中，編碼架構係基於HEVC架構。本技術之實施例提供用於顯示的技術，且不限於任何特定編碼架構。因此，可使用除了HEVC架構之外的任何編碼架構/解碼架構。例如，本技術之實施例可提供用於基於AVC架構來進行編碼/解碼處理的裝置，其將於下方 說明。

3.第三實施例 影像編碼裝置的其他示範配置

第19圖繪示當作根據本揭露之另一實施例之影像處理裝置的影像編碼裝置300之配置。第19圖所示之影像編碼裝置300與第1圖所示之影像編碼裝置100的不同處在於進行基於AVC架構的編碼程序。

在第19圖所示之元件中，本質上具有與第1圖所示之配置相同之配置的元件被分配相同的參考數字。將視情況地省略多餘的說明。

第19圖所示之影像編碼裝置300包括A/D轉換單元101、畫面重排緩衝器102、計算單元103、正交轉換單元104、量化單元105、無損編碼單元106、及累積緩衝器107。影像編碼裝置100也包括反量化單元108、反向正交轉換單元109、計算單元110、去區塊濾波器111、解碼圖片緩衝器112、選擇單元113、框內預測單元114、移動像差預測/補償單元115、選擇單元116、及速率控制單元117。

影像編碼裝置100亦包括語法處理單元121和參考列表產生單元122。

亦即，第19圖所示之影像編碼裝置300的配置與第1圖所示之影像編碼裝置100的配置之不同處在於不包括適應性偏移濾波器123和適應性迴路濾波器124以 及無損編碼單元106使用AVC架構而非HEVC架構來進行編碼。因此，影像編碼裝置300在區塊單元而非CU單元中進行編碼程序。

將受到藉由無損編碼單元106之編碼程序的物件除了適應性偏移濾波器和適應性迴路濾波器的參數以外，基本上都類似於用於第1圖所示之無損編碼單元106的物件。類似於第1圖所示之無損編碼單元106，無損編碼單元106從框內預測單元114取得框內預測模式資訊。無損編碼單元106也從移動像差預測/補償單元115取得框間預測模式資訊、移動向量、及用於指定參考圖片的資訊。

類似於第1圖所示之無損編碼單元106，無損編碼單元106對從量化單元105供應的量化係數進行無損編碼，如可變長度編碼(例如，CAVLC)或算術編碼(例如，CABAC)。

再者，類似於第1圖所示之無損編碼單元106，無損編碼單元106編碼量化轉換係數，且將框內預測模式資訊、框間預測模式資訊、移動向量資訊、和量化參數併入(或多工)至編碼資料的標頭資訊中。無損編碼單元106將藉由進行編碼所獲得的編碼資料供應至累積緩衝器107以供累積。

去區塊濾波器111濾波從計算單元110供應之本地解碼的圖片以移除(或至少減少)區塊失真。去區塊濾波器111將產生之影像供應至解碼圖片緩衝器112以供 累積。

累積於解碼圖片緩衝器112中的圖片透過選擇單元113被輸出至框內預測單元114或移動像差預測/補償單元115作為參考圖片。

本技術之實施例可提出這樣基於AVC架構的影像編碼裝置。

解碼單元的其他示範配置

第20圖繪示當作根據本揭露之另一實施例之影像處理裝置的影像解碼裝置350之配置。第20圖所示之影像解碼裝置350是對應於第19圖所示之影像編碼裝置300的解碼裝置。第20圖所示之影像解碼裝置350與第14圖所示之影像解碼裝置200的不同處在於進行基於AVC架構的解碼程序。

在第20圖所示之元件中，本質上具有與第14圖所示之配置相同之配置的元件被分配相同的參考數字。將視情況地省略多餘的說明。

第20圖所示之影像解碼裝置350包括累積緩衝器201、無損解碼單元202、反量化單元203、反向正交轉換單元204、計算單元205、去區塊濾波器206、畫面重排緩衝器207、D/A轉換單元208、解碼圖片緩衝器209、選擇單元210、框內預測單元211、移動像差預測/補償單元212、及選擇單元213。

影像解碼裝置200更包括語法處理單元221 及參考列表產生單元222。

第20圖所示之影像解碼裝置350的配置與第14圖所示之影像解碼裝置200的配置之不同處在於不包括適應性偏移濾波器223和適應性迴路濾波器224以及無損解碼單元202使用AVC架構而非HEVC架構來進行解碼。因此，影像解碼裝置350在區塊單元而非CU單元中進行解碼程序。

將受到藉由無損解碼單元202之解碼程序的物件除了適應性偏移濾波器和適應性迴路濾波器的參數以外，基本上都類似於用於第14圖所示之無損解碼單元202的物件。亦即，累積緩衝器201累積所傳輸的編碼資料。編碼資料是已藉由影像編碼裝置300進行編碼的資料。

類似於第14圖所示之語法處理單元221，語法處理單元221在某個時間取得來自從累積緩衝器201讀取之編碼資料的序列參數集、圖片參數集、片段標頭、等等，且將取得的標頭資訊與編碼資料一起供應至無損解碼單元202。語法處理單元221也將取得的標頭資訊等等供應至參考列表產生單元222。

類似於第14圖所示之無損解碼單元202，無損解碼單元202對從語法處理單元221供應的編碼資料進行無損解碼(如可變長度解碼或算術解碼)以獲得量化係數。無損解碼單元202將量化係數供應至反量化單元203。

去區塊濾波器206濾波從計算單元205供應的影像以移除(或至少減少)區塊失真。去區塊濾波器206將產生之影像供應至解碼圖片緩衝器209和畫面重排緩衝器207。

本技術之實施例可提出這樣基於AVC架構的影像解碼裝置。

本揭露之實施例可提出影像編碼裝置和影像解碼裝置，用以經由如衛星廣播、有線電視、網際網路、或行動電話的網路媒體，接收使用如離散餘弦轉換和移動補償的正交轉換(例如，MPEG或H.26x)所壓縮的影像資訊(位元流)。另外，本揭露之實施例可提出影像編碼裝置和影像解碼裝置，用於在如光碟、磁碟、和快閃記憶體的儲存媒體上處理。再者，本揭露之實施例可提出包括在上述影像編碼裝置和影像解碼裝置等等中的移動預測/補償裝置。

4.第四實施例 電腦

上述一系列程序可藉由硬體或軟體來執行。在藉由軟體來實作一系列程序的情況下，構成軟體的程式被安裝於電腦中。電腦可以是併入專用硬體中的電腦、能夠藉由於其中安裝各種程式來執行各種功能的電腦(如通用個人電腦)、或之類。

第21圖係繪示依照程式來執行上述一系列程 序之電腦500的硬體之示範配置的方塊圖。

在電腦500中，中央處理單元(CPU)501、唯讀記憶體(ROM)502、和隨機存取記憶體(RAM)503經由匯流排504來彼此連接。

輸入/輸出介面510也連接至匯流排504。輸入/輸出介面510係連接至輸入單元511、輸出單元512、儲存單元513、通訊單元514、和驅動器515。

輸入單元511包括鍵盤、滑鼠、麥克風、等等。輸出單元512包括顯示器、揚聲器、等等。儲存單元513包括硬碟機、非揮發性記憶體、等等。通訊單元514包括網路介面等等。驅動器515驅動如磁碟、光碟、磁光碟、或半導體記憶體的可移除媒體521。

在具有上述配置的電腦500中，CPU 501將例如儲存於儲存單元513中的程式經由輸入/輸出介面510和匯流排504載入RAM 503中，且執行程式，藉此進行上述一系列程序。

可提供被電腦500(或CPU 501)執行的程式以便記錄於當作例如封裝媒體的可移除媒體521上。也可經由有線或無線傳輸媒體(如區域網路(LAN)、網際網路、或數位衛星廣播)來提供程式。

在電腦500中，可移除媒體521置於驅動器515中，因此使程式能經由輸入/輸出介面510被安裝於儲存單元513中。程式也可經由有線或無線傳輸媒體被通訊單元514接收，且安裝於儲存單元513中。在其他配置 中，程式可預先安裝於ROM 502或儲存單元513中。

將被電腦500執行的程式可以是依本文所述之順序以時間序列方式來進行程序的程式，或可以是平行或在必要時(如當被呼叫時)進行程序的程式。

在本說明書中，描述記錄於記錄媒體上的程式之步驟包括將依本文所述之順序以時間序列方式來進行的程序，和將平行或個別地執行的程序(儘管不一定以時間序列方式來進行)。

如本文所使用的「系統」之詞係指包括複數個設備(或裝置)的整個裝置。

另外，如單一裝置(或處理單元)的上述配置可分成複數個裝置(或處理單元)。相反地，如複數個裝置(或處理單元)的上述配置可併入單一裝置(或處理單元)中。此外，除了上述配置之外的配置可被加至每個裝置(或每個處理單元)的配置。再者，若裝置(或處理單元)與整體系統具有本質上相同的配置或操作，則某個裝置(或處理單元)的一部分配置可包括在另一裝置(或另一處理單元)的配置中。換言之，本技術之實施例並不限於上述實施例，且可在不脫離本技術之範圍下進行各種修改。

根據上述實施例之影像編碼裝置和影像解碼裝置可應用於用於在衛星廣播、如有線TV的有線廣播、或網際網路上的資料分佈、經由蜂巢式通訊對終端的資料分佈等等之發射器或接收器、配置以記錄影像在如光碟、磁碟、和快閃記憶體之媒體上的記錄裝置、或各種電子裝 置(如配置以再生來自上述儲存媒體之影像的再生裝置)。下面的說明將舉出四個示範應用。

5.示範應用 第一示範應用：電視接收器

第22圖繪示應用上述實施例之電視裝置900之示意配置的實例。電視裝置900包括天線901、調諧器902、解多工器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部介面909、控制單元910、使用者介面911、及匯流排912。

調諧器902從經由天線901收到的廣播信號提取在期望通道中的信號，且解調所提取的信號以獲得編碼位元流。調諧器902將編碼位元流輸出至解多工器903。換言之，調諧器902當作電視裝置900中的傳輸單元，配置以接收包括編碼圖片的編碼流。

解多工器903將編碼位元流解多工成節目的視頻流和音頻流以被觀看，且將解多工流輸出至解碼器904。此外，解多工器903從編碼位元流提取如電子節目表(EPG)的附屬資料，且將所提取的資料供應至控制單元910。若編碼位元流已被加擾，則解多工器903也可解擾編碼位元流。

解碼器904解碼從解多工器903輸入的視頻流和音頻流以分別產生視頻資料和音頻資料。解碼器904 將視頻資料輸出至視頻信號處理單元905。解碼器904進一步將音頻資料輸出至音頻信號處理單元907。

視頻信號處理單元905再生從解碼器904輸入的視頻資料，且使視頻顯示於顯示單元906上。視頻信號處理單元905也可使經由網路供應的應用畫面顯示於顯示單元906上。視頻信號處理單元905可進一步依照設定來對視頻資料進行額外處理，如雜訊移除(或至少減少)。視頻信號處理單元905也可產生如選單、按鈕、或游標的圖形使用者介面(GUI)影像，且將所產生的影像疊加於輸出影像上。

顯示單元906係被從視頻信號處理單元905供應的驅動信號驅動，且在顯示裝置(如液晶顯示器、電漿顯示器、或有機電激發光顯示器(OELD))的視頻螢幕上顯示視頻或影像。

音頻信號處理單元907對從解碼器904輸入的音頻資料進行再生處理(如D/A轉換和放大)，且使音頻從揚聲器908輸出。音頻信號處理單元907也可對音頻資料進行額外處理，如雜訊移除(或至少減少)。

外部介面909是用於將電視裝置900連接至外部裝置或網路的介面。例如，經由外部介面909接收的視頻流或音頻流可被解碼器904解碼。換言之，外部介面909也當作電視裝置900中的傳輸單元，配置以接收包括編碼圖片的編碼流。

控制單元910包括如CPU的處理器、及如 RAM和ROM的記憶體裝置。記憶體裝置儲存將由CPU執行的程式、程式資料、EPG資料、經由網路取得的資料、等等。例如，當啟始電視裝置900時，儲存於記憶體裝置中的程式就被CPU讀取和執行。CPU執行程式以依照例如從使用者介面911輸入的操作信號來控制電視裝置900的操作。

使用者介面911係連接至控制單元910。使用者介面911包括例如用於允許使用者操作電視裝置900的按鈕和開關、用於遙控信號的接收單元、等等。使用者介面911經由上述元件來偵測使用者的操作以產生操作信號，且將所產生的操作信號輸出至控制單元910。

匯流排912用以將調諧器902、解多工器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部介面909、及控制單元910彼此連接。

在具有上述配置的電視裝置900中，解碼器904具有根據上述實施例之影像解碼裝置的功能。因此，當在電視裝置900中解碼影像時可提高多視角編碼的編碼效率。

第二示範應用：行動電話

第23圖繪示應用上述實施例之行動電話920之示意配置的實例。行動電話920包括天線921、通訊單元922、音頻編解碼器923、揚聲器924、麥克風925、照相機單元926、影像處理單元927、多工/解多工單元 928、記錄/再生單元929、顯示單元930、控制單元931、操作單元932、及匯流排933。

天線921係連接至通訊單元922。揚聲器924和麥克風925係連接至音頻編解碼器923。操作單元932係連接至控制單元931。匯流排933用以將通訊單元922、音頻編解碼器923、照相機單元926、影像處理單元927、多工/解多工單元928、記錄/再生單元929、顯示單元930、及控制單元931彼此連接。

行動電話920在各種操作模式(包括語音通話模式、資料通訊模式、影像擷取模式、及視訊電話模式)下進行操作，如傳輸和接收音頻信號、傳輸和接收電子郵件或影像資料、擷取影像、和記錄資料。

在語音通話模式下，由麥克風925產生的類比音頻信號被供應至音頻編解碼器923。音頻編解碼器923將類比音頻信號轉換成音頻資料、將轉換的音頻資料透過A/D轉換來轉換成數位音頻資料、且壓縮轉換的音頻資料。音頻編解碼器923將壓縮的音頻資料輸出至通訊單元922。通訊單元922編碼並調變音頻資料，且產生傳輸信號。通訊單元922經由天線921將產生的傳輸信號傳輸至基地台(未示出)。另外，通訊單元922放大經由天線921接收的無線電信號，且對放大信號進行頻率轉換以取得接收信號。通訊單元922解調並解碼接收信號以產生音頻資料，且將產生的音頻資料輸出至音頻編解碼器923。音頻編解碼器923擴展音頻資料，且透過D/A轉換來轉換 經擴展的音頻資料以產生類比音頻信號。音頻編解碼器923將產生的音頻信號供應至揚聲器924以使音頻被輸出。

在資料通訊模式下，例如，控制單元931經由操作單元932依照使用者之操作來產生形成電子郵件的文字資料。又，控制單元931使文字顯示於顯示單元930上。控制單元931進一步依照經由操作單元932從使用者發送的傳輸指令來產生電子郵件資料，且將產生的電子郵件資料輸出至通訊單元922。通訊單元922編碼並調變電子郵件資料以產生傳輸信號。通訊單元922經由天線921將產生的傳輸信號傳輸至基地台(未示出)。此外，通訊單元922放大經由天線921接收的無線電信號，且對放大信號進行頻率轉換以取得接收信號。通訊單元922解調並解碼接收信號以復原電子郵件資料，且將復原的電子郵件資料輸出至控制單元931。控制單元931使電子郵件的內容顯示於顯示單元930上，且也使電子郵件資料儲存於記錄/再生單元929中的儲存媒體中。

記錄/再生單元929包括期望機器可讀/可寫儲存媒體。儲存媒體可例如是如RAM或快閃記憶體的內建儲存媒體、或如硬碟、磁碟、磁光碟、光碟、通用序列匯流排(USB)記憶體、或記憶卡的外部儲存媒體。

在影像擷取模式下，例如，照相機單元926擷取物件的影像以產生影像資料，且將產生的影像資料輸出至影像處理單元927。影像處理單元927編碼從照相機 單元926輸入的影像資料以產生編碼流，且使編碼流儲存於記錄/再生單元929的儲存媒體中。

在視訊電話模式下，例如，多工/解多工單元928多工影像處理單元927所編碼的視頻流和從音頻編解碼器923輸入的音頻流以產生多工流，且將多工流輸出至通訊單元922。通訊單元922編碼並調變串流以產生傳輸信號。通訊單元922經由天線921將產生的傳輸信號傳輸至基地台(未示出)。另外，通訊單元922放大經由天線921接收的無線電信號，且對放大信號進行頻率轉換以取得接收信號。傳輸信號和接收信號可包括編碼位元流。通訊單元922解調並解碼接收信號以復原串流，且將復原串流輸出至多工/解多工單元928。多工/解多工單元928將輸入流解多工成視頻流和音頻流，且將視頻流和音頻流分別輸出至影像處理單元927和音頻編解碼器923。影像處理單元927解碼視頻流以產生視頻資料。視頻資料被供應至顯示單元930，且由顯示單元930顯示一系列影像。音頻編解碼器923擴展音頻流，且透過D/A轉換來轉換擴展的音頻流以產生類比音頻信號。音頻編解碼器923將產生的音頻信號供應至揚聲器924以使音頻被輸出。

在具有上述配置的行動電話920中，影像處理單元927具有根據上述實施例之影像編碼裝置和影像解碼裝置的功能。因此，當在行動電話920中編碼和解碼影像時可提高多視角編碼的編碼效率。

第三示範應用：記錄/再生裝置

第24圖繪示應用上述實施例之記錄/再生裝置940之示意配置的實例。記錄/再生裝置940編碼例如收到之廣播節目的音頻資料和視頻資料、且在記錄媒體上記錄編碼的音頻資料和視頻資料。記錄/再生裝置940也可編碼例如從另一裝置取得的音頻資料和視頻資料，且在記錄媒體上記錄編碼的音頻資料和視頻資料。另外，記錄/再生裝置940依照從使用者發送的指令，使用螢幕和揚聲器來再生例如記錄於記錄媒體上的資料。在這種情況下，記錄/再生裝置940解碼音頻資料和視頻資料。

記錄/再生裝置940包括調諧器941、外部介面942、編碼器943、硬碟機(HDD)944、磁碟機945、選擇器946、解碼器947、螢幕上顯示器(OSD)948、控制單元949、及使用者介面950。

調諧器941從經由天線(未示出)接收的廣播信號提取在期望通道上的信號，且解調所提取的信號以獲得編碼位元流。調諧器941將編碼位元流輸出至選擇器946。換言之，調諧器941當作記錄/再生裝置940中的傳輸單元。

外部介面942是用於將記錄/再生裝置940連接至外部裝置或網路的介面。外部介面942可以是例如電機電子工程師學會(IEEE)1394介面、網路介面、USB介面、快閃記憶體介面、或之類。例如，經由外部介面942接收的視頻資料和音頻資料被輸入至編碼器943。換言 之，外部介面942當作記錄/再生裝置940中的傳輸單元。

若尚未編碼視頻資料和音頻資料，則編碼器943編碼從外部介面942輸入的視頻資料和音頻資料以獲得編碼位元流。編碼器943將編碼位元流輸出至選擇器946。

HDD 944記錄包括如視頻和音頻之壓縮內容資料的編碼位元流、各種程式、及其他資料在內部硬碟機上。又，當再生視頻和音頻時，HDD 944從硬碟機讀取上述資料。

磁碟機945記錄資料在置於內部的記錄媒體上並從置於內部的記錄媒體讀取資料。置於磁碟機945中的記錄媒體可以是例如數位化多功能光碟(DVD)(如DVD-Video、DVD-RAM、可記錄DVD(DVD-R)、可再寫DVD(DVD-RW)、DVD+R、或DVD+RW)、或藍光光碟(註冊商標)。

當記錄視頻和音頻時，選擇器946選擇從調諧器941或編碼器943輸入的編碼位元流，且將選定編碼位元流輸出至HDD 944或磁碟機945。當再生視頻和音頻時，選擇器946將從HDD 944或磁碟機945輸入的編碼位元流輸出至解碼器947。

解碼器947解碼編碼位元流以產生視頻資料和音頻資料。解碼器947將產生的視頻資料輸出至OSD 948。解碼器947進一步將產生的音頻資料輸出至外部揚 聲器。

OSD 948再生從解碼器947輸入的視頻資料，且顯示視頻。OSD 948可將如選單、按鈕、或游標的GUI影像疊加於視頻上以被顯示。

控制單元949包括如CPU的處理器、及如RAM和ROM的記憶體裝置。記憶體裝置儲存將由CPU執行的程式、程式資料、等等。例如，當啟始記錄/再生裝置940時，儲存於記憶體裝置中的程式就被CPU讀取和執行。CPU執行程式以依照例如從使用者介面950輸入的操作信號來控制記錄/再生裝置940的操作。

使用者介面950係連接至控制單元949。使用者介面950包括例如用於允許使用者操作記錄/再生裝置940的按鈕和開關、用於遙控信號的接收單元、等等。使用者介面950經由上述元件來偵測使用者的操作以產生操作信號，且將產生的操作信號輸出至控制單元949。

在具有上述配置的記錄/再生裝置940中，編碼器943具有根據上述實施例之影像編碼裝置的功能。另外，解碼器947具有根據上述實施例之影像解碼裝置的功能。因此，當在記錄/再生裝置940中編碼和解碼影像時可提高多視角編碼的編碼效率。

第四示範應用：影像擷取裝置

第25圖繪示應用上述實施例之影像擷取裝置960之示意配置的實例。影像擷取裝置960擷取物件之影 像以產生影像資料、編碼影像資料、且在記錄媒體上記錄編碼之影像資料。

影像擷取裝置960包括光學方塊961、影像擷取單元962、信號處理單元963、影像處理單元964、顯示單元965、外部介面966、記憶體967、媒體驅動器968、OSD 969、控制單元970、使用者介面971、及匯流排972。

光學方塊961係連接至影像擷取單元962。影像擷取單元962係連接至信號處理單元963。顯示單元965係連接至影像處理單元964。使用者介面971係連接至控制單元970。匯流排972將影像處理單元964、外部介面966、記憶體967、媒體驅動器968、OSD 969、及控制單元970彼此連接。

光學方塊961包括聚焦透鏡、光圈機制、等等。光學方塊961在影像擷取單元962的成像表面上形成物件的光學影像。影像擷取單元962包括如電耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)的影像感測器，且藉由進行光電轉換來將形成於成像表面上的光學影像轉換成當作電子信號的影像信號。影像擷取單元962將影像信號輸出至信號處理單元963。

信號處理單元963對從影像擷取單元962輸入的影像信號進行各種照相機信號處理操作，如膝校正、伽馬校正、及色彩校正。信號處理單元963將受到照相機信號處理操作的影像資料輸出至影像處理單元964。

影像處理單元964編碼從信號處理單元963輸入的影像資料以產生編碼資料。影像處理單元964將產生的編碼資料輸出至外部介面966或媒體驅動器968。此外，影像處理單元964解碼從外部介面966或媒體驅動器968輸入的編碼資料以產生影像資料。影像處理單元964將產生的影像資料輸出至顯示單元965。影像處理單元964可進一步將從信號處理單元963輸入的影像資料輸出至顯示單元965以使影像被顯示。影像處理單元964也可將從OSD 969取得的顯示資料疊加於將被輸出至顯示單元965的影像上。

OSD 969產生如選單、按鈕、或游標的GUI影像，且將產生的影像輸出至影像處理單元964。

外部介面966被形成為例如USB輸入/輸出端。例如，當列印影像時，外部介面966將影像擷取裝置960連接至印表機。若需要的話，將驅動器進一步連接至外部介面966。如磁碟或光碟的可移除媒體係置於驅動器中，且從可移除媒體讀取的程式可安裝於影像擷取裝置960中。外部介面966也可形成為網路介面以連接至如LAN或網際網路的網路。換言之，外部介面966當作影像擷取裝置960中的傳輸單元。

將置於媒體驅動器968中的記錄媒體可例如是如磁碟、磁光碟、光碟、或半導體記憶體的任何機器可讀/可寫可移除媒體。另外，記錄媒體可固定地附接於媒體驅動器968，且可形成如固態硬碟(SSD)的內建硬碟機 或非可攜式儲存單元。

控制單元970包括如CPU的處理器、及如RAM和ROM的記憶體裝置。記憶體裝置儲存將由CPU執行的程式、程式資料、等等。例如，當啟始影像擷取裝置960時，儲存於記憶體裝置中的程式就被CPU讀取和執行。CPU執行程式以依照例如從使用者介面971輸入的操作信號來控制影像擷取裝置960的操作。

使用者介面971係連接至控制單元970。使用者介面971包括例如用於允許使用者操作影像擷取裝置960的按鈕和開關。使用者介面971經由上述元件來偵測使用者的操作以產生操作信號，且將產生的操作信號輸出至控制單元970。

在具有上述配置的影像擷取裝置960中，影像處理單元964具有根據上述實施例之影像編碼裝置和影像解碼裝置的功能。因此，當在影像擷取裝置960中編碼和解碼影像時可提高多視角編碼的編碼效率。

6.第五實施例 其他實例

儘管已說明了根據本技術之一些實施例之裝置、系統等等的實例，但本技術之實施例並不限於這些實例。本技術之實施例也可實作成可包括在上述裝置或上述系統中之裝置中的任何配置，如當作系統大型積體電路(LSI)或任何其他適當裝置的處理器、包括複數個處理器 等等的模組、包括複數個模組等等的單元、及將額外功能加入單元的組合(即，裝置的一部分)。

視頻組

現在將參考第26圖來說明本技術之實施例被實作成組合的實例。第26圖繪示根據本技術之實施例的視頻組1300之示意配置的實例。

最近增加電子裝置之功能的多樣性導致這類電子裝置的一些元件售出或提供。在這種情況下，在電子裝置的發展或製造中，不只可售出或提供各具有一個功能的個別元件，而且通常售出或提供結合具有相關功能之複數個元件之具有複數個功能的組合。

第26圖所示之視頻組1300具有多功能配置，且藉由結合具有關於影像的編碼或解碼(任一者或這兩者可適用)之功能的裝置與具有關於此功能之其他功能的裝置來形成。

如第26圖所示，視頻組1300包括具有視頻模組1311、外部記憶體1312、電源管理模組1313、和前端模組1314的模組、及具有如連接1321、照相機1322、和感測器1323之相關功能的裝置。

每個模組是具有一些相關元件功能的相關功能元件。可使用任何特定實體配置。例如，各具有個別功能的複數個處理器、如電阻器和電容器的電子電路元件、及其他適當裝置可佈置於線路板或之類上且整合進單一件 中。另外，模組可與另一模組、處理器、及其他適當裝置結合以形成新的模組。

在第26圖所示之實例中，視頻模組1311是具有關於影像處理之功能的元件組合，且包括應用程式處理器1331、視頻處理器1332、寬頻數據機1333、及射頻(RF)模組1334。

每個處理器係藉由使用系統晶片(SoC)技術將具有特定功能的配置併入半導體晶片上來形成，且也稱為例如系統LSI或之類。具有特定功能的配置可以是邏輯電路(硬體配置)、或藉由CPU、ROM、RAM等等來實作和藉由使用它們來執行的程式(軟體配置)、或可以是以上之組合。例如，處理器可包括邏輯電路、CPU、ROM、RAM、等等，且它們的一些功能可藉由邏輯電路(硬體配置)來實作，而其他功能可藉由CPU所執行的程式(軟體配置)來實作。

第26圖所示之應用程式處理器1331是配置以執行關於影像處理之應用程式的處理器。應用程式處理器1331所執行的應用程式不只提供計算處理，而且若需要的話，還提供控制視頻模組1311內部或外部的元件(如視頻處理器1332)以實作期望功能。

視頻處理器1332是具有關於影像的編碼/解碼(任一者或兩者)之功能的處理器。

寬頻數據機1333是配置以進行關於經由如網際網路或公共電話網路之寬頻連線所進行的有線或無線 (或兩者)寬頻通訊之處理的處理器(或模組)。例如，寬頻數據機1333係配置以透過數位調變或之類將被傳輸的資料(數位信號)轉換成類比信號，且將收到的類比信號解調成資料(數位信號)。例如，寬頻數據機1333能夠數位調變/解調想要的資訊，如將被視頻處理器1332處理之影像資料、編碼影像資料流、應用程式、或設定資料。

RF模組1334是配置以對將經由天線傳輸或接收的RF信號進行如頻率轉換、調變和解調、放大、及濾波器處理之處理的模組。例如，RF模組1334對寬頻數據機1333所產生的基頻信號進行如頻率轉換的處理以產生RF信號。例如，RF模組1334進一步對經由前端模組1314接收的RF信號進行如頻率轉換的處理以產生基頻信號。

在第26圖中，如虛線1341所示，應用程式處理器1331和視頻處理器1332可整合在單一處理器中。

外部記憶體1312是位於視頻模組1311外部且具有被視頻模組1311使用之儲存裝置的模組。外部記憶體1312的儲存裝置可藉由任何實體配置來實作，但最好是藉由如動態隨機存取記憶體(DRAM)之相對低成本、大容量的半導體記憶體來實作，因為它通常用以儲存大量資料(如訊框為基的影像資料)。

電源管理模組1313管理且控制給視頻模組1311(視頻模組1311中的個別元件)之電源的供應。

前端模組1314是配置以提供RF模組1334前 端功能(在天線端上之傳輸/接收端的電路)的模組。如第26圖所示，前端模組1314包括例如天線單元1351、濾波器1352、及放大器單元1353。

天線單元1351包括傳輸和接收無線電信號的天線、及周邊配置。天線單元1351傳輸從放大器單元1353供應的信號作為無線電信號，且將收到的無線電信號供應至濾波器1352作為電子信號(RF信號)。濾波器1352對經由天線單元1351接收的RF信號進行如濾波器處理的處理，且將處理的RF信號供應至RF模組1334。放大器單元1353放大從RF模組1334供應的RF信號，且將放大信號供應至天線單元1351。

連接1321是具有關於連接外部裝置之功能的模組。連接1321具有任何實體配置。例如，連接1321包括具有基於除了寬頻數據機1333所支援的通訊標準之外的標準之通訊功能的元件、外部輸入/輸出端、等等。

例如，連接1321可包括具有基於如藍芽(註冊商標)、IEEE 802.11(例如，無線保真(Wi-Fi，註冊商標))、近場通訊(NFC)、及紅外線資料協會(IrDA)的無線通訊標準之通訊功能的模組、及配置以傳輸和接收與標準相容之信號的天線、等等。例如，連接1321可包括具有基於如USB和HDMI(高解析度多媒體介面)(註冊商標)的有線通訊標準之通訊功能的模組、及符合標準的終端。再者，例如，連接1321可包括如類比輸入/輸出端的其他資料(信號)傳輸功能。

連接1321可包括對其傳輸資料(或信號)的裝置。例如，連接1321可包括用於讀取和寫入來自/至記錄媒體(如磁碟、光碟、磁光碟、或半導體裝置(不只包括用於可移除媒體的驅動器，而且包括硬碟機、SSD、網路附接儲存(NAS)、等等))之資料的驅動器。連接1321可包括影像和音頻輸出裝置(如螢幕和揚聲器)。

照相機1322是具有用以擷取物件的影像以獲得物件的影像資料之功能的模組。藉由照相機1322之影像擷取獲得的影像資料被供應至例如視頻處理器1332以供編碼。

感測器1323是具有如音頻感測器、超音波感測器、光學感測器、亮度感測器、紅外線感測器、影像感測器、旋轉感測器、角度感測器、角速度感測器、速度感測器、加速度感測器、傾角感測器、磁識別感測器、震動感測器、及溫度感測器之期望感測器功能的模組。感測器1323所偵測的資料被供應至例如應用程式處理器1331，且藉由應用程式等等來利用。

如模組之上述元件可實作成處理器、或相反地，如處理器之上述元件可實作成模組。

在具有上述配置的視頻組1300中，如下所述，本技術之實施例可應用於視頻處理器1332。因此，視頻組1300可實作成根據本技術之實施例的組合。

視頻處理器的示範配置

第27圖繪示根據本技術之實施例的視頻處理器1332(第26圖)之示意配置的實例。

在第27圖所示之實例中，視頻處理器1332具有用以回應於視頻信號和音頻信號之輸入而使用某個架構來編碼視頻信號和音頻信號的功能、及用以解碼編碼之視頻資料和音頻資料且再生和輸出視頻信號和音頻信號的功能。

如第27圖所示，視頻處理器1332包括視頻輸入處理單元1401、第一影像放大/縮小單元1402、第二影像放大/縮小單元1403、視頻輸出處理單元1404、訊框記憶體1405、及記憶體控制單元1406。視頻處理器1332也包括編碼/解碼引擎1407、視頻基本流(ES)緩衝器1408A和1408B、及音頻ES緩衝器1409A和1409B。視頻處理器1332也包括音頻編碼器1410、音頻解碼器1411、多工器(MUX)1412、解多工器(DMUX)1413、及串流緩衝器1414。

視頻輸入處理單元1401取得從例如連接1321(第26圖)或之類輸入的視頻信號，且將視頻信號轉換成數位影像資料。第一影像放大/縮小單元1402對影像資料進行如格式轉換及影像放大和縮小的處理。第二影像放大/縮小單元1403對影像資料進行處理，如依照經由視頻輸出處理單元1404發送輸出之目的地之格式的影像放大和縮小或類似於第一影像放大/縮小單元1402的格式轉換及影像放大和縮小。視頻輸出處理單元1404對影像資 料進行處理(如格式轉換並轉換成類比信號)，且將產生之資料輸出至例如連接1321(第26圖)或之類作為再生視頻信號。

訊框記憶體1405是用於被視頻輸入處理單元1401、第一影像放大/縮小單元1402、第二影像放大/縮小單元1403、視頻輸出處理單元1404、及編碼/解碼引擎1407共享之影像資料的記憶體。訊框記憶體1405被實作成如DRAM的半導體記憶體。

記憶體控制單元1406回應於從編碼/解碼引擎1407接收的同步信號而依照用於訊框記憶體1405之被寫入存取控制表1406A中的存取排程來控制存取訊框記憶體1405的讀取和寫入。存取控制表1406A係藉由記憶體控制單元1406依照編碼/解碼引擎1407、第一影像放大/縮小單元1402、第二影像放大/縮小單元1403、等等所執行的處理來更新。

編碼/解碼引擎1407進行用於編碼影像資料的程序、及用於解碼為編碼影像資料之視頻流的程序。例如，編碼/解碼引擎1407編碼從訊框記憶體1405讀取的影像資料，且將編碼影像資料順序地寫入至視頻ES緩衝器1408A中作為視頻流。再者，例如，編碼/解碼引擎1407從視頻ES緩衝器1408B順序地讀取視頻流、解碼讀取的視頻流、且將解碼視頻流順序地寫入至訊框記憶體1405作為影像資料。編碼/解碼引擎1407在上述編碼或解碼操作中使用訊框記憶體1405作為工作區域。又，編碼/ 解碼引擎1407在當例如啟動巨型區塊接著巨型區塊處理時將同步信號輸出至記憶體控制單元1406。

視頻ES緩衝器1408A緩衝編碼/解碼引擎1407所產生的視頻流，且將視頻流供應至多工器(MUX)1412。視頻ES緩衝器1408B緩衝從解多工器(DMUX)1413供應的視頻流，且將視頻流供應至編碼/解碼引擎1407。

音頻ES緩衝器1409A緩衝音頻編碼器1410所產生的音頻流，且將音頻流供應至多工器(MUX)1412。音頻ES緩衝器1409B緩衝從解多工器(DMUX)1413供應的音頻流，且將音頻流供應至音頻解碼器1411。

例如，音頻解碼器1410對從例如連接1321(第26圖)或之類輸入的音頻信號進行數位轉換，且使用如MPEG音頻架構或Audio Code number 3(AC3)架構的某個架構來編碼產生之信號。音頻編碼器1410將為音頻信號之編碼資料的音頻流順序地寫入至音頻ES緩衝器1409A。音頻解碼器1411解碼從音頻ES緩衝器1409B供應的音頻流、進行如轉換成類比信號的處理，且將產生之信號供應至例如連接1321(第26圖)或之類作為再生音頻信號。

多工器(MUX)1412多工視頻流和音頻流。可使用任何多工方法(即，將透過多工所產生之位元流的格式)。在多工操作期間，多工器(MUX)1412也可將某些標頭資訊等等加至位元流。亦即，多工器(MUX)1412能夠透 過多工來轉換串流格式。例如，多工器(MUX)1412將視頻流和音頻流多工成為傳輸格式之位元流的傳輸流。例如，多工器(MUX)1412將視頻流和音頻流多工成為檔案格式的資料(檔案資料)以供記錄。

解多工器(DMUX)1413使用對應於用於多工器(MUX)1412之多工方法的方法，解多工經多工視頻流和音頻流而產生的位元流。亦即，解多工器(DMUX)1413自從串流緩衝器1414讀取之位元流提取視頻流和音頻流(或將位元流分離成視頻流和音頻流)。亦即，解多工器(DMUX)1413能夠透過解多工來轉換串流格式(對多工器(MUX)1412所進行的轉換進行逆轉換)。例如，解多工器(DMUX)1413透過串流緩衝器1414取得從例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類供應的傳輸流，且解多工傳輸流以獲得視頻流和音頻流。而且，例如，解多工器(DMUX)1413透過串流緩衝器1414藉由例如的連接1321(第26圖)來取得從各種記錄媒體讀取的檔案資料，且解多工檔案資料以獲得視頻流和音頻流。

串流緩衝器1414緩衝位元流。例如，串流緩衝器1414緩衝從多工器(MUX)1412供應的傳輸流，且在某個時間或依照外部請求或之類將傳輸流供應至例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類。

另外，例如，串流緩衝器1414緩衝從多工器(MUX)1412供應的檔案資料，且在某個時間或依照外部請求或之類將檔案資料供應至例如連接1321(第26圖)或之 類以記錄檔案資料在各種記錄媒體上。

串流緩衝器1414也緩衝透過例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類取得的傳輸流，且在某個時間或依照外部請求或之類將傳輸流供應至解多工器(DMUX)1413。

串流緩衝器1414也在例如連接1321(第26圖)或之類緩衝從各種記錄媒體讀取的檔案資料，且在某個時間或依照外部請求或之類將檔案資料供應至解多工器(DMUX)1413。

接下來，將說明具有上述配置之視頻處理器1332的操作實例。例如，從連接1321(第26圖)或之類輸入至視頻處理器1332的視頻信號被視頻輸入處理單元1401轉換成為如4：2：2 Y/Cb/Cr格式之某種格式的數位影像資料，且被順序地寫入至訊框記憶體1405。數位影像資料被讀取至第一影像放大/縮小單元1402或第二影像放大/縮小單元1403中，且受到格式轉換成如4：2：0 Y/Cb/Cr格式之格式及放大和縮小程序。產生之資料再次被寫入至訊框記憶體1405。影像資料被編碼/解碼引擎1407編碼，且被寫入至視頻ES緩衝器1408A作為視頻流。

從連接1321(第26圖)或之類輸入至視頻處理器1332的音頻信號被音頻編碼器1410編碼，且被寫入至音頻ES緩衝器1409A作為音頻流。

視頻ES緩衝器1408A中的視頻流和音頻ES 緩衝器1409A中的音頻流被讀取至多工器(MUX)1412中，且被多工和轉換成傳輸流、檔案資料或之類。多工器(MUX)1412所產生的傳輸流被緩衝在串流緩衝器1414中，且接著經由例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類被輸出至外部網路。多工器(MUX)1412所產生的檔案資料被緩衝在串流緩衝器1414中，且接著被輸出至例如連接1321(第26圖)或之類。然後，在各種記錄媒體上記錄檔案資料。

經由例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類從外部網路輸入至視頻處理器1332的傳輸流被緩衝在串流緩衝器1414中，且接著被解多工器(DMUX)1413解多工。在例如連接1321(第26圖)或之類從各種記錄媒體讀取且輸入至視頻處理器1332的檔案資料被緩衝在串流緩衝器1414中，且接著被解多工器(DMUX)1413解多工。亦即，輸入至視頻處理器1332的傳輸流或檔案資料被解多工器(DMUX)1413分離成視頻流和音頻流。

音頻流透過音頻ES緩衝器1409B被供應至音頻解碼器1411，且被解碼以再生音頻信號。視頻流被寫入至視頻ES緩衝器1408B，且接著被編碼/解碼引擎1407順序地讀取和解碼。結果被寫入至訊框記憶體1405。解碼之圖片資料受到藉由第二影像放大/縮小單元1403的放大和縮小程序，且產生之資料被寫入至訊框記憶體1405。然後，解碼之圖片資料被讀取至視頻輸出處理單元 1404中，且受到格式轉換成如4：2：2 Y/Cb/Cr格式之某種格式。產生之結果進一步被轉換成類比信號，且視頻信號被再生和輸出。

在本技術之實施例中，在具有上述配置的視頻處理器1332中，上述本技術之實施例可應用於編碼/解碼引擎1407。亦即，例如，編碼/解碼引擎1407可具有根據第一實施例之影像編碼裝置100(第1圖)和根據第二實施例之影像解碼裝置200(第14圖)的功能。另外，例如，編碼/解碼引擎1407可具有根據第三實施例之影像編碼裝置300(第19圖)的功能和影像解碼裝置350(第20圖)的功能。另外，例如，編碼/解碼引擎1407可具有根據第三實施例之影像編碼裝置300(第19圖)和根據第二實施例之影像解碼裝置200(第14圖)的功能。因此，視頻處理器1332可實現類似於上面關於第1圖至第18圖所述之優點的優點。

在編碼/解碼引擎1407中，本技術(即，根據上述實施例之影像編碼裝置和影像解碼裝置的功能)可藉由如邏輯電路的硬體或如結合程式的軟體來實作、或可由這兩者來實作。

視頻處理器的其他示範配置

第28圖繪示根據本技術之實施例的視頻處理器1332(第26圖)之示意配置的另一實例。在第28圖所示之實例中，視頻處理器1332具有用以使用某種架構來編 碼和解碼視頻資料的功能。

更具體來說，如第28圖所示，視頻處理器1332包括控制單元1511、顯示介面1512、顯示引擎1513、影像處理引擎1514、及內部記憶體1515。視頻處理器1332也包括編解碼器引擎1516、記憶體介面1517、多工器/解多工器(MUX DMUX)1518、網路介面1519、及視頻介面1520。

控制單元1511控制視頻處理器1332之內部處理單元(如顯示介面1512、顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516)的操作。

如第28圖所示，控制單元1511包括例如主CPU 1531、副CPU 1532、及系統控制器1533。主CPU 1531執行程式或之類來控制視頻處理器1332的內部處理單元之操作。主CPU 1531依照程式或之類來產生控制信號，且將產生的控制信號供應至個別處理單元(即，控制處理單元的操作)。副CPU 1532對主CPU 1531扮演輔助的角色。例如，副CPU 1532執行主CPU 1531所執行之程式或之類中的次程序、次常式或之類。系統控制器1533控制主CPU 1531和副CPU 1532的操作，如指定將由主CPU 1531和副CPU 1532執行的程式。

顯示介面1512在控制單元1511的控制下將影像資料輸出至例如連接1321(第26圖)或之類。例如，顯示介面1512將數位資料的影像資料轉換成類比信號且輸出產生之信號作為再生視頻信號、或輸出數位資料的影 像資料至連接1321(第26圖)或之類的監控裝置。

顯示引擎1513依照將顯示基於影像資料的影像之監控裝置或之類的硬體規格，在控制單元1511的控制下對影像資料進行各種轉換程序，如格式轉換、大小轉換、及色域轉換。

影像處理引擎1514在控制單元1511的控制下對影像資料進行某種影像處理，如濾波器處理以提高影像品質。

內部記憶體1515是設置於視頻處理器1332中的記憶體，且由顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516共享。內部記憶體1515係用以在例如顯示引擎1513、影像處理引擎1514、與編解碼器引擎1516之間交換資料。例如，內部記憶體1515儲存從顯示引擎1513、影像處理引擎1514、或編解碼器引擎1516供應的資料，且若需要的話(例如，依照請求)，將儲存的資料供應至顯示引擎1513、影像處理引擎1514、或編解碼器引擎1516。內部記憶體1515可藉由任何儲存裝置來實作，但最好是藉由如靜態隨機存取記憶體(SRAM)之相對(例如，相較於外部記憶體1312)小容量、高反應的半導體記憶體來實作，因為它通常用以儲存少量資料(如區塊為基的影像資料和參數)。

編解碼器引擎1516進行關於影像資料之編碼和解碼的處理。編解碼器引擎1516可支援任何編碼/解碼架構，且可使用單一編碼/解碼架構或複數個編碼/解碼架 構。例如，編解碼器引擎1516可具有基於複數個編碼/解碼架構之編解碼器的功能，且可配置以使用編碼/解碼架構之選定一者來編碼影像資料或解碼編碼資料。

在第28圖所示之實例中，編解碼器引擎1516包括用於編解碼處理的功能方塊，例如，MPEG-2視頻1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可適性)1544、HEVC/H.265(多視角)1545、及MPEG-DASH 1551。

MPEG-2視頻1541是使用MPEG-2架構來編碼或解碼影像資料的功能方塊。AVC/H.264 1542是使用AVC架構來編碼或解碼影像資料的功能方塊。HEVC/H.265 1543是使用HEVC架構來編碼或解碼影像資料的功能方塊。HEVC/H.265(可適性)1544是使用HEVC架構來進行影像資料之可適性編碼或可適性解碼的功能方塊。HEVC/H.265(多視角)1545是使用HEVC架構來進行影像資料之多視角編碼或多視角解碼的功能方塊。

MPEG-DASH 1551是使用MPEG-HTTP動態自適性串流(MPEG-DASH)架構來傳輸和接收影像資料的功能方塊。MPEG-DASH是使用超文件傳輸協定(HTTP)之視頻串流的技術，且具有一特性為以區段接著區段為基礎地選定並傳輸預先準備之複數件具有不同解析度或之類的編碼資料之期望一者。MPEG-DASH 1551進行如產生與標準相容之串流及傳輸串流之控制的處理，且使用上述之MPEG-2視頻1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可適性)1544、及HEVC/H.265(多視角)1545來編碼和解碼影像資料。

記憶體介面1517是用於外部記憶體1312的介面。從影像處理引擎1514或編解碼器引擎1516供應的資料透過記憶體介面1517被供應至外部記憶體1312。從外部記憶體1312讀取的資料透過記憶體介面1517被供應至視頻處理器1332(影像處理引擎1514或編解碼器引擎1516)。

多工器/解多工器(MUX DMUX)1518多工和解多工關於影像的各種資料，如編碼資料、影像資料、及視頻信號的位元流。可使用任何多工/解多工方法。例如，在多工操作期間，多工器/解多工器(MUX DMUX)1518可將複數件資料結合成單一串流且也可將某些標頭資訊等等加入資料。在解多工操作期間，多工器/解多工器(MUX DMUX)1518可將單一件資料分成複數個區段，且可將某些標頭資訊等等加入每個資料區段。亦即，多工器/解多工器(MUX DMUX)1518能夠透過多工/解多工來轉換資料格式。例如，多工器/解多工器(MUX DMUX)1518能夠將位元流多工成為傳輸格式之位元流或為檔案格式之資料(檔案資料)的傳輸流以供記錄。將了解可透過解多工來進行逆轉換。

網路介面1519是用於例如寬頻數據機1333(第26圖)、連接1321(第26圖)、等等的介面。視頻介面1520是用於例如連接1321(第26圖)、照相機 1322(第26圖)、等等的介面。

接下來，將說明視頻處理器1332的操作實例。例如，當透過例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類從外部網路接收傳輸流時，傳輸流透過網路介面1519被供應至多工器/解多工器(MUX DMUX)1518並被解多工，且接著被編解碼器引擎1516解碼。透過被編解碼器引擎1516解碼所得到的影像資料受到藉由例如影像處理引擎1514的某種影像處理，且受到藉由顯示引擎1513的某種轉換。產生之資料透過顯示介面1512被供應至例如連接1321(第26圖)或之類，且基於影像資料的影像係顯示於螢幕上。例如，透過被編解碼器引擎1516解碼所得到的影像資料被編解碼器引擎1516再編碼，且被多工器/解多工器(MUX DMUX)1518多工成檔案資料。產生之資料透過視頻介面1520被輸出至例如連接1321(第26圖)或之類，且記錄於各種記錄媒體上。

另外，例如，藉由編碼使用連接1321(第26圖)或之類從記錄媒體(未示出)讀取的影像資料所獲得之編碼資料的檔案資料透過視頻介面1520被供應至多工器/解多工器(MUX DMUX)1518且被解多工。產生之資料被編解碼器引擎1516解碼。透過被編解碼器引擎1516解碼所得到的影像資料受到藉由影像處理引擎1514的某種影像處理，且受到藉由顯示引擎1513的某種轉換。產生之資料透過顯示介面1512被供應至例如連接1321(第26圖)或之類，且基於產生之影像資料的影像會顯示在螢幕上。例 如，透過被編解碼器引擎1516解碼所得到的影像資料被編解碼器引擎1516再編碼，且被多工器/解多工器(MUX DMUX)1518多工成傳輸流。傳輸流透過網路介面1519被供應至例如連接1321(第26圖)、寬頻數據機1333(第26圖)或之類，且被傳輸至另一裝置(未示出)。

藉由使用例如內部記憶體1515和外部記憶體1312來在視頻處理器1332的內部處理單元之間交換影像資料及其他資料。電源管理模組1313控制將電源供應至例如控制單元1511。

在本技術之實施例中，在具有上述配置的視頻處理器1332中，上述本技術之實施例可應用於編解碼器引擎1516。亦即，例如，編解碼器引擎1516可具有實作根據第一實施例之影像編碼裝置100(第1圖)和根據第二實施例之影像解碼裝置200(第14圖)的功能。另外，例如，編解碼器引擎1516可具有實作根據第三實施例之影像編碼裝置300(第19圖)和影像解碼裝置350(第20圖)的功能。因此，視頻處理器1332可實現類似於上面關於第1圖至第18圖所述之優點的優點。

在編解碼引擎1516中，本技術(即，根據上述實施例之影像編碼裝置和影像解碼裝置的功能)可藉由如邏輯電路的硬體或如結合程式的軟體來實作、或可由這兩者來實作。

儘管上面已舉出視頻處理器1332之配置的兩個實例，但視頻處理器1332可具有任何配置，且可使用 除了上述兩個實例之外的任何配置。視頻處理器1332可配置為單一半導體晶片、或可配置為複數個半導體晶片。例如，可使用具有複數個彼此堆疊之半導體層的三維分層LSI。視頻處理器1332可藉由複數個LSI裝置來實作。

對裝置的示範應用

視頻組1300可併入配置以處理影像資料的任何裝置中。例如，視頻組1300可併入電視裝置900(第22圖)、行動電話920(第23圖)、記錄/再生裝置940(第24圖)、影像擷取裝置960(第25圖)、等等中。將視頻組1300併入裝置中使裝置達到類似於上面關於第1圖至第18圖所述之優點的優點。

甚至視頻組1300之上述一些元件可實作應用本技術之配置，只要元件包括視頻處理器1332即可。例如，可能只有視頻處理器1332實作成應用本技術之視頻處理器。另外，例如，如上所述，虛線1341所示之處理器、視頻模組1311等等可實作成根據本技術之實施例的處理器、模組、等等。再者，例如，視頻模組1311、外部記憶體1312、電源管理模組1313、及前端模組1314之配置可實作成根據本技術之實施例的視頻單元1361。任一配置可達到類似於上面關於第1圖至第18圖所述之優點的優點。

亦即，包括視頻處理器1332的任何配置可以類似於視頻組1300的方式來併入配置以處理影像資料的 任何裝置中。例如，視頻處理器1332、虛線1341所示之處理器、視頻模組1311、或視頻單元1361可併入電視裝置900(第22圖)、行動電話920(第23圖)、記錄/再生裝置940(第24圖)、影像擷取裝置960(第25圖)、等等中。以類似於視頻組1300的方式來將根據本技術之實施例的任何配置併入裝置中使裝置達到類似於上面關於第1圖至第18圖所述之優點的優點。

本文已說明如參考列表選擇旗標之各種資訊被多工成編碼流且從編碼端傳輸至解碼端的實例。然而，用於傳輸上述資訊的方法並不限於此實例。例如，上述資訊可被傳輸或記錄為與編碼位元流關聯的單獨資料而不被多工成編碼位元流。如本文所使用的「關聯」之術語係用以表示包括在位元流中的影像(其可以是影像的一部分，如片段或區塊)，且對應於此影像的資訊能在解碼操作中彼此鏈結。亦即，資訊可傳輸於不同於影像(或位元流)之傳輸路徑的傳輸路徑上。資訊也可記錄於不同於用於影像(或位元流)之記錄媒體的記錄媒體(或相同記錄媒體中的不同記錄區域)上。再者，資訊和影像(或位元流)在如複數個訊框、一個訊框、或部分訊框的期望單元中可彼此關聯。

儘管已參考附圖來詳細說明本揭露之示範實施例，但本揭露並不限於這些實例。將了解涉及本揭露的本領域之通常技藝者可在不脫離附圖所定義之技術範圍下進行各種修改或變化，且這樣的修改或變化也落在本揭露之技術範圍內。

本技術之實施例也可提出下列配置。

(1)一種影像處理裝置，包括：一解碼單元，配置以解碼一位元流來產生一圖片；一參考列表設定單元，配置以藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測解碼單元所產生的圖片；及一預測單元，配置以藉由參考參考列表設定單元所設定的參考列表，來預測解碼單元所產生的圖片。

(2)如配置第(1)項所述之影像處理裝置，其中參考列表設定單元藉由於能在時間方向上被參考的複數個參考圖片中之時間上位於比圖片早的參考圖片與時間上位於比圖片晚的參考圖片之間插入能在層方向上被參考的參考圖片，來設定參考列表。

(3)如配置第(2)項所述之影像處理裝置，其中參考列表設定單元藉由以時間上位於比圖片早的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片晚的參考圖片之順序排放參考圖片，來設定用於一第一方向的參考列表。

(4)如配置第(2)項所述之影像處理裝置，其中參考列表設定單元藉由以時間上位於比圖片晚的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比 圖片早的參考圖片之順序排放參考圖片，來設定用於一第二方向的參考列表。

(5)如配置第(1)項所述之影像處理裝置，其中參考列表設定單元藉由交替地排放能在時間方向上被參考的參考圖片和能在層方向上被參考的參考圖片，來設定參考列表。

(6)如配置第(5)項所述之影像處理裝置，其中參考列表設定單元藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於一第一方向的參考列表，能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片早的參考圖片和時間上位於比圖片晚的參考圖片之順序排放的方式來設定，能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

(7)如配置第(5)項所述之影像處理裝置，其中參考列表設定單元藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於一第二方向的參考列表，能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片晚的參考圖片和位於比圖片早的參考圖片之順序排放的方式來設定， 能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

(8)如配置第(1)項至第(7)項中之任一項所述之影像處理裝置，其中參考列表設定單元藉由以與能在用於一第一方向之層方向上被參考的參考圖片之順序相反的順序插入能在層方向上被參考的參考圖片，來設定用於一第二方向的參考列表。

(9)如配置第(1)項至第(8)項中之任一項所述之影像處理裝置，其中參考列表設定單元包括一時間列表設定單元，配置以藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定一時間列表，時間列表係用以設定參考列表的一暫時列表，及一參考圖片列表設定單元，配置以基於時間列表設定單元所設定的時間列表來設定參考列表。

(10)一種影像處理方法，包括：使用一影像處理裝置，解碼一位元流來產生一圖片；藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被 參考的一參考列表以預測產生的圖片；及藉由參考設定之參考列表來預測產生的圖片。

(11)一種影像處理裝置，包括：一參考列表設定單元，配置以藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測一圖片；一預測單元，配置以藉由參考參考列表設定單元所設定的參考列表，來預測圖片；及一編碼單元，配置以使用預測單元所預測的圖片來進行編碼以產生一位元流。

(12)如配置第(11)所述之影像處理裝置，其中參考列表設定單元藉由於能在時間方向上被參考的複數個參考圖片中之時間上位於比圖片早的參考圖片與時間上位於比圖片晚的參考圖片之間插入能在層方向上被參考的參考圖片，來設定參考列表。

(13)如配置第(12)所述之影像處理裝置，其中參考列表設定單元藉由以時間上位於比圖片早的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片晚的參考圖片之順序排放參考圖片，來設定用於一第一方向的參考列表。

(14)如配置第(12)所述之影像處理裝置，其中 參考列表設定單元藉由以時間上位於比圖片晚的參考圖片、能在層方向上被參考的參考圖片、及時間上位於比圖片早的參考圖片之順序排放參考圖片，來設定用於一第二方向的參考列表。

(15)如配置第(11)所述之影像處理裝置，其中參考列表設定單元藉由交替地排放能在時間方向上被參考的參考圖片和能在層方向上被參考的參考圖片，來設定參考列表。

(16)如配置第(15)所述之影像處理裝置，其中參考列表設定單元藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於一第一方向的參考列表，能在時間方向上被參考的這列參考圖片係以參考圖片以時間上位於比圖片早的參考圖片和時間上位於比圖片晚的參考圖片之順序排放的方式來設定，能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

(17)如配置第(15)所述之影像處理裝置，其中參考列表設定單元藉由交替地排放能在時間方向上被參考的一列參考圖片之元件和能在層方向上被參考的一列參考圖片之元件，來設定用於一第二方向的參考列表，能在時間方向上被參考的這列參考圖片係以參考圖片 以時間上位於比圖片晚的參考圖片和時間上位於比圖片早的參考圖片之順序排放的方式來設定，能在層方向上被參考的這列參考圖片包括能在層方向上被參考的參考圖片。

(18)如配置第(11)項至第(17)項中之任一項所述之影像處理裝置，其中參考列表設定單元藉由以與能在用於一第一方向之層方向上被參考的參考圖片之順序相反的順序插入能在層方向上被參考的參考圖片，來設定用於一第二方向的參考列表。

(19)如配置第(11)項至第(18)項中之任一項所述之影像處理裝置，其中參考列表設定單元包括一時間列表設定單元，配置以藉由於能在時間方向上被參考的複數個參考圖片之間插入能在層方向上被參考的參考圖片，來設定一時間列表，時間列表係用以設定參考列表的一暫時列表，及一參考圖片列表設定單元，配置以基於時間列表設定單元所設定的時間列表來設定參考列表。

(20)一種影像處理方法，包括：使用一影像處理裝置，藉由於能在一時間方向上被參考的複數個參考圖片之 間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測一圖片；藉由參考設定之參考列表來預測圖片；及使用所預測之圖片來進行編碼以產生一位元流。

本領域之熟知技藝者應了解可依據落在所附之申請專利範圍或其等效範圍內的設計需求及其他因素而出現各種修改、組合、子組合和變更。

Claims (18)

1. 一種影像處理裝置，包含：一解碼單元，配置以解碼一位元流來產生一圖片；一參考列表設定單元，配置以藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測該解碼單元所產生的該圖片；及一預測單元，配置以藉由參考該參考列表設定單元所設定的該參考列表，來預測該解碼單元所產生的該圖片；其中，該參考列表設定單元藉由交替地排放能在該時間方向上被參考的參考圖片和能在該層方向上被參考的參考圖片，來設定該參考列表；藉由使用片段標頭或SPS語法指示參考列表中能被參考的圖片數量；及在該層方向上能被參考的參考圖片數量是該參考列表中能被參考的圖片數量扣除在該時間方向上能被參考的參考圖片數量加以決定。
2. 如申請專利範圍第1項所述之影像處理裝置，其中該參考列表設定單元藉由於能在該時間方向上被參考的該複數個參考圖片中之時間上位於比該圖片早的一參考圖片與時間上位於比該圖片晚的一參考圖片之間插入能在該層方向上被參考的一參考圖片，來設定該參考列表。
3. 如申請專利範圍第2項所述之影像處理裝置，其中該參考列表設定單元藉由以時間上位於比該圖片早的一參考圖片、能在該層方向上被參考的一參考圖片、及時間上位於比該圖片晚的一參考圖片之順序排放參考圖片，來設定用於一第一方向的該參考列表。
4. 如申請專利範圍第2項所述之影像處理裝置，其中該參考列表設定單元藉由以時間上位於比該圖片晚的一參考圖片、能在該層方向上被參考的一參考圖片、及時間上位於比該圖片早的一參考圖片之順序排放參考圖片，來設定用於一第二方向的該參考列表。
5. 如申請專利範圍第1項所述之影像處理裝置，其中該參考列表設定單元藉由交替地排放能在該時間方向上被參考的一列參考圖片之元件和能在該層方向上被參考的一列參考圖片之元件，來設定用於一第一方向的該參考列表，能在該時間方向上被參考的該列參考圖片係以參考圖片以時間上位於比該圖片早的一參考圖片和時間上位於比該圖片晚的一參考圖片之順序排放的方式來設定，能在該層方向上被參考的該列參考圖片包括能在該層方向上被參考的參考圖片。
6. 如申請專利範圍第1項所述之影像處理裝置，其中該參考列表設定單元藉由交替地排放能在該時間方向上被參考的一列參考圖片之元件和能在該層方向上被參考的一列參考圖片之元件，來設定用於一第二方向的該參考列表，能在該時間方向上被參考的該列參考圖片係以參考圖片以時間上位於比該圖片晚的一參考圖片和位於比該圖片早的一參考圖片之順序排放的方式來設定，能在該層方向上被參考的該列參考圖片包括能在該層方向上被參考的參考圖片。
7. 如申請專利範圍第1項所述之影像處理裝置，其中該參考列表設定單元藉由以與能在用於一第一方向之該層方向上被參考的參考圖片之順序相反的順序插入能在該層方向上被參考的參考圖片，來設定用於一第二方向的該參考列表。
8. 如申請專利範圍第1項所述之影像處理裝置，其中該參考列表設定單元包括一時間列表設定單元，配置以藉由於能在該時間方向上被參考的複數個參考圖片之間插入能在該層方向上被參考的一參考圖片，來設定一時間列表，該時間列表係用以設定該參考列表的一暫時列表；及一參考圖片列表設定單元，配置以基於該時間列表設定單元所設定的該時間列表來設定該參考列表。
9. 一種影像處理方法，包含：解碼一位元流來產生一圖片；藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測產生的該圖片；及藉由參考設定之該參考列表來預測產生的該圖片；其中，藉由交替地排放能在該時間方向上被參考的參考圖片和能在該層方向上被參考的參考圖片，來設定該參考列表；藉由使用片段標頭或SPS語法指示參考列表中能被參考的圖片數量；及在該層方向上能被參考的參考圖片數量是該參考列表中能被參考的圖片數量扣除在該時間方向上能被參考的參考圖片數量加以決定。
10. 一種影像處理裝置，包含：一參考列表設定單元，配置以藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測一圖片；及一預測單元，配置以藉由參考該參考列表設定單元所設定的該參考列表，來預測該圖片；及一編碼單元，配置以使用該預測單元所預測的該圖片來進行編碼以產生一位元流；其中，該參考列表設定單元藉由交替地排放能在該時間方向上被參考的參考圖片和能在該層方向上被參考的參考圖片，來設定該參考列表；藉由使用片段標頭或SPS語法指示參考列表中能被參考的圖片數量；及在該層方向上能被參考的參考圖片數量是該參考列表中能被參考的圖片數量扣除在該時間方向上能被參考的參考圖片數量加以決定。
11. 如申請專利範圍第10項所述之影像處理裝置，其中該參考列表設定單元藉由於能在該時間方向上被參考的該複數個參考圖片中之時間上位於比該圖片早的一參考圖片與時間上位於比該圖片晚的一參考圖片之間插入能在該層方向上被參考的一參考圖片，來設定該參考列表。
12. 如申請專利範圍第11項所述之影像處理裝置，其中該參考列表設定單元藉由以時間上位於比該圖片早的一參考圖片、能在該層方向上被參考的一參考圖片、及時間上位於比該圖片晚的一參考圖片之順序排放參考圖片，來設定用於一第一方向的該參考列表。
13. 如申請專利範圍第11項所述之影像處理裝置，其中該參考列表設定單元藉由以時間上位於比該圖片晚的一參考圖片、能在該層方向上被參考的一參考圖片、及時間上位於比該圖片早的一參考圖片之順序排放參考圖片，來設定用於一第二方向的該參考列表。
14. 如申請專利範圍第10項所述之影像處理裝置，其中該參考列表設定單元藉由交替地排放能在該時間方向上被參考的一列參考圖片之元件和能在該層方向上被參考的一列參考圖片之元件，來設定用於一第一方向的該參考列表，能在該時間方向上被參考的該列參考圖片係以參考圖片以時間上位於比該圖片早的一參考圖片和時間上位於比該圖片晚的參考圖片之順序排放的方式來設定，能在該層方向上被參考的該列參考圖片包括能在該層方向上被參考的參考圖片。
15. 如申請專利範圍第10項所述之影像處理裝置，其中該參考列表設定單元藉由交替地排放能在該時間方向上被參考的一列參考圖片之元件和能在該層方向上被參考的一列參考圖片之元件，來設定用於一第二方向的該參考列表，能在該時間方向上被參考的該列參考圖片係以參考圖片以時間上位於比該圖片晚的一參考圖片和時間上位於比該圖片早的一參考圖片之順序排放的方式來設定，能在該層方向上被參考的該列參考圖片包括能在該層方向上被參考的參考圖片。
16. 如申請專利範圍第10項所述之影像處理裝置，其中該參考列表設定單元藉由以與能在用於一第一方向之該層方向上被參考的參考圖片之順序相反的順序插入能在該層方向上被參考的參考圖片，來設定用於一第二方向的該參考列表。
17. 如申請專利範圍第10項所述之影像處理裝置，其中該參考列表設定單元包括一時間列表設定單元，配置以藉由於能在該時間方向上被參考的複數個參考圖片之間插入能在該層方向上被參考的一參考圖片，來設定一時間列表，該時間列表係用以設定該參考列表的一暫時列表；及一參考圖片列表設定單元，配置以基於該時間列表設定單元所設定的該時間列表來設定該參考列表。
18. 一種影像處理方法，包含：藉由於能在一時間方向上被參考的複數個參考圖片之間插入能在一層方向上被參考的一參考圖片，來設定將被參考的一參考列表以預測一圖片；藉由參考設定之該參考列表來預測該圖片；及使用所預測之該圖片來進行編碼以產生一位元流；其中，藉由交替地排放能在該時間方向上被參考的參考圖片和能在該層方向上被參考的參考圖片，來設定該參考列表；藉由使用片段標頭或SPS語法指示參考列表中能被參考的圖片數量；及在該層方向上能被參考的參考圖片數量是該參考列表中能被參考的圖片數量扣除在該時間方向上能被參考的參考圖片數量加以決定。