TW201010409A

TW201010409A - Versatile 3-D picture format

Info

Publication number: TW201010409A
Application number: TW098125142A
Authority: TW
Inventors: Wilhelmus Hendrikus Alfonsus Bruls; Gunnewiek Reinier Bernardus Maria Klein; Gerardus Wilhelmus Theodorus Vanderheijden; Philip Steven Newton
Original assignee: Koninkl Philips Electronics Nv
Priority date: 2008-07-24
Filing date: 2009-07-24
Publication date: 2010-03-01
Also published as: EP2308241A2; US20110122131A1; EP3101894A1; EP3101894B1; KR20110045013A; RU2519057C2; BRPI0911016B1; EP2308241B1; BRPI0911016A2; RU2011106470A; US10567728B2; WO2010010521A3; JP2011529287A; WO2010010521A2; US20160344995A1; US9432651B2; JP5567562B2; MY155378A; KR101749893B1; CN106101682B

Description

201010409 六、發明說明：【發明所屬之技術領域】本發明之一態樣係關於一種提供包含一對影像之一三維圖片之方法，一圖片係打算用於該檢視者之一眼睛另— 圖片係打算用於該檢視者之另一眼睛。該三維圖片可形成 (例如）具有一類似格式以便構成一視訊之一三維圖片序列之部分。本發明之其他態樣係關於一種三維圖片提供系統、一種遞送一三維圖片之信號、一種呈現一三維圖片之方法、一種二維圖片呈現系統及一種用於一可程式化處理器之電腦程式產品。【先前技術】一視覺三維呈現可基於包含一對圖片之一信號來獲得：分別打异用於一檢視者之左眼與右眼的一左圖片與一右圖片。在一視訊之情況下，該信號將包含一此類圖片對序列。此處所包含之左及右圖片可直接呈現於一立體顯示裝置上，该立體顯示裝置可能要求一檢視者佩戴一對鏡片。一左眼鏡片將一呈現的左圖片傳遞至左眼。一右眼鏡片將一呈現的右圖片傳遞至右眼。例如，該顯示裝置可交替地顯示呈現的左圖片與呈現的右圖片。在該情況下，在顯示一呈現的左圖片時使左眼鏡片透明，且否則不透明。類似地’在顯示一呈現的右圖片時使右眼鏡片透明，且否則不透明。如刖面段落中所說明，包含構成一三維視訊之一對圖片或一圖片對序列的一信號一般係根據（例如）螢幕大小與檢 141938.doc -4- 201010409 視距離為一特定呈現背景產生。該特定呈現背景可能係 (例如）具有—12公尺寬螢幕的一影院且其中檢視者一般正坐於離螢幕18公尺的一距離處。在一呈現背景係不同於已產生該信號用於其之呈現背景的情況下，該三維視訊將會 • 看起來不同。例如，在已產生用於影院之三維視訊係呈現 — 於一家庭視訊設備上的情況下，一檢視者將體驗不同於在和院内視覺印象的一視覺印象。景深效果將一般會更小且 _ 而且在影院内似乎遠在螢幕後面的一物體似乎幾乎在家庭視訊δ又備之螢幕前面的意義上可能存在一表觀景深偏移。在一私人環境（諸如在家裡）中觀看一三維視訊的一檢視者可能希望調整景深效果以便獲得使用者體驗為最令人愉决的一呈現。原則上，可藉由基於在三維視訊内所包含之各對影像的一内插或一外推來實現此點。實際上，一左圖片與右圖片係比較以便獲得一所謂的不均等圖，其表達在1亥些圖片之間的差異，特定言之根據水平位移。可以一 141938.doc 1 經修改的不均等圖之形式來表達景深效果調整，該不均等圖係用以產生一對新影像。此一内插或外推程序係相對複純因此相對昂貴。而且，此__程序可能引人可感知的假像’其可能不太令檢視者愉快。在第2005/0190180號下公佈的美國專利申請案說明—種用於針對給疋立體顯示器依據一使用者或一使用者群集來自訂場景.内容之方法。獲得關於使用者之自訂資訊。亦獲得用於一對給定立體影像之一場景不均等圖。決定用於使用者之一目標不均等範圍。產生一自訂不均等圖，其係 201010409 與該給定立體顯示器之使用者之融合能力關聯。該等立體影像係呈現或重新呈現用於後續顯示。【發明内容】需要一種通用三維視訊信號，其允許在各式各樣顯示裝置上的令人滿意的呈現。本說明書所隨附之申請專利範圍獨立項定義更佳解決此需要的本發明之各種態樣。該等申 - 請專利範圍獨立項定義用於有利實施本發明之額外特徵。依據本發明之一態樣，提供一種三維圖片如下。提供一對圖片，其包含打算用於一檢視者之一眼睛的一第一圖片 ❿ 及打算用於該檢視者之另一眼睛的一第二圖片。此外，提供明確專用於該第一圖片的一景深圖。該景深圖包含景深指示值。一景深指示值係關於該第一圖片之一特定部分並才S示在由該第一圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離。該對圖片一般從不同視點表示一場景。在一呈現端處，可從該第一圖片與該景深圖產生一偏移視點圖片。該偏移視點圖片從不同於該第一圖片之視點的—視點來表示該場 ο 景。該偏移視點圖片與該第二圖片共同構成一新圖片對，其允許不同於藉由如此顯示該第一圖片與該第二圖片所獲得者的視覺三維呈現。一適當呈現可藉由相對於該第一圖片根據視點調整該偏移視點圖片之偏移數量來獲得。該偏移數量將—般係呈現背景相依：可藉由一適當偏移數量來適應更大螢幕或一更小螢幕。較重要的係，可從該第一圖片與明確專用於該第一圖片的該景深圖以一相對精確 141938.doc • 6 - 201010409 但簡單的方式來產生該偏移視點圖片。據此，一令人滿意的視覺三維呈現可以一具成本效率的方式在多種多樣顯示裝置上獲得。應注意’已依據本發明所提供之一三維圖片或其一序列係亦特別適用於藉由自動立體顯示裝置來呈現。此一呈現一般涉及產生多個偏移視點圖片，每一圖片各從—特定視點表示一相關場景。該些多個偏移視點圖片可從該第一圖片與明確專用於該第一圖片的該景深圖以一相對簡單的方式來產生。該第二圖片可出於自動立體呈現之目的而有效地忽略。據此，該景深圖可有效地用於兩個目的：首先用於適應一特定呈現背景之目的，且其次，用於在藉由一自 •動立體顯示裝置來呈現之情況下產生多個偏移視點圖片之目的。進一步應注意，與僅包含一對圖片的一基本三維圖片相比’已依據本發明所提供的一三維圖片或其一序列將一般 _ 包含一適度數量的額外資料。此係因為與構成一場景之一視覺表示的一圖片相比，一景深圖將一般包含一適度數量的資料。一景深圖可具有低於該景深圖所屬之一圖片的一解析度。另外，一景深圖僅需包含用於一像素或一像素群集的一單一值，而一圖片一般包含用於一像素的各種值：一亮度值與兩個色度值。據此，提供用於儲存一基本三維視訊之足夠容量的一儲存媒體（諸如一 DVD碟片）將一般亦提供用於儲存已依據本發明所提供之一三維視訊之足夠容量。類似地，允許傳輸一基本三維視訊的一傳輸通道將一 141938.doc 201010409 般亦允許傳輸已依據本發明所提供的一三維視訊。前述優點因而可根據儲存容量或帶寬或兩者僅使用一相對較小投資來實現。本發明之一實施方案有利地包含下列額外特徵之一或多個者，該等特徵係在對應於各別申請專利範圍附屬項的單獨段落中說明。

較佳的係，該呈現引導資料為各別呈現背景指定各別爹數。該等各別參數係關於從該第一圖片與明確專用於該驾一圖片的該景深圖產生一偏移視點圖片。該呈現引導資料較佳的係包含用於一第一立體模式的一參數集與用於-第二立體模式的一參數集。纟該第一立患模式下’從該第-圖片與該景深圖所產生的—偏移視點廣片構成-呈現的第一圖片’且該第二圖片構成一呈現的筹二圖片。在該第二立體模式下’該第—圖片構成一呈現纪第圖片，且從該第-圖片與該景深圖所產生的一偏移胡點圖片構成一呈現的第二圖片。

前述各別參數集較佳的係具#其中該第一立體模式將適用之一第一立體強度筋圍愈甘rbu 軏圍與其中該第二立體模式將適用之一第一立體強度範圍的一定義。該呈現引導資料可為各別景景/衣札示值疋義各別最大視差偏移值。取八优& 該呈現引導資料可為各別比 j營幕大小定義各別視差偏置值。該呈現引導資料可包含景深圖精度之一指示〇 141938.doc -8 - 201010409 . 較佳的係提供明確專用於該第-圖片的一背景圖片。此外’較佳的係提供明確專用於該第—圖片的一阿爾法㈣ha)圖。該阿爾法圖定義在可從該左圖片、該景深圖及該背景圖片所產生的-偏移視點圖片内的逐漸轉變。 .本發明係進一步體現於如請求項丨之一方法中其中該帛-、該第二圖片及該景深圖係以調諧至用於傳輸該信：之一預定頻寬的-解析度來提供且其中編碼額外圖框，其馨提供另外資料用於基於一影像與景深分量來呈現。基本理念係可以調諧至用於在最初解析度下傳輸該第一及第二圖片之可用頻寬的一解析度提供該第一、該第二圖片及該景珠圖。該等額外圖框進而係提供以便提供另外資 ' 料用於基於一影像與景深分量來呈現。本發明係進一步體現於如請求項12之一三維圖片提供系統中，其中該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬的一解析度來提供且其中編碼 • 額外圖框，其提供另外資料用於基於一影像與景深分量來呈現。本發明係進一步體現於一種遞送一三維圖片之信號内，該三維圖片包含：一對圖片，其包含打算用於一檢視者之一眼晴的一第一圖片（LP)及打算用於該檢視者之另一眼睛的一第二圖片（RP); —景深圖（DM)，其係明確專用於該第一圖片（LP)，該景深圖包含景深指示值’一景深指示值係關於該第一圖片之一特定部分且指示在由該第—圖片之部分所至少部分表示之一物體與該檢視者之間的一距離， 141938.doc 201010409 且其中該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬的一解析度來提供且其中編碼額外圖框，其提供另外資料用於基於一影像與景深分量來呈現。本發明係進一步體現於一種包含如請求項19之一信號的儲存媒體内。參考圖式，一詳細說明解說上文所概述之本發明以及該等額外特徵。【實施方式】圖1解說一三維視訊產生系統GSY。該三維視訊產生系統GSY包含一對相機（即一右相機RCAM及一左相機 LCAM)、一記錄處理器RPR及一儲存媒體STM。一景深掃描器DS係與左相機LCAM相關聯。該對相機RCAM、 LCAM係朝一場景SCN弓|導以便捕捉該場景SCN之一三維視訊。該場景SCN包含各種物體，諸如一人、一樹、一房屋及天空中的太陽。各物體相對於該對相機具有一給定距離，該等相機可視為正觀察該場景SCN之一虛擬觀察者。右相機RCAM與左相機LCAM可各為一習知相機。記錄處理器RPR可包含（例如）一指令執行裝置與一程式記憶體，定義記錄處理器RPR之操作的一指令集已載入至該程式記憶體内，下文將說明該記錄處理器。儲存媒體STM可採取（例如）一硬碟、一可寫入光碟或一固態記憶體之形式。景深掃描器DS可包含（例如）一雷射束，其可在各種方向上操縱；及一感測器，其偵測該雷射束之反射。作為另 141938.doc •10- 201010409 一範例，景深掃描器DS可包含一雷達成像模組。作為又另一範例，該景深掃描器甚至可採取離線建立景深圖之一人類之形式。該三維視訊產生系統GSY基本上操作如下。該對相機 RCAM、LCAM提供場景SCN之一基本三維視訊，該場景係由一圖片對序列所形成。一圖片對包含一右圖片與一左圖片。由右相機RCAM所捕捉之右圖片係打算用於—人類觀察者之右眼。由左相機LCAM所捕捉之左圖片係打算用 9 於一人類觀察者之左眼。右相機RCAM與左相機LCAM相對於彼此具有一特定位置關係。此位置關係可根據（例如）螢幕大小與一檢視距離藉由典型呈現背景來加以定義。例如，包含相關的一右圖片序列與一左圖片序列的基本三維視訊可打算用於在具有一 12公尺典型螢幕大小與一 18公尺典型檢視距離的一影院内顯示。 • 在左相機LCAM捕捉該左圖片時，景深掃描器Ds為一左圖片實行一系列景深測量。—景深測量為相關左圖片之一肖定部分提供一景深指#值。& 一特定部分可#包含一單一像素或一像素群集，該像素群集可構成一區塊。例如，該左圖片可有效地劃分成各種像素區塊，其中景深掃描器 DS為各別像素區塊提供各別景深指示值。對於部分表示人在該場景SCN中的-像素區塊，景深掃描器DS可提供一景冰才日不值，其表示在該場景SCN内的人與虛擬觀察者之間的距離。 141938.doc 201010409 記錄處理器RPR可因而為一左圖片產生一景深圖，其包含景深掃描器DS為此左圖片提供的各別景深指示值。此一景深圖可視為該左圖片之一延伸’其從二維到三維添加一額外維度》換言之’該景深圖將一景深指示值添加至該左圖片之一像素，其包含一亮度值與用於相關像素的一對色度值。該景深圖係明確專用於該左圖片：一景深指示值係與在該左圖片内的至少一像素相關聯，而其可能無法將該景深指示與在該右圖片内的任一像素相關聯。該景深圖可能具有低於該左圖片的一解析度。在該情況下，相鄰像素共享應用於一像素群集的相同景深指示值。應注意’該等景深指示值可以許多不同形式來提供。例如’一景深指示值可採取一視差值之形式，該視差值係相對於一典型螢幕寬度、一典型檢視距離及一典型眼睛距離來定義。此一視差值可轉換成一距離值。記錄處理器RPR可為該左圖片進一步產生一背景圖片。該背景圖片表示物體或其部分’該等部分係在該左圖片内被具有一前景位置之其他物體所遮蔽。即，該背景圖片提供關於什麼在該左圖片内具有一前景位置的一物體後面的資訊。此資訊可用以基於該景深圖來有利地產生該左影像之一三維表示。參考圖丨，該房子具有一背景位置，而該人具有一前景位置並可能因此在一左圖片内遮蔽該房子之一部分。該背景圖片可能因而至少部分包含該左圖片中由該人所遮蔽的該房子之部分。應注意，該背景圖片可能進一步包含明確專用於其的一景深圖。換言之，該背景圖片 141938.doc -12- 201010409 可月b包含紋理資訊以及景深資訊，其提供遮蔽物體之—三維表示:記錄處理器RPR可能基於（例如）在該右圖片内户: 的資訊來為該左圖片產生該背景圖片。 5己錄處理s RPR可能進—步產生明確專用於—左圖片的 • 阿爾法圖。—阿爾法圖可有利地用於在從該左圖片、該深圖及該背景圖片所產生的—偏移視點圖片内提供逐漸轉變。此貢獻於感知的影像品質。該阿爾法圖可視為—粗略加權係數集，其可針對該偏移視點圖片之一特定部分決定來自該左圖片的一貢獻程度與來自該背景圖片的一貢獻程度。此一阿爾法圖可為不同圖片部分決定不同摻合參數，從而允許平滑轉變。記錄處理器RPR藉由添加元素至右相機R〇AM與左相機 LCAM所提供的基本三維視訊來產生一通用三維視訊信號 VS。該些元素包括景深圖並視需要可如上文所述來產生的背景圖片與阿爾法圖。儲存媒體STM儲存通用三維視訊信 _ 號V S。通用三維視訊信號V S可經歷進一步處理，從而貢獻於在多種多樣顯示器上的令人滿意的三維呈現。下文將更詳細地說明此點。圖2解說通用三維視訊信號VS。通用三維視訊信號vs包 • 含通用三維圖片之一序列…，VPw，VPn，VPn+1，VPn+2, ...。一通用三維圖片構成在一給定時刻在圖1中所解說的場景 SCN之一三維表示。圖2解說一任意通用三維圖片vPn之細節。通用三維圖片VPn包含共同構成一基本三維圖片的一右圖片RP與一左圖片LP。右圖片RP提供打算用於一人類 141938.doc -13- 201010409 觀察者之右眼的場景SCN之一综合表示，而左圖片l 打，用於該人類觀察者之左眼的該場景之-綜合表示。，、該通用三維圖片進一步包含—景深圖dm且較佳係 =片即與圖2中未表示的—阿爾法圖。景深圖瞻係^ 確專用於左圖片LP，如上文所解釋。景深圖_可視為一灰階影像’其令一灰階值對應於在該左影像内的—特定像素或-特定像素群組相關的_景深指示值。一相對較低景深指示值可能對應於指示—相對附近物體的_明亮色調’，、而一相對較深指示值可能對應於㈣—相對較遠物體的一黑暗色調或反之亦然。冑景圖片BG係亦較佳的係明確專用於左圖片LP。實際上，在被部分或完全遮蔽之物體係在背景圖片BG中表示之意義上背景圖片BG構成左圖片此 -延伸。若存在的話，阿爾法圖係亦明確專用於左圖片 LP。通用三維視訊信號vs因而包含對應於上文所述之基本，維視訊的-基本三維圖片序列。此外，通用三維視訊信號VS包3伴隨景深圖序列且較佳的係一伴隨背景圖片序列與-伴隨阿爾法圖序列。如上文所解釋，該些額外元素係明確專用於在該基本三維視訊内所包含的左圖月。在通用三維視訊信號VS中所包含之基本三維視訊可顯示於-立體顯示裝置上，其中左圖片與右圖片係分別應用於一檢視者之左眼與右眼。該立體顯示器具有一給定螢幕大小且該檢視者係在離該立體顯示裝置的一給定距離處。此定義一給定呈現背景。 • J4- 14J938.doc 201010409 一實際呈現背景可能類似於該基本三維視訊所打算用於的典型呈現背景。在該情況下，獲得該場景SCN之一令人滿意的三維表示。例如，如上文所述，假使假定該基本三維視sfl係打算用於在具有一 12公尺典型螢幕大小與一〗8公尺典型檢視距離的一影院内顯示。在此一影院内呈現該基本三維視訊之情況下，獲得該場景的一令人滿意的三維表示。然而’在貫際呈現背景係不同於該基本三維視訊打算用於之典型呈現背景的情況下，此可導致場景SCN之一較不令人滿意的三維表示。例如，若該基本三維視訊係打算用於在如上文所說明的一影院内顯示，但該基本三維視訊係卻呈現於具有一 1公尺螢幕大小與一 2又1/2公尺典型檢視距離的一家庭視訊設備上，則可能係如此情況。此可能在檢視者將會體驗比在影院内更少之一景深程度的意義上導致一降低的景深效果。而且，此亦可在似乎在影院内遠在螢幕後面的一物體似乎幾乎在家庭設備之螢幕前面的意義上導致朝該檢視者的一景深偏移。簡單而言，當在家裡觀看打算用於影院的三維視訊時，三維視訊將看起來相當不同於在影院内。可在該呈現背景係不同於該呈現背景的情況下提供某形式的校正。一新圖片對可藉由内插或外推基於一捕捉的圖片來產生。然而，此一校正係相對複雜，並因此較昂貴，涉及複雜的硬體或軟體或兩者。而且，此一校正可引入由於内插誤差或外推錯誤（不論哪個適用）所引起的可感知假像。 141938.doc •15· 201010409 圖2中所解說的通用三維視訊信號vs允許在各式各樣呈現旁景中的一令人滿思·二維表不。根據前述範例，打算用於影卩元的二維視訊可在豕裡看起來類似。此係由於添加一景深圖DM來實現，該景深圖係明確專用於在一捕捉圖片對内的一圖片，在此情況下為左圖片LP。景深圖DM允許以一相對簡單且精確方式基於左圖片Lp 來產生一新圖片。此新圖片從略微不同於左圖片LP之視點的一視點來表示場景SCN。該視點可能略微向左圖片LP之視點右邊或左邊偏移。該新圖片將因此在下文稱為偏移視點圖片。原則上，該偏移視點圖片可從與右圖片RP之視點相同之視點來表示場景SCN。在此特定情況下，該偏移視點圖片將理想地匹配右圖片RP。圖3及4解說使用圖2中所解說之通用三維視訊信號vS可行的兩個不同立體模式。該些立體模式將分別稱為立體模式A與立體模式B。在各立體模式中，一對呈現圖片係提供用於基於一通用三維圖片來顯示於一顯示裝置上。該對呈現圖片包含分別應用於一檢視者之左眼與右眼的一呈現左圖片LR與一呈現右圖片rr。圖3及4各包含表示螢幕視差的一水平轴。螢幕視差係由於一視點變化所導致的在一顯示器上的一位置偏移。因此，在如上文中所定義之一偏移視點圖片内的一物體可相對於在左圖片Lp内的相同物體而偏移。圖3解說立體模式Αβ在此立體模式下，在該通用三維圖片内所包含之右圖片RP構成呈現的右圖片RR。即，呈現 141938.doc 201010409 的右圖片RR係右圖片RP之一簡單副本。如上文所述基於左圖片LP與景深圖DM所產生的一偏移視點圖片構成呈現的左圖片LR。圖3解說兩個不同偏移視點圖片：一左偏移視點圖片 LP+S與一右偏移視點圖片LP-S。左偏移視點圖片LP+S從在左圖片LP之視點之左邊的一視點來表示場景scn。此偏移視點圖片相對於左圖片LP具有一正視差偏移P+2。右偏移視點圖片LP-S從在左圖片LP之視點之右邊的一視點表示場景SCN。此偏移視點圖片相對於左圖片lp具有一負視差偏移P.2。圖3亦解說一特定情況，其中左圖片[ρ構成呈現的左圖片LR，後者係該第一者之一簡單副本。在左偏移視點圖片LP+S構成呈現的左圖片LR之情況下’該檢視者體驗比在左圖片LP構成呈現的左圖片LR時更大的一景深效果。存在一立體強度增加。反之，在右偏移視點圖片LP-S構成呈現的左圖片LR之情況下，該檢視者體驗比在左圖片LP構成呈現的左圖片LR時更小的一景深效果。存在一立體強度減少。大膽而言，左偏移增加立體強度，而右偏移減少立體強度。該立體強度可根據視差來評估。例如，一標準立體強度可對應於圖3中所指示的視差p8，其係在左圖片LP構成呈現的左圖片LR時獲得。一最大立體強度可對應於圖3中所指示的視差P10，其係在左偏移圖片LP+S構成呈現的左圖片LR時獲得。視差Ρι〇對應於應用正視差偏移p+2的視差 ps° —適度立體強度可對應於圖3中所指示的視差P6，其 141938.doc •17· 201010409 係在右偏移圖片LP-S構成呈現的右圖片RR時獲得。視差p6 對應於應用負視差偏移P_2的視差p8。圖4解說立體模式B。在此立體模式下，在該通用三維圖片内所包含之左圖片LP構成呈現的左圖片LR。即，呈現的左圖片LR係左圖片LP之一簡單副本。如上文所述基於左圖片LP與景深圖DM所產生的一右偏移視點圖片LP-S構成呈現的右圖片RR。此右偏移視點圖片LP-S相對於左圖片LP具有一負視差偏移p_4。該立體強度係完全由此負視差偏移來決定。右圖片RP不必在立體模式B下具有任何特定作用。即，右圖片RP可在立體模式B下忽略。立體模式A較佳的係用於在最大立體強度與一適度立體強度之間所包含的一立體強度範圍内。該標準立體強度係包含於此範圍内。立體模式B較佳的係用於在適度立體強度與最小立體強度之間所包含的一立體強度範圍内。即，可在需要一相對較小景深效果時使用立體模式B。該最小立體強度可對應於不存在任何景深效果（即一純二維表示）。在此極端情況下，視差等於〇:呈現的左圖片LR與呈現的右圖片RR係完全相同。一所需立體強度可因而藉由產生一偏移視點圖片並取決於是否分別應用立體模式A或B組合該偏移視點圖片與右圖片RP或左圖片LP來獲得。該偏移視點圖片可依據一預定義類屬規則基於一左圖片LP及其相關聯的景深圖DM來產生。此預定義類屬規則可基於幾何關係並可應用於所有不同視點。在此一方案中，在左圖片LP内的一像素係原樣 141938.doc -18- 201010409 偏移由三個因素專門決定的一數量：所需立體強度、如上文所解釋景深圖D1V[為像素所提供的景深指示值及該預定義類屬公式。如此偏移的像素構成該偏移視點圖片之一像素。然而，更有利的呈現結果可在以一背景相依方式來產生該偏移視點圖片之情況下獲得，該背景相依方式將一或多個呈現參數（例如螢幕大小）考量在内。而且，一作者或另一人可能希望定義一給定三維視訊在一給定呈現背景中的樣子。即’該作者可能表達一較佳三維呈現，其不必一定對應於基於在實體物體之間幾何關係的一三維呈現。三維呈現可能涉及藝術偏好。圖5解說一補充通用三維視訊信號SVS，其解決在前述章節中所述之要點。補充通用三維視訊信號SVS包含呈現引導資料GD ’其伴隨通用一三維圖片序列.，VPn i，vpn， VPn+i，VPn + 2， ...。補充通用三維視訊信號SVS可能因而藉由將呈現引導資料GD添加至圖2中所解說之通用三維視訊信號VS來獲得。該呈現引導資料GD包含有關基於一左圖片與明域專用於此左圖片之景深圖來產生一偏移視點圖片的參數。該呈現引導資料GD可能指定（例如）與定義產生一偏移視點圖片之一預設方法的一預定義類屬規則的一或多個偏差。例如，與一預設方法之不同偏差可指定用於不同立體強度。類似地，不同偏差可指定用於不同螢幕大小。而且，一偏差不必一定適用於感興趣的整個三維視訊^各別偏差可指 141938.doc •19· 201010409 定用於在感興趣三維視訊内的各別場景或甚至用於各別三維圖片。呈現引導資料GD係因此較佳地組織成各種片段，其中一片段係關於可構成一場景SCN的一特定三維圖片子序列。一片段亦可能關於一特定三維圖片。圖6解說一參數集之一範例，該參數集可能形成呈現引導資料GD之部分。該參數集係以一表格之形式來表示，該表格包含三行，其中各行有關表達為一整數值的一特定立體強度，即10、6及5，其中10表示最大立體強度。各行具有一標題，該標題具有一陰影填充物，其指示立體強度與欲用於該立體強度之立體方法。該表格指示圖3中所解說之立體模式a將用於在1〇與6之間所包含之立體強度。該表格進一步指示圖3中所解說之立體模式B將用於在5與〇之間所包含之立體強度。該表格進步包含各別列’其表示各別景深指示值。該各別景深才曰示值係列於該表格之最左行内，該行具有一陰影填充物。該表格為三個前述立體強度1〇、6及5之每一者為各別景深指數值DV指定各別最大視點偏移Pmax。可以像素單元表達的該等各別最大視點偏移？111以係列於相關行之一白色區域内。一最大視差偏移定義在一偏移視點圖片内的一像素與在從其產生該偏移視點圖片之左圖片内的對應像素之間的一最大位移。圖6中所解說之表格可能因而功能上視為在一偏移視點圖片產生器内的一限制模組。在该表格内所指定的該等最大視差偏移Pniax可防止易 141938.doc •20· 201010409 感知為不自然的效果或可能引起眼睛疲勞之效果或兩者。如上文所解釋，產生一偏移視點圖片涉及偏移相關左圖片之像素《偏移數量一般取決於景深指示值與立體強度。一相對較大偏移可產生不自然的效果或引起眼睛疲勞或其他不利效果。在圖6中所解說之表格内所指定的該等最大視差偏移Pmax允許藉由確保偏移數量保留於可接受限制内來防止此類不利效果。用於在10與6之間與在5與0之間立體強度的適當最大視差偏移Pmax可藉由（例如）内插來獲得。出於該目的，該表格為在立體模式A下的兩個不同立體強度（諸如在圖6中的 1〇與6)並為立體模式B下的一單一立體強度（諸如5)指定各自最大視差偏移Pmax係足夠。不需要為在立體模式B下的兩個不同立體強度指疋取大視差偏移，因為用於立體強度0之所有最大視差偏移pmax可能一般視為等於立體強度〇對應於單呈現，即沒有任何景深效果的一純二維表示。圖7解說-參數集之另一範例，該參數集可形成呈現引導資料GD之部分。該參數集係以—表格之形式來表示， «亥表格包含數行，其中各行有關表達為一整數值的一特定立體強度STS，即10、8、6、5、3及卜各行具有一標題，該標題具有一陰影填充物，其指示立體強度STS。該表格進一步包含各種列，其表示各種不同螢幕大小sz 3〇、4〇及50英对’該等螢幕大小係在具有一陰影填充物的該表格之最左行内指示。 141938.doc •21· 201010409 該表格針對三個前述立體強度1〇、8、5、3及1之每一者為各種不同螢幕大小指定各別視差偏移Poff。可以像素單το表達的該等各別視差偏移p〇ff係列於相關行之一白色區域内。一視差偏移定義相對於從其產生該偏移視點圖片之左圖片中的該等各別對應像素在一偏移視點圖片内各別像素的一額外位移。即，該視差偏移定義欲添加至一特定偏移的一整體偏移，該特定偏移係藉由應用於產生偏移視點圖片的一一般、預定義規則用來獲得用於一給定像素。圖7中所解說之表格可能因而功能上視為在一偏移視點圖片產生器内的一輸出偏移模組。該視差偏移可補償朝該檢視者的一景深偏移，其可能在感興趣二維視訊係呈現於一螢幕上，該螢幕具有小於該感興趣二維視訊打算用於之螢幕之大小的一大小時發生。例如，如上文所述，在一影院内似乎遠在一螢幕後面的一物體可能似乎幾乎在一家庭設備之螢幕前面。在圖7中所解說之表格中所指定的該等視差偏移p〇ff提供—適當校正。用於不同於圖7中所解說之表格内該等者的螢幕大小與立體強度之適當視差偏移可藉由（例如）内插來獲得。圖8解說一參數集之又另一範例，該參數集可形成呈現引導資料GD之部分。該參數集係以一表格之形式來表示，該表格包含三行，各具有一標題，該標題具有一陰影填充物，其指示一行標題。標題為STS的行指定各別立體強度。標題為Poff的另一行指定各別視差偏移p〇ff。該表格進一步包含各種列，其表示各種不同螢幕大小sz 、 141938.doc •22- 201010409 4〇及50英忖，該等螢幕大小係在帶標題的該表格之最左行内指示。該表格為各種不㈣幕大小指定立體強度仍與視差偏移P〇ff之一較佳組合OPT。如在圖6及7中戶斤解說之表格中，立體強度STS係藉由-整數值來指示。視差偏移p〇ff 可以像素單元或以其他單元來表達。各較佳組合為相關榮幕大小提供—令人滿意的呈現’該螢幕大小可能不同於感興趣三維視訊打算用於的典型螢幕大小。一作者可能定義令人滿意的呈現。，該作者可藉由圖8中所解說之表格來表達在呈現於具有感興趣螢幕大小之—顯示器上時感興趣三維視訊的樣子。用於不同於圖8中所解說之表格内該等者的螢幕大小之較佳組合可藉由(例如)内插來獲得。呈見引導資料GD可進-步明白或暗示包含景深圖精度 …木圖解析度之一指不。一相對不精確景深圖DM較佳的係不同於在產生—偏移視點圖片時的__相對精確景深梯度來應用。例如，存在一相對較大機率，即在基於一相對不精確景深圖來產生一偏移視點圖片。在此一情況下，像素將僅偏移-相對較小數量，以便破保任何失真係相對較弱因此，可在一二維呈現呈現中有利地使用景深圖精度與景深圖解析度之一指示。亦可在指定最大視差偏移Pmax 的如圖7中所解說之表格的一表格内原樣嵌入此一指示。一景深圖可能在（例如）僅基於存在於一二維圖片内之資訊來估計景深指示值之情況下相對不精確。一機器或一人或兩者之—組合可能基於（例如）在相關圖片中關於物體的 141938.doc -23- 201010409 一先驗知識，特別針對其各別典型大小來產生此一估計景朱圖。一般大小相對較大，但在圖片中似乎相對較小的一物體係可旎較遠。藉由此類估計技術添加景深至一圖片可與添加色彩至一黑及白圖片相比。一景深指示值可能或可能不足夠近似本來已獲得之值，已基於（例如）距離測量或一立體圖片對之分析來使用一精確景深圖產生技術。圖9解說一三維視訊補充系統XSY，其可產生呈現引導資料GD。三維視訊補充系統XSY可進一步將呈現引導資料GD添加至通用三維視訊信號vs以便獲得補充通用三維視訊信號svs。三維視訊補充系統xs γ包含一呈現引導處理器RGP、一顯示器件DPL及一操作者介面〇IF。三維視訊補充系統xsy進一步包含儲存媒體STM，其中儲存一通用二維視訊信號VS，如圖1中所解說。呈現引導處理器RGP可能包含（例如）一指令執行裝置與一程式記憶體。顯示裝在顯示器件DPL可模擬各種類顯不裝置，其可能在（例如）螢幕大小方面不同的意義上較佳的係通用《或者，各種不同類型顯示裝置可結合圖5 中所解5兑之二維視訊補充系統XSY來使用。操作者介面 OIF可能包含（例如）一鍵盤、一觸控板、一滑鼠或一軌跡球、各種旋鈕或該等者之任一組合。圖10解說一系列步驟S1至S7之一範例，呈現引導處理器 RGP可實行該等步驟用於產生呈現引導資料GD之目的。圖 10可視為一指令集之一流程圖表示，該指令集可載入至前述程序記憶體，以便使該參考引導處理器能夠實行下文參 141938.doc -24· 201010409 考圖1 〇所說明之各種操作。在步驟S1中，呈現引導處理器RGP提示—系統操作者選擇通用三維視訊信號VS (SEL_VS)之一特定部分，需要時，該系統操作者可整體選擇通用三維視訊信號vs。所選 „ 擇的特定部分可對應於一特定場景，諸如圖丨中所解說之 . 場景SCN。如上文所解釋，可認為最佳用於—場景的一三維呈現可能非最佳用於另一場景。逐個場景評估並調整一三維呈現可能因此較有利。在步驟S2中，呈現引導處理器RGp亦可提示系統操作者指定指示景深圖精度與景深圖解析度的資料 (DM_PRC=?)。或者，呈現引導處理器RGp亦可包含一偵測模組用於自動偵測景深圖精度與景深圖解析度。如上文所解釋，可使用景深圖精度與景深圖解析度之一指示以利於一三維呈現程序。亦可將此一指示考量在内用於產生呈現引導資料GD。例如，圖6中所解說之最大視差偏移pmax • 可在景深圖精度相對較低或景深圖解析度相對較低或兩者之情況下設定至更低值。在步驟S3中，呈現引導處理器RGP提示該系統操作者指定一呈現背景（RND—CXT=?)。該呈現背景可根據（例如）一螢幕大小、一典型檢視者距離以及其他呈現相關參數來表達。该螢幕大小可對應於圖1〇中所解說之顯示裝置dj>L之螢幕大小或可對應於如上文所述顯示裝置DPL可模擬的另一螢幕大小。在步驟S4中，呈現引導處理器RGp提示該系統操作者指 141938.doc •25· 201010409 定一立體強度且視需要一立體模式（STS=?)。該立體強度可採取在0與10之間一範圍内的一整數值之形式。整數值〇可對應於一純二維表示，其暗示任一景深效果之不存在。整數值10可對應於最大立體強度，其提供最高程度的景深印象。整數值8可對應於（例如）一標準立體強度，其提供一預設程度的景深印象，該景深印象係與一場景之一忠實三維再現相關聯》該系統操作者可在以上所說明之立體模式 A與B之間選取。立體模式可預定義為立體強度之一函數。在該情況下，呈現引導處理器RGP提示該系統操作者鲁僅指定立體強度。在步驟S5中，呈現引導處理器rgp提示該系統操作者指疋一或多個參數集（SEL—PAR)，其可能潛在地形成呈現引導資料GD之部分。一參數集可選自一功能表，或可以一自訂方式來指定。該指定參數集係關於基於存在於通用三維視訊信號VS内的一左圖片及專用於此左圖片的景深圖來產生一偏移視點圖片。s亥等參數係—般視差相關，如圖 6、7及8中所解說，並可修改一景深印象。在相關場景内 _ 的一特定物體可在呈現通用三維視訊信號vs中將該參數集考量在内時表現地更靠近或進一步遠離。 . 在步驟S6中’呈現引導處理器RGP引起顯示裝置DPL顯示該系統操作者依據該呈現背景與該系統操作者已定義的立體強度所已選擇的通用二維視訊之部分（DPl VS SEL)。即，對於在相關部分内的各通用三維圖片，呈現引導處理器RGP分別取決於該立體模式係a或B來產生圖3或4中所解 141938.doc -26- 201010409 說的—呈現左圖片LR與一呈現右圖片RR。在如此做中，該呈現處理器將該系統操作者已指定的該等參數集考量在内°此構成該通用三維視訊有關之部分之一特定呈現。該系統操作者可能因而評估此特定呈現是否令人滿意。在步驟S7中，該呈現處理器決定是否應將已依據其實行該呈現的該等參數集包括於呈現引導資料GD内 (PAR~>GD?)。呈現引導處理器rgP可以許多不同方式來如此做°例如，在一基本方案中，呈現引導處理器RGP可提示該系統操作者指示該呈現是否令人滿意。在該系統操作者指示該呈現令人滿意的情況下，該呈現處理器可包括在呈現引導資料GD中相關的該等參數集。此外，出於為另一呈現背景決定適當參數集之目的，該呈現處理器可隨後實行步驟S3及其隨後步驟。在一更複雜方案中，呈現引導處理器RGP可能請求該系統操作者為相關的特定呈現指定一滿意程度。該滿意程度可能採取一分數之形式。在此方案中，呈現引導處理器 RGP可實行步驟S5至S7數次，每次用於不同參數集。據此’為各別不同參數集獲得各別分數。在所有感興趣參數集已給予一分數之情況下，呈現引導處理器RGP可選擇具有最尚分數的一參數集或該％參數集，無論哪個適用。該些選定參數集其可包括於呈現引導資料GD内。出於為另一呈現背景決定適當參數集之目的，該呈現處理器可隨後實行步驟S3及其隨後步驟》據此，呈現引導處理器RGP可藉由實行圖1〇中所解說之 141938.doc -27- 201010409 步驟SUS7之系列來決定圖6、⑷中所解說之該等參數集之任-者或該等者之任—組合^現引導處理器奶卩可從該系統操作者接管某些任務或決策。即，可能存在比上文參考圖10之說明中一更高的自動化程度，該說明係僅藉由範例方式來給出。而且，該系統操作者所作出之一或多個決策可能代替由表示典型檢視者之一面板來作出。在此 :情況下，呈現引導處理器RGP可能具備（例如）一多數投票模組，其決定多數面板成員是否發現相關呈現令人滿意，或可能具備—平均分數模組，其決定-平均數或由面板成員給出。一旦如上文所說明或以其他方式已獲得圖5中所解說之補充通用三維視訊信號svs，便可向終端使用者分佈並銷售或許可補充通用三維視訊信號svs。存在許多這樣做的不同方式。例如，補充通用三維視訊信號svs可藉由網路來廣播，該網路可能係無線或有線或該等之一組合。作為另一範例’補充通用三維視訊信號SVS可上傳至一祠服器，從该伺服器終端使用者可下載補充通用三維視訊信號 SVS。作為又另一範例，可產生大量儲存媒體，其上記錄補充通用三維視訊信號svs。在該等前述範例之任一者中’補充通用二維視訊信號svs較佳的係出於資料壓縮與錯誤回復之目的而編碼。圖11解說一視訊呈現系統RSY，其可能安裝於一終端使用者之豕裡。視δΚ呈現系統RSY包含一立體型顯示裝置 DPL ’其可能要求一檢視者佩戴一對鏡片。一左眼鏡片將 141938.doc • 28 - 201010409 一呈現的左圖片LR或確切而言其一序列傳遞至左眼。一右眼鏡片將一呈現的右圖片RR或確切而言其一序列傳遞至右眼。為此目的，顯示裝置DPL可交替顯示呈現的左圖片與呈現的右圖片。在顯示一呈現的左圖片LR時使左眼鏡片透明，且否則不透明。類似地，在顯示一呈現的右圖片 RR時使右眼鏡片透明，且否則不透明。作為另一範例，顯示裝置DPL可使用一給定偏光來顯示該等呈現的左圖片並使用一相反偏光來顯示該等呈現的右圖片。該左眼鏡片與該右眼鏡片可接著具有對應的相反偏光。視訊呈現系統RSY進一步包含各種功能實體：一儲存媒體播放器PLY、一解碼器DEC、一解多工器dmx、一偏移視點圖片產生器SHG、一選擇器SEL、一控制sCTRL及一使用者介面UIF。所有前述功能實體可形成（例如）一家庭影院裝置之部分。解碼器DEC、解多工器DMX、偏移視點圖片產生器SHG及選擇器SEL可藉由一指令執行裝置與一程序記憶體來實施。在此一實施方案中，載入至該程序記憶體内的一指令集可能引起該指令執行裝置實行對應於一或多個功能實體的操作，下文將更詳細地說明該等功能實體。控制器CTRL與使用者介面UIF可能以此方式亦至少部分地實施且而且共享與前述功能實體相同的指令執行裝置。 ’ 視訊呈現系統RSY基本上操作如下。假定儲存媒體播放器PLY讀取一儲存媒體，其包含圖5中所解說之補充通用三維視訊信號SVS之一編碼版本CV。解碼器DEC接收此編碼 141938.doc •29- 201010409 版本CV並作為回應，提供補充通用三維視訊信號SVS。解多工器DMX有效地提取並分離此信號内包含之各種分量。呈現引導資料GD係控制器CTRL所接收之一此類分量。偏移視點圖片產生器SHG接收在一通用三維圖片内所包含的各種其他分量：一左圖片LP、一景深圖DM及一背景圖片 BG。偏移視點圖片產生器SHG可進一步接收一阿爾法圖，其可能包含於該通用三維圖片内。一右圖片RP係直接應用於選擇器SEL。控制器CTRL基於可能預先儲存於視訊呈現系統RSY内的呈現引導資料GD與呈現背景資料來決定一偏移視點產生參數GP集與一選擇器控制信號SC。該呈現背景資料根據（例如）顯示裝置DPL之螢幕大小與典型檢視距離來定義一呈現背景。控制器CTRL可進一步將一所需立體強度 STD(若存在的話）考量在内用於決定該偏移畫面產生參數集之目的。檢視者可藉由使用者介面UIF來決定所需立體強度STD。在檢視者不定義任何所需立體強度STD之情況下，控制器CTRL可基於一預設立體強度來操作。該偏移視點產生參數GP集可包含（例如）將應用於圖10中所解說之視訊呈現系統RSY的呈現背景考量在内基於圖6、7及8中所解說之表格之任一者所建立的參數。偏移視點圖片產生器SHG依據該偏移視點產生參數GP集基於左圖片LP、景深圖DM及背景圖片BG來產生一偏移視點圖片LP+/-S。偏移視點圖片產生器SHG可有利地利用一阿爾法圖，若專用於左圖片LP之此一圖係可用的話。偏移 141938.doc -30- 201010409 視點圖片產生器SHG在分別在圖3及4中所解說之立體模式 A或立體模式B下操作。該等偏移視點產生參數Gp定義一偏移程度，其可能在右邊或左邊，如圖3及4中所解說。選擇器控制信號SC表達適用的立體模式。在立體模式A 適用之情況下，選擇器控制信號SC引起選擇器SEL選擇偏移視點圖片LP+/-S以構成一呈現的左圖片LR。選擇器SEL 選擇右圖片RP以在該情況下構成一呈現的右圖片RR。反之，在立體模式B適用之情況下，選擇器控制信號SC引起選擇器SEL選擇偏移視點圖片LP+/-S以構成呈現的右圖片 RR。選擇器SEL選擇左圖片LP以在該情況下構成呈現的左圖片LR。在任一情況下，顯示裝置DPL基於呈現的左圖片 LR與呈現的右圖片RR來提供一三維呈現。圖12解說一替代性視訊呈現系統ARSY或確切而言其一部分。替代性視訊呈現系統ARSY包含一自動立體型顯示裝置ADPL，其不要求一檢視者佩戴一對鏡片。此一顯示裝置一般顯示一不同畫面MVS集，其中各畫面係在一特定方向上原樣播送。據此，顯示裝置ADPL將不同晝面投射至左眼與右眼，從而引起一檢視者體驗一景深效果。替代性視訊呈現系統ARSY包含一多畫面產生器MVG，其接收與圖11中所解說之偏移視點圖片產生器SHG相同的分量··一左圖片LP、一景深圖DM及一背景圖片BG。該些分量可由類似於亦在圖11中所解說之儲存媒體播放器 PLY、解碼器DEC及解多工器DMX的功能實體來提供。多畫面產生器MVG可進一步接收明確專用於左畫面LP的一 141938.doc -31- 201010409 阿爾法圖。多畫面產生器MVG產生該不同畫面MVS集，其係顯示於自動立體型顯示裝置DPL上。實際上，多畫面產生器MVG 可視為包含多個偏移視點圖片產生器，其中各可類似於圖 11中所解說之偏移視點圖片產生器SHG。該些各別視點圖片產生器產生各別偏移視點圖片，其從不同各別視點表示場景。即’在類似於圖3及4之一圖式中，各各別偏移視點圖片在水平轴上具有一特定位置。應注意，多畫面產生器 MVG完全不必利用與左圖片[ρ相關聯的右圖片rP。即，存在於補充通用三維視訊信號SVS内的右圖片不必用於三維呈現之目的。以上說明一三維格式，其組合立體與所謂的影像+景深格式之優點。下面具體實施例詳盡說明實際上可如何實施此類立體+景深格式以與現有及未來藍光播放器兩者一起使用。基本理念係使用景深分量（及視需要另外資訊，諸如遮蔽資料）（以下亦稱為rD」）之空間及時間次取樣並將人2.2 ·1 LRD圖框速率比其格式化成包含立體與景深兩者的一三維視訊信號。本發明之一特別有利具體實施例係旨在利用視訊信號之一更低解析度表示，以便產生一立體加景深信號，其在最初立體信號之頻寬要求内擬合。基本理念係利用一常規 1280 720@60 Hz視訊串流以便編碼一 192〇*1〇8〇@24 立體（LR)加景深（D)信號。藉由另外利用2:1、2:2·· 1交錯額外圖框插入物，其可含 141938.doc 201010409 有多個時間實例之各種分量（諸如景深分量或透明度分量），可實現（例如）Dt=1且Dt=2。如更早所提出之LRD格式一般要求更多比在藍光播放器中目前可用者更多的（解碼）資源，並且此類藍光播放器缺乏用於立體信號與景深信號之額外介面埠。亦應注意，目前使用的棋盤立體圖案具有數個缺點，由於其不能夠使用典型立體顯示，且三維感知係高度螢幕大小相依。並且由於該棋盤圖案之性質，該等位元率要求係相對較向（所需位元率至少兩倍於要求用於1〇8〇p，24 Hz單像視訊之位7〇率）。提出藉由一起使用一 1280*720p時間交錯格式與l'r'd，圖框來克服解碼資源與介面問題兩者，其中： _[’=空間次取樣左影像（192〇*1〇8〇+128〇*72〇)， -R'=空間次取樣右影像（1920*1080~>1280*720)及 _ D’ =空間景深。一般而言’儘管非強制性，但D，包含時間與空間景深、遮蔽紋理、遮蔽景深及透明度資訊。D，係使用一因數2來時間次取樣’此意味著L，+R，+D'=24+24+12 Hz=60 Hz。一般而言，一藍光播放器可解碼一視訊信號，諸如使用 MPEG編碼的一 72〇p影像串流。而且，一 72〇p影像信號係在已知介面（如HDMI/CEA)上的一支援視訊格式。所提出的空間及時間次取樣及交錯L、R及D成一 1280*720@60 Hz L'R'D’串流允許在每一現有播放器上實施本發明。 141938.doc •33· 201010409 圖13示範用於現有單像BD播放器解碼以及介面（IF)輪出量（單位百萬像素/秒）之要求。不需要對現有播放器進行特殊修改以便支援以上L，R，D，編碼。應注意，在圖13中，該等D圖框包含景深資訊（D)、透明度資訊〇、背景紋理 (BG)及背景景深（BD)。唯一剩餘的問題係解決同步化問題。 - 可在如圖14中所描述來編碼該串流之情況下解決同步化 . 問題。此處顯示該等L、R及D圖框係交錯以便獲得一重複 L、R、D、L、R圖框序列。而且，圖14顯示編碼該等影像 ❹ 之一較佳方式。HDMI標準具有一選項以在該等所謂的資訊圖框内指示存在於介面上的影像係一最初編碼圖框，且明確而言存在I、P及B指示符。此外，需要傳訊L,R，D，編碼至監視器或顯示器，指示在介面上的信號並非一常規單像 720p信號，而是依據本發明之一 3D_72〇p信號。此點可能需要在HDMI/CEA中標準化，但如此介面規格提供充裕的空間來指示此點。由於以上L R’D'信號具有一常規72〇p 60 Hz單像信號之參所有屬f·生，其可藉由藍光播放器來解瑪並亦可輸出至其 HDMI輸出介面。如以上所扣示，D'分量之内容係一般不限於景深而亦可包含背景紋理（BG)、透明度（T)及額外元資料資訊。元資料可以係用以改良三維感知品質的額外影像資訊，而且亦係内谷相關資訊（例如傳訊等）。八5L刀量係D((剷景）景深）、BG(背景紋理）、bd(背景景 141938.doc -34· 201010409 ^及取明度圖）。㈣上❹所提㈣格式可在12 Hz下而非在24 Hz —刀虿 …J用其了使用已知或新型向 x ,^ L J上取樣但疋，對於某些應用，不要求向上取樣。例如，去田在視矾頂部上複合圖形 (子標題、0辦）時’較有用的係使景深資訊可用使得可在正確位置處複合圖形，該位置係在相對於景深的正確位置處。

以上可藉由具有不同（即交替）相位用於景深(D)與透明度 ⑺來加以實施’如圖17中所見。該圖顯示-獅㈣圖框’其包含景深資細與透明度m圖框之分量⑴ 係基於在時間實例τ=1/24秒來自—192Qxi_圖框的⑴分量。1280x720圖框之分量T2係基於在時間τ=2/24秒來自一另外1920x1080圖框的分量Τ2。使D1及Τ2從不同時間實例可用的優點係其允許藉由利用來自相鄰時間實例之透明度來改良景深之時間重建，見圖17。應注意，並非在D圖框内的所有分量係同等重要。此留下空間以略過一分量（始終或動態内容相依並使用某些旗標標記）’從而留下空間使另一分量在完整24 ΗζΤ。此概念係解忒於圖18中，其中來自丁=1/24及τ=2/24之透明度資訊係在一單一 1280x720圖框内組合。因而，圖17指示其中所有分量係時間次取樣的範例，且圖18指示其中Τ(透明度）僅係空間而非時間（T1、Τ2)次取樣的解決方案。 141938.doc •35- 201010409

新三維BD 並且對於一新待定義三維藍光播放器/規格，依據本發明之LRD型格式可變得相關。可能未來bd播放器系統之輸出量將由於相容性及成本原因為大約2*1 〇80p@30 Hz(或 2* 1080i@60 Hz)。當應用以上LRD原理，即添加額外資訊時’要求一額外11 %以上輸出量。此靠近2*ι 〇80p@30 ·

Hz »將最大輸出量增加一丨丨％更高值可取決於該等優點而 . 可接受用於未來系統。對於未來二維藍光播放器，品質係極其重要。實驗已顯 ⑩ 示，特定言之空間次取樣，即使用一 2:丨因數水平並垂直次取樣景深及透明度分量兩者，可能過多降低品質（亦參見圖21)。用以改善此情形之一選項係基於正交濾波來應用所謂的梅花形次取樣，如圖21中所解說。例如，192〇* 1080像素可先垂直次取樣至192〇*54〇，接著正交濾波並梅花形次取樣，此後吾人最終以96〇*54〇(梅花形）樣本結束。但是，該些樣本在水平方向上保存完整192〇解析度。另一方案將僅在垂直方向上次取樣以獲得景深及透明 _ 度。圖19顯示如何可使用—重複L、R、D、[、r、〇、d, 圖框序列來實施此點。在底部指示該等D圖框之内容，即後續D、D及D1圖框。在圖楚辟—. 仕圃宁的該等箭碩指不在該等圖框之編碼中所使用的預測方向。在該等D圖框内，提供以192〇*54〇像素之一解析度交替的景深（Dl、D2、D3)與透明度⑴、Τ2)。同時以寶54〇像素提供背景紋理（BG)與背景景深（BD)。 H1938.doc • 36 - 201010409 應注意’在此特定編碼方牵 1々系T，該4D圖框與D'圖框具有不同的内容及速率嗜型圖框係以L#D之圖框率一半的圖框率來提供。該D，圖框可用以配置景深及透明度(此處為D2與T2)之丢失時間實例。請注意，該等分量(其某些) 亦可加以梅花形（亦參見圖2 i)次取樣。隨後該等D圖框係藉由連貫編碼lrd_lrdd,_lrd_ LRDD’與在如圖! 9中G〇p(圖片群板)編碼結構中所指示之 LRD串流中的LRD資訊交錯。圖19亦顯示如何可在L R D D，模式下藉由使用⑴來預測 D3並藉由使用D1與D3兩者來預測D2來有效率地壓縮景深資訊D與景深資訊D，。圖15顯示用於編碼視訊以與三維藍光系統一起使用的選項之某些者。如吾人可從圖15所見，本發明實現編碼 LRD(立體+景深）用於電影全hd與運動HD兩者。最後，圖20顯示在選項1下本發明之一具體實施例，其中用於前述LRDD·模式之D圖框係交錯。圖20進一步顯示在選項2下本發明之一具體實施例，其中來自4個時間實例之資訊係正組合，而先前選項僅組合來自2個時間實例之資訊。在此後者具體實施例中，視訊信號之Y、U及V分量係用以載送不同資訊，例如在D2圖框内，U分量針對T=l 載送背景景深而V分量針對T=2載送背景景深。該等個別分量Υ、U及V係描述用於各別D圖框。下面在交錯範例中描述此第二選項之各別D圖框之内容 D1、D2、D3、D4、D5、D6。 141938.doc •37- 201010409 在此具體實施例中’用於四個時間實例 J <库景紋理 (BGh、BG12、⑽3、BGU)係包裝在-圖框（用於4個時間實例）内，由此可更有效率地使用該等D圖框。此具體實施例有效充分利用一景深分量一般大小類似於該等分量所提供之大小的事實。此甚至允許2D或T之一者針對12 Hz 處於完全1920* 1080分辨率處，其中其他時間實例係在 1920*540處。如圖20中可見，甚至可能留下某些備用空間。

結論上文參考該等圖式之詳細說明僅係本發明及在該等申請專利範圍内所定義的該等額外特徵之一解說。本發明可以許多不同方式來實施。為了解說此點，簡略指示某些替代方案。本發明可有利地應用於關於三維視覺表示的許多類型產或方法中。一二維視訊僅係一範例。本發明可同等地應用用於三維靜止圖片，即三維照片。

存在依據本發明提供一三維視訊圖片之許多方式。圖1 解說包含一對相機RCAM、LCAM之一實施方案。在此範例中，該對相機捕捉真實圖片。在另一實施方案中，虛擬圖片對可藉由（例如）一適當程式化處理器來產生。一景深圖不必藉由一景深掃描器或一類似測量裝置來獲得。一景圖可基於估叶來建立，如上文在詳細說明中所述。關鍵係”亥尽冰圖係明確專用於在一對圖片内的一圖片如此該對圖片構成-三維視訊表示。 141938.doc • 38 - 201010409 一景深圖可能明確專用於一左圖片（如在上文詳細說明中）或一右圖片。即，在圖2中所解說之通用三維視訊信號 VS之一不同版本内，景深圖1)]^可明確專用於右圖月Rp。在此一變化方案中，從右圖片Rp與明確專用於此圖片之景深圖DM來產生一偏移視點圖片。背景圖片BG將接著亦專用於右圖片RP。背景圖片BG可出於（例如）資料降低或頻寬降低之目的來省略。

存在提供呈現引導資料的許多不同方式。上文詳細說明參考圖10提供一範例。在此範例中，實行一系列步驟，其中某些步驟涉及與一系統操作者的一交互。該些交互之一或多個者可能由一自動決策來有效地替代。亦可以一完全自動方式來產生呈現引導資料。進—步應注意，圖ι〇中所解說之步㈣列不必以其中顯示該些之次序來實行。而且，各種步驟可組合成一步驟，或可省略一步驟。、術语「圖片」應以—廣泛意義來理解。該術語包括允許視覺呈現（諸如）影像、圖框或場之視覺呈現的任何實體。 t廣義上，存在藉由硬H軟體或兩者之-組合來實施功 :體之許多方式。在此方面，該等圖式係極具概略性。儘管一圖式顯示不同功能實體作為不同組塊，但此絕不排除其中-單-實體實行數個功能或其中數個實體實行一單一功能之實施方案。例如，參考圖11，解碼器DEC、解多工1"讀、偏移視點圖片產生器刪、選擇器SEL及控制益CTRL可藉由採取包含所有該些功能實體之—積體電路》'的冑田程式化處理器或—專用處理器來實施。 141938.doc -39- 201010409 存在儲存並分佈一指令集（即軟體）之許多方式該指令集允許一可程式化電路依據本發明來操作。例如，軟體可儲存於一適當媒體内，諸如一光碟或一記憶體電路。其中儲存軟體的一媒體可作為一個別產品或與可能執行軟體之另一產品一起提供。此一媒體亦可能係使軟體能夠執行的一產品之部分。軟體亦可經由可能有線、無線或混合的通信網路來分佈。例如，軟體可經由網際網路來分佈。可藉由一伺服器使軟體可用於下載。下載可能受一支付影響。本文所作之評註表明參考圖式之詳細說明解說而非限制本發明。存在許多落於隨附申請專利範圍之範疇内的替代方案。在一請求項中的任何參考符號不應係解釋為限制該請求項。詞語「包含」並不排除除在一請求項中所列之該等元件或步驟外的其他元件或步驟之存在。在一元件或步驟刖的詞語「一」或「_個」並不排除複數個此類元件或步驟之存在。各別申請專利範圍附屬項定義各別額外特徵之純粹事實並不排除對應於申料利冑圍附屬項之一組合的額外特徵之一組合。【圖式簡單說明】圖1係解說一三維視訊產生系統之一方塊圖；圖2係解說該三維视訊產生系統所提供之一通用三維视訊信號的一概念圖；圖3係解說使用該通用三維視訊信號可行之一第一立體模式的一概念圖；圖4係解說使用言亥通用i維視訊信號可行之一第二立體 141938.doc 201010409 模式的一概念圖；圖5係解說一補充通用三維視訊信號之一概念圖；圖6係解說可包含於補充通用三維視訊信號内之呈現引導資料之一範例的一資料圖；圖7係解說可包含於補充通用三維視訊信號内之呈現引導資料之另一範例的一資料圖；圖8係解說可包含於補充通用三維視訊信號内之呈現引導資料之又另一範例的一資料圖；圖9係解說能夠提供補充通用三維視訊信號之一三維視訊補充系統的一方塊圖；圖10係解說可實行該三維視訊信號補充系統之一系列步驟的一流程圖；圖11係解說允許基於通用三維視訊信號之一立體呈現之一視訊呈現系統的一方塊圖；圖12係解說包含一自動立體顯示裝置之一替代性視訊呈現系統的一方塊圖；圖13顯示針對30 Hz漸進式或60 Hz交錯式單像視訊用於 BD播放器的一概述以及；圖14顯示關於如可使用具有與要求用於一單像1〇8〇p 24 Hz單信號大約相等位元率之avc/h264或MVC來有效率編碼一 L'R'D'信號的一範例；圖15顯示用於新三維藍光應用之各種模式及選項；圖16顯示（使用AVC/H264)位元率及記憶體效率共同編碼 L R D(2:2:1圖框速率比）之一範例； 141938.doc •41· 201010409 圖17顯示其中以12 Hz編碼景深及透明度分量且其中景深及透明度係關於不同相位的一編碼範例；圖18顯示具有混合12及24 Hz景深分量之一編碼範例；圖19顯示在LRDD'模式下的圖框交錯及壓縮，並顯示該等D及D’圖框之各別内容；圖20顯示在LRDD'模式下圖框交錯及壓縮之一另外範例，並顯示該等D及D’圖框之各別内容；及圖21顯示各種次取樣方法以便為景深及透明度建立空間。【主要元件符號說明】 BG 背景圖片 CTRL 控制器 CV 編碼版本 DEC 解碼器 DM 景深圖 DMX 解多工器 DPL 顯示器件 DS 景深掃描器/景深圖提供器 GD 呈現引導資料 GSY 三維視訊產生系統 LCAM 左相機/圖片提供配置 LP 第一圖片 LP + S 左偏移視點圖片 LP-S 右偏移視點圖片 141938.doc • 42· 201010409 LR 圖片 MVG 多畫面產生器 OIF 操作者介面 PLY 儲存媒體播放器 RCAM 右相機/圖片提供配置 RGP 呈現引導處理器 RP 第二圖片 RPR 記錄處理器/景深圖提供器 w RSY 視訊呈現系統 SCN 場景 SEL 選擇器 SHG 偏移視點圖片產生器 STM 儲存媒體 UIF 使用者介面 VP„.,5 VPn, VPn+1, VPn+2 一通用三維圖片序列 • XSY 三維視訊補充系統 141938.doc -43-

Claims

201010409 七、申請專利範圍： 1. 一種提供—三維圖片之方法，其包含· 圖片提供步驟，其中提供一對圖片（LP、RP)，其包含打算用於一檢視者之一眼睛的一第一圖片（LP)及打算用於該檢視者之另一眼睛的一第二圖片（Rp);以及一景深圖提供步驟’其中提供明確專用於該第一圖片之景深圖（DM) ’該景深圖包含景深指示值，一景深指不值係關於該第一圖片之一特定部分並指示在由該第— 圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離。 2. 如請求項丨之方法，其包含：一呈現引導資料提供步驟，其中提供呈現引導資料 (GD) ’該呈現引導資料為各別呈現背景指定各別參數，其中該等各別參數係關於從該第一圖片（LP)與明確專用於該第一圖片的該景深圖（DM)產生一偏移視點圖片 (LP+/-S) 〇 3. 如請求項1之方法，該呈現引導資料提供步驟包含一子步驟，其中：一參數集係定義用於一第一立體模式（A),其中從該第一圖片（LP)與該景深圖（DM)所產生的一偏移視點圖片 (LP+/-S)構成一呈現的第一圖片（LR)，且其中該第二圖片（RP)構成一呈現的第二圖片（RR);以及一參數集係定義用於一第二立體模式（B)，其中該第一圖片（LP)構成一呈現的第一圖片（LR)且其中從該第一圖 141938.doc 201010409 片（LP)與該景深圖（DM)所產生的一偏移視點圖片（LP+/-S)構成一呈現的第二圖片（RR)。 4. 如請求項3之方法，該呈現引導資料提供步驟包含一子步驟，其中該等各別參數集（Pmax)具備其中該第一立體模式（A)將適用之一第一立體強度範圍（10_6)與其中該第二立體模式（B)將適用之一第二立體強度範圍（5_〇)的一定義。 5. 如請求項2之方法，該呈現引導資料（GD)為各別景深指示值（DV)定義各別最大視差偏移值（Pmax)。 6. 如請求項2之方法，該呈現引導資料（GD)為各別螢幕大小（SZ)定義各別視差偏移值（Poff)。 7. 如請求項1之方法，該呈現引導資料（GD)包含景深圖精度之一指示。 8. 如請求項1之方法，其包含：一背景圖片提供步驟，其中提供明確專用於該第一圖片（LP)的一背景圖片（BG)。 9. 如請求項8之方法，其包含：一阿爾法圖提供步驟，其中提供明確專用於該第一圖片（LP)的一阿爾法圖，該阿爾法圖在可從該左囷片、該景深圖（DM)及該背景圖片（BG)產生之一偏移視點圖片定義逐漸轉變。 1〇=求項1之方法，其中該第一 '該第二圖片及該景深圖f以調魅用於傳輪該信號之—預定頻寬的—解析度來提供且其中編碼額外圖框，其提供另外資料用於基於 141938.doc 201010409 一影像與景深分量來呈現。 11·如請求項10之方法’其中該等額外圖框包含多個時間實例之分量。 12· —種三維圖片提供系統，其包含：一圖片提供配置（LCAM、RCAM)，其用於提供一對圖片（LP、RP)，該對圖片包含打算用於一檢視者之一眼睛的一第一圖片（LP)及打算用於該檢視者之另一眼睛的一第二圖片（RP);以及一景深圖提供器（DS、RPR)，其用於提供明確專用於該第一圖片（LP)之一景深圖（DM)，該景深圖包含景深指示值’ 一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離。 13. 如請求項12之三維圖片提供系統，其中該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬的一解析度來提供且其中編碼額外圖框，其提供另外資料以用於基於一影像與景深分量來呈現。 14. 一種遞送一三維圖片之信號，其包含·· 一對圖片，其包含打算用於一檢視者之一眼睛的一第一圖片（LP)及打算用於該檢視者之另一眼睛的一第二圖片（RP);以及一景深圖（DM)，其係明確專用於該第一圖片（LP)，該景深圖包含景深指示值’一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少 141938.doc 201010409 部分表示的一物體與該檢視者之間的一距離。 15. —種儲存媒體，其包含如請求項μ之信號。 16. —種基於如請求項12之一信號來呈現一三維圖片之方法，該方法包含：一偏移視點圖片產生步驟，其中一偏移視點圖片 (LP+/-S)係從該第一圖片（Lp)與明確專用於該第一圖片的該景深圖（DM)來產生；以及一呈現步驟，其用於依據兩個立體模式之至少一者來呈現該三維圖片：一第一立體模式（A)，其中該偏移視點圖片（LP+/-S) 構成一呈現的第一圖片（LR)且其中包含於該信號内的該第二圖片（RP)構成一呈現的第二圖片（RR);以及一第二立體模式（B)，其中包含於該信號内的該第一圖片（LP)構成該呈現的第一圖片（LR)且其中該偏移視點圖片（LP+/-S)構成該呈現的第二圖片（RR)。 17. —種用於基於如請求項12之信號來呈現一三維圖片之三維圖片呈現系統，該系統包含：一偏移視點圖片產生器（SHG)，其用於從該第一圖片 (LP)與明確專用於該第一圖片的該景深圖來產生一偏移視點圖片（LP+/-S);以及一選擇器（SEL)，其用於依據兩個立體模式之至少一者來呈現該三維圖片：一第一立體模式（A)，其中該偏移視點圖片（LP+/-S) 構成一里現的第一圖片（LR)且其中包含於該信號内的該 141938.doc -4- 201010409 第二圖片（RP)構成一呈現的第二圖片（RR);以及一第二立體模式（B)，其中包含於該信號内的該第一圖片（LP)構成該呈現的第一圖片（LR)且其中該偏移視點圖片（LP+/-S)構成該呈現的第二圖片（RR) » 18· —種包含一指令集之電腦程式產品，當載入至一可程式化處理器内時該指令集引起該可程式化處理器實行如請求項1至9中任一項或請求項1 6之方法。 19. 一種遞送一三維圖片之信號，其包含：一對圖片，其包含打算用於一檢視者之一眼睛的一第一圖片（LP)及打异用於該檢視者之另一眼睛的一第二圖片（RP);以及一景深圖（DM) ’其係明確專用於該第一圖片（Lp)，該景深圖包含景深指示值，一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離，且其令該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬之一解析度來提供且其中編碼额外圖框’其提供另外資料用於基於一影像與景深分量來呈現。 20. —種儲存媒體，其包含如請求項19之信號。 141938.doc