TWI573434B - 通用的三維圖片格式 - Google Patents

通用的三維圖片格式 Download PDF

Info

Publication number
TWI573434B
TWI573434B TW098125142A TW98125142A TWI573434B TW I573434 B TWI573434 B TW I573434B TW 098125142 A TW098125142 A TW 098125142A TW 98125142 A TW98125142 A TW 98125142A TW I573434 B TWI573434 B TW I573434B
Authority
TW
Taiwan
Prior art keywords
picture
depth
presentation
offset
dimensional
Prior art date
Application number
TW098125142A
Other languages
English (en)
Other versions
TW201010409A (en
Inventor
威和莫司 漢卓克司 愛芬瑟司 布爾斯
辜冷威克 瑞內爾 博娜多斯 馬利亞 克琳
傑拉德斯 威爾賀摩斯 席爾朵洛斯 凡德黑吉登
飛利浦 史蒂芬 紐頓
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41066194&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI573434(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201010409A publication Critical patent/TW201010409A/zh
Application granted granted Critical
Publication of TWI573434B publication Critical patent/TWI573434B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Television Signal Processing For Recording (AREA)

Description

通用的三維圖片格式
本發明之一態樣係關於一種提供包含一對影像之一三維圖片之方法，一圖片係打算用於該檢視者之一眼睛，另一圖片係打算用於該檢視者之另一眼睛。該三維圖片可形成(例如)具有一類似格式以便構成一視訊之一三維圖片序列之部分。本發明之其他態樣係關於一種三維圖片提供系統、一種遞送一三維圖片之信號、一種呈現一三維圖片之方法、一種三維圖片呈現系統及一種用於一可程式化處理器之電腦程式產品。
一視覺三維呈現可基於包含一對圖片之一信號來獲得：分別打算用於一檢視者之左眼與右眼的一左圖片與一右圖片。在一視訊之情況下，該信號將包含一此類圖片對序列。此處所包含之左及右圖片可直接呈現於一立體顯示裝置上，該立體顯示裝置可能要求一檢視者佩戴一對鏡片。一左眼鏡片將一呈現的左圖片傳遞至左眼。一右眼鏡片將一呈現的右圖片傳遞至右眼。例如，該顯示裝置可交替地顯示呈現的左圖片與呈現的右圖片。在該情況下，在顯示一呈現的左圖片時使左眼鏡片透明，且否則不透明。類似地，在顯示一呈現的右圖片時使右眼鏡片透明，且否則不透明。
如前面段落中所說明，包含構成一三維視訊之一對圖片或一圖片對序列的一信號一般係根據(例如)螢幕大小與檢視距離為一特定呈現背景產生。該特定呈現背景可能係(例如)具有一12公尺寬螢幕的一影院且其中檢視者一般正坐於離螢幕18公尺的一距離處。在一呈現背景係不同於已產生該信號用於其之呈現背景的情況下，該三維視訊將會看起來不同。例如，在已產生用於影院之三維視訊係呈現於一家庭視訊設備上的情況下，一檢視者將體驗不同於在影院內視覺印象的一視覺印象。景深效果將一般會更小且而且在影院內似乎遠在螢幕後面的一物體似乎幾乎在家庭視訊設備之螢幕前面的意義上可能存在一表觀景深偏移。
在一私人環境(諸如在家裡)中觀看一三維視訊的一檢視者可能希望調整景深效果以便獲得使用者體驗為最令人愉快的一呈現。原則上，可藉由基於在三維視訊內所包含之各對影像的一內插或一外推來實現此點。實際上，一左圖片與一右圖片係比較以便獲得一所謂的不均等圖，其表達在該些圖片之間的差異，特定言之根據水平位移。可以一經修改的不均等圖之形式來表達景深效果調整，該不均等圖係用以產生一對新影像。此一內插或外推程序係相對複雜並因此相對昂貴。而且，此一程序可能引入可感知的假像，其可能不太令檢視者愉快。
在第2005/0190180號下公佈的美國專利申請案說明一種用於針對一給定立體顯示器依據一使用者或一使用者群集來自訂場景內容之方法。獲得關於使用者之自訂資訊。亦獲得用於一對給定立體影像之一場景不均等圖。決定用於使用者之一目標不均等範圍。產生一自訂不均等圖，其係與該給定立體顯示器之使用者之融合能力關聯。該等立體影像係呈現或重新呈現用於後續顯示。
需要一種通用三維視訊信號，其允許在各式各樣顯示裝置上的令人滿意的呈現。本說明書所隨附之申請專利範圍獨立項定義更佳解決此需要的本發明之各種態樣。該等申請專利範圍獨立項定義用於有利實施本發明之額外特徵。
依據本發明之一態樣，提供一種三維圖片如下。提供一對圖片，其包含打算用於一檢視者之一眼睛的一第一圖片及打算用於該檢視者之另一眼睛的一第二圖片。此外，提供明確專用於該第一圖片的一景深圖。該景深圖包含景深指示值。一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離。
該對圖片一般從不同視點表示一場景。在一呈現端處，可從該第一圖片與該景深圖產生一偏移視點圖片。該偏移視點圖片從不同於該第一圖片之視點的一視點來表示該場景。該偏移視點圖片與該第二圖片共同構成一新圖片對，其允許不同於藉由如此顯示該第一圖片與該第二圖片所獲得者的一視覺三維呈現。一適當呈現可藉由相對於該第一圖片根據視點調整該偏移視點圖片之偏移數量來獲得。該偏移數量將一般係呈現背景相依：可藉由一適當偏移數量來適應一更大螢幕或一更小螢幕。較重要的係，可從該第一圖片與明確專用於該第一圖片的該景深圖以一相對精確但簡單的方式來產生該偏移視點圖片。據此，一令人滿意的視覺三維呈現可以一具成本效率的方式在多種多樣顯示裝置上獲得。
應注意，已依據本發明所提供之一三維圖片或其一序列係亦特別適用於藉由自動立體顯示裝置來呈現。此一呈現一般涉及產生多個偏移視點圖片，每一圖片各從一特定視點表示一相關場景。該些多個偏移視點圖片可從該第一圖片與明確專用於該第一圖片的該景深圖以一相對簡單的方式來產生。該第二圖片可出於自動立體呈現之目的而有效地忽略。據此，該景深圖可有效地用於兩個目的：首先用於適應一特定呈現背景之目的，且其次，用於在藉由一自動立體顯示裝置來呈現之情況下產生多個偏移視點圖片之目的。
進一步應注意，與僅包含一對圖片的一基本三維圖片相比，已依據本發明所提供的一三維圖片或其一序列將一般包含一適度數量的額外資料。此係因為與構成一場景之一視覺表示的一圖片相比，一景深圖將一般包含一適度數量的資料。一景深圖可具有低於該景深圖所屬之一圖片的一解析度。另外，一景深圖僅需包含用於一像素或一像素群集的一單一值，而一圖片一般包含用於一像素的各種值：一亮度值與兩個色度值。據此，提供用於儲存一基本三維視訊之足夠容量的一儲存媒體(諸如一DVD碟片)將一般亦提供用於儲存已依據本發明所提供之一三維視訊之足夠容量。類似地，允許傳輸一基本三維視訊的一傳輸通道將一般亦允許傳輸已依據本發明所提供的一三維視訊。前述優點因而可根據儲存容量或帶寬或兩者僅使用一相對較小投資來實現。
本發明之一實施方案有利地包含下列額外特徵之一或多個者，該等特徵係在對應於各別申請專利範圍附屬項的單獨段落中說明。
較佳的係，該呈現引導資料為各別呈現背景指定各別參數。該等各別參數係關於從該第一圖片與明確專用於該第一圖片的該景深圖產生一偏移視點圖片。
該呈現引導資料較佳的係包含用於一第一立體模式的一參數集與用於一第二立體模式的一參數集。在該第一立體模式下，從該第一圖片與該景深圖所產生的一偏移視點圖片構成一呈現的第一圖片，且該第二圖片構成一呈現的第二圖片。在該第二立體模式下，該第一圖片構成一呈現的第一圖片，且從該第一圖片與該景深圖所產生的一偏移視點圖片構成一呈現的第二圖片。
前述各別參數集較佳的係具備其中該第一立體模式將適用之一第一立體強度範圍與其中該第二立體模式將適用之一第二立體強度範圍的一定義。
該呈現引導資料可為各別景深指示值定義各別最大視差偏移值。
該呈現引導資料可為各別螢幕大小定義各別視差偏置值。
該呈現引導資料可包含景深圖精度之一指示。
較佳的係提供明確專用於該第一圖片的一背景圖片。
此外，較佳的係提供明確專用於該第一圖片的一阿爾法(alpha)圖。該阿爾法圖定義在可從該左圖片、該景深圖及該背景圖片所產生的一偏移視點圖片內的逐漸轉變。
本發明係進一步體現於如請求項1之一方法中，其中該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬的一解析度來提供且其中編碼額外圖框，其提供另外資料用於基於一影像與景深分量來呈現。
基本理念係可以調諧至用於在最初解析度下傳輸該第一及第二圖片之可用頻寬的一解析度提供該第一、該第二圖片及該景深圖。該等額外圖框進而係提供以便提供另外資料用於基於一影像與景深分量來呈現。
本發明係進一步體現於如請求項12之一三維圖片提供系統中，其中該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬的一解析度來提供且其中編碼額外圖框，其提供另外資料用於基於一影像與景深分量來呈現。
本發明係進一步體現於一種遞送一三維圖片之信號內，該三維圖片包含：一對圖片，其包含打算用於一檢視者之一眼睛的一第一圖片(LP)及打算用於該檢視者之另一眼睛的一第二圖片(RP)；一景深圖(DM)，其係明確專用於該第一圖片(LP)，該景深圖包含景深指示值，一景深指示值係關於該第一圖片之一特定部分且指示在由該第一圖片之該部分所至少部分表示之一物體與該檢視者之間的一距離，且其中該第一、該第二圖片及該景深圖係以調諧至用於傳輸該信號之一預定頻寬的一解析度來提供且其中編碼額外圖框，其提供另外資料用於基於一影像與景深分量來呈現。
本發明係進一步體現於一種包含如請求項19之一信號的儲存媒體內。
參考圖式，一詳細說明解說上文所概述之本發明以及該等額外特徵。
圖1解說一三維視訊產生系統GSY。該三維視訊產生系統GSY包含一對相機(即一右相機RCAM及一左相機LCAM)、一記錄處理器RPR及一儲存媒體STM。一景深掃描器DS係與左相機LCAM相關聯。該對相機RCAM、LCAM係朝一場景SCN引導以便捕捉該場景SCN之一三維視訊。該場景SCN包含各種物體，諸如一人、一樹、一房屋及天空中的太陽。各物體相對於該對相機具有一給定距離，該等相機可視為正觀察該場景SCN之一虛擬觀察者。
右相機RCAM與左相機LCAM可各為一習知相機。記錄處理器RPR可包含(例如)一指令執行裝置與一程式記憶體，定義記錄處理器RPR之操作的一指令集已載入至該程式記憶體內，下文將說明該記錄處理器。儲存媒體STM可採取(例如)一硬碟、一可寫入光碟或一固態記憶體之形式。景深掃描器DS可包含(例如)一雷射束，其可在各種方向上操縱；及一感測器，其偵測該雷射束之反射。作為另一範例，景深掃描器DS可包含一雷達成像模組。作為又另一範例，該景深掃描器甚至可採取離線建立景深圖之一人類之形式。
該三維視訊產生系統GSY基本上操作如下。該對相機RCAM、LCAM提供場景SCN之一基本三維視訊，該場景係由一圖片對序列所形成。一圖片對包含一右圖片與一左圖片。由右相機RCAM所捕捉之右圖片係打算用於一人類觀察者之右眼。由左相機LCAM所捕捉之左圖片係打算用於一人類觀察者之左眼。
右相機RCAM與左相機LCAM相對於彼此具有一特定位置關係。此位置關係可根據(例如)螢幕大小與一檢視距離藉由一典型呈現背景來加以定義。例如，包含相關的一右圖片序列與一左圖片序列的基本三維視訊可打算用於在具有一12公尺典型螢幕大小與一18公尺典型檢視距離的一影院內顯示。
在左相機LCAM捕捉該左圖片時，景深掃描器DS為一左圖片實行一系列景深測量。一景深測量為相關左圖片之一特定部分提供一景深指示值。此一特定部分可能包含一單一像素或一像素群集，該像素群集可構成一區塊。例如，該左圖片可有效地劃分成各種像素區塊，其中景深掃描器DS為各別像素區塊提供各別景深指示值。對於部分表示人在該場景SCN中的一像素區塊，景深掃描器DS可提供一景深指示值，其表示在該場景SCN內的人與虛擬觀察者之間的距離。
記錄處理器RPR可因而為一左圖片產生一景深圖，其包含景深掃描器DS為此左圖片提供的各別景深指示值。此一景深圖可視為該左圖片之一延伸，其從二維到三維添加一額外維度。換言之，該景深圖將一景深指示值添加至該左圖片之一像素，其包含一亮度值與用於相關像素的一對色度值。該景深圖係明確專用於該左圖片：一景深指示值係與在該左圖片內的至少一像素相關聯，而其可能無法將該景深指示與在該右圖片內的任一像素相關聯。該景深圖可能具有低於該左圖片的一解析度。在該情況下，相鄰像素共享應用於一像素群集的相同景深指示值。
應注意，該等景深指示值可以許多不同形式來提供。例如，一景深指示值可採取一視差值之形式，該視差值係相對於一典型螢幕寬度、一典型檢視距離及一典型眼睛距離來定義。此一視差值可轉換成一距離值。
記錄處理器RPR可為該左圖片進一步產生一背景圖片。該背景圖片表示物體或其部分，該等部分係在該左圖片內被具有一前景位置之其他物體所遮蔽。即，該背景圖片提供關於什麼在該左圖片內具有一前景位置的一物體後面的資訊。此資訊可用以基於該景深圖來有利地產生該左影像之一三維表示。參考圖1，該房子具有一背景位置，而該人具有一前景位置並可能因此在一左圖片內遮蔽該房子之一部分。該背景圖片可能因而至少部分包含該左圖片中由該人所遮蔽的該房子之部分。應注意，該背景圖片可能進一步包含明確專用於其的一景深圖。換言之，該背景圖片可能包含紋理資訊以及景深資訊，其提供遮蔽物體之一三維表示。記錄處理器RPR可能基於(例如)在該右圖片內所包含的資訊來為該左圖片產生該背景圖片。
記錄處理器RPR可能進一步產生明確專用於一左圖片的一阿爾法圖。一阿爾法圖可有利地用於在從該左圖片、該景深圖及該背景圖片所產生的一偏移視點圖片內提供逐漸轉變。此貢獻於感知的影像品質。該阿爾法圖可視為一粗略加權係數集，其可針對該偏移視點圖片之一特定部分決定來自該左圖片的一貢獻程度與來自該背景圖片的一貢獻程度。此一阿爾法圖可為不同圖片部分決定不同摻合參數，從而允許平滑轉變。
記錄處理器RPR藉由添加元素至右相機ROAM與左相機LCAM所提供的基本三維視訊來產生一通用三維視訊信號VS。該些元素包括景深圖並視需要可如上文所述來產生的背景圖片與阿爾法圖。儲存媒體STM儲存通用三維視訊信號VS。通用三維視訊信號VS可經歷進一步處理，從而貢獻於在多種多樣顯示器上的令人滿意的三維呈現。下文將更詳細地說明此點。
圖2解說通用三維視訊信號VS。通用三維視訊信號VS包含通用三維圖片之一序列...,VPn-1,VPn,VPn+1,VPn+2,...。一通用三維圖片構成在一給定時刻在圖1中所解說的場景SCN之一三維表示。圖2解說一任意通用三維圖片VPn之細節。通用三維圖片VPn包含共同構成一基本三維圖片的一右圖片RP與一左圖片LP。右圖片RP提供打算用於一人類觀察者之右眼的場景SCN之一綜合表示，而左圖片LP提供打算用於該人類觀察者之左眼的該場景之一綜合表示。
該通用三維圖片進一步包含一景深圖DM且較佳係一背景圖片BG與圖2中未表示的一阿爾法圖。景深圖DM係明確專用於左圖片LP，如上文所解釋。景深圖DM可視為一灰階影像，其中一灰階值對應於在該左影像內的一特定像素或一特定像素群組相關的一景深指示值。一相對較低景深指示值可能對應於指示一相對附近物體的一明亮色調，而一相對較深指示值可能對應於指示一相對較遠物體的一黑暗色調或反之亦然。背景圖片BG係亦較佳的係明確專用於左圖片LP。實際上，在被部分或完全遮蔽之物體係在背景圖片BG中表示之意義上背景圖片BG構成左圖片LP之一延伸。若存在的話，阿爾法圖係亦明確專用於左圖片LP。
通用三維視訊信號VS因而包含對應於上文所述之基本三維視訊的一基本三維圖片序列。此外，通用三維視訊信號VS包含一伴隨景深圖序列且較佳的係一伴隨背景圖片序列與一伴隨阿爾法圖序列。如上文所解釋，該些額外元素係明確專用於在該基本三維視訊內所包含的左圖片。
在通用三維視訊信號VS中所包含之基本三維視訊可顯示於一立體顯示裝置上，其中左圖片與右圖片係分別應用於一檢視者之左眼與右眼。該立體顯示器具有一給定螢幕大小且該檢視者係在離該立體顯示裝置的一給定距離處。此定義一給定呈現背景。
一實際呈現背景可能類似於該基本三維視訊所打算用於的典型呈現背景。在該情況下，獲得該場景SCN之一令人滿意的三維表示。例如，如上文所述，假使假定該基本三維視訊係打算用於在具有一12公尺典型螢幕大小與一18公尺典型檢視距離的一影院內顯示。在此一影院內呈現該基本三維視訊之情況下，獲得該場景的一令人滿意的三維表示。
然而，在實際呈現背景係不同於該基本三維視訊打算用於之典型呈現背景的情況下，此可導致場景SCN之一較不令人滿意的三維表示。例如，若該基本三維視訊係打算用於在如上文所說明的一影院內顯示，但該基本三維視訊係卻呈現於具有一1公尺螢幕大小與一2又1/2公尺典型檢視距離的一家庭視訊設備上，則可能係如此情況。此可能在檢視者將會體驗比在影院內更少之一景深程度的意義上導致一降低的景深效果。而且，此亦可在似乎在影院內遠在螢幕後面的一物體似乎幾乎在家庭設備之螢幕前面的意義上導致朝該檢視者的一景深偏移。簡單而言，當在家裡觀看打算用於影院的三維視訊時，三維視訊將看起來相當不同於在影院內。
可在該呈現背景係不同於該呈現背景的情況下提供某形式的校正。一新圖片對可藉由內插或外推基於一捕捉的圖片來產生。然而，此一校正係相對複雜，並因此較昂貴，涉及複雜的硬體或軟體或兩者。而且，此一校正可引入由於內插誤差或外推錯誤(不論哪個適用)所引起的可感知假像。
圖2中所解說的通用三維視訊信號VS允許在各式各樣呈現背景中的一令人滿意三維表示。根據前述範例，打算用於影院的三維視訊可在家裡看起來類似。此係由於添加一景深圖DM來實現，該景深圖係明確專用於在一捕捉圖片對內的一圖片，在此情況下為左圖片LP。
景深圖DM允許以一相對簡單且精確方式基於左圖片LP來產生一新圖片。此新圖片從略微不同於左圖片LP之視點的一視點來表示場景SCN。該視點可能略微向左圖片LP之視點右邊或左邊偏移。該新圖片將因此在下文稱為偏移視點圖片。原則上，該偏移視點圖片可從與右圖片RP之視點相同之視點來表示場景SCN。在此特定情況下，該偏移視點圖片將理想地匹配右圖片RP。
圖3及4解說使用圖2中所解說之通用三維視訊信號VS可行的兩個不同立體模式。該些立體模式將分別稱為立體模式A與立體模式B。在各立體模式中，一對呈現圖片係提供用於基於一通用三維圖片來顯示於一顯示裝置上。該對呈現圖片包含分別應用於一檢視者之左眼與右眼的一呈現左圖片LR與一呈現右圖片RR。圖3及4各包含表示螢幕視差的一水平軸。螢幕視差係由於一視點變化所導致的在一顯示器上的一位置偏移。因此，在如上文中所定義之一偏移視點圖片內的一物體可相對於在左圖片LP內的相同物體而偏移。
圖3解說立體模式A。在此立體模式下，在該通用三維圖片內所包含之右圖片RP構成呈現的右圖片RR。即，呈現的右圖片RR係右圖片RP之一簡單副本。如上文所述基於左圖片LP與景深圖DM所產生的一偏移視點圖片構成呈現的左圖片LR。
圖3解說兩個不同偏移視點圖片：一左偏移視點圖片LP+S與一右偏移視點圖片LP-S。左偏移視點圖片LP+S從在左圖片LP之視點之左邊的一視點來表示場景SCN。此偏移視點圖片相對於左圖片LP具有一正視差偏移P+2。右偏移視點圖片LP-S從在左圖片LP之視點之右邊的一視點表示場景SCN。此偏移視點圖片相對於左圖片LP具有一負視差偏移P-2。圖3亦解說一特定情況，其中左圖片LP構成呈現的左圖片LR，後者係該第一者之一簡單副本。
在左偏移視點圖片LP+S構成呈現的左圖片LR之情況下，該檢視者體驗比在左圖片LP構成呈現的左圖片LR時更大的一景深效果。存在一立體強度增加。反之，在右偏移視點圖片LP-S構成呈現的左圖片LR之情況下，該檢視者體驗比在左圖片LP構成呈現的左圖片LR時更小的一景深效果。存在一立體強度減少。大膽而言，左偏移增加立體強度，而右偏移減少立體強度。
該立體強度可根據視差來評估。例如，一標準立體強度可對應於圖3中所指示的視差P8，其係在左圖片LP構成呈現的左圖片LR時獲得。一最大立體強度可對應於圖3中所指示的視差P10，其係在左偏移圖片LP+S構成呈現的左圖片LR時獲得。視差P10對應於應用正視差偏移P+2的視差P8。一適度立體強度可對應於圖3中所指示的視差P6，其係在右偏移圖片LP-S構成呈現的右圖片RR時獲得。視差P6對應於應用負視差偏移P-2的視差P8。
圖4解說立體模式B。在此立體模式下，在該通用三維圖片內所包含之左圖片LP構成呈現的左圖片LR。即，呈現的左圖片LR係左圖片LP之一簡單副本。如上文所述基於左圖片LP與景深圖DM所產生的一右偏移視點圖片LP-S構成呈現的右圖片RR。此右偏移視點圖片LP-S相對於左圖片LP具有一負視差偏移P-4。該立體強度係完全由此負視差偏移來決定。右圖片RP不必在立體模式B下具有任何特定作用。即，右圖片RP可在立體模式B下忽略。
立體模式A較佳的係用於在最大立體強度與一適度立體強度之間所包含的一立體強度範圍內。該標準立體強度係包含於此範圍內。立體模式B較佳的係用於在適度立體強度與最小立體強度之間所包含的一立體強度範圍內。即，可在需要一相對較小景深效果時使用立體模式B。該最小立體強度可對應於不存在任何景深效果(即一純二維表示)。在此極端情況下，視差等於0：呈現的左圖片LR與呈現的右圖片RR係完全相同。
一所需立體強度可因而藉由產生一偏移視點圖片並取決於是否分別應用立體模式A或B組合該偏移視點圖片與右圖片RP或左圖片LP來獲得。該偏移視點圖片可依據一預定義類屬規則基於一左圖片LP及其相關聯的景深圖DM來產生。此預定義類屬規則可基於幾何關係並可應用於所有不同視點。在此一方案中，在左圖片LP內的一像素係原樣偏移由三個因素專門決定的一數量：所需立體強度、如上文所解釋景深圖DM為像素所提供的景深指示值及該預定義類屬公式。如此偏移的像素構成該偏移視點圖片之一像素。
然而，更有利的呈現結果可在以一背景相依方式來產生該偏移視點圖片之情況下獲得，該背景相依方式將一或多個呈現參數(例如螢幕大小)考量在內。而且，一作者或另一人可能希望定義一給定三維視訊在一給定呈現背景中的樣子。即，該作者可能表達一較佳三維呈現，其不必一定對應於基於在實體物體之間幾何關係的一三維呈現。三維呈現可能涉及藝術偏好。
圖5解說一補充通用三維視訊信號SVS，其解決在前述章節中所述之要點。補充通用三維視訊信號SVS包含呈現引導資料GD，其伴隨通用一三維圖片序列...,VPn-1,VPn,VPn+1,VPn+2,...。補充通用三維視訊信號SVS可能因而藉由將呈現引導資料GD添加至圖2中所解說之通用三維視訊信號VS來獲得。
該呈現引導資料GD包含有關基於一左圖片與明確專用於此左圖片之景深圖來產生一偏移視點圖片的參數。該呈現引導資料GD可能指定(例如)與定義產生一偏移視點圖片之一預設方法的一預定義類屬規則的一或多個偏差。例如，與一預設方法之不同偏差可指定用於不同立體強度。類似地，不同偏差可指定用於不同螢幕大小。而且，一偏差不必一定適用於感興趣的整個三維視訊。各別偏差可指定用於在感興趣三維視訊內的各別場景或甚至用於各別三維圖片。呈現引導資料GD係因此較佳地組織成各種片段，其中一片段係關於可構成一場景SCN的一特定三維圖片子序列。一片段亦可能關於一特定三維圖片。
圖6解說一參數集之一範例，該參數集可能形成呈現引導資料GD之部分。該參數集係以一表格之形式來表示，該表格包含三行，其中各行有關表達為一整數值的一特定立體強度，即10、6及5，其中10表示最大立體強度。各行具有一標題，該標題具有一陰影填充物，其指示立體強度與欲用於該立體強度之立體方法。
該表格指示圖3中所解說之立體模式A將用於在10與6之間所包含之立體強度。該表格進一步指示圖3中所解說之立體模式B將用於在5與0之間所包含之立體強度。該表格進一步包含各別列，其表示各別景深指示值。該各別景深指示值係列於該表格之最左行內，該行具有一陰影填充物。
該表格為三個前述立體強度10、6及5之每一者為各別景深指數值DV指定各別最大視點偏移Pmax。可以像素單元表達的該等各別最大視點偏移Pmax係列於相關行之一白色區域內。一最大視差偏移定義在一偏移視點圖片內的一像素與在從其產生該偏移視點圖片之左圖片內的對應像素之間的一最大位移。圖6中所解說之表格可能因而功能上視為在一偏移視點圖片產生器內的一限制模組。
在該表格內所指定的該等最大視差偏移Pmax可防止易感知為不自然的效果或可能引起眼睛疲勞之效果或兩者。如上文所解釋，產生一偏移視點圖片涉及偏移相關左圖片之像素。偏移數量一般取決於景深指示值與立體強度。一相對較大偏移可產生不自然的效果或引起眼睛疲勞或其他不利效果。在圖6中所解說之表格內所指定的該等最大視差偏移Pmax允許藉由確保偏移數量保留於可接受限制內來防止此類不利效果。
用於在10與6之間與在5與0之間立體強度的適當最大視差偏移Pmax可藉由(例如)內插來獲得。出於該目的，該表格為在立體模式A下的兩個不同立體強度(諸如在圖6中的10與6)並為立體模式B下的一單一立體強度(諸如5)指定各自最大視差偏移Pmax係足夠。不需要為在立體模式B下的兩個不同立體強度指定最大視差偏移Pmax，因為用於立體強度0之所有最大視差偏移Pmax可能一般視為等於0。立體強度0對應於單呈現，即沒有任何景深效果的一純二維表示。
圖7解說一參數集之另一範例，該參數集可形成呈現引導資料GD之部分。該參數集係以一表格之形式來表示，該表格包含數行，其中各行有關表達為一整數值的一特定立體強度STS，即10、8、6、5、3及1。各行具有一標題，該標題具有一陰影填充物，其指示立體強度STS。該表格進一步包含各種列，其表示各種不同螢幕大小SZ 30、40及50英吋，該等螢幕大小係在具有一陰影填充物的該表格之最左行內指示。
該表格針對三個前述立體強度10、8、6、5、3及1之每一者為各種不同螢幕大小指定各別視差偏移Poff。可以像素單元表達的該等各別視差偏移Poff係列於相關行之一白色區域內。一視差偏移定義相對於從其產生該偏移視點圖片之左圖片中的該等各別對應像素在一偏移視點圖片內各別像素的一額外位移。即，該視差偏移定義欲添加至一特定偏移的一整體偏移，該特定偏移係藉由應用於產生偏移視點圖片的一一般、預定義規則用來獲得用於一給定像素。圖7中所解說之表格可能因而功能上視為在一偏移視點圖片產生器內的一輸出偏移模組。
該視差偏移可補償朝該檢視者的一景深偏移，其可能在感興趣三維視訊係呈現於一螢幕上，該螢幕具有小於該感興趣三維視訊打算用於之螢幕之大小的一大小時發生。例如，如上文所述，在一影院內似乎遠在一螢幕後面的一物體可能似乎幾乎在一家庭設備之螢幕前面。在圖7中所解說之表格中所指定的該等視差偏移Poff提供一適當校正。用於不同於圖7中所解說之表格內該等者的螢幕大小與立體強度之適當視差偏移可藉由(例如)內插來獲得。
圖8解說一參數集之又另一範例，該參數集可形成呈現引導資料GD之部分。該參數集係以一表格之形式來表示，該表格包含三行，各具有一標題，該標題具有一陰影填充物，其指示一行標題。標題為STS的行指定各別立體強度。標題為Poff的另一行指定各別視差偏移Poff。該表格進一步包含各種列，其表示各種不同螢幕大小SZ 30、40及50英吋，該等螢幕大小係在帶標題的該表格之最左行內指示。
該表格為各種不同螢幕大小指定立體強度STS與視差偏移Poff之一較佳組合OPT。如在圖6及7中所解說之表格中，立體強度STS係藉由一整數值來指示。視差偏移Poff可以像素單元或以其他單元來表達。各較佳組合為相關螢幕大小提供一令人滿意的呈現，該螢幕大小可能不同於感興趣三維視訊打算用於的典型螢幕大小。一作者可能定義令人滿意的呈現。即，該作者可藉由圖8中所解說之表格來表達在呈現於具有感興趣螢幕大小之一顯示器上時感興趣三維視訊的樣子。用於不同於圖8中所解說之表格內該等者的螢幕大小之較佳組合可藉由(例如)內插來獲得。
呈現引導資料GD可進一步明白或暗示包含景深圖精度與景深圖解析度之一指示。一相對不精確景深圖DM較佳的係不同於在產生一偏移視點圖片時的一相對精確景深梯度來應用。例如，存在一相對較大機率，即在基於一相對不精確景深圖來產生一偏移視點圖片。在此一情況下，像素將僅偏移一相對較小數量，以便確保任何失真係相對較弱。因此，可在一三維呈現呈現中有利地使用景深圖精度與景深圖解析度之一指示。亦可在指定最大視差偏移Pmax的如圖7中所解說之表格的一表格內原樣嵌入此一指示。
一景深圖可能在(例如)僅基於存在於一二維圖片內之資訊來估計景深指示值之情況下相對不精確。一機器或一人或兩者之一組合可能基於(例如)在相關圖片中關於物體的一先驗知識，特別針對其各別典型大小來產生此一估計景深圖。一般大小相對較大，但在圖片中似乎相對較小的一物體係可能較遠。藉由此類估計技術添加景深至一圖片可與添加色彩至一黑及白圖片相比。一景深指示值可能或可能不足夠近似本來已獲得之值，已基於(例如)距離測量或一立體圖片對之分析來使用一精確景深圖產生技術。
圖9解說一三維視訊補充系統XSY，其可產生呈現引導資料GD。三維視訊補充系統XSY可進一步將呈現引導資料GD添加至通用三維視訊信號VS以便獲得補充通用三維視訊信號SVS。三維視訊補充系統XSY包含一呈現引導處理器RGP、一顯示器件DPL及一操作者介面OIF。三維視訊補充系統XSY進一步包含儲存媒體STM，其中儲存一通用三維視訊信號VS，如圖1中所解說。
呈現引導處理器RGP可能包含(例如)一指令執行裝置與一程式記憶體。顯示裝置DPL在顯示器件DPL可模擬各種類顯示裝置，其可能在(例如)螢幕大小方面不同的意義上較佳的係通用。或者，各種不同類型顯示裝置可結合圖5中所解說之三維視訊補充系統XSY來使用。操作者介面OIF可能包含(例如)一鍵盤、一觸控板、一滑鼠或一軌跡球、各種旋鈕或該等者之任一組合。
圖10解說一系列步驟S1至S7之一範例，呈現引導處理器RGP可實行該等步驟用於產生呈現引導資料GD之目的。圖10可視為一指令集之一流程圖表示，該指令集可載入至前述程序記憶體，以便使該參考引導處理器能夠實行下文參考圖10所說明之各種操作。
在步驟S1中，呈現引導處理器RGP提示一系統操作者選擇通用三維視訊信號VS(SEL_VS)之一特定部分，需要時，該系統操作者可整體選擇通用三維視訊信號VS。所選擇的特定部分可對應於一特定場景，諸如圖1中所解說之場景SCN。如上文所解釋，可認為最佳用於一場景的一三維呈現可能非最佳用於另一場景。逐個場景評估並調整一三維呈現可能因此較有利。
在步驟S2中，呈現引導處理器RGP亦可提示系統操作者指定指示景深圖精度與景深圖解析度的資料(DM_PRC=？)。或者，呈現引導處理器RGP亦可包含一偵測模組用於自動偵測景深圖精度與景深圖解析度。如上文所解釋，可使用景深圖精度與景深圖解析度之一指示以利於一三維呈現程序。亦可將此一指示考量在內用於產生呈現引導資料GD。例如，圖6中所解說之最大視差偏移Pmax可在景深圖精度相對較低或景深圖解析度相對較低或兩者之情況下設定至更低值。
在步驟S3中，呈現引導處理器RGP提示該系統操作者指定一呈現背景(RND_CXT=？)。該呈現背景可根據(例如)一螢幕大小、一典型檢視者距離以及其他呈現相關參數來表達。該螢幕大小可對應於圖10中所解說之顯示裝置DPL之螢幕大小或可對應於如上文所述顯示裝置DPL可模擬的另一螢幕大小。
在步驟S4中，呈現引導處理器RGP提示該系統操作者指定一立體強度且視需要一立體模式(STS=？)。該立體強度可採取在0與10之間一範圍內的一整數值之形式。整數值0可對應於一純二維表示，其暗示任一景深效果之不存在。整數值10可對應於最大立體強度，其提供最高程度的景深印象。整數值8可對應於(例如)一標準立體強度，其提供一預設程度的景深印象，該景深印象係與一場景之一忠實三維再現相關聯。該系統操作者可在以上所說明之立體模式A與B之間選取。立體模式可預定義為立體強度之一函數。在該情況下，呈現引導處理器RGP提示該系統操作者僅指定立體強度。
在步驟S5中，呈現引導處理器RGP提示該系統操作者指定一或多個參數集(SEL_PAR)，其可能潛在地形成呈現引導資料GD之部分。一參數集可選自一功能表，或可以一自訂方式來指定。該指定參數集係關於基於存在於通用三維視訊信號VS內的一左圖片及專用於此左圖片的景深圖來產生一偏移視點圖片。該等參數係一般視差相關，如圖6、7及8中所解說，並可修改一景深印象。在相關場景內的一特定物體可在呈現通用三維視訊信號VS中將該參數集考量在內時表現地更靠近或進一步遠離。
在步驟S6中，呈現引導處理器RGP引起顯示裝置DPL顯示該系統操作者依據該呈現背景與該系統操作者已定義的立體強度所已選擇的通用三維視訊之部分(DPL_VS_SEL)。即，對於在相關部分內的各通用三維圖片，呈現引導處理器RGP分別取決於該立體模式係A或B來產生圖3或4中所解說的一呈現左圖片LR與一呈現右圖片RR。在如此做中，該呈現處理器將該系統操作者已指定的該等參數集考量在內。此構成該通用三維視訊有關之部分之一特定呈現。該系統操作者可能因而評估此特定呈現是否令人滿意。
在步驟S7中，該呈現處理器決定是否應將已依據其實行該呈現的該等參數集包括於呈現引導資料GD內(PAR→GD？)。呈現引導處理器RGP可以許多不同方式來如此做。例如，在一基本方案中，呈現引導處理器RGP可提示該系統操作者指示該呈現是否令人滿意。在該系統操作者指示該呈現令人滿意的情況下，該呈現處理器可包括在呈現引導資料GD中相關的該等參數集。此外，出於為另一呈現背景決定適當參數集之目的，該呈現處理器可隨後實行步驟S3及其隨後步驟。
在一更複雜方案中，呈現引導處理器RGP可能請求該系統操作者為相關的特定呈現指定一滿意程度。該滿意程度可能採取一分數之形式。在此方案中，呈現引導處理器RGP可實行步驟S5至S7數次，每次用於不同參數集。據此，為各別不同參數集獲得各別分數。在所有感興趣參數集已給予一分數之情況下，呈現引導處理器RGP可選擇具有最高分數的一參數集或該等參數集，無論哪個適用。該些選定參數集其可包括於呈現引導資料GD內。出於為另一呈現背景決定適當參數集之目的，該呈現處理器可隨後實行步驟S3及其隨後步驟。
據此，呈現引導處理器RGP可藉由實行圖10中所解說之步驟S1至S7之系列來決定圖6、7及8中所解說之該等參數集之任一者或該等者之任一組合。呈現引導處理器RGP可從該系統操作者接管某些任務或決策。即，可能存在比上文參考圖10之說明中一更高的自動化程度，該說明係僅藉由範例方式來給出。而且，該系統操作者所作出之一或多個決策可能代替由表示典型檢視者之一面板來作出。在此一情況下，呈現引導處理器RGP可能具備(例如)一多數投票模組，其決定多數面板成員是否發現相關呈現令人滿意，或可能具備一平均分數模組，其決定一平均數或由面板成員給出。
一旦如上文所說明或以其他方式已獲得圖5中所解說之補充通用三維視訊信號SVS，便可向終端使用者分佈並銷售或許可補充通用三維視訊信號SVS。存在許多這樣做的不同方式。例如，補充通用三維視訊信號SVS可藉由網路來廣播，該網路可能係無線或有線或該等之一組合。作為另一範例，補充通用三維視訊信號SVS可上傳至一伺服器，從該伺服器終端使用者可下載補充通用三維視訊信號SVS。作為又另一範例，可產生大量儲存媒體，其上記錄補充通用三維視訊信號SVS。在該等前述範例之任一者中，補充通用三維視訊信號SVS較佳的係出於資料壓縮與錯誤回復之目的而編碼。
圖11解說一視訊呈現系統RSY，其可能安裝於一終端使用者之家裡。視訊呈現系統RSY包含一立體型顯示裝置DPL，其可能要求一檢視者佩戴一對鏡片。一左眼鏡片將一呈現的左圖片LR或確切而言其一序列傳遞至左眼。一右眼鏡片將一呈現的右圖片RR或確切而言其一序列傳遞至右眼。為此目的，顯示裝置DPL可交替顯示呈現的左圖片與呈現的右圖片。在顯示一呈現的左圖片LR時使左眼鏡片透明，且否則不透明。類似地，在顯示一呈現的右圖片RR時使右眼鏡片透明，且否則不透明。作為另一範例，顯示裝置DPL可使用一給定偏光來顯示該等呈現的左圖片並使用一相反偏光來顯示該等呈現的右圖片。該左眼鏡片與該右眼鏡片可接著具有對應的相反偏光。
視訊呈現系統RSY進一步包含各種功能實體：一儲存媒體播放器PLY、一解碼器DEC、一解多工器DMX、一偏移視點圖片產生器SHG、一選擇器SEL、一控制器CTRL及一使用者介面UIF。所有前述功能實體可形成(例如)一家庭影院裝置之部分。解碼器DEC、解多工器DMX、偏移視點圖片產生器SHG及選擇器SEL可藉由一指令執行裝置與一程序記憶體來實施。在此一實施方案中，載入至該程序記憶體內的一指令集可能引起該指令執行裝置實行對應於一或多個功能實體的操作，下文將更詳細地說明該等功能實體。控制器CTRL與使用者介面UIF可能以此方式亦至少部分地實施且而且共享與前述功能實體相同的指令執行裝置。
視訊呈現系統RSY基本上操作如下。假定儲存媒體播放器PLY讀取一儲存媒體，其包含圖5中所解說之補充通用三維視訊信號SVS之一編碼版本CV。解碼器DEC接收此編碼版本CV並作為回應，提供補充通用三維視訊信號SVS。解多工器DMX有效地提取並分離此信號內包含之各種分量。呈現引導資料GD係控制器CTRL所接收之一此類分量。偏移視點圖片產生器SHG接收在一通用三維圖片內所包含的各種其他分量：一左圖片LP、一景深圖DM及一背景圖片BG。偏移視點圖片產生器SHG可進一步接收一阿爾法圖，其可能包含於該通用三維圖片內。一右圖片RP係直接應用於選擇器SEL。
控制器CTRL基於可能預先儲存於視訊呈現系統RSY內的呈現引導資料GD與呈現背景資料來決定一偏移視點產生參數GP集與一選擇器控制信號SC。該呈現背景資料根據(例如)顯示裝置DPL之螢幕大小與典型檢視距離來定義一呈現背景。控制器CTRL可進一步將一所需立體強度STD(若存在的話)考量在內用於決定該偏移畫面產生參數集之目的。檢視者可藉由使用者介面UIF來決定所需立體強度STD。在檢視者不定義任何所需立體強度STD之情況下，控制器CTRL可基於一預設立體強度來操作。該偏移視點產生參數GP集可包含(例如)將應用於圖10中所解說之視訊呈現系統RSY的呈現背景考量在內基於圖6、7及8中所解說之表格之任一者所建立的參數。
偏移視點圖片產生器SHG依據該偏移視點產生參數GP集基於左圖片LP、景深圖DM及背景圖片BG來產生一偏移視點圖片LP+/-S。偏移視點圖片產生器SHG可有利地利用一阿爾法圖，若專用於左圖片LP之此一圖係可用的話。偏移視點圖片產生器SHG在分別在圖3及4中所解說之立體模式A或立體模式B下操作。該等偏移視點產生參數GP定義一偏移程度，其可能在右邊或左邊，如圖3及4中所解說。
選擇器控制信號SC表達適用的立體模式。在立體模式A適用之情況下，選擇器控制信號SC引起選擇器SEL選擇偏移視點圖片LP+/-S以構成一呈現的左圖片LR。選擇器SEL選擇右圖片RP以在該情況下構成一呈現的右圖片RR。反之，在立體模式B適用之情況下，選擇器控制信號SC引起選擇器SEL選擇偏移視點圖片LP+/-S以構成呈現的右圖片RR。選擇器SEL選擇左圖片LP以在該情況下構成呈現的左圖片LR。在任一情況下，顯示裝置DPL基於呈現的左圖片LR與呈現的右圖片RR來提供一三維呈現。
圖12解說一替代性視訊呈現系統ARSY或確切而言其一部分。替代性視訊呈現系統ARSY包含一自動立體型顯示裝置ADPL，其不要求一檢視者佩戴一對鏡片。此一顯示裝置一般顯示一不同畫面MVS集，其中各畫面係在一特定方向上原樣播送。據此，顯示裝置ADPL將不同畫面投射至左眼與右眼，從而引起一檢視者體驗一景深效果。
替代性視訊呈現系統ARSY包含一多畫面產生器MVG，其接收與圖11中所解說之偏移視點圖片產生器SHG相同的分量：一左圖片LP、一景深圖DM及一背景圖片BG。該些分量可由類似於亦在圖11中所解說之儲存媒體播放器PLY、解碼器DEC及解多工器DMX的功能實體來提供。多畫面產生器MVG可進一步接收明確專用於左畫面LP的一阿爾法圖。
多畫面產生器MVG產生該不同畫面MVS集，其係顯示於自動立體型顯示裝置DPL上。實際上，多畫面產生器MVG可視為包含多個偏移視點圖片產生器，其中各可類似於圖11中所解說之偏移視點圖片產生器SHG。該些各別視點圖片產生器產生各別偏移視點圖片，其從不同各別視點表示場景。即，在類似於圖3及4之一圖式中，各各別偏移視點圖片在水平軸上具有一特定位置。應注意，多畫面產生器MVG完全不必利用與左圖片LP相關聯的右圖片RP。即，存在於補充通用三維視訊信號SVS內的右圖片不必用於三維呈現之目的。
以上說明一三維格式，其組合立體與所謂的影像+景深格式之優點。下面具體實施例詳盡說明實際上可如何實施此類立體+景深格式以與現有及未來藍光播放器兩者一起使用。基本理念係使用景深分量(及視需要另外資訊，諸如遮蔽資料)(以下亦稱為「D」)之空間及時間次取樣並將以一2:2:1 LRD圖框速率比其格式化成包含立體與景深兩者的一三維視訊信號。
本發明之一特別有利具體實施例係旨在利用視訊信號之一更低解析度表示，以便產生一立體加景深信號，其在最初立體信號之頻寬要求內擬合。基本理念係利用一常規1280*720＠60Hz視訊串流以便編碼一1920*1080＠24Hz立體(LR)加景深(D)信號。
藉由另外利用2:1、2:2:1交錯額外圖框插入物，其可含有多個時間實例之各種分量(諸如景深分量或透明度分量)，可實現(例如)Dt=1且Dt=2。
如更早所提出之LRD格式一般要求更多比在藍光播放器中目前可用者更多的(解碼)資源。並且此類藍光播放器缺乏用於立體信號與景深信號之額外介面埠。
亦應注意，目前使用的棋盤立體圖案具有數個缺點，由於其不能夠使用典型立體顯示，且三維感知係高度螢幕大小相依。
並且由於該棋盤圖案之性質，該等位元率要求係相對較高(所需位元率至少兩倍於要求用於1080p，24Hz單像視訊之位元率)。
提出藉由一起使用一1280*720p時間交錯格式與L'R'D'圖框來克服解碼資源與介面問題兩者，其中：
-　L'=空間次取樣左影像(1920*1080→1280*720)，
-　R'=空間次取樣右影像(1920*1080→1280*720)及
-　D'=空間景深。
一般而言，儘管非強制性，但D'包含時間與空間景深、遮蔽紋理、遮蔽景深及透明度資訊。D'係使用一因數2來時間次取樣，此意味著L'+R'+D'=24+24+12Hz=60Hz。
一般而言，一藍光播放器可解碼一視訊信號，諸如使用MPEG編碼的一720p影像串流。而且，一720p影像信號係在已知介面(如HDMI/CEA)上的一支援視訊格式。所提出的空間及時間次取樣及交錯L、R及D成一1280*720＠60Hz L'R'D'串流允許在每一現有BD播放器上實施本發明。
圖13示範用於現有單像BD播放器解碼以及介面(IF)輸出量(單位百萬像素/秒)之要求。不需要對現有播放器進行特殊修改以便支援以上L'R'D'編碼。應注意，在圖13中，該等D圖框包含景深資訊(D)、透明度資訊(T)、背景紋理(BG)及背景景深(BD)。唯一剩餘的問題係解決同步化問題。
可在如圖14中所描述來編碼該串流之情況下解決同步化問題。此處顯示該等L、R及D圖框係交錯以便獲得一重複L、R、D、L、R圖框序列。而且，圖14顯示編碼該等影像之一較佳方式。HDMI標準具有一選項以在該等所謂的資訊圖框內指示存在於介面上的影像係一最初編碼圖框，且明確而言存在I、P及B指示符。此外，需要傳訊L'R'D'編碼至監視器或顯示器，指示在介面上的信號並非一常規單像720p信號，而是依據本發明之一3D-720p信號。此點可能需要在HDMI/CEA中標準化，但如此介面規格提供充裕的空間來指示此點。
由於以上L'R'D'信號具有一常規720p 60Hz單像信號之所有屬性，其可藉由藍光播放器來解碼並亦可輸出至其HDMI輸出介面。
如以上所指示，D'分量之內容係一般不限於景深而亦可包含背景紋理(BG)、透明度(T)及額外元資料資訊。元資料可以係用以改良三維感知品質的額外影像資訊，而且亦係內容相關資訊(例如傳訊等)。
典型分量係D((前景)景深)、BG(背景紋理)、BD(背景景深)及T(透明度圖)。原則上使用所提出的格式，該些分量可在12Hz下而非在24Hz下可用。其可使用已知或新型向上取樣演算法來加以時間向上取樣。但是，對於某些應用，不要求向上取樣。例如，當在視訊頂部上複合圖形(子標題、OSD等)時，較有用的係使景深資訊可用使得可在正確位置處複合圖形，該位置係在相對於景深的正確位置處。
以上可藉由具有不同(即交替)相位用於景深(D)與透明度(T)來加以實施，如圖17中所見。該圖顯示一1280×720圖框，其包含景深資訊D1與透明度資訊T2。圖框之分量D1係基於在時間實例T=1/24秒來自一1920×1080圖框的D1分量。1280×720圖框之分量T2係基於在時間T=2/24秒來自一另外1920×1080圖框的分量T2。
使D1及T2從不同時間實例可用的優點係其允許藉由利用來自相鄰時間實例之透明度來改良景深之時間重建，見圖17。
應注意，並非在D圖框內的所有分量係同等重要。此留下空間以略過一分量(始終或動態內容相依並使用某些旗標標記)，從而留下空間使另一分量在完整24Hz下。此概念係解說於圖18中，其中來自T=1/24及T=2/24之透明度資訊係在一單一1280×720圖框內組合。
因而，圖17指示其中所有分量係時間次取樣的範例，且圖18指示其中T(透明度)僅係空間而非時間(T1、T2)次取樣的解決方案。
新三維BD
並且對於一新待定義三維藍光播放器/規格，依據本發明之LRD型格式可變得相關。可能未來BD播放器系統之輸出量將由於相容性及成本原因為大約2*1080p＠30Hz(或2*1080i＠60Hz)。當應用以上LRD原理，即添加額外資訊時，要求一額外11%以上輸出量。此靠近2*1080p＠30Hz。將最大輸出量增加一11%更高值可取決於該等優點而可接受用於未來系統。
對於未來三維藍光播放器，品質係極其重要。實驗已顯示，特定言之空間次取樣，即使用一2:1因數水平並垂直次取樣景深及透明度分量兩者，可能過多降低品質(亦參見圖21)。用以改善此情形之一選項係基於正交濾波來應用所謂的梅花形次取樣，如圖21中所解說。例如，1920*1080像素可先垂直次取樣至1920*540，接著正交濾波並梅花形次取樣，此後吾人最終以960*540(梅花形)樣本結束。但是，該些樣本在水平方向上保存完整1920解析度。
另一方案將僅在垂直方向上次取樣以獲得景深及透明度。圖19顯示如何可使用一重複L、R、D、L、R、D、D'圖框序列來實施此點。在底部指示該等D圖框之內容，即後續D、D及D'圖框。在圖中的該等箭頭指示在該等圖框之編碼中所使用的預測方向。
在該等D圖框內，提供以1920*540像素之一解析度交替的景深(D1、D2、D3)與透明度(T1、T2)。同時，以960*540像素提供背景紋理(BG)與背景景深(BD)。
應注意，在此特定編碼方案中，該等D圖框與D'圖框具有不同的內容及速率。D'型圖框係以L與D之圖框率一半的圖框率來提供。該D'圖框可用以配置景深及透明度(此處為D2與T2)之丟失時間實例。請注意，該等分量(其某些)亦可加以梅花形(亦參見圖21)次取樣。
隨後，該等D'圖框係藉由連貫編碼LRD-LRDD'-LRD-LRDD'與在如圖19中GOP(圖片群組)編碼結構中所指示之LRD串流中的LRD資訊交錯。
圖19亦顯示如何可在L R D D'模式下藉由使用D1來預測D3並藉由使用D1與D3兩者來預測D2來有效率地壓縮景深資訊D與景深資訊D'。
圖15顯示用於編碼視訊以與三維藍光系統一起使用的選項之某些者。如吾人可從圖15所見，本發明實現編碼LRD(立體+景深)用於電影全HD與運動HD兩者。
最後，圖20顯示在選項1下本發明之一具體實施例，其中用於前述LRDD'模式之D圖框係交錯。圖20進一步顯示在選項2下本發明之一具體實施例，其中來自4個時間實例之資訊係正組合，而先前選項僅組合來自2個時間實例之資訊。在此後者具體實施例中，視訊信號之Y、U及V分量係用以載送不同資訊，例如在D2圖框內，U分量針對T=1載送背景景深而V分量針對T=2載送背景景深。該等個別分量Y、U及V係描述用於各別D圖框。
下面在交錯範例中描述此第二選項之各別D圖框之內容D1、D2、D3、D4、D5、D6。
在此具體實施例中，用於四個時間實例之背景紋理(BGl1、BGl2、BGl3、BGl4)係包裝在一圖框(用於4個時間實例)內，由此可更有效率地使用該等D圖框。此具體實施例有效充分利用一景深分量一般大小類似於該等UV分量所提供之大小的事實。此甚至允許2D或T之一者針對12Hz處於完全1920*1080分辨率處，其中其他時間實例係在1920*540處。如圖20中可見，甚至可能留下某些備用空間。
結論
上文參考該等圖式之詳細說明僅係本發明及在該等申請專利範圍內所定義的該等額外特徵之一解說。本發明可以許多不同方式來實施。為了解說此點，簡略指示某些替代方案。
本發明可有利地應用於關於三維視覺表示的許多類型產品或方法中。一三維視訊僅係一範例。本發明可同等地應用用於三維靜止圖片，即三維照片。
存在依據本發明提供一三維視訊圖片之許多方式。圖1解說包含一對相機RCAM、LCAM之一實施方案。在此範例中，該對相機捕捉真實圖片。在另一實施方案中，虛擬圖片對可藉由(例如)一適當程式化處理器來產生。一景深圖不必藉由一景深掃描器或一類似測量裝置來獲得。一景深圖可基於估計來建立，如上文在詳細說明中所述。關鍵係該景深圖係明確專用於在一對圖片內的一圖片，如此該對圖片構成一三維視訊表示。
一景深圖可能明確專用於一左圖片(如在上文詳細說明中)或一右圖片。即，在圖2中所解說之通用三維視訊信號VS之一不同版本內，景深圖DM可明確專用於右圖片RP。在此一變化方案中，從右圖片RP與明確專用於此圖片之景深圖DM來產生一偏移視點圖片。背景圖片BG將接著亦專用於右圖片RP。背景圖片BG可出於(例如)資料降低或頻寬降低之目的來省略。
存在提供呈現引導資料的許多不同方式。上文詳細說明參考圖10提供一範例。在此範例中，實行一系列步驟，其中某些步驟涉及與一系統操作者的一交互。該些交互之一或多個者可能由一自動決策來有效地替代。亦可以一完全自動方式來產生呈現引導資料。進一步應注意，圖10中所解說之步驟系列不必以其中顯示該些之次序來實行。而且，各種步驟可組合成一步驟，或可省略一步驟。
術語「圖片」應以一廣泛意義來理解。該術語包括允許視覺呈現(諸如)影像、圖框或場之視覺呈現的任何實體。
廣義上，存在藉由硬體或軟體或兩者之一組合來實施功能實體之許多方式。在此方面，該等圖式係極具概略性。儘管一圖式顯示不同功能實體作為不同組塊，但此絕不排除其中一單一實體實行數個功能或其中數個實體實行一單一功能之實施方案。例如，參考圖11，解碼器DEC、解多工器DMX、偏移視點圖片產生器SHG、選擇器SEL及控制器CTRL可藉由採取包含所有該些功能實體之一積體電路之形式的一適當程式化處理器或一專用處理器來實施。
存在儲存並分佈一指令集(即軟體)之許多方式，該指令集允許一可程式化電路依據本發明來操作。例如，軟體可儲存於一適當媒體內，諸如一光碟或一記憶體電路。其中儲存軟體的一媒體可作為一個別產品或與可能執行軟體之另一產品一起提供。此一媒體亦可能係使軟體能夠執行的一產品之部分。軟體亦可經由可能有線、無線或混合的通信網路來分佈。例如，軟體可經由網際網路來分佈。可藉由一伺服器使軟體可用於下載。下載可能受一支付影響。
本文所作之評註表明參考圖式之詳細說明解說而非限制本發明。存在許多落於隨附申請專利範圍之範疇內的替代方案。在一請求項中的任何參考符號不應係解釋為限制該請求項。詞語「包含」並不排除除在一請求項中所列之該等元件或步驟外的其他元件或步驟之存在。在一元件或步驟前的詞語「一」或「一個」並不排除複數個此類元件或步驟之存在。各別申請專利範圍附屬項定義各別額外特徵之純粹事實並不排除對應於申請專利範圍附屬項之一組合的額外特徵之一組合。
BG．．．背景圖片
CTRL．．．控制器
CV．．．編碼版本
DEC．．．解碼器
DM．．．景深圖
DMX．．．解多工器
DPL．．．顯示器件
DS．．．景深掃描器/景深圖提供器
GD．．．呈現引導資料
GSY．．．三維視訊產生系統
LCAM．．．左相機/圖片提供配置
LP．．．第一圖片
LP+S．．．左偏移視點圖片
LP-S．．．右偏移視點圖片
LR．．．圖片
MVG．．．多畫面產生器
OIF．．．操作者介面
PLY．．．儲存媒體播放器
RCAM．．．右相機/圖片提供配置
RGP．．．呈現引導處理器
RP．．．第二圖片
RPR．．．記錄處理器/景深圖提供器
RSY．．．視訊呈現系統
SCN．．．場景
SEL．．．選擇器
SHG．．．偏移視點圖片產生器
STM．．．儲存媒體
UIF．．．使用者介面
VPn-1,VPn,VPn+1,VPn+2．．．一通用三維圖片序列
XSY．．．三維視訊補充系統
圖1係解說一三維視訊產生系統之一方塊圖；
圖2係解說該三維視訊產生系統所提供之一通用三維視訊信號的一概念圖；
圖3係解說使用該通用三維視訊信號可行之一第一立體模式的一概念圖；
圖4係解說使用該通用三維視訊信號可行之一第二立體模式的一概念圖；
圖5係解說一補充通用三維視訊信號之一概念圖；
圖6係解說可包含於補充通用三維視訊信號內之呈現引導資料之一範例的一資料圖；
圖7係解說可包含於補充通用三維視訊信號內之呈現引導資料之另一範例的一資料圖；
圖8係解說可包含於補充通用三維視訊信號內之呈現引導資料之又另一範例的一資料圖；
圖9係解說能夠提供補充通用三維視訊信號之一三維視訊補充系統的一方塊圖；
圖10係解說可實行該三維視訊信號補充系統之一系列步驟的一流程圖；
圖11係解說允許基於通用三維視訊信號之一立體呈現之一視訊呈現系統的一方塊圖；
圖12係解說包含一自動立體顯示裝置之一替代性視訊呈現系統的一方塊圖；
圖13顯示針對30Hz漸進式或60Hz交錯式單像視訊用於BD播放器的一概述以及；
圖14顯示關於如可使用具有與要求用於一單像1080p 24Hz單信號大約相等位元率之AVC/H264或MVC來有效率編碼一L'R'D'信號的一範例；
圖15顯示用於新三維藍光應用之各種模式及選項；
圖16顯示(使用AVC/H264)位元率及記憶體效率共同編碼LRD(2:2:1圖框速率比)之一範例；
圖17顯示其中以12Hz編碼景深及透明度分量且其中景深及透明度係關於不同相位的一編碼範例；
圖18顯示具有混合12及24Hz景深分量之一編碼範例；
圖19顯示在LRDD'模式下的圖框交錯及壓縮，並顯示該等D及D'圖框之各別內容；
圖20顯示在LRDD'模式下圖框交錯及壓縮之一另外範例，並顯示該等D及D'圖框之各別內容；及
圖21顯示各種次取樣方法以便為景深及透明度建立空間。
BG．．．背景圖片
DM．．．景深圖
RP．．．第二圖片
LP．．．第一圖片
VPn-1,VPn,VPn+1,VPn+2．．．一通用三維圖片序列

Claims (15)

  1. 一種提供一三維圖片(picture)之方法，其包含：一圖片提供步驟，其中提供一對圖片(LP、RP)，其包含用於一檢視者之一眼睛的一第一圖片(LP)及用於該檢視者之另一眼睛的一第二圖片(RP)；以及一景深圖提供步驟，其中提供明確專用於該第一圖片之一景深圖(DM)，該景深圖包含景深指示值，一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離，其中該方法包含：一呈現引導(rendering guidance)資料提供步驟，其中於一遞送該三維圖片之信號中提供呈現引導資料(GD)，該呈現引導資料針對具有不同螢幕大小與檢視距離之不同呈現背景(rendering contexts)指定各別不同參數，藉此該等各別不同參數係於針對該等不同螢幕大小與檢視距離而自該第一圖片(LP)與明確專用於該第一圖片的該景深圖(DM)產生一偏移視點圖片(LP+/-S)時定義偏差(deviations)。
  2. 如請求項1之方法，該呈現引導資料提供步驟包含一子步驟，其中：第一參數係定義用於一第一立體模式(A)，其中從該第一圖片(LP)與該景深圖(DM)所產生的一偏移視點圖片(LP+/-S)構成一呈現的第一圖片(LR)，且其中該第二圖 片(RP)構成一呈現的第二圖片(RR)；以及第二參數係定義用於一第二立體模式(B)，其中該第一圖片(LP)構成一呈現的第一圖片(LR)且其中從該第一圖片(LP)與該景深圖(DM)所產生的一偏移視點圖片(LP+/-S)構成一呈現的第二圖片(RR)。
  3. 如請求項2之方法，該呈現引導資料提供步驟包含一子步驟，其中該等各別參數集(Pmax)具備其中該第一立體模式(A)將適用之一第一立體強度範圍(10-6)與其中該第二立體模式(B)將適用之一第二立體強度範圍(5-0)的一定義。
  4. 如請求項1之方法，該呈現引導資料(GD)針對各別景深指示值(DV)定義各別最大視差偏移值(Pmax)。
  5. 如請求項1之方法，該呈現引導資料(GD)針對該等各別螢幕大小(SZ)定義各別視差偏移值(Poff)。
  6. 如請求項1之方法，該呈現引導資料(GD)包含景深圖精度之一指示。
  7. 如請求項1之方法，其包含：一背景圖片提供步驟，其中提供明確專用於該第一圖片(LP)的一背景圖片(BG)。
  8. 如請求項7之方法，其包含：一阿爾法圖(alpha-map)提供步驟，其中提供明確專用於該第一圖片(LP)的一阿爾法圖，該阿爾法圖在可從該左圖片、該景深圖(DM)及該背景圖片(BG)產生之一偏移視點圖片中定義逐漸轉變(gradual transitions)。
  9. 一種三維圖片提供系統，其包含：一圖片提供配置(LCAM、RCAM)，其用於提供一對圖片(LP、RP)，該對圖片包含用於一檢視者之一眼睛的一第一圖片(LP)及用於該檢視者之另一眼睛的一第二圖片(RP)；以及一景深圖提供器(DS、RPR)，其用於提供明確專用於該第一圖片(LP)之一景深圖(DM)，該景深圖包含景深指示值，一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少部分表示的一物體與該檢視者之間的一距離，其中該系統包含：用於在一遞送該三維圖片之信號中提供呈現引導資料(GD)之構件，該呈現引導資料針對具有不同螢幕大小與檢視距離之不同呈現背景指定各別不同參數，藉此該等各別不同參數係於針對該等不同螢幕大小與檢視距離而自該第一圖片(LP)與明確專用於該第一圖片的該景深圖(DM)產生一偏移視點圖片(LP+/-S)時定義偏差。
  10. 一種遞送一三維圖片之信號，其包含：一對圖片，其包含用於一檢視者之一眼睛的一第一圖片(LP)及用於該檢視者之另一眼睛的一第二圖片(RP)；以及一景深圖(DM)，其係明確專用於該第一圖片(LP)，該景深圖包含景深指示值，一景深指示值係關於該第一圖片之一特定部分並指示在由該第一圖片之該部分所至少 部分表示的一物體與該檢視者之間的一距離，其中該信號包含：呈現引導資料，該呈現引導資料針對具有不同螢幕大小與檢視距離之不同呈現背景指定各別不同參數，藉此該等各別不同參數係於針對該等不同螢幕大小與檢視距離而自該第一圖片(LP)與明確專用於該第一圖片的該景深圖(DM)產生一偏移視點圖片(LP+/-S)時定義偏差。
  11. 一種儲存媒體，其包含如請求項10之信號。
  12. 一種基於如請求項10之一信號來呈現一三維圖片之方法，該方法包含：一偏移視點圖片產生步驟，其中一偏移視點圖片(LP+/-S)係從該第一圖片(LP)與明確專用於該第一圖片的該景深圖(DM)來產生，其中該方法包含：一呈現步驟，其用於針對具有一各別螢幕大小與檢視距離之一各別呈現背景使用選擇自針對來自該呈現引導資料(GD)之該等不同螢幕大小與檢視距離之該等各別不同參數之各別參數而呈現該三維圖片。
  13. 如請求項12之方法，其中該呈現步驟係依據兩個立體模式之至少一者來呈現該三維圖片：一第一立體模式(A)，其中該偏移視點圖片(LP+/-S)構成一呈現的第一圖片(LR)且其中包含於該信號內的該第二圖片(RP)構成一呈現的第二圖片(RR)；以及一第二立體模式(B)，其中包含於該信號內的該第一 圖片(LP)構成該呈現的第一圖片(LR)且其中該偏移視點圖片(LP+/-S)構成該呈現的第二圖片(RR)。
  14. 一種用於基於如請求項10之信號來呈現一三維圖片之三維圖片呈現系統，該系統包含：一偏移視點圖片產生器(SHG)，其用於從該第一圖片(LP)與明確專用於該第一圖片的該景深圖(DM)來產生一偏移視點圖片(LP+/-S)，其中該系統包含：一選擇器(SEL)，其用於針對具有一各別螢幕大小與檢視距離之一各別呈現背景使用選擇自針對來自該呈現引導資料(GD)之該等不同螢幕大小與檢視距離之該等各別不同參數之各別參數而呈現該三維圖片。
  15. 一種非暫態電腦可讀取媒體，其包含電腦指令，當該等電腦指令由一處理器執行時將組態該處理器以執行如請求項1至8中任一項或請求項12之方法。
TW098125142A 2008-07-24 2009-07-24 通用的三維圖片格式 TWI573434B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08305420 2008-07-24
EP08169821 2008-11-24

Publications (2)

Publication Number Publication Date
TW201010409A TW201010409A (en) 2010-03-01
TWI573434B true TWI573434B (zh) 2017-03-01

Family

ID=41066194

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098125142A TWI573434B (zh) 2008-07-24 2009-07-24 通用的三維圖片格式

Country Status (10)

Country Link
US (2) US9432651B2 (zh)
EP (2) EP3101894B1 (zh)
JP (1) JP5567562B2 (zh)
KR (1) KR101749893B1 (zh)
CN (2) CN106101682B (zh)
BR (1) BRPI0911016B1 (zh)
MY (1) MY155378A (zh)
RU (1) RU2519057C2 (zh)
TW (1) TWI573434B (zh)
WO (1) WO2010010521A2 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461171A (zh) 2009-05-01 2012-05-16 汤姆森特许公司 三维视频的参考画面列表
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
KR20110005205A (ko) * 2009-07-09 2011-01-17 삼성전자주식회사 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
KR20130095275A (ko) 2010-08-09 2013-08-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 인코더, 디코더, 비트-스트림, 다중-뷰 신호의 두 개의 뷰들에 대응하는 이미지 쌍을 인코딩하는 방법, 및 디코딩하는 방법
WO2012036902A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
JPWO2012070500A1 (ja) * 2010-11-22 2014-05-19 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
EP2647209B1 (en) * 2010-12-03 2017-11-01 Koninklijke Philips N.V. Transferring of 3d image data
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
CN103095978A (zh) * 2011-11-03 2013-05-08 华晶科技股份有限公司 产生背景模糊的影像处理方法及其影像撷取装置
KR20130094905A (ko) * 2012-02-17 2013-08-27 삼성전자주식회사 디스플레이장치 및 그 입체감 조정방법
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
JP2014016383A (ja) * 2012-07-05 2014-01-30 Toshiba Corp 画像処理装置および画像表示装置
KR102058606B1 (ko) 2012-07-19 2019-12-23 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
RU2013102854A (ru) 2013-01-30 2014-08-10 ЭлЭсАй Корпорейшн Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
WO2014165744A1 (en) * 2013-04-05 2014-10-09 Koninklijke Philips N.V. Re-targeting a three-dimensional image signal
RU2556451C2 (ru) * 2013-06-06 2015-07-10 Общество с ограниченной ответственностью "Триаксес Вижн" СПОСОБ КОМПОНОВКИ ФОРМАТА ЦИФРОВОГО СТЕРЕОСКОПИЧЕСКОГО ВИДЕОПОТОКА 3DD Tile Format
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
TWI503788B (zh) * 2013-10-02 2015-10-11 Jar Ferr Yang 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
MX362021B (es) 2014-10-08 2019-01-04 Lg Electronics Inc Metodo de codificacion de imagen de profundidad y dispositivo en codificacion de video.
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US11218682B2 (en) * 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
CA2977113A1 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
CN105913499A (zh) * 2016-04-12 2016-08-31 郭栋 一种立体转制合成的方法及系统
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
CN110506419B (zh) 2017-02-03 2021-12-28 华纳兄弟娱乐公司 在虚拟现实中渲染扩展视频
US10671881B2 (en) 2017-04-11 2020-06-02 Microsoft Technology Licensing, Llc Image processing system with discriminative control
RU2691884C1 (ru) * 2018-01-16 2019-06-18 Общество с ограниченной ответственностью "Авиаинформатика" Телевизионное устройство для формирования стереоскопического изображения
KR102638565B1 (ko) * 2018-01-25 2024-02-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
US11190748B1 (en) * 2020-11-20 2021-11-30 Rockwell Collins, Inc. Dynamic parallax correction for visual sensor fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278736B1 (en) * 1996-05-24 2001-08-21 U.S. Philips Corporation Motion estimation
US20050190180A1 (en) * 2004-02-27 2005-09-01 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US6961443B2 (en) * 2000-06-15 2005-11-01 Automotive Systems Laboratory, Inc. Occupant sensor
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8626527D0 (en) 1986-11-06 1986-12-10 British Broadcasting Corp 3d video transmission
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JPH0946729A (ja) * 1995-08-01 1997-02-14 Olympus Optical Co Ltd 立体撮像装置
US6137912A (en) * 1998-08-19 2000-10-24 Physical Optics Corporation Method of multichannel data compression
RU2003110175A (ru) 2000-09-14 2004-08-27 Орэси Корп. (Us) Способ преобразования двумерного изображения в трехмерное изображение
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
CN1419680A (zh) 2001-01-26 2003-05-21 皇家菲利浦电子有限公司 时空滤波器单元以及包括这种时空滤波器单元的图像显示设备
CN1261912C (zh) 2001-11-27 2006-06-28 三星电子株式会社 基于深度图像表示三维物体的装置和方法
EP2357836B1 (en) 2002-03-27 2015-05-13 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
EP1408703A3 (en) * 2002-10-10 2004-10-13 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
JP2004153808A (ja) * 2002-10-10 2004-05-27 Fuji Photo Optical Co Ltd 立体電子映像装置
JP3971691B2 (ja) * 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
US20060203085A1 (en) 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
EP1578142B1 (en) 2002-12-16 2014-10-08 Sanyo Electric Co., Ltd. Stereoscopic video creating device and stereoscopic video distributing method
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
US20050041736A1 (en) * 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
CA2557533A1 (en) 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital coding 3d stereoscopic video images
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100707206B1 (ko) 2005-04-11 2007-04-13 삼성전자주식회사 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
WO2006137000A1 (en) * 2005-06-23 2006-12-28 Koninklijke Philips Electronics N.V. Combined exchange of image and related data
WO2007006051A2 (en) 2005-07-06 2007-01-11 Mediapod Llc System and method for capturing visual data
US8369406B2 (en) 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR100667810B1 (ko) 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
WO2007057497A1 (en) * 2005-11-17 2007-05-24 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
RU2306678C1 (ru) * 2006-02-07 2007-09-20 Василий Александрович ЕЖОВ Автостереоскопический дисплей с квазинепрерывным спектром ракурсов
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
JP4751801B2 (ja) * 2006-10-17 2011-08-17 シャープ株式会社 立体画像検索装置
US8335403B2 (en) 2006-11-27 2012-12-18 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution
JP2008141666A (ja) 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN102027752B (zh) * 2008-05-12 2016-02-17 汤姆森特许公司 用于测量立体运动画面的潜在眼睛疲劳的系统和方法
US9973739B2 (en) * 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278736B1 (en) * 1996-05-24 2001-08-21 U.S. Philips Corporation Motion estimation
US6961443B2 (en) * 2000-06-15 2005-11-01 Automotive Systems Laboratory, Inc. Occupant sensor
US20050190180A1 (en) * 2004-02-27 2005-09-01 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P. Kauff , N. Atzpadin, C. Fehn, M. Müller, O. Schreer, A. Smolic, R. Tanger, "Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability," Signal Processing: Image Communication, Volume 22, Issue 2, February 2007, Pages 217–234 *

Also Published As

Publication number Publication date
KR101749893B1 (ko) 2017-06-22
US9432651B2 (en) 2016-08-30
US20160344995A1 (en) 2016-11-24
JP2011529287A (ja) 2011-12-01
WO2010010521A2 (en) 2010-01-28
MY155378A (en) 2015-10-15
EP2308241A2 (en) 2011-04-13
EP3101894A1 (en) 2016-12-07
BRPI0911016B1 (pt) 2021-01-05
JP5567562B2 (ja) 2014-08-06
TW201010409A (en) 2010-03-01
EP2308241B1 (en) 2017-04-12
CN106101682B (zh) 2019-02-22
WO2010010521A3 (en) 2010-03-18
KR20110045013A (ko) 2011-05-03
US20110122131A1 (en) 2011-05-26
BRPI0911016A2 (pt) 2016-06-07
CN106101682A (zh) 2016-11-09
EP3101894B1 (en) 2021-06-23
RU2519057C2 (ru) 2014-06-10
RU2011106470A (ru) 2012-08-27
US10567728B2 (en) 2020-02-18
CN102106152A (zh) 2011-06-22

Similar Documents

Publication Publication Date Title
TWI573434B (zh) 通用的三維圖片格式
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
KR101651442B1 (ko) 이미지 기반 ３ｄ 비디오 포맷
JP5553310B2 (ja) 立体的なレンダリングのための画像エンコード方法
US20110298795A1 (en) Transferring of 3d viewer metadata
US20110069153A1 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
BRPI0911014B1 (pt) Método de criação de um sinal de imagem tridimensional para renderização em um display, dispositivo para criação de um sinal de imagem tridimensional para renderização em um display, método de processamento de um sinal de imagem tridimensional e dispositivo para processamento de um sinal de imagem tridimensional
JP2014515569A (ja) 両眼視画像の両眼視用および単眼視用の同時表示を可能にするための該両眼視画像の自動変換
RU2632404C2 (ru) Данные сигнализации глубины
US20140078255A1 (en) Reproduction device, reproduction method, and program
Doyen et al. 3D intensity adjustment of a stereo content to improve Quality Of Experience
Vázquez et al. A non-conventional approach to the conversion of 2D video and film content to stereoscopic 3D
Bolio et al. Integration of 3D video into the Blu-ray format
Vetro 3D in the Home: Mass Market or Niche?