TWI503788B - 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統 - Google Patents

還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統 Download PDF

Info

Publication number
TWI503788B
TWI503788B TW102135708A TW102135708A TWI503788B TW I503788 B TWI503788 B TW I503788B TW 102135708 A TW102135708 A TW 102135708A TW 102135708 A TW102135708 A TW 102135708A TW I503788 B TWI503788 B TW I503788B
Authority
TW
Taiwan
Prior art keywords
pixel
field frame
depth
original depth
pixels
Prior art date
Application number
TW102135708A
Other languages
English (en)
Other versions
TW201514923A (zh
Inventor
Jar Ferr Yang
Hung Ming Wang
Hsi Chun Tseng
Original Assignee
Jar Ferr Yang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jar Ferr Yang filed Critical Jar Ferr Yang
Priority to TW102135708A priority Critical patent/TWI503788B/zh
Priority to KR1020140130339A priority patent/KR101652583B1/ko
Priority to CN201410519413.0A priority patent/CN104519336B/zh
Priority to EP14187468.5A priority patent/EP2858361A1/en
Priority to JP2014203551A priority patent/JP6283297B2/ja
Priority to US14/504,936 priority patent/US9529825B2/en
Publication of TW201514923A publication Critical patent/TW201514923A/zh
Application granted granted Critical
Publication of TWI503788B publication Critical patent/TWI503788B/zh
Priority to KR1020160106694A priority patent/KR101684834B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Description

還原尺寸重調景深圖框為原始景深圖框的方法、裝置及系統
本發明係關於一種還原一尺寸重調景深圖框(resized depth frame)為一原始景深圖框(original depth frame)的方法、裝置及系統。
由於科技的進步，現今電子產品的發展，莫不以提升產品的性能及品質為優先考量。其中，有關顯示裝置的設置，除了提供使用者更清晰、更舒適的顯示畫面之外，各家廠商不斷推出一種三維(three-dimension,3D)的顯示裝置，以提供使用者另一種不同的視覺感受。
以現階段而言，一種3D影像生成系統係透過由原始的2D影像資料，即彩色圖框(color frame)產生與該彩色圖框對應的一景深圖框(depth frame)，並透過現有的傳輸設備將彩色圖框與景深圖框傳送至使用者的3D顯示裝置。當3D顯示裝置接收到彩色圖框與景深圖框之後可進行還原，以得到可供任何裸眼3D顯示裝置使用之二個以上的多視角影像，或是眼鏡式3D顯示裝置之一左眼影像及一右眼影像。
本發明的目的為提供一種還原尺寸重調景深圖框為原始景深圖框的方法、裝置及系統，此方法、裝置及系統與習知不同，並可應用於3D影像還原系統。
為達上述目的，依據本發明之一種還原尺寸重調景深圖框為原始景深圖框的方法包括取得尺寸重調景深圖框之一畫素的一第一次畫素值；將第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內；取得尺寸重調景深圖框之畫素的一第二次畫素值；以及將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。
為達上述目的，依據本發明之一種還原尺寸重調景深圖框為原始景深圖框的裝置包括一畫素取得單元以及一畫素存入單元。畫素取得單元取得尺寸重調景深圖框之一畫素的至少一第一次畫素值及一第二次畫素值。畫素存入單元將第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內，並將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。
為達上述目的，依據本發明之一種還原尺寸重調景深圖框為原始景深圖框的系統包括一記憶單元以及一處理單元。記憶單元儲存尺寸重調景深圖框。處理單元取得尺寸重調景深圖框之一畫素的至少一第一次畫素值及一第二次畫素值，並將第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內，且將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。
在一實施例中，尺寸重調景深圖框之各畫素的次畫素的數量為三個，且儲存第一次畫素值係將第一次畫素值儲存於原始景深圖框之第一畫素的三個次畫素內，且儲存第二次畫素值係將第二次畫素值儲存於原始景深圖框之第二畫素的三個次畫素內。
在一實施例中，原始景深圖框之各畫素的次畫素的數量為三個，且各次畫素的次畫素值相同。
在一實施例中，原始景深圖框之第一畫素及第二畫素係位於原始景深圖框的同一行中。
在一實施例中，原始景深圖框之第一畫素及第二畫素係位於原始景深圖框的同一列中。
在一實施例中，原始景深圖框的尺寸沿行方向係為尺寸重調景深圖框的三倍。
在一實施例中，原始景深圖框的尺寸沿列方向係為尺寸重調景深圖框的三倍。
承上所述，因依據本發明之還原尺寸重調景深圖框為原始景深圖框的方法、裝置及系統中，包括取得尺寸重調景深圖框之一畫素的一第一次畫素值、將第一次畫素值儲存於原始景深圖框之一第一畫素的所有 次畫素內、取得尺寸重調景深圖框之畫素的一第二次畫素值；以及將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。藉此，使得還原尺寸重調景深圖框為原始景深圖框的方法、裝置及系統與習知不同，並可應用於3D影像還原系統。
1‧‧‧裝置
11‧‧‧畫素取得單元
12‧‧‧畫素存入單元
13‧‧‧控制單元
2‧‧‧系統
21‧‧‧記憶單元
22‧‧‧處理單元
B、G、R‧‧‧次畫素
D‧‧‧尺寸重調景深圖框
D1‧‧‧列方向
D2‧‧‧行方向
O‧‧‧原始景深圖框
S01~S04‧‧‧步驟
圖1為本發明較佳實施例之一種還原尺寸重調景深圖框為原始景深圖框的方法之流程示意圖。
圖2為本發明較佳實施例之一種還原尺寸重調景深圖框為原始景深圖框的裝置之功能方塊示意圖。
圖3A為本發明較佳實施例之一種尺寸重調景深圖框的示意圖。
圖3B及圖3C分別為本發明較佳實施例之還原後之兩種原始景深圖框的示意圖。
圖4A為本發明較佳實施例之尺寸重調景深圖框的影像示意圖。
圖4B為以上述圖3B的較佳實施例之方法還原後之原始景深圖框的影像示意圖。
圖4C為以上述圖3C的較佳實施例之方法還原後之另一原始景深圖框的影像示意圖。
圖5A及圖5B分別為本發明另一實施態樣之原始景深圖框及尺寸重調景深圖框的示意圖。
圖5C為本發明又一實施態樣之尺寸重調景深圖框的示意圖。
圖6A為本發明較佳實施例之另一尺寸重調景深圖框的影像示意圖。
圖6B為以上述圖5B的較佳實施例之方法還原後之原始景深圖框的影像示意圖。
圖6C為以上述圖5C的較佳實施例之方法還原後之另一原始景深圖框的影像示意圖。
圖7為本發明較佳實施例之一種還原尺寸重調景深圖框為原始景深圖框的系統的功能方塊示意圖。
以下將參照相關圖式，說明依本發明較佳實施例之方法、裝置及系統，其中相同的元件將以相同的參照符號加以說明。
請參照圖1及圖2所示，其中，圖1為本發明較佳實施例之一種還原尺寸重調景深圖框為原始景深圖框的方法之流程示意圖，而圖2為本發明較佳實施例之一種還原尺寸重調景深圖框為原始景深圖框的裝置1之功能方塊示意圖。
如圖1所示，本實施例之還原尺寸重調景深圖框為原始景深圖框的方法包括步驟S01至步驟S04。其中，步驟S01為：取得尺寸重調景深圖框之一畫素的一第一次畫素值，步驟S02為：將第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內，步驟S03為：取得尺寸重調景深圖框之該畫素的一第二次畫素值，而步驟S04為：將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。於此，尺寸重調景深圖框可依據一原始多視角彩色圖框(original multiview color frame，多個不同視角的2D彩色影像，以下稱為原始彩色圖框)而得到。另外，步驟S01及步驟S02中，原始景深圖框之第一畫素及第二畫素係位於原始景深圖框的同一行中，或者原始景深圖框之第一畫素及第二畫素係位於原始景深圖框的同一列中，以下將再詳細說明。
另外，如圖2所示，還原尺寸重調景深圖框為原始景深圖框的裝置1(以下簡稱裝置1)包括一畫素取得單元11、一畫素存入單元12及一控制單元13，控制單元13分別與畫素取得單元11及畫素存入單元12電性連接。其中，畫素取得單元11係取得尺寸重調景深圖框之一畫素的至少一第一次畫素值及一第二次畫素值，而畫素存入單元12可將畫素取得單元11取得之第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內，並將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。於此，畫素取得單元11及畫素存入單元12可以軟體程式方式來實現其功能，或者，也可應用硬體或韌體的方式來實現畫素取得單元11及畫素存入單元12的功能，並不限制。另外，控制單元13可包含裝置1之核心 控制組件，並例如可為一中央處理器(central processing unit,CPU)，或為其它的控制硬體、軟體或韌體來組成。其中，控制單元13可控制畫素取得單元11取得尺寸重調景深圖框之各畫素的次畫素值，並可控制畫素存入單元12將取得的次畫素值儲存於原始景深圖框之對應的所有次畫素內。以下，將以圖3A及圖3B、圖3C來說明上述的方法及裝置1，以及其詳細的作動過程。
請參照圖3A及圖3B所示，其分別為本發明較佳實施例之之一種尺寸重調景深圖框D及原始景深圖框O的示意圖。於此，尺寸重調景深圖框D係為一灰階圖框，而各畫素的次畫素的數量係以三個為例，且每一畫素分別具有紅、綠、藍三個次畫素(R、G、B)。另外，原始景深圖框O之各畫素的次畫素的數量亦為三個(每一畫素也分別具有三個次畫素R、G、B)。本實施例之尺寸重調景深圖框D係以包含3×2=6個畫素為例，故具有9行×2列共18個次畫素。以下係以代號來表示每一個次畫素的位置及其次畫素值。例如圖3A之第一行、第一列的次畫素顯示為R(30)，代表為次畫素R，30為其次畫素值，並以(1,1)代表其位置；第五行、第二列的次畫素顯示為G(39)，代表為次畫素G，39為其次畫素值，並以(5,2)代表其位置，以此類推。
本實施例之圖框尺寸的還原方法中，係透過畫素取得單元11取得尺寸重調景深圖框D之一畫素的一第一次畫素值、一第二次畫素值及一第三次畫素值，並透過畫素存入單元12將取得的第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內，將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內，以及將第三次畫素值儲存於原始景深圖框之一第三畫素的所有次畫素內。如圖3A及圖3B所示，在本實施例中，係透過畫素取得單元11取出尺寸重調景深圖框D之畫素中，位置(1,1)(次畫素R)之第一次畫素值30、位置(2,1)(次畫素G)之第二次畫素值31及位置(3,1)(次畫素B)之第三次畫素值32，並透過畫素存入單元12將第一次畫素值30分別存入原始景深圖框O之第一畫素中，位置(1,1)(次畫素R)、位置(2,1)(次畫素G)及位置(3,1)(次畫素B)內，將第二次畫素值31分別存入原始景深圖框O之第二畫素中，位置(1,2)(次畫素R)、 位置(2,2)(次畫素G)及位置(3,2)(次畫素B)內，以及將第三次畫素值32分別存入原始景深圖框O之第三畫素中，位置(1,3)(次畫素R)、位置(2,3)(次畫素G)及位置(3,3)(次畫素B)內，於此，原始景深圖框O之第一畫素、第二畫素及第三畫素(之相同次畫素)係位於原始景深圖框O的同一行中。
另外，再取出尺寸重調景深圖框D之另一畫素中，位置(1,2)(次畫素R)之第一次畫素值34、位置(2,2)(次畫素G)之第二次畫素值36及位置(3,2)(次畫素B)之第三次畫素值35，並將第一次畫素值34分別存入原始景深圖框O之第四畫素中，位置(1,4)(次畫素R)、位置(2,4)(次畫素G)及位置(3,4)(次畫素B)內，將第二次畫素值36分別存入原始景深圖框O之第五畫素中，位置(1,5)(次畫素R)、位置(2,5)(次畫素G)及位置(3,5)(次畫素B)內，以及將第三次畫素值35分別存入原始景深圖框O之第六畫素中，位置(1,6)(次畫素R)、位置(2,6)(次畫素G)及位置(3,6)(次畫素B)內。
接著，再取出尺寸重調景深圖框D之又一畫素中，位置(4,1)(次畫素R)之第一次畫素值29、位置(5,1)(次畫素G)之第二次畫素值30及位置(6,1)(次畫素B)之第三次畫素值33，並將第一次畫素值29分別存入原始景深圖框O之第七畫素中，位置(4,1)(次畫素R)、位置(5,1)(次畫素G)及位置(6,1)(次畫素B)內，將第二次畫素值30分別存入原始景深圖框O之第八畫素中，位置(4,2)(次畫素R)、位置(5,2)(次畫素G)及位置(6,2)(次畫素B)內，以及將第三次畫素值33分別存入原始景深圖框O之第九畫素中，位置(4,3)(次畫素R)、位置(5,3)(次畫素G)及位置(6,3)(次畫素B)內。...最後，取出尺寸重調景深圖框D之又一畫素中，位置(7,2)(次畫素R)之第一次畫素值103、位置(8,2)(次畫素G)之第二次畫素值104及位置(9,2)(次畫素B)之第三次畫素值106，並將第一次畫素值103分別存入原始景深圖框O之第十六畫素中，位置(7,4)(次畫素R)、位置(8,4)(次畫素G)及位置(9,4)(次畫素B)內，將第二次畫素值104分別存入原始景深圖框O之第十七畫素中，位置(7,5)(次畫素R)、位置(8,5)(次畫素G)及位置(9,5)(次畫素B)內，以及將第三次畫素值106分別存入原 始景深圖框O之第十八畫素中，位置(7,6)(次畫素R)、位置(8,6)(次畫素G)及位置(9,6)(次畫素B)內。因此，本實施例之原始景深圖框O的尺寸沿行方向D2係為尺寸重調景深圖框D的三倍，但沿列方向D1的尺寸與尺寸重調景深圖框D相同，故以資料量來說，原始景深圖框O的資料量也是尺寸重調景深圖框D的三倍。上述取出次畫素值的順序只是舉例，在其它的實施例中，為增加尺寸還原後的精確性，上述次畫素值的取出及存入之順序可以不同(或可視為重調後相對位置關係可以不同)。例如圖3C所示，其第一列、第二列及第三列分別與圖3B之第一列、第二列及第三列排序相同，其第四列、第五列及第六列之各畫素則將圖3B之各畫素的次畫素值位移一列排列。其中，圖3B之第四列與圖3C之第五列相同，圖3B之第五列與圖3C之第六列相同，而圖3B之第六列與圖3C之第四列相同。上述次畫素值重排或位移位數只是舉例，不可用以限制本發明。藉此，產生尺寸重調景深圖框所對應的原始景深圖框之次畫素值位置重調或不同順序的效果，可使尺寸重調景深圖框經重調尺寸後仍能保有精確性。
請參照圖4A、圖4B及圖4C所示，其中，圖4A為本發明較佳實施例之尺寸重調景深圖框的影像示意圖，圖4B為圖4A中，以上述圖3B的較佳實施例之方法還原後之原始景深圖框的影像示意圖，而圖4C係為另一尺寸重調景深圖框中，以上述圖3C的較佳實施例之方法還原後之原始景深圖框的影像示意圖。於此，圖4C重調前之另一尺寸重調景深圖框的影像與圖4A接近，並未顯示。其中，圖4B及圖4C係分別對應於圖3B及圖3C之方法。不過，雖然圖4B及圖4C分別對應於圖3B及圖3C之方法而有所不同，但是，以肉眼看起來，圖4B與圖4C的影像相當接近而不易分別。圖4A之灰階圖框的尺寸(解析度)為1920×270，而圖4B及圖4C的尺寸為1920×810(810=270×3)，因此，圖4B及圖4C之原始景深圖框的尺寸係為圖4A之尺寸重調景深圖框的三倍。
另外，請參照圖5A及圖5B所示，其分別為本發明另一實施態樣之原始景深圖框O及還原後之尺寸重調景深圖框D的示意圖。於此，尺寸重調景深圖框D仍為灰階圖框，且各畫素的次畫素的數量仍以三個為例(每一畫素分別具有三個次畫素R、G、B)。另外，原始景深圖框O 之各畫素的次畫素的數量亦為三個(每一畫素仍分別具有三個次畫素R、G、B)。本實施例之尺寸重調景深圖框D是以包含1×6=6個畫素為例，故具有3行×6列共18個次畫素。以下，係以代號來表示每一個次畫素的位置及其次畫素值。例如圖5A之第一行、第一列的次畫素顯示為R(195)，代表為次畫素R，195為其次畫素值，並以(1,1)代表其位置；第三行、第二列的次畫素顯示為B(202)，代表為次畫素B，202為其次畫素值，並以(3,2)代表其位置，以此類推。
在本實施例中，如圖5A及圖5B所示，係取出尺寸重調景深圖框D之畫素中，位置(1,1)(次畫素R)之第一次畫素值195、位置(2,1)(次畫素G)之第二次畫素值198及位置(3,1)(次畫素B)之第三次畫素值200，並將第一次畫素值195分別存入原始景深圖框O之第一畫素中，位置(1,1)(次畫素R)、位置(2,1)(次畫素G)及位置(3,1)(次畫素B)內，將第二次畫素值198分別存入原始景深圖框O之第二畫素中，位置(4,1)(次畫素R)、位置(5,1)(次畫素G)及位置(6,1)(次畫素B)內，以及將第三次畫素值200分別存入原始景深圖框O之第三畫素中，位置(7,1)(次畫素R)、位置(8,1)(次畫素G)及位置(9,1)(次畫素B)內。於此，原始景深圖框O之第一畫素、第二畫素及第三畫素係位於原始景深圖框O的同一列中。另外，再取出尺寸重調景深圖框D之另一畫素中，位置(1,2)(次畫素R)之第一次畫素值190、位置(2,2)(次畫素G)之第二次畫素值197及位置(3,2)(次畫素B)之第三次畫素值202，並將第一次畫素值190分別存入原始景深圖框O之第四畫素中，位置(1,2)(次畫素R)、位置(2,2)(次畫素G)及位置(3,2)(次畫素B)內，將第二次畫素值197分別存入原始景深圖框O之第五畫素中，位置(4,2)(次畫素R)、位置(5,2)(次畫素G)及位置(6,2)(次畫素B)內，以及將第三次畫素值202分別存入原始景深圖框O之第六畫素中，位置(7,2)(次畫素R)、位置(8,2)(次畫素G)及位置(9,2)(次畫素B)內。...最後，取出尺寸重調景深圖框D之又一畫素中，位置(1,6)(次畫素R)之第一次畫素值28、位置(2,6)(次畫素G)之第二次畫素值31及位置(3,6)(次畫素B)之第三次畫素值35，並將第一次畫素值28分別存入原始景深圖框O之第十六畫素中，位置(1,6)(次畫素R)、位置(2,6) (次畫素G)及位置(3,6)(次畫素B)內，將第二次畫素值31分別存入原始景深圖框O之第十七畫素中，位置(4,6)(次畫素R)、位置(5,6)(次畫素G)及位置(6,6)(次畫素B)內，以及將第三次畫素值35分別存入原始景深圖框O之第十八畫素中，位置(7,6)(次畫素R)、位置(8,6)(次畫素G)及位置(9,6)(次畫素B)內。因此，本實施例之原始景深圖框O的尺寸沿列方向D1為尺寸重調景深圖框D的三倍，但沿行方向D2的尺寸與尺寸重調景深圖框D相同，故以資料量來說，原始景深圖框O的資料量也是尺寸重調景深圖框D的三倍。特別一提的是，上述取出次畫素值的順序只是舉例，在其它的實施例中，為增加尺寸還原後的精確性，上述次畫素值的取出及存入之順序可以不同(或可視為重調後相對位置關係可以不同)。例如圖5C所示，其第一列及第四列分別與圖5B之第一列及第四列排序相同，其第二列及第五列分別則為圖5B之第二列及第五列之各畫素值位移一個畫素(三個次畫素)的位置，其第三列及第六列分別則為圖5B之第三列及第六列之各畫素值位移二個畫素的位置。藉此，產生尺寸重調景深圖框所對應的原始景深圖框之次畫素值位置重調或不同順序的效果，可使尺寸重調景深圖框經重調尺寸後仍能保有精確性。
上述次畫素值重排或位移只是舉例，不可用以限制本發明。另外，上述尺寸重調景深圖框D的尺寸及每個畫素分別具有3個次畫素只是舉例，當然，在其它的實施例中，尺寸重調景深圖框D的尺寸及其次畫素的數量可以不同，例如次畫素數量可為2個或4個(含)以上，本發明並不限定。
請參照圖6A、圖6B及圖6C所示，其中，圖6A為本發明較佳實施例之另一尺寸重調景深圖框的影像示意圖，圖6B為圖6A中，以上述圖5B的較佳實施例之方法還原後之原始景深圖框的影像示意圖，而圖6C係為另一尺寸重調景深圖框中，以上述圖5C的較佳實施例之方法還原後之原始景深圖框的影像示意圖。於此，圖6C重調前之另一尺寸重調景深圖框的影像與圖6A接近，並未顯示。其中，圖6B及圖6C分別對應於圖5B及圖5C之方法。不過，雖然圖6B及圖6C分別對應於圖5B及圖5C之方法而有所不同，但是，以肉眼看起來，圖6B與圖6C的影像相當接近而 不易分別。圖6A之灰階圖框的尺寸(解析度)為630×810，而圖6B及圖6C的尺寸為1920×810(1920=630×3)，因此，圖6B及圖6C之原始景深圖框的尺寸係為圖6A之尺寸重調景深圖框的三倍。
此外，請參照圖7所示，其為本發明較佳實施例之一種還原尺寸重調景深圖框為原始景深圖框的系統2(以下簡稱系統2)的功能方塊示意圖。
系統2包括一記憶單元21以及一處理單元22，記憶單元21與處理單元22電性連接。記憶單元21係儲存尺寸重調景深圖框，當然，記憶單元21也可儲存原始景深圖框。記憶單元21可為一非暫態電腦可讀取記錄媒體(non-transitory computer readable storage medium)，並例如可為一記憶體、一記憶卡、一光碟片、一錄影帶、一電腦磁帶，或其任意組合，以儲存資訊。其中，記憶體可包含唯讀記憶體(ROM)、隨機存取記憶體(RAM)、快閃(Flash)記憶體、或可程式化邏輯閘陣列(Field-Programmable Gate Array,FPGA)，或其它形式的記憶體，並不限定。
處理單元22可包含系統2之核心控制組件，例如可包含至少一中央處理器及一記憶體，或包含其它控制硬體、軟體或韌體。其中，處理單元22可取得尺寸重調景深圖框之一畫素的至少一第一次畫素值及一第二次畫素值，並將第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內，且將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。在不同的實施例中，原始景深圖框之第一畫素及第二畫素係位於原始景深圖框的同一行中或同一列中。另外，原始景深圖框的尺寸沿行方向為尺寸重調景深圖框的三倍，或沿列方向為尺寸重調景深圖框的三倍。
此外，於系統2中，將尺寸重調景深圖框還原而成為原始景深圖框的其它技術特徵可參照上述之方法及裝置1的技術內容，不再贅述。
綜上所述，因依據本發明之還原尺寸重調景深圖框為原始景深圖框的方法、裝置及系統中，包括取得尺寸重調景深圖框之一畫素的一第一次畫素值、將第一次畫素值儲存於原始景深圖框之一第一畫素的所有次畫素內、取得尺寸重調景深圖框之畫素的一第二次畫素值；以及將第二次畫素值儲存於原始景深圖框之一第二畫素的所有次畫素內。藉此，使得 還原尺寸重調景深圖框為原始景深圖框的方法、裝置及系統與習知不同，並可應用於3D影像還原系統。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
S01~S04‧‧‧步驟

Claims (24)

  1. 一種還原一尺寸重調景深圖框為一原始景深圖框的方法，包括：取得該尺寸重調景深圖框之一畫素的一第一次畫素值；將該第一次畫素值儲存於該原始景深圖框之一第一畫素的所有次畫素內；取得該尺寸重調景深圖框之該畫素的一第二次畫素值；以及將該第二次畫素值儲存於該原始景深圖框之一第二畫素的所有次畫素內。
  2. 如申請專利範圍第1項所述之方法，其中該尺寸重調景深圖框之各畫素的次畫素的數量為三個，而儲存該第一次畫素值的步驟係將該第一次畫素值儲存於該原始景深圖框之該第一畫素的三個該等次畫素內，且儲存該第二次畫素值的步驟係將該第二次畫素值儲存於該原始景深圖框之該第二畫素的三個該等次畫素內。
  3. 如申請專利範圍第1項所述之方法，其中該原始景深圖框之各畫素的次畫素的數量為三個，且各該次畫素的次畫素值相同。
  4. 如申請專利範圍第1項所述之方法，其中該原始景深圖框之該第一畫素及該第二畫素係位於該原始景深圖框的同一行中。
  5. 如申請專利範圍第1項所述之方法，其中該原始景深圖框之該第一畫素及該第二畫素係位於該原始景深圖框的同一列中。
  6. 如申請專利範圍第1項所述之方法，其中該原始景深圖框的尺寸沿行方向係為該尺寸重調景深圖框的三倍。
  7. 如申請專利範圍第1項所述之方法，其中該原始景深圖框的尺寸沿列方向係為該尺寸重調景深圖框的三倍。
  8. 一種還原一尺寸重調景深圖框為一原始景深圖框的裝置，包括：一畫素取得單元，取得該尺寸重調景深圖框之一畫素的至少一第一次畫素值及一第二次畫素值；以及一畫素存入單元，將該第一次畫素值儲存於該原始景深圖框之一第一畫素的所有次畫素內，並將該第二次畫素值儲存於該原始景深圖框之一第二畫素的所有次畫素內。
  9. 如申請專利範圍第8項所述之裝置，其中該尺寸重調景深圖框之各畫素的次畫素的數量為三個，而該畫素存入單元係將該第一次畫素值儲存於該原始景深圖框之該第一畫素的三個次畫素內，且該畫素存入單元係將係將該第二次畫素值儲存於該原始景深圖框之該第二畫素的三個次畫素內。
  10. 如申請專利範圍第8項所述之裝置，其中該原始景深圖框之各畫素的次畫素的數量為三個，且各該次畫素的次畫素值相同。
  11. 如申請專利範圍第8項所述之裝置，其中該原始景深圖框之該第一畫素及該第二畫素係位於該原始景深圖框的同一行中。
  12. 如申請專利範圍第8項所述之裝置，其中該原始景深圖框之該第一畫素及該第二畫素係位於該原始景深圖框的同一列中。
  13. 如申請專利範圍第8項所述之裝置，其中該原始景深圖框的尺寸沿行方向係為該尺寸重調景深圖框的三倍。
  14. 如申請專利範圍第8項所述之裝置，其中該原始景深圖框的尺寸沿列方向係為該尺寸重調景深圖框的三倍。
  15. 一種還原一尺寸重調景深圖框為一原始景深圖框的系統，包括：一記憶單元，儲存該尺寸重調景深圖框；以及一處理單元，取得該尺寸重調景深圖框之一畫素的至少一第一次畫素值及一第二次畫素值，並將該第一次畫素值儲存於該原始景深圖框之一第一畫素的所有次畫素內，且將該第二次畫素值儲存於該原始景深圖框之一第二畫素的所有次畫素內。
  16. 如申請專利範圍第15項所述之系統，其中該尺寸重調景深圖框之各畫素的次畫素的數量為三個，而該處理單元係將該第一次畫素值儲存於該原始景深圖框之該第一畫素的三個次畫素內，且該處理單元係將係將該第二次畫素值儲存於該原始景深圖框之該第二畫素的三個次畫素內。
  17. 如申請專利範圍第15項所述之系統，其中該原始景深圖框之各畫素的次畫素的數量為三個，且各該次畫素的次畫素值相同。
  18. 如申請專利範圍第15項所述之系統，其中該原始景深圖框之該第一畫 素及該第二畫素係位於該原始景深圖框的同一行中。
  19. 如申請專利範圍第15項所述之系統，其中該原始景深圖框之該第一畫素及該第二畫素係位於該原始景深圖框的同一列中。
  20. 如申請專利範圍第15項所述之系統，其中該原始景深圖框的尺寸沿行方向係為該尺寸重調景深圖框的三倍。
  21. 如申請專利範圍第15項所述之系統，其中該原始景深圖框的尺寸沿列方向係為該尺寸重調景深圖框的三倍。
  22. 一種還原一尺寸重調景深圖框為一原始景深圖框的裝置，包括：一畫素取得單元，取得該尺寸重調景深圖框之一畫素的一第一次畫素值一第二次畫素值、以及一第三次畫素值；以及一畫素存入單元，將該第一次畫素值儲存於該原始景深圖框之一第一畫素的所有次畫素內，將該第二次畫素值儲存於該原始景深圖框之一第二畫素的所有次畫素內，以及將該第三次畫素值儲存於該原始景深圖框之一第三畫素的所有次畫素內。
  23. 如申請專利範圍第22項所述之裝置，其中該原始景深圖框之該第一畫素、該第二畫素及該第三畫素係位於該原始景深圖框的同一行中，且該原始景深圖框的尺寸沿行方向係為該尺寸重調景深圖框的三倍。
  24. 如申請專利範圍第22項所述之裝置，其中該原始景深圖框之該第一畫素、該第二畫素及該第三畫素係位於該原始景深圖框的同一列中，且該原始景深圖框的尺寸沿列方向係為該尺寸重調景深圖框的三倍。
TW102135708A 2013-10-02 2013-10-02 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統 TWI503788B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
TW102135708A TWI503788B (zh) 2013-10-02 2013-10-02 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
KR1020140130339A KR101652583B1 (ko) 2013-10-02 2014-09-29 오리지널 심도 프레임을 리사이징 및 복원하는 방법, 장치 및 시스템
CN201410519413.0A CN104519336B (zh) 2013-10-02 2014-09-30 还原尺寸重调景深图框的方法、装置及系统
EP14187468.5A EP2858361A1 (en) 2013-10-02 2014-10-02 Method, device and system for restoring resized depth frame into original depth frame
JP2014203551A JP6283297B2 (ja) 2013-10-02 2014-10-02 オリジナルデプスフレームをリサイズ及び復元する方法、装置並びにシステム
US14/504,936 US9529825B2 (en) 2013-10-02 2014-10-02 Method, device and system for restoring resized depth frame into original depth frame
KR1020160106694A KR101684834B1 (ko) 2013-10-02 2016-08-23 오리지널 심도 프레임을 리사이징 및 복원하는 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102135708A TWI503788B (zh) 2013-10-02 2013-10-02 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統

Publications (2)

Publication Number Publication Date
TW201514923A TW201514923A (zh) 2015-04-16
TWI503788B true TWI503788B (zh) 2015-10-11

Family

ID=51690833

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102135708A TWI503788B (zh) 2013-10-02 2013-10-02 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統

Country Status (4)

Country Link
US (1) US9529825B2 (zh)
EP (1) EP2858361A1 (zh)
CN (1) CN104519336B (zh)
TW (1) TWI503788B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI673684B (zh) * 2018-04-12 2019-10-01 國立成功大學 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI629892B (zh) 2016-05-09 2018-07-11 國立成功大學 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0794655A2 (en) * 1996-03-04 1997-09-10 Hewlett-Packard Company High speed system for grey level image scaling, threshold matrix alignment and tiling, and creation of a binary half-tone image
US20050152005A1 (en) * 2004-01-09 2005-07-14 Niranjan Damera-Venkata Dither matrix design using sub-pixel addressability
TW201246940A (en) * 2011-02-17 2012-11-16 Panasonic Corp Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program
TW201310973A (zh) * 2011-08-30 2013-03-01 Himax Tech Ltd 處理立體顯示用之資料框的系統及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519235B1 (en) * 2005-10-24 2009-04-14 Adobe Systems Incorporated Using nonlinear filtering while resizing an image to preserve sharp image detail
KR100871564B1 (ko) * 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP5113841B2 (ja) * 2006-08-21 2013-01-09 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
EP3007440A1 (en) * 2007-12-20 2016-04-13 Koninklijke Philips N.V. Image encoding method for stereoscopic rendering
MY155378A (en) * 2008-07-24 2015-10-15 Koninkl Philips Electronics Nv Versatile 3-d picture format
TWI413405B (zh) * 2010-01-08 2013-10-21 Chunghwa Picture Tubes Ltd 同時顯示二維影像和三維影像之方法及相關系統
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
JP5548064B2 (ja) * 2010-08-17 2014-07-16 ルネサスエレクトロニクス株式会社 表示システム及び表示デバイスドライバ
US20140036033A1 (en) * 2011-04-28 2014-02-06 Sony Corporation Image processing device and image processing method
TWI486053B (zh) * 2011-09-27 2015-05-21 Realtek Semiconductor Corp 立體影像傳輸方法及立體影像傳輸電路
CN102868899A (zh) * 2012-09-06 2013-01-09 华映光电股份有限公司 一种三维图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0794655A2 (en) * 1996-03-04 1997-09-10 Hewlett-Packard Company High speed system for grey level image scaling, threshold matrix alignment and tiling, and creation of a binary half-tone image
US20050152005A1 (en) * 2004-01-09 2005-07-14 Niranjan Damera-Venkata Dither matrix design using sub-pixel addressability
TW201246940A (en) * 2011-02-17 2012-11-16 Panasonic Corp Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program
TW201310973A (zh) * 2011-08-30 2013-03-01 Himax Tech Ltd 處理立體顯示用之資料框的系統及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI673684B (zh) * 2018-04-12 2019-10-01 國立成功大學 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路

Also Published As

Publication number Publication date
CN104519336B (zh) 2017-10-24
CN104519336A (zh) 2015-04-15
EP2858361A1 (en) 2015-04-08
TW201514923A (zh) 2015-04-16
US9529825B2 (en) 2016-12-27
US20150093020A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP5011316B2 (ja) 出力画像のレンダリング
CN106604018B (zh) 3d显示设备及其控制方法
JP2009124308A (ja) 多眼視画像作成システム及び多眼視画像作成方法
JP6060329B2 (ja) ３ｄディスプレイ装置で３次元映像を視覚化する方法および３ｄディスプレイ装置
US9760263B2 (en) Image processing device, image processing method, and stereoscopic image display device
TWI602145B (zh) 包裝圖框之解包裝方法、裝置及系統
TWI603290B (zh) 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
US10602120B2 (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3D image
TWI503788B (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
WO2017202079A1 (zh) 一种立体图像制作方法和设备
CN109643462B (zh) 基于渲染引擎的实时图像处理方法以及显示设备
KR101684834B1 (ko) 오리지널 심도 프레임을 리사이징 및 복원하는 방법, 장치 및 시스템
JP5993423B2 (ja) カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム
CN102655600A (zh) 立体影像显示方法
EP2858360A1 (en) Method, device and system for packing color frame and original depth frame
TWI524731B (zh) 儲存尺寸重調景深圖框的非暫態儲存媒體
KR101831978B1 (ko) 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법
TWI547141B (zh) 包裝圖框的解包裝方法、裝置及儲存解包裝指令之非暫態儲存媒體
CN114630099A (zh) 显示方法、装置、系统及计算机可读存储介质
TWI512678B (zh) 非暫態儲存媒體
TW201325202A (zh) 三維影像處理方法