TWI807449B

TWI807449B - 多視角立體影像產生方法及系統

Info

Publication number: TWI807449B
Application number: TW110138297A
Authority: TW
Inventors: 林宗翰
Original assignee: 國立臺灣科技大學
Priority date: 2021-10-15
Filing date: 2021-10-15
Publication date: 2023-07-01
Also published as: US11546571B1; TW202318869A

Abstract

一種多視角立體影像產生方法及系統。影像擷取裝置來拍攝實體校正板而獲得影像，並且由處理器通過分析包括校正板的影像而獲得基準影像以及多個待校正影像。處理器依據基準影像以及待校正影像以分別運算出每一個待校正影像對應於基準影像的單應性矩陣。處理器通過對每一個單應性矩陣進行矩陣拆解運算以獲得單應性矩陣的校正矩陣。處理器將待校正影像乘以對應的校正矩陣以獲得多個校正影像。處理器輸出包括基準影像以及校正影像的多視角立體影像。

Description

多視角立體影像產生方法及系統

本發明是有關於校正影像與輸出多視角立體影像的技術領域，且特別是有關於一種適用於裸眼顯示器的多視角立體影像產生方法及系統。

現有多視角立體影像的擷取與運算的其中一方式是通過架設固定的軌道，以及滑行於軌道上的攝影裝置，進而拍攝不同時間與不同角度的影像。接著，再進行校正運算以得出多視角立體影像。然而，上述的方法被拍攝者以及背景必須於拍攝期間都維持不動，因此，現有方法僅適用於靜態畫面的擷取，則無法捕捉瞬間的畫面。並且，由於必須先架設軌道，導致其使用上的便利度有加強空間。

本發明提供一種多視角立體影像產生方法及多視角立體影像產生系統，可輸出具有校正後且保有透視感的多視角立體影像。

本發明實施例的多視角立體影像產生方法，包括：處理器接收影像擷取裝置所拍攝的影像，以獲得影像之中的基準影像以及待校正影像；處理器依據基準影像以及待校正影像以分別運算出每一個待校正影像對應於基準影像的多個單應性矩陣；處理器依據單應性矩陣以分別對每一個單應性矩陣執行矩陣拆解運算，以獲得單應性矩陣之中每一個單應性矩陣的校正矩陣；基於校正矩陣，使處理器對待校正影像分別執行校正運算以獲得多個校正影像；使處理器輸出多視角立體影像，其中多視角立體影像包括基準影像以及校正影像。

本發明實施例的多視角立體影像產生系統包括(但不僅限於)影像擷取裝置及處理器。影像擷取裝置用以拍攝設置有實體校正板的影像。處理器耦接影像擷取裝置。處理器經配置用以接收影像擷取裝置所拍攝的影像以獲得影像之中的基準影像以及多個待校正影像，依據基準影像以及待校正影像以分別運算出每一個待校正影像對應於基準影像的多個單應性矩陣，依據單應性矩陣分別對每一個單應性矩陣執行矩陣拆解運算以獲得單應性矩陣之中每一個單應性矩陣的校正矩陣，基於校正矩陣對待校正影像分別執行一校正運算以獲得多個校正影像，組合輸出多視角立體影像。多視角立體影像包括基準影像以及校正影像。

基於上述，通過拆解單應性矩陣，藉此提取仿射矩陣以及相似矩陣以作為校正矩陣。據此，令輸出的多視角立體影像具有校正後的流暢感(即，不會有位置的偏差)同時保有透視感，解決了現有直接乘以單應性矩陣導致立體畫面的立體感不夠以及影像對齊的問題，並達到影像之間校正的功效。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明一實施例的多視角立體影像產生系統1的方塊圖。請參照圖1，多視角立體影像產生系統1包括影像擷取裝置110以及處理器120。在此，處理器120透過有線連接或是無線連接的方式，耦接至影像擷取裝置110。即，影像擷取裝置110利用有線傳輸或是無線傳輸的方式與處理器120進行溝通，使得處理器120得以自影像擷取裝置110接收資料。

於另一實施例中，多視角立體影像產生系統1更包括儲存裝置130及多視角立體影像顯示器。處理器120透過有線連接或是無線連接的方式耦接至儲存裝置130及多視角立體影像顯示器。即，儲存裝置130及多視角立體影像顯示器利用有線傳輸或是無線傳輸的方式與處理器120進行溝通，使得處理器120得以自儲存裝置130存取資料，並且傳送資料至多視角立體影像顯示器。

影像擷取裝置110例如是採用電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭的攝影機、照相機等。

處理器120例如為中央處理單元（Central Processing Unit，CPU）、圖像處理單元（Graphic Processing Unit，GPU）、物理處理單元（Physics Processing Unit，PPU）、可程式化之微處理器（Microprocessor）、嵌入式控制晶片、數位訊號處理器（Digital Signal Processor，DSP）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）或其他類似裝置。

儲存裝置130可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，儲存裝置130用以儲存程式碼、軟體模組、組態配置、資料(例如，影像、待校正影像、基準影像、校正影像、單應性矩陣、校正矩陣、或多視角立體影像)或檔案。在本實施例中，儲存裝置130可耦接印刷輸出裝置，以將處理器所輸出的多視角立體影像透過印刷裝置輸出多視角立體圖片。印刷裝置可以是光柵印刷(Lenticular printing)裝置。

多視角立體影像顯示器可以是裸眼式立體（Without glasses, autostereoscopic）顯示器、時間多工式(Temporal multiplexed)立體顯示器、空間多工式(Spatial multiplexed)立體顯示器、頭戴式顯示器（Head mount display）、多層深度式螢幕（Depth-fused multi-layer）、全像式（Holographic）顯示器、容積式（volumetric）顯示器及/或其他類型適合的顯示器，或者是具有前述顯示器的電子裝置，但本發明不限於此。在本實施例中，多視角立體影像顯示器顯現處理器所輸出的多視角立體影像，以即時(Real-time)地呈現經校正處理且/或平移處理的多視角立體影像。印刷裝置可以是光柵印刷(Lenticular printing)裝置。

圖2是依照本發明一實施例的多視角立體影像產生系統的示意圖。在多視角立體影像產生系統1中，利用複數個影像擷取裝置110來拍攝多張影像。其中多張影像為以不同角度對設置有實體校正板CB的畫面進行拍攝所獲得的影像。處理器120透過將上述多張影像，計算出影像相對於基準影像的單應性矩陣，進一步再將每個影像的單應性矩陣拆解成仿射、透視與相似矩陣。基於將上述仿射矩陣與相似矩陣作為校正矩陣的特徵，令多視角立體影像產生系統1與方法所輸出的多視角立體影像於視覺上具有校正後的流暢感以及保有透視感。在此，實體校正板CB平面上的圖樣例如為規則的彩色棋盤格圖樣CP，也可以是具有可識別圖案的牆面，然，並不以此為限。

另外，在其他實施例中，處理器120可設置於影像擷取裝置110中。而在其他實施例中，也可將影像擷取裝置110、處理器120以及儲存裝置130整合至同一裝置。例如是具有照相、攝影以及投影功能的個人電腦、筆記型電腦、智慧型手機以及平板電腦，本發明不以此為限。

以下即配合上述多視角立體影像產生系統1來說明本發明的多視角立體影像產生方法各步驟。圖3是依照本發明的一種多視角立體影像產生方法的流程圖。請同時參照圖1至圖3，在步驟S310中，多個影像擷取裝置110分別擷取設置有一實體校正板的多個影像，且影像是包括實體校正板CB的影像。具體而言，多個影像擷取裝置110彼此相鄰，且多個影像擷取裝置110之中相鄰的影像擷取裝置有介於0.5度至10度之間的夾角。於本實施例中，多個影像擷取裝置110為橫向設置，即多個影像擷取裝置110皆設置於同一水平上，且每一影像擷取裝置110於同一瞬間下各拍攝/擷取設置有校正用的校正平面(實體校正板CB)的影像。舉例來說，影像擷取裝置110的數量為6個之時，每個影像擷取裝置110皆擷取一個影像，因此影像擷取裝置110將輸出6個影像至處理器120。於本實施例中，相鄰的影像擷取裝置110彼此的夾角為0.9度至1.1度，以令本發明的多視角立體影像產生方法和系統能夠輸出視覺上更加順暢且具有立體感的多視角立體影像。在影像擷取裝置110拍攝包括有實體校正板CB的影像，且將影像傳送至處理器120，即，執行步驟S320。

在步驟S320中，處理器120接收影像擷取裝置110所拍攝的影像，以獲得影像之中的基準影像以及待校正影像。具體而言，處理器120接收影像擷取裝置110所拍攝的複數影像，且處理器120分析以從複數影像中獲得基準影像以及待校正影像。舉例來說，當影像擷取裝置110的數量為奇數之時，上述基準影像為位於正中間的影像擷取裝置110所拍攝/擷取的影像。另一方面，當影像擷取裝置110的數量為偶數之時，多個影像擷取裝置110之中最靠近正中間的二影像擷取裝置110所擷取到的二個影像，對上述二個影像進行內插運算所得出的影像作為基準影像。關於內插運算將於下方說明。接著，處理器120分析出基準影像之後，其餘的影像皆為待校正影像。並且，於處理器120獲得基準影像以及待校正影像之後，即，執行步驟S330。

在步驟S330中，處理器120依據基準影像以及待校正影像以分別運算出每一個待校正影像對應於基準影像的多個單應性（homography）矩陣。每個影像拍攝時其畫面包括有實體校正板。並且，實體校正板CB的圖樣例如為規則的棋盤格圖樣CP，然而，本發明不應以此為限。值得說明的是，於本實施例中，實體校正板上印有彩色圖案，因此，處理器120可通過實體校正板上的彩色圖案將待校正影像與基準影像進行影像中特徵點的位置校正轉換以及色彩校正轉換。於本發明之中，色彩校正並不僅以基準影像的色彩為限，而是經過色彩校正轉換後，基準影像以及多個待校正影像之間無色彩差異即屬於本發明所提及的色彩校正轉換。值得說明的是，本發明具有利用同一實體校正板CB(即，校正板)完成位置與色彩校正的功效，且於實際操作上牆壁或放置於拍攝者附近的板子上印有色彩圖案，即可作為本發明的實體校正板CB。具體而言，處理器120使用特徵偵測方法，找出待校正影像以及基準影像中的多個特徵點 x' _i 。就棋盤格圖樣CP而言，棋盤格內的黑白相間的角點即是所謂的特徵點。

接著，單應性矩陣 H例如為3×3的矩陣。在此，單應性矩陣用於描述影像擷取裝置110所拍攝到的平面座標與基準影像之間的投影轉換。單應性矩陣 H是用來描述齊次座標中(homogenous coordinate)的平面到另一個平面的投影運算。如用3X3矩陣來表示單應性矩陣 H如方程式(1)，其中 x' _i 即為方程式(1)中的， H為，且 x為。換句話說，單應性矩陣 H為待校正影像中的特徵點與基準影像中的特徵點之間的映射轉換。接著，為了要解出單應性矩陣 H，假設由影像擷取裝置110的座標的特徵點為 x _i ，經過映射至已知的基準影像座標後（ H x _i ），與已知的基準影像中的特徵點 x' _i 的外積為零向量，如方程式(2)所示。其代表待校正影像特徵點經單應性矩陣轉換後的點座標(即 H x _i )與基準影像特徵點(即 x' _i)間之期望的距離最小化方程式，亦即使用假設兩個向量之間的外積若為零的前提下，則視為滿足距離條件。

方程式(1):

方程式(2):

而方程式(1)與方程式(2)可以改寫並簡化為方程式(3)與方程式(4)，最後以奇異值分解（SVD）來解出單應性矩陣H。其中可以採用現有的奇異值分解（Singular Value Decomposition, SVD）方法來整理方程式(2)，進而將H值計算出。更詳細地說明整理方程式(2)的具體作法，將 H矩陣個別拆解成行向量，例如，方程式(3)中 h ₁ ^T，即是 H的第一行(row)矩陣。換句話說，單應性矩陣H的行向量分別表示如 h ₁ ^T 、 h ₂ ^T 、 h ₃ ^T。再者，將方程式(3)整理成方程式(4)，即可針對方程式(4)中的左方矩陣，實施SVD運算，計算出 h ₁、 h ₂以及 h ₃(即 H)。其中方程式(4)中的x _i、y _i、w _i個別為純量，也就是基準影像特徵點之實際數值的三個分量。

方程式(3):

方程式(4):

當單應性矩陣 H計算出來後相當於一個迴歸矩陣。因此根據單應性矩陣 H，於影像擷取裝置110所拍攝的座標系上的任意一點 x _i 乘以單應性矩陣 H即可計算出已知的座標系之座標值 x' _i 。

處理器120根據上述公式運算出每一個待校正影像對應於基準影像的單應性矩陣 H，接著執行步驟S340。

並且，在步驟S340中，處理器120依據單應性矩陣以分別對每一個單應性矩陣執行一矩陣拆解運算，以獲得每一個單應性矩陣 H的校正矩陣。其中，單應性矩陣H包含了影像的旋轉、平移、縮放、仿射與透視投影之矩陣組合。於步驟S340中，更包括以下步驟:處理器120依據執行矩陣拆解運算，將每一個單應性矩陣 H拆解成一透視矩陣、一相似矩陣以及一仿射矩陣，以及處理器120將相似矩陣以及仿射矩陣作為上述校正矩陣。進一步地說，可將單應性矩陣 H分解為透視（Perspective）變換矩陣 H _P、仿射（affine）變換矩陣 H _A和相似（similarity）變換矩陣 H _S。即，如方程式(5)所示。

方程式(5): H= =

處理器120運算出每一個待校正影像相對於基準影像的校正矩陣之後，接著，執行步驟S350。在步驟S350中，基於校正矩陣，處理器120對待校正影像分別執行校正運算以獲得多個校正影像。具體而言，校正運算為將每一個待校正影像乘以其對應的校正矩陣，以得出校正影像。接著執行步驟S360，在步驟S360中，處理器120輸出多視角立體影像。多視角立體影像包括基準影像以及校正影像。補充說明的是，通過將仿射變化矩陣 H _A以及相似變化矩陣校正矩陣 H _S作為校正矩陣，令待校正影像轉換後的影像仍保有透視的效果。如此一來，令多視角立體影像產生系統1與方法所輸出的多視角立體影像保留有透視的效果，同時透過校正矩陣為仿射變化矩陣 H _A與相似變化矩陣校正矩陣 H _S的技術，令多視角立體影像呈現漸進式畫面且彼此特徵點的位置相同，以達到視覺上良好且順暢的立體效果。

於另一實施例，於步驟S330之中，更包括處理器120對待校正影像與基準影像分別執行樞軸校正處理，其中樞軸校正處理是依據樞軸矩陣進行運算。接著，處理器120對經樞軸校正處理的待校正影像運算出每一個待校正影像對應於經樞軸校正處理的基準影像的單應性矩陣 H。

接著，於步驟S350之中，更包括處理器120對待校正影像分別執行校正運算以及補償運算，以獲得校正影像；其中補償運算是依據樞軸矩陣的反矩陣進行運算。具體而言，樞軸(Pivot)校正處理為先將待校正影像以及基準影像根據其影像內容中的校正板中心點平移至原點後，才進行後續利用單應性矩陣進行的校正運算。並且，將進行校正運算後的影像以及基準影像進行補償運算，以將影像(例如，校正板的中心點)平移至初始位置。換句話說，補償運算是將上述樞軸校正處理的樞軸平移矩陣補償回原本的位置。於另一實施例中，補償運算是乘以基準影像的反矩陣(如，本實施例中的 T _src ^-1矩陣)。

舉例來說，待校正影像的齊次座標中心為( x _src , y _src , 1)，座標中心的計算方式可以取所有特徵點平均，則其矩陣 T _src(即，補償矩陣)。換句話說，補償矩陣 T _src分別為該些待校正影像的中心點的平移矩陣。如方程式(6)所示，且 T _src的反矩陣 T _src ^-1如方程式(7)所示。

方程式(6):

方程式(7):

接著，待校正影像的中心點為( x _dst , y _dst , 1)，其矩陣T _dst如方程式(8)所示，且其 T _dst的反矩陣 T _dst ^-1(即，樞軸矩陣)，換句話說，樞軸矩陣為該些待校正影像的齊次座標中心的反矩陣，如方程式(9)所示。

方程式(8):

方程式(9):

由上述可以得知，在這實施例中，待校正影像與基準影像之間的校正板之單應矩陣為 H(即，從待校正影像映射至基準影像)。則我們所需進行樞軸(Pivot)校正處理的單應性矩陣為亦即實際對矩陣分解的對象為。也就是將矩陣分解如下方程式(10)。

方程式(10):

換句話說， H _S與 H _A是來自於矩陣的相似變換矩陣與仿射變換矩陣。

由於，於本實施例中，其校正矩陣(即， H _S與 H _A)是來自於矩陣，因此經樞軸校正後的單應性矩陣為，以補償掉提取校正矩陣( H _S、 H _A)時之中的以及的平移。

舉例來說，假設待校正影像為 I _src矩陣，則經校正後的影像為 I _new矩陣如下方程式(11)所示。

方程式(11):

單應性矩陣為當影像乘以樞軸校正處理的樞軸平移矩陣之後，其影像(例如，實體校正板的特徵點)的中心點將重疊於象限原點。接著，經樞軸校正處理的影像進行校正運算後，再乘以樞軸平移矩陣的反矩陣(Inverse)以平移回原本的位置。如此一來，先經樞軸校正處理的再進行校正運算的影像可以避免影像於校正處理時產生偏差(bias)以及影像部分畫面被不等比例的放大的情況，進而令輸出的多視角立體影像更加穩定與和諧。補充說明的是，於本發明中所提及的中心點與座標中心可以是呈現於(即，被攝影)待校正影像或基準影像之中的實體校正板的特徵點之中心。

於另一實施例，於步驟S360之中，更包括使處理器120對基準影像以及校正影像之中彼此相鄰的每二個影像執行內插運算，以得出多個虛擬影像。接著，處理器120輸出多視角立體影像，這多視角立體影像包括基準影像、校正影像以及虛擬影像。接著，處理器120對經樞軸校正處理的待校正影像運算出每一個待校正影像對應於經樞軸校正處理的基準影像的單應性矩陣 H。圖4是依照本發明的內插運算的示意圖。舉例說明，第一待校正影像P1、第二待校正影像P2與基準影像Pd。其中，I ₁為第一待校正影像P1的影像資料，I ₂為第一待校正影像P1的影像資料，I _s1與I _S2為介於第一待校正影像P1與第二待校正影像P2間三等份間距位置的內插影像(即，虛擬影像S1、S2)的影像資料，其之間的投影轉換方程式為如方程式(12)和方程式(13)。於本發明中，通過內插運算的技術令本發明之多視角立體影像產生系統1與方法具有設置少數影像擷取裝置即可運算出包含多張校正影像以及多張虛擬影像的多視角立體影像，進而達到設置成本低同時輸出高度立體感的多視角立體影像的優點。

方程式(12):

方程式(13):

於另一實施例，於步驟S360之中，更包括處理器120分別對校正影像進行平移處理，以得出經平移的校正影像。更詳細地說明，校正影像與基準影像根據其對應的影像擷取裝置的相對位置依序作排列。並且，平移處理為校正影像根據其與基準影像之間的相對N個距離乘以N個平移矩陣。具體而言，N為正整數，若校正影像位於基準影像的右側(即，所對應的影像擷取裝置110的相對位置)，則乘以N個平移矩陣；若校正影像位於基準影像的左側，則乘以N個平移矩陣的反矩陣。如此一來，本發明之多視角立體影像產生系統與方法，通過將校正影像進行平移處理後以令其輸出的多視角立體影像整體畫面的呈現更加擴大，且令其視覺上更具有立體效果。於另一實施例中，使用者亦可通過將校正影像經過平移處理後令輸出的多視角立體影像整體畫面向中間平移，令其視覺上的立體效果更加順暢與平滑。

圖5是依照本發明的平移處理的示意圖。如圖5所示，舉例來說，於此實施例中校正影像加上基準影像Pd的總數量為7個，且平移矩陣T如方程式(14)所示，則此實施例中基準影像為依序排列於第四個的影像，因此基準影像Pd的d等於4。接著，以第m校正影像Cm為例，由於此實施例的影像數量為7個，因此第m校正影像Cm為依序排列的第七個影像。第m校正影像與基準影像Pd之間的相對距離為3，故第m校正影像乘以3個平移矩陣T。而當第 i個校正影像位於基準影像Pd的左側時，其平移矩陣T’為上述平移矩陣T的反矩陣T ^-1，其方程式如方程式(15)所示。也就是說，第一校正影像C1位於基準影像Pd的左側(即， i小於 d)，則第一校正影像C1乘以3個平移矩陣 T ^-1 。

方程式(14):

方程式(15):

補充說明的是，上述實施例中，平移矩陣T是以3個像素(pixel)為例。因此，平移矩陣的單位增量可依照使用者的需求調整為1至任意數像素。舉例來說，若平移矩陣的增量單位為2，則方程式(13)的矩陣陣列中3替換為2，以此類推。

於另一實施例，於步驟S360之中，更包括處理器120分別對校正影像以及虛擬影像進行平移處理，以得出經平移處理的校正影像以及經平移處理的虛擬影像。圖6是依照本發明的內插運算以及平移處理的示意圖。如圖6所示，此實施例中，影像擷取裝置的數量為4個，因此經校正處理的校正影像(C1、C2、C3、C4)為四個，且經過上述內插運算所得出的虛擬影像(SC1、Pd’、SC3)為3個。並且，此實施例中其基準影像Pd’為第二待校正影像與第三待校正影像經過內插運算所得出的基準影像Pd’。由圖6可以得知，第四校正影像C4與基準影像Pd’之間的距離為3，因此第四校正影像C4乘以3個平移矩陣T以完成平移處理。接著，處理器120輸出包括經平移處理的校正影像(C1’、C2’、C3’、C4’)、經平移處理的虛擬影像(SC1’、SC3’)及基準影像Pd’的多視角立體影像。補充說明的是，本發明的多視角立體影像產生系統與方法於實際使用時其影像擷取裝置110與被拍攝者的距離可設置為1至3公尺，更佳地，上述影像擷取裝置110與被拍攝者的距離為2.5公尺至3公尺。但本發明亦可應用於自然景觀的拍攝(距離大於3公尺，或更遠)，因此本案不應以次為限。

綜上所述，在本發明實施例的多視角立體影像產生系統與方法中，通過將單應性矩陣拆解成透視變換矩陣、仿射變換矩陣以及相似變換矩陣，並將仿射變換矩陣與相似變換矩陣作為本發明的校正矩陣。藉此，令本發明之多視角立體影像產生系統與方法所輸出的多視角立體影像之中的影像彼此通過校正板的校正，但同時保有透視的效果。並且，通過樞軸校正處理以及平移處理可令多視角立體影像更加穩定以及其立體效果可依照使用者與實際使用情況做調整。值得說明的是，藉由內插運算令本發明的多視角立體影像產生系統與方法可以設置有少量的影像擷取裝置(例如，照相機)即可輸出多張校正影像，以使得運算處理更少以及運算時間更快，進而達到拍攝後即時呈現或即時輸出成立體照片的功效。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1:多視角立體影像產生系統 110:影像擷取裝置 120:處理器 130:儲存裝置 CB:實體校正板 CP:棋盤格圖樣 P1、P2、Pd:待校正影像 H ₁、 H ₂、 H _m:單應性矩陣 H ₂ ^- ¹:單應性矩陣的反矩陣 T:平移矩陣 T ^-1:平移矩陣的反矩陣 Pd、Pd’:基準影像 S1、S2:虛擬影像 C1、C2、C3、C4、C5、Cm-1、Cm:校正影像 C1’、C2’、C3’、C4’、C5’、Cm-1’、Cm’ :經平移處理的校正影像 SC1、SC3:虛擬影像 SC1’、SC3’:經平移處理的虛擬影像 S310~S360:步驟

圖1是依照本發明一實施例的多視角立體影像產生系統的方塊圖。圖2是依照本發明一實施例的多視角立體影像產生系統的示意圖。圖3是依照本發明的一種多視角立體影像產生方法的流程圖。圖4是依照本發明的內插運算的示意圖。圖5是依照本發明的平移處理的示意圖。圖6是依照本發明的內插運算以及平移處理的示意圖。

S310~S360:步驟

Claims

一種多視角立體影像產生系統，包括：多個影像擷取裝置，拍攝設置有一實體校正板的多個影像；以及一處理器，耦接至該些影像擷取裝置，其中該處理器經配置用以：接收該些影像擷取裝置所拍攝的該些影像，以獲得該些影像之中的一基準影像以及多個待校正影像；依據該基準影像以及該些待校正影像以分別運算出每一個該些待校正影像對應於該基準影像的多個單應性矩陣；依據該些單應性矩陣以分別對每一個該些單應性矩陣執行一矩陣拆解運算，以獲得每一個該些單應性矩陣的一校正矩陣；基於該校正矩陣，對該些待校正影像分別執行一校正運算以獲得多個校正影像；以及輸出一多視角立體影像，其中該多視角立體影像包括該基準影像以及該些校正影像；其中該處理器依據該些單應性矩陣以分別對每一個該些單應性矩陣執行該矩陣拆解運算，以獲得該些單應性矩陣之中每一個單應性矩陣的該校正矩陣的步驟，該處理器更經配置用以：依據執行該矩陣拆解運算，將每一個該些單應性矩陣拆解成一透視矩陣、一相似矩陣以及一仿射矩陣；以及將該相似矩陣以及該仿射矩陣作為該校正矩陣。
如申請專利範圍第1項所述的多視角立體影像產生系統，其中依據該基準影像以及該些待校正影像以分別運算出每一個該些待校正影像對應於該基準影像的該些單應性矩陣的步驟，該處理器更經配置用以：對該些待校正影像與該基準影像分別執行一樞軸校正處理，其中該樞軸校正處理是依據一樞軸矩陣進行運算；以及對經樞軸校正處理的該些待校正影像運算出每一個該些待校正影像對應於經樞軸校正處理的該基準影像的該些單應性矩陣。
如申請專利範圍第2項所述的多視角立體影像產生系統，其中該樞軸矩陣分別為該些待校正影像的齊次座標中心的平移矩陣的反矩陣，且該樞軸校正處理更包括一補償矩陣，其中該補償矩陣分別為該些待校正影像的中心點的平移矩陣。
如申請專利範圍第1項所述的多視角立體影像產生系統，其中輸出該多視角立體影像的步驟，該處理器更經配置用以：對該基準影像以及該些校正影像之中彼此相鄰的每二個影像執行一內插運算，以得出多個虛擬影像；輸出該多視角立體影像，其中該多視角立體影像包括該基準影像、該些校正影像以及該些虛擬影像。
如申請專利範圍第1項所述的多視角立體影像產生系統，其中輸出該多視角立體影像的步驟，該處理器更經配置用以：分別對該些校正影像進行一平移處理，以得出多個經平移的校正影像；其中該些校正影像與該基準影像根據其對應的該些影像擷取裝置的相對位置依序作排列；該平移處理為該些校正影像根據其與該基準影像之間的相對N個距離乘以N個平移矩陣；以及輸出包括該些經平移處理的校正影像以及該基準影像的該多視角立體影像。
如申請專利範圍第4項所述的多視角立體影像產生系統，其中輸出該多視角立體影像的步驟，該處理器更經配置用以：分別對該些校正影像以及該些虛擬影像進行一平移處理，以得出多個經平移處理的校正影像以及多個經平移處理的虛擬影像；其中該些校正影像、該基準影像與該些虛擬影像根據其對應的該些影像擷取裝置的相對位置依序作排列；該平移處理為該些校正影像及該些虛擬影像根據其與該基準影像之間的相對N個距離乘以N個平移矩陣；以及輸出包括該些經平移處理的校正影像、該些經平移處理的虛擬影像及該基準影像的該多視角立體影像。
如申請專利範圍第1項所述的多視角立體影像產生系統，其中該些影像擷取裝置的數量為奇數之時，該基準影像為該些影像擷取裝置之中位於正中間的影像擷取裝置所擷取的影像。
如申請專利範圍第1項所述的多視角立體影像產生系統，其中該些影像擷取裝置的數量為偶數之時，該基準影像為該些影像擷取裝置之中位於中間的二影像擷取裝置所擷取的二個影像進行一內插運算所得出的影像。
一種多視角立體影像產生方法，包括：使多個影像擷取裝置分別擷取設置有一實體校正板的多個影像；一處理器接收該些影像擷取裝置所拍攝的該些影像，以獲得該些影像之中的一基準影像以及多個待校正影像；使該處理器依據該基準影像以及該些待校正影像以分別運算出每一個該些待校正影像對應於該基準影像的多個單應性矩陣；使該處理器依據該些單應性矩陣以分別對每一個該些單應性矩陣執行一矩陣拆解運算，以獲得該些單應性矩陣之中每一個單應性矩陣的一校正矩陣；基於該校正矩陣，使該處理器對該些待校正影像分別執行一校正運算以獲得多個校正影像；以及使該處理器輸出一多視角立體影像，其中該多視角立體影像包括該基準影像以及該些校正影像；其中該處理器依據該些單應性矩陣以分別對每一個該些單應性矩陣執行該矩陣拆解運算，以獲得該些單應性矩陣之中每一個單應性矩陣的該校正矩陣的步驟，更包括：使該處理器依據執行該矩陣拆解運算，將每一個該些單應性矩陣拆解成一透視矩陣、一相似矩陣以及一仿射矩陣；以及使該處理器將該相似矩陣以及該仿射矩陣作為該校正矩陣。
如申請專利範圍第9項所述的多視角立體影像產生方法，其中依據該基準影像以及該些待校正影像以分別運算出每一個該些待校正影像對應於該基準影像的該些單應性矩陣的步驟，更包括：使該處理器對該些待校正影像與該基準影像分別執行一樞軸校正處理，其中該樞軸校正處理是依據一樞軸矩陣進行運算；以及使該處理器運算出每一個經樞軸校正處理的該些待校正影像對應於經樞軸校正處理的該基準影像的該些單應性矩陣。
如申請專利範圍第10項所述的多視角立體影像產生方法，其中該樞軸矩陣分別為該些待校正影像的齊次座標中心的平移矩陣的反矩陣，且該樞軸校正處理更包括一補償矩陣，其中該補償矩陣分別為該些待校正影像的中心點的平移矩陣。
如申請專利範圍第9項所述的多視角立體影像產生方法，其中輸出該多視角立體影像的步驟，更包括：使該處理器對該基準影像以及該些校正影像之中彼此相鄰的每二個影像執行一內插運算，以得出多個虛擬影像；使該處理器輸出該多視角立體影像，其中該多視角立體影像包括該基準影像、該些校正影像以及該些虛擬影像。
如申請專利範圍第9項所述的多視角立體影像產生方法，其中輸出該多視角立體影像的步驟，更包括：使該處理器分別對該些校正影像進行一平移處理，以得出多個經平移的校正影像；其中該些校正影像與該基準影像根據其對應的該些影像擷取裝置的相對位置依序作排列；該平移處理為該些校正影像根據其與該基準影像之間的相對N個距離乘以N個平移矩陣；使該處理器輸出包括該經平移處理的校正影像以及該基準影像的該多視角立體影像。
如申請專利範圍第12項所述的多視角立體影像產生方法，其中輸出該多視角立體影像的步驟，更包括：使該處理器分別對該些校正影像以及該些虛擬影像進行一平移處理，以得出多個經平移處理的校正影像以及多個經平移處理的虛擬影像；其中該些校正影像、該基準影像與該些虛擬影像根據其對應的該些影像擷取裝置的相對位置依序作排列；該平移處理為該些校正影像及該些虛擬影像根據其與該基準影像之間的相對N個距離乘以N個平移矩陣；使該處理器輸出包括該些經平移處理的校正影像、該些經平移處理的虛擬影像及該基準影像的該多視角立體影像。
如申請專利範圍第9項所述的多視角立體影像產生方法，其中該些影像擷取裝置的數量為奇數之時，該基準影像為該些影像擷取裝置之中位於正中間的影像擷取裝置所擷取的影像。
如申請專利範圍第9項所述的多視角立體影像產生方法，其中該些影像擷取裝置的數量為偶數之時，該基準影像為該些影像擷取裝置之中位於中間的二影像擷取裝置所擷取的二個影像進行一內插運算所得出的影像。