TWI525382B - 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 - Google Patents

包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 Download PDF

Info

Publication number
TWI525382B
TWI525382B TW102142493A TW102142493A TWI525382B TW I525382 B TWI525382 B TW I525382B TW 102142493 A TW102142493 A TW 102142493A TW 102142493 A TW102142493 A TW 102142493A TW I525382 B TWI525382 B TW I525382B
Authority
TW
Taiwan
Prior art keywords
image
color
camera
images
pixel
Prior art date
Application number
TW102142493A
Other languages
English (en)
Other versions
TW201421145A (zh
Inventor
倪勇慎
劉關松
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201421145A publication Critical patent/TW201421145A/zh
Application granted granted Critical
Publication of TWI525382B publication Critical patent/TWI525382B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Description

包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
本發明係有關於一種包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法。
一種包括多個攝影機的攝影機系統，係用於從不同有利位置對一共同場景成像。由攝影機系統擷取的影像可加以組合以提供攝影機系統中所包含之任何單一攝影機不能獲得的資訊。某些應用針對以明顯高於與單一攝影機關聯的圖框率之圖框率擷取視訊，其用於擷取快速移動物體的視訊。在其他應用中，不同類型的攝影機用於獲得不同類型的資訊。例如，攝影機系統可包括一個用於擷取彩色影像的攝影機和另一個用於擷取單色影像的攝影機。已經證明包括多個攝影機的攝影機系統在立體攝影機應用方面特別有用。
立體攝影機由彼此在空間上偏移的兩個或多個攝影機系統所組成。每個攝影機擷取同一場景的影像，且所記錄之影像的後續分析除了提供標準的二維影像之外，還提供距離資訊。其配置係模擬一雙眼睛之配置。人類藉由比較透過眼睛獲取的視覺資訊而察覺距離。雙眼之間的距離會導致雙眼中形成的影像有輕微差別。大腦處理上述像差從而決定到場景中不同物體的距離並提供深度知覺。類似地，彼此鄰近設置並觀察同一場景的兩台攝影機將會擷取出稍微不同的影像，這是由於兩台攝影機之間的距離所導致。場景中的物體將會出現在影像中稍微不同的位置上。若攝影機彼此以已知的距離分開，則場景中物體相對於立體攝影機的三維位置可透過三角測量法從擷取的影像決定。
立體攝影機被發現用在越來越多的需要影像擷取和場景中物體之距離資訊的應用中。例如，立體攝影機被實施在汽車中，以透過監測周圍環境並決定是否汽車太接近其他物體或人而協助防止事故。除了位置和距離資訊以外，立體攝影機還可以透過將所決定的物體和立體攝影機之間的距離應用於 物體的大小，如在影像中測量的大小，而提供物體的實際大小。此特徵在需要物體識別的應用中有用，如監視、機器視覺，和機器設備。某些立體攝影機包括提供立體攝影機所觀察到之場景的彩色影像的額外攝影機。
一種處理從不同的有利位置所記錄之一場景的複數個影像之方法，其中上述複數個影像包括拜耳(Bayer)型攝影機所擷取的一彩色參考影像和至少一額外影像，上述方法包括：(a)使上述複數個影像中至少一部分套合，以及(b)從上述複數個影像產生一單一的彩色影像，其中上述單一的彩色影像的色彩資訊完全由上述彩色參考影像所決定。
一種攝影機系統，其包括(a)一攝影機陣列，用於從複數個有利位置擷取一場景的複數個影像，其中上述攝影機陣列包括至少一具有拜耳型濾色片陣列的彩色攝影機，(b)一處理器，(c)一記憶體，其通信耦合到上述處理器，以及(d)一影像組合模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會產生上述場景之一單一的彩色影像，其具有完全自上述至少一彩色攝影機中所選出的一彩色攝影機所擷取的影像所獲得的色彩資訊。
一種用於處理從不同有利位置記錄之一場景的複數個影像之系統，其中上述複數個影像包括由一拜耳型攝影機所擷取的彩色參考影像和至少一額外影像，上述系統包括(a)一處理器，(b)一記憶體，其通信耦合到上述處理器，以及(c)一影像組合模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會產生場景之單一的彩色影像，其具有完全從上述彩色參考影像所獲得的色彩資訊，上述單一的彩色影像係與上述彩色參考影像套合。
100‧‧‧攝影機陣列系統
111、211、1311、1511‧‧‧拜耳型攝影機
112、113、114、212、213、1313、1515‧‧‧攝影機
110、210、801、1310、1510‧‧‧攝影機陣列
120‧‧‧影像處理系統
130‧‧‧單一的彩色影像
140‧‧‧景深圖
150、811、1212‧‧‧色彩像素
155、1215、1216、1217、1218‧‧‧感光點
300、400、1700、1800‧‧‧系統
320‧‧‧處理器
330‧‧‧記憶體
340‧‧‧(機器可讀)指令
350‧‧‧影像儲存裝置
360‧‧‧介面
370‧‧‧電源供應器
390‧‧‧殼體
412‧‧‧套合演算法
414‧‧‧組合演算法
416‧‧‧深度演算法
420‧‧‧套合資料
422‧‧‧立體像差
430‧‧‧校準資料
432‧‧‧像差關係
440‧‧‧計數器模組
450‧‧‧結果
500、700、900、1000、1100、1400、1600‧‧‧方法
510、520、530、540、550、560、570、710、720、730、740、750、760、770、780、785、910、920、930、932、940、950、960、965、970、980、1010、1020、1025、1030、1040、1045、1050、1060、1205、1110、1120、1130、1140、 1150、1410、1420、1430、1440、1450、1460、1465、1470、1610、1620、1630、1640、1650、1660、1665、1670‧‧‧步驟
600、800‧‧‧示意圖
601、602‧‧‧線
610‧‧‧物體
611、612‧‧‧位置
621、622‧‧‧成像物鏡
641、642‧‧‧光學軸
631、632‧‧‧像素陣列
650‧‧‧立體基線
670‧‧‧距離
810‧‧‧拜耳型像素陣列
815‧‧‧像素位置
820、830、840‧‧‧像素陣列
825、835、845‧‧‧相應位置
1210‧‧‧拜耳型影像感測器
1220‧‧‧非拜耳型影像感測器
1225、1226、1227、1228‧‧‧像素
1312‧‧‧清晰攝影機
1512‧‧‧R-攝影機
1513‧‧‧G-攝影機
1514‧‧‧B-攝影機
圖1係根據一實施例顯示一例示性攝影機系統，其包括具有至少一拜耳型攝影機的攝影機陣列，和一用於產生單一的彩色影像和景深圖的影像處理系統。
圖2係根據一實施例顯示一例示性攝影機陣列，其包括至少一拜耳型攝影機。
圖3係根據一實施例顯示一例示性攝影機系統，其包括具有至少一拜耳型 攝影機的攝影機陣列。
圖4係顯示圖3中之攝影機系統的一例示性實施例。
圖5係根據一實施例顯示一例示性方法，其係從包括至少一拜耳型影像的複數個輸入影像產生景深圖和單一的彩色影像。
圖6係根據一實施例顯示一示意圖，其顯示場景物體的立體像差與場景物體的深度和攝影機系統的特性的關聯性。
圖7係根據一實施例顯示一例示性方法，其用於決定包括一參考的、拜耳型影像的複數個輸入影像中可識別的場景物體的立體像差，其中影像是由攝影機陣列所擷取。
圖8係根據一實施例顯示一示意圖，其顯示根據包括至少一拜耳型攝影機的一例示性2×2攝影機陣列所擷取的影像所決定的場景物體立體像差之間的對應關係。
圖9係根據一實施例顯示一例示性方法，其係用於套合包括一參考的、拜耳型影像的複數個輸入影像，其中影像係由攝影機陣列所擷取，且套合結果係以單一立體像差的形式提供給上述參考的、拜耳型影像中的每個像素。
圖10係根據一實施例顯示一例示性方法，其係用於根據包括至少一參考的、拜耳型影像的複數個輸入影像產生景深圖，其中景深圖被套合到一參考的、拜耳型影像。
圖11係根據一實施例顯示一例示性方法，其係用於從包括一參考的、拜耳型影像的複數個輸入影像產生單一的彩色影像，其中上述單一的彩色影像被套合到上述參考的、拜耳型影像，且單一彩色影像的色彩係從上述參考的、拜耳型影像所獲得。
圖12係根據一實施例顯示一示意圖，其顯示基於相同的基本像素陣列，一拜耳型影像感測器1210和一例示性非拜耳型影像感測器1220的比較。
圖13顯示圖2中攝影機陣列的一例示性實施例，其中攝影機陣列包括拜耳型攝影機、至少一清晰攝影機、以及額外的選擇性攝影機。
圖14顯示圖11中的方法的一實施例，該實施例適於處理包括一參考的、拜耳型影像和至少一清晰影像的輸入影像，上述影像係透過如圖13所示的攝影機陣列所擷取。
圖15顯示圖2中的攝影機陣列的一例示性實施例，其中上述攝影機陣列 包括一拜耳型攝影機以及一組攝影機，其中上述一組攝影機中之每一者都對拜耳型攝影機所涵蓋的光譜範圍中部分光譜範圍敏感且結合起來至少涵蓋拜耳型攝影機所涵蓋的光譜範圍。
圖16顯示圖11中的方法的一實施例，該實施例係適於處理包括一參考的、拜耳型影像、一表示紅色入射光的影像、一表示綠色入射光的影像、以及一表示藍色入射光的影像的輸入影像，上述輸入影像係透過如圖14所示的攝影機陣列所擷取。
圖17係根據一實施例顯示用於處理包括至少一拜耳型影像的影像之一例示性實施例。
圖18係顯示圖17中系統的一例示性實施例。
圖1顯示包括一例示性攝影機陣列110和影像處理系統120的攝影機陣列系統100。攝影機陣列110包括一拜耳型攝影機111、一攝影機112、以及選擇性攝影機113和114。拜耳型攝影機111、攝影機112以及選擇性攝影機113和114中的每一者都包括一成像物鏡(圖1中未顯示)和用於擷取場景影像的數位影像感測器，如電荷耦合元件(CCD)影像感測器或互補式金屬氧化物半導體(CMOS)影像感測器。拜耳型攝影機111、攝影機112、以及選擇性攝影機113和114從不同的有利位置觀看一共同的場景，因而提供立體成像能力。影像處理系統120處理一組影像，每個影像係由攝影機陣列110的各個獨立攝影機所擷取，從而產生單一、單一的彩色影像130和景深圖140。景深圖140表示從攝影機陣列110到影像中擷取的場景物體的距離。
拜耳型攝影機111的影像感測器裝配有一拜耳型濾色片陣列。拜耳型攝影機111的每個色彩像素150都由對不同顏色的光，如紅色、綠色、和藍色敏感的感光點155(圖1中標記了一例示性感光點)所組成。感光點155提供光的光譜分析，其導致由色彩像素150所偵測到的光的色彩識別。在傳統之拜耳型濾色片陣列中，如圖1所示，一色彩像素，例如色彩像素150，係由一紅色感光點(R)、兩個綠色感光點(G)、以及一藍色感光點(B)所組成。其他的拜耳型濾色片陣列包括，例如每個色彩像素中具有一紅色、一綠色、一藍色、以及一翠綠色感光點的RGBE濾色片陣列，每個色彩像素中具有一青色、兩個黃色、以及一洋紅色感光點的CYYM濾色片陣列，以及每個色彩像素中具有一 青色、一黃色、一綠色、以及一洋紅色感光點的CYGM濾色片陣列。
影像處理系統120基於複數個影像產生單一的彩色影像130。然而，單一的彩色影像130中之色彩資訊係完全從由拜耳型攝影機111所擷取的影像中萃取。在某些用於從多攝影機系統產生單一影像的現有技術系統中，不同攝影機對不同顏色敏感。因此，決定所得單一的彩色影像中像素的色彩需要組合一個以上之攝影機的資訊。對於某些用於色彩識別的攝影機，在成像場景中前景物體如此接近攝影機系統，以致於其遮擋遠處背景的觀察的情形中，這常常會引入色彩瑕疵(color artifact)。這導致遠處背景被遮擋部分的色彩資訊不完整。例如，如果前景物體遮擋提供光譜藍色部分資訊的攝影機所擷取的影像中部分遠處藍色天空，則遠端藍色天空被遮擋部分將缺少藍色。圖1中系統100透過分配完全從拜耳型攝影機111獲得的色彩給單一的彩色影像130而克服此問題。圖11中顯示產生單一的彩色影像130的方法。
影像處理系統120基於影像集合中至少兩個影像產生景深圖140。對於拜耳型攝影機111所擷取的影像中場景的所有物體或點，影像處理系統120在攝影機112和選擇性攝影機113和114中至少一者中定位同一場景物體或點。到由攝影機陣列110成像的場景中一物體或其部分的距離係透過如至少兩個攝影機所測量的其成像位置的三角測量法所決定。根據設計，單一的彩色影像130中出現的任何特徵亦出現在由拜耳型攝影機111擷取的影像中。攝影機陣列110係建構成使得由色彩像素150的感光點155覆蓋的光譜範圍被攝影機陣列110中其他攝影機所覆蓋。在一實施例中，除了拜耳型攝影機111以外，攝影機陣列110還包括至少一“清晰攝影機”，如攝影機112。清晰攝影機的每個像素至少對色彩像素150的感光點155所覆蓋的光譜範圍內的光敏感。如此確保了單一的彩色影像130中發現的任何特徵，無論其色彩為何，都將出現在至少兩個影像中，因而使得能夠對該特徵進行深度計算。在另一實施例中，除了拜耳型攝影機111以外，攝影機陣列110還包括複數個攝影機，如攝影機112和選擇性攝影機113和114，每一者都對色彩像素150的感光點155所覆蓋的部分光譜範圍敏感，且組合起來至少覆蓋色彩像素150的感光點155所覆蓋的光譜範圍。這使得能夠透過三角測量法對該特徵進行深度計算，因為該特徵出現在至少兩個影像中。在某些實施例中，拜耳型攝影機111包括一拜耳型濾色片(感光點R、G、B、和G，如圖1所示)，而攝影機112和選擇性攝影機113和 114包括對紅光敏感的攝影機、對綠光敏感的攝影機，以及對藍光敏感的攝影機。
圖2顯示攝影機陣列210，其係為與本發明相關的攝影機陣列的一般形式。圖1中之攝影機陣列110係為攝影機陣列210的一實施例，且關於圖1的討論，包括由影像處理系統120產生單一的彩色影像130和景深圖140，都可應用於基於攝影機陣列210的系統。攝影機陣列210包括一拜耳型攝影機211、一攝影機212、以及任意數量的選擇性攝影機213(圖2中僅標記出一個)。
雖然圖2顯示設置在規則網格上的各攝影機，但各攝影機可以任何配置排列，只要其能觀察到一共同場景。各攝影機不必在同一平面上，但其相對位置必須為已知。攝影機212和選擇性攝影機213之每一者例如可為一清晰攝影機、一所有像素具有相同色彩敏感度的色彩塗佈的攝影機、一紅外攝影機、或一拜耳型攝影機。在一實施例中，攝影機212及選擇性攝影機213所擷取的影像係以與拜耳型攝影機211所擷取的影像相同的放大倍率進行擷取。在另一實施例中，攝影機212和選擇性攝影機213中至少一者以不同於拜耳型攝影機211的放大倍率擷取影像。在又另一實施例中，攝影機212和選擇性攝影機213中至少一者以與拜耳型攝影機211不同的亮度設定擷取影像，如不同曝光時間、增益設定或光圈檔數，以便擴展攝影機系統的動態範圍。在某些實施例中，攝影機212和/或選擇性攝影機213擷取與拜耳型攝影機211所擷取之影像的像素解析度不同的影像。攝影機陣列210可形成在單一染料上，上述染料提供各攝影機，即拜耳型攝影機211、攝影機212、和選擇性攝影機213之間穩健的對準。
圖3顯示透過攝影機陣列進行影像擷取以及所擷取影像的後續處理的系統300，上述攝影機陣列包括至少一拜耳型攝影機。系統300包括圖2中之攝影機陣列210。在系統300中，攝影機陣列210與處理器320通信，以便處理從攝影機陣列210接收的影像，以及選擇性地用以控制攝影機陣列210。處理器320與記憶體330通信，上述記憶體330包括用於處理從處理器320接收的影像之機器可讀指令340，以及與影像儲存裝置350通信，其用於儲存攝影機陣列210所擷取的影像，以及選擇性地儲存由處理器320所產生的影像。
在一實施例中，機器可讀指令340至少包含用於產生圖1中單一的彩色影像130和景深圖140的演算法。在此情形中，處理器320和記憶體330包括圖1中之影像處理系統120的功能。關於圖1的討論可延伸到系統300的 此實施例。處理器320進一步與介面360通信，以便傳輸攝影機陣列210所擷取的影像和/或處理器320所產生的資料，如單一的彩色影像130和景深圖140。介面360可傳輸影像和其他資料到使用者或外部電腦，以便資料的進一步處理和/或儲存。在某些實施例中，攝影機陣列210、處理器320、記憶體330、以及介面360封閉在殼體390中。殼體390可為攝影機主體。進一步包括在殼體390中的可為電源供應器370。選擇性地，處理器320和記憶體330的部分功能由與介面360通信的外部電腦(圖3中未顯示)提供。
圖4顯示用於影像擷取和處理的系統400，其為圖3中之系統300的一實施例。在系統400中，機器可讀指令340包括用於處理由攝影機陣列210所擷取的同一場景的複數個影像的演算法，每個影像都表示從不同有利位置觀察到的場景視圖。包括在指令340中的演算法是：用於套合複數個影像的套合演算法(registration algorithm)412；用於基於複數個影像產生單一影像(如圖1中的單一的彩色影像130)的組合演算法414；以及用於基於複數個影像產生景深圖(如圖1中的景深圖140)的深度演算法416。記憶體330進一步包括用於儲存處理器320根據套合演算法412中指令所產生的套合資料的套合資料420。套合資料420包括立體像差422。記憶體330進一步包括處理器320在處理從攝影機陣列210所接收的影像時使用的校準資料430。校準資料430包括由處理器320用於執行套合演算法412所使用的像差關係432。此外，記憶體330包括處理器320在執行指令340中使用的計數器模組440，和用於儲存處理器320根據指令340所產生之結果的結果450。
圖5顯示從場景之複數個影像產生單一影像和景深圖的方法500。每個影像都表示從不同有利位置獲得的場景視圖，且至少一影像為拜耳型影像。例如，方法500係由圖3和4中之處理器320所使用，以處理從攝影機陣列210(圖2)接收的影像，從而產生圖1中之單一的彩色影像130和景深圖140。
在步驟510中，複數個輸入影像是從攝影機陣列所接收。與直接來自攝影機陣列相比，複數個輸入影像可選擇性地從儲存位置擷取。每個影像都表示來自不同有利位置的同一場景的視圖。影像可由攝影機陣列210(圖2)擷取並由處理器320(圖3和4)接收。在選擇性之步驟520中，輸入影像被修剪以除去無意義的影像部分，如受到漸暈(vignetting)或過度失真的影像部分。 例如，根據指令340(圖3和4)，步驟520是由處理器320(圖3和4)所執行。在選擇性的步驟530中，原始拜耳型影像被轉換為彩色影像。如果拜耳型影像係以原始格式接收，則執行選擇性之步驟530，其中來自各個感光點，如感光點155(圖1)的資料尚未加以組合以定義像素的色彩，如色彩像素150(圖1)。一般而言，選擇性的步驟530包括白平衡和去馬賽克化。例如，選擇性的步驟530係由處理器320(圖3和4)根據指令340執行。
在步驟540中，複數個輸入影像係予以套合。由於每個影像都表示從不同有利位置獲得的場景之視圖，故場景之物體被成像到複數個影像中每個影像的不同位置。這些差異就是已知的立體像差。
圖6係為示意圖600，其顯示與成像物鏡621在像素陣列631上成像以及成像物鏡622在像素陣列632上成像的場景中之物體610關聯的立體像差。成像物鏡621和622的光學軸641和642分別由長度為B的立體基線650分開。如線601所示，成像物鏡621將物體610成像在像素陣列631的位置611上，與像素陣列631的原點之間的距離為x。類似地，如線602所示，成像物鏡622將物體610成像在像素陣列632的位置612上，與像素陣列632的原點之間的距離為x+△x。與物體610關聯並關聯至在像素陣列631上之成像位置611的立體像差為△x。物體610的深度係定義為在與其各自光學軸641和642平行方向上從物體610到成像物鏡621和622的距離z(標記為670)。透過下面的方程式，物體610的深度與立體像差△x關聯：z=B×f/△x, (方程式1)其中f是成像物鏡621和622的焦距(標記為650)。示意圖600和深度與立體像差之間的關係的關聯偏差係基於兩個相同的成像系統，其具有相同的薄透鏡成像物鏡、平行光軸、以及共面像素陣列。示意圖600和其中的討論以及方程式1在不偏離其範圍下亦可立即適用於說明更複雜的情形。
再回到圖5的方法500，步驟540包括決定相應位置集合，作為各輸入影像中同一場景物體(或點)之位置的每個相應位置都被決定。位置可以侷限於實際像素位置或以超像素解析度決定。步驟540進一步包括計算與成像場景中之點關聯的立體像差，如與物體610(圖6)關聯的立體像差△x。立體像差係關聯至參考影像。在一實施例中，如果發現場景物體在兩個以上的影像中，則所有已決定的相應位置都用於決定單一、關聯的立體像差。立體像差係 儲存在記憶體中，如儲存到套合資料420(圖4)作為立體像差422(圖4)。在一實施例中，表示相應位置集合的套合資料係儲存到記憶體中，如作為套合資料420。在一替代性實施例中，僅立體像差被儲存到記憶體中，且方法500的後續步驟中所需的相應位置集合係從這類立體像差中所推導出來，如立體像差422。例如，步驟540係由處理器320(圖3和4)根據套合演算法412(圖4)中之指令執行。
在步驟550中，表示成像場景中物體的深度之景深圖，例如圖1中的景深圖140，係予以產生。深度計算係基於步驟540中所決定的立體像差，例如立體像差422(圖4)。深度計算可利用方程式1。例如，步驟550係由處理器320(圖3和圖4)根據深度演算法416(圖4)中之指令執行。
在步驟560中，根據步驟540中所決定的套合，透過組合不同輸入影像，從複數個輸入影像產生單一的彩色影像，例如圖1中的單一的彩色影像130。單一的彩色影像中每個像素的色彩係根據參考影像中相應像素的色彩加以分配。在一實施例中，單一的彩色影像的每個像素的灰階值係透過組合複數個輸入影像中所有相應位置的強度而發現，其中相應位置已經在步驟540中決定。在一實施例中，相應位置係從步驟540中所決定的立體像差所推導出來。在另一實施例中，如果在步驟540中，相應位置係以超像素解析度決定，則一“相應位置”的強度會構成最靠近該位置的像素之強度的加權平均值。例如，步驟560係由處理器320(圖3和4)根據組合演算法414(圖4)中之指令執行。
在步驟570中，分別在步驟560和550中所產生的單一的彩色影像和景深圖係予以輸出。例如，步驟570係由處理器320利用介面360(圖3和4)執行。步驟570可以兩個分開的步驟執行，一個輸出景深圖，另一個輸出單一的彩色影像，當能獲得以上兩者時。步驟550和560可連續或並行執行。
在某些實施例中，步驟540、550、和560中之一或多個步驟係利用從至少一拜耳型影像中所選擇的參考拜耳型影像。在這類實施例中，步驟540中所計算的立體像差係關聯於在參考拜耳型影像中之位置。類似地，在某些實施例中，步驟550中所產生的景深圖係關聯於參考拜耳型影像，使得景深圖中每個像素表示參考拜耳型影像的同一位置中物體的深度。相同的原理可應用於步驟560，使得在某些實施例中，單一的彩色影像中場景物體的位置與參考拜耳型影像中之位置相同。然而，因為單一的彩色影像的像素強度係從複數個影 像所決定，故與參考拜耳型影像相比，單一的彩色影像中物體的空間解析度仍可被改善。在利用參考拜耳型影像的步驟560之實施例中，單一的彩色影像中像素的色彩被設定為與參考拜耳型影像中相同像素的色彩。
圖7顯示用以決定攝影機陣列所擷取的影像中場景的物體(或點)的立體像差之方法700。輸入影像表示從不同有利位置觀察的共同場景的影像，並包括至少一拜耳型影像，其中一者定義參考影像。假定場景物體可在至少三個影像中識別，其包括一參考的、拜耳型影像。因此，至少兩個不同影像對可用於立體像差決定。如下所述，從不同影像對獲得的立體像差之間的關係已經在執行方法700之前校準，例如，在製造用於擷取輸入影像的攝影機陣列之製程中。根據考量顯示場景物體的所有影像，方法700利用立體像差之間的這些預校準的關係決定單一立體像差。這相對僅利用兩個含場景物體之影像的方法而言增加了穩定性。方法700構成方法500(圖5)的步驟540一例示性實施例的一部分，並可儲存為圖4中套合演算法412的一部分。
在步驟710中，包括一參考的、拜耳型影像的複數個輸入影像係從攝影機陣列或從儲存位置所接收。例如，處理器320(圖3和4)從攝影機陣列210(圖2)或從影像儲存裝置350(圖3和4)接收複數個輸入影像。在步驟720中，下面表示為參考像素的色彩像素係從一參考的、拜耳型影像中所選擇。參考像素與出現在至少兩個額外影像中的場景物體(或點)的影像一致。例如，參考像素為圖1中拜耳型攝影機111的色彩像素150。步驟720可由處理器320(圖3和4)執行，並可定義部分套合演算法412(圖4)。
在步驟730中，相應於參考像素的位置集合在其他輸入影像中被識別。假定成像到步驟720中所選擇的參考像素的場景物體至少在兩個其他影像中可識別，則至少兩個相應位置係在步驟730中決定。每個相應於參考像素的位置係指各非參考輸入影像，並與參考像素的場景物體的影像最佳匹配。因為立體像差可為任何尺寸，且不限於整數個像素，故相應於參考像素的位置可不在影像像素的中心。在一實施例中，步驟730中所決定的相應於參考像素的位置被限制在像素座標。在另一實施例中，相應於參考像素的位置係以超像素解析度加以分配。用於擷取輸入影像的攝影機間之有利位置差可導致給定場景物體的影像表示中不同影像的差別。因此，步驟730係決定最佳匹配參考像素的位置。亦應注意者為，輸入影像可具有不同解析度。例如，非拜耳型影像的 像素解析度可比拜耳型影像高。步驟730可為套合演算法412(圖4)的一部分，並可由處理器320(圖3和4)執行。參考像素及其相應位置由處理器320(圖3和4)儲存在，例如記憶體中，如儲存在套合資料420(圖4)中。
在步驟730的某些實施例中，相應於參考像素的位置係透過於非參考影像中搜尋掃描線而發現。考慮一例示性的影像對，其包括由位於同一垂直位置的兩個攝影機所擷取的參考影像和非參考影像。圖2中攝影機陣列210中拜耳型攝影機211和攝影機212顯示這樣的情形。在一實例中，其中拜耳型攝影機211和攝影機212具有相同的成像特性、平行光軸、以及共面像素陣列，成像到步驟720中所選擇的參考像素上的物體係位於非參考影像中同一垂直位置。該垂直位置處的水平線被掃描到非參考影像中，且沿水平掃描線與參考像素中內容之最佳匹配係被識別。在一更複雜之實例中，其中拜耳型攝影機211和攝影機212例如具有不同成像特性(如放大倍率)、不平行光軸或非共面像素陣列，或位於不同垂直位置，因此使影像被修正補償。這樣的修正可包括利用一變換映射攝影機212所擷取的影像內容到新影像上，該變換解決拜耳型攝影機211和攝影機212之間的差別，而非有利位置點差別。替代性地，差別可透過掃描非參考影像中的一變換軌跡而解決。變換資訊可儲存在記憶體中，如校準資料430(圖4)，並在需要時由例如處理器320(圖3和4)擷取。
在步驟740中，步驟720中所選擇的參考像素和相應於參考像素並在步驟730中被識別的至少兩個位置係以參考像素座標和立體像差表達。至少兩個立體像差△x(i)輸入該問題。
一例示性攝影機陣列801在圖8的示意圖800中顯示。攝影機陣列801包括具有拜耳型像素陣列810的攝影機，和三個其他具有像素陣列820、830、以及840的攝影機。這四個攝影機排列在2×2網格中。拜耳型像素陣列810的色彩像素811係定義一例示性參考像素，如圖7中步驟720所選擇並與拜耳型像素陣列810上形成的影像中之場景物體關聯的像素。參考像素811相對於定義的坐標系統原點的位置815為(x,y)(圖8中標記為815)，例如拜耳型像素陣列810的左上部色彩像素。在此實例中，根據圖7中之步驟730，相應位置825、835、以及845被發現在各像素陣列820、830、和840上形成的每個影像中。像素陣列820的位置825的座標為(x+△x,y)，其中△x為與參考像素位置815和相應位置825關聯的立體像差。類似地，像素陣列830上形成的影像中之位 置835為(x,y+△y)。最終，像素陣列840上形成的影像中之位置845為(x+△x,y+△y)。該座標係透過將立體像差△x加到相應位置835的座標，或透過將立體像差△y加到相應位置845的座標而發現。
因此所有位置825、835、和845都是以參考像素位置815和立體像差△x與△y來表達。這導致下面的方程式系統：(x815,y815)=(x,y) (方程式2a)
(x825,y825)=(x+△x,y) (方程式2b)
(x835,y835)=(x,y+△y) (方程式2c)
(x845,y845)=(x+△x,y+△y) (方程式2d)所有座標x815、y815、x825、y825、x835、y835、x845以及y845都是已知的，因為其係從輸入影像所萃取。方程式2a可用於消除未知數x和y，留下三個方程式：(x825,y825)=(x815+△x,y815) (方程式3a)
(x835,y835)=(x815,y815+△y) (方程式3b)
(x845,y845)=(x815+△x,y815+△y) (方程式3c)因此，未知量為立體像差△x和△y。
返回到方法700(圖7)的步驟740，圖8中所示之實例可立即延伸到從一般攝影機陣列獲得的輸入影像中任意數量的位置，相應於參考像素，如關於圖2所討論者。步驟740可構成套合演算法412(圖4)的一部分，並由處理器320(圖3和4)執行。
在步驟750中，立體像差△x(i)之間的預校準的關係被產生來根據參考像素位置和單一立體像差表達相應於參考像素的所有位置。例如，這些預校準的關係係從校準資料430所擷取以作為像差關係432。以△x表示單一立體像差，所有其他立體像差△x(i)可以表達為△x(i)=fi(△x)，其中fi是△x的預校準函數。例如，fi是△x的線性函數。
為了說明，將步驟750應用於方程式3中所列出並與圖8中之實例相關的方程式系統，產生如下方程式系統：(x825,y825)=(x815+△x,y815) (方程式4a)
(x835,y835)=(x815,y815+f(△x)) (方程式4b)
(x845,y845)=(x815+△x,y815+f(△x)) (方程式4c)其中△y=f(x)。這使得三個方程式的系統中有一個未知數，即立體像差△x。
步驟750可應用於由任何攝影機陣列所擷取的輸入影像，上述任何攝影機陣列包括拜耳型攝影機，如關於圖2所討論者。在一般情形中，步驟750的輸出是至少兩個具有單一未知數的方程式之系統，即一方程式的超定系統(overdetermined system)。例如，步驟750構成套合演算法412(圖4)的一部分，並由例如處理器320(圖3和4)執行。
在步驟760中，求解步驟750中所產生的方程式的超定系統，如方程式4，從而決定單一立體像差△x。解超定方程式系統的方法在本領域中是已知的。在某些情形中，精確解可利用，例如矩陣代數而發現。通常，至少近似解可利用最佳化方法發現。在一實施例中，方程式的超定系統係利用最小平方法而求解。例如，步驟760為套合演算法412(圖4)的一部分，並可由處理器320(圖3和4)執行。在步驟770，所決定的立體像差△x係輸出到記憶體、輸出給使用者、或輸出給外部電腦。例如，步驟770係由處理器320(圖3和4)執行，其儲存立體像差△x到立體像差422(圖4)，和/或經由介面360(圖3和4)將立體像差△x傳輸給使用者或外部電腦。
選擇性之步驟780係使用方程式1計算成像到步驟720中所選擇的參考像素上的場景物體(或點)的深度。例如，選擇性之步驟780係透過處理器320(圖3和4)執行，並構成深度演算法416(圖4)的一部分。立體基線B的值可從校準資料430(圖4)中擷取。選擇性之步驟785輸出步驟780中所決定的深度到，例如記憶體、使用者、或外部電腦。選擇性之步驟785可由處理器320(圖3和4)執行，其儲存深度到結果450(圖4)和/或經由介面360(圖3和4)輸出深度到使用者或外部電腦。
圖9顯示用以套合由攝影機陣列所擷取的複數個輸入影像的方法900，上述複數個輸入影像包括至少一拜耳型影像。至少一拜耳型影像中的一個影像定義為參考影像，而非參考影像則被套合到拜耳型參考影像。方法900為方法500(圖5)的步驟540的一例示性實施例，且方法900的指令可儲存在圖4中之套合演算法412。在方法900中，套合係以立體像差表示。在一替代性實施例中，圖9中未顯示，由方法900所決定的套合係以一組相應位置來表示。
在步驟910中，由攝影機陣列所產生的輸入影像係予以接收。輸入影像包括一參考的、拜耳型影像。例如，步驟910係由處理器320(圖3和4)執行，其可從攝影機陣列210(圖2、3、4)接收輸入影像，或根據需要，從儲 存位置，如影像儲存裝置350(圖3和4)接收輸入影像。在步驟920中，參考影像像素計數器被初始化。例如，參考影像像素計數器由處理器320(圖3和4)初始化，並儲存在計數器模組440(圖4)中。後續步驟930到960係為參考像素N執行，其中N係為參考影像像素計數器的值。
在步驟930中，非參考輸入影像係為了與參考像素N的內容匹配或與其最佳匹配的位置而搜尋。步驟930利用與方法700(圖7)的步驟730相同的搜尋方法。在某些情形中，沒有發現相應的最佳匹配位置。例如，當靠近用於擷取輸入影像的攝影機陣列的場景物體遮擋到非參考影像中參考像素N的內容時，會發生沒有相應的最佳匹配位置。可能導致沒有相應最佳匹配位置的其他情形包括搜尋方法不能發現單一最佳匹配位置的情形。例如，搜尋可發現兩個最佳匹配位置，但沒有資訊指引在這兩者之間做出選擇，或參考像素N的內容可以是影像中一較大均勻區域的一部分，使得搜尋要識別較大範圍，而非單一位置。例如，步驟930係由處理器320(圖3和4)執行。參考像素N的位置和相應最佳匹配可透過處理器320(圖3和4)儲存到記憶體，例如儲存到套合資料420(圖4)。
步驟932係為一決定步驟。步驟932評估步驟930中所發現的相應最佳匹配位置的數量。例如，步驟932由處理器320(圖3和4)執行，選擇性地基於從套合資料420中擷取相應最佳匹配位置。如果步驟930中沒有發現相應最佳匹配位置，則方法900進入步驟960。如果步驟930中發現單一相應最佳匹配位置，則方法900進入步驟940，其中與參考像素N關聯的立體像差係從參考像素N的位置和相應最佳匹配之間的差異計算而得。步驟950可由處理器320(圖3和4)執行。如果步驟930中發現兩個或兩個以上相應最佳匹配位置，則方法900進入步驟950，其與方法700(圖7)的步驟740到770相同，並決定與參考像素N關聯的立體像差。步驟940和950中所決定的立體像差可儲存到記憶體。例如，處理器320(圖3和4)儲存所決定的立體像差到套合資料420(圖4)。
步驟960是另一個決定步驟。步驟960可由處理器320(圖3和4)執行。如果參考像素N不是參考的、拜耳型影像的最後像素，則方法900進入步驟965，其中參考影像像素計數器在方法900進入步驟930之前會增加。例如，步驟965係由處理器320(圖3和4)透過如下操作執行：從計數器模組440 (圖4)讀取參考影像像素計數器的值，增加該值，以及儲存增加後的值到計數器模組440。如果參考像素960是參考的、拜耳型影像的最後像素，則方法900進入到選擇性之步驟970。選擇性之步驟970為了在步驟930中沒有發現相應最佳匹配位置的每個參考像素決定立體像差。對於這些像素，立體像差係從其他具有已知立體像差的參考像素透過內插法所決定。例如，選擇性之步驟970係由處理器320(圖3和4)使用儲存在套合資料420(圖4)中的立體像差而執行。在步驟980中，方法900輸出立體像差。步驟980可由處理器320(圖3和4)執行，其儲存立體像差到套合資料420(圖4)，和/或經由介面360(圖3和4)輸出深度給使用者或外部電腦。
圖10顯示方法1000，其用於根據複數個輸入影像，其包括至少一參考的、拜耳型影像，產生景深圖。方法1000係為方法500(圖5)中之步驟550的一例示性實施例。方法1000的指令可在系統400(圖4)中執行為深度演算法416。方法1000利用套合資料，即相對參考的、拜耳型影像而表達的輸入影像之間的像素對應關係產生景深圖。在此實施例中，由方法1000使用的套合資料為立體像差的形式。在一替代性實施例中，圖10中沒有顯示，方法1000的輸入是相應像素的集合，其被方法1000轉換為立體像差。
在步驟1010中，方法1000接收與參考的、拜耳型影像的像素關聯的立體像差。例如，步驟1010係由處理器320(圖3和4)執行，處理器320從套合資料420(圖4)擷取立體像差422(圖4)。在步驟1020中，參考影像像素計數器N被初始化。例如，參考影像像素計數器由處理器320(圖3和4)初始化，並儲存在計數器模組440(圖4)中。後續步驟1025到1045係為了參考像素N執行。
選擇性之步驟1205評估是否與參考像素N關聯的立體像差是已知的。在與參考的、拜耳型影像關聯的套合資料為不完整之情形，例如如果套合資料係由方法900(圖9)所產生，而不執行選擇性之步驟970的情形中，選擇性之步驟1205係包括在方法1000中。例如，步驟1025由處理器320(圖3和4)透過執行立體像差422(圖4)的搜尋而執行。如果與參考像素N關聯的立體像差係為未知，則方法1000進入步驟1040。如果與參考像素N關聯的立體像差係為已知，則方法1000進入到步驟1030。在步驟1030，與參考像素N關聯的深度係利用方程式1從立體像差計算而得。例如，步驟1030係由處理器 320(圖3和4)執行，且得到的深度係儲存在結果450(圖4)中。步驟1040是一決定步驟。如果參考像素N係為最後參考像素，則方法1000進入到選擇性之步驟1050。否則，方法1000進入到步驟1045。步驟1040可由處理器320(圖3和4)執行。在方法1000進入步驟1025之前，步驟1045增加影像像素計數器N。例如，步驟1045由處理器320(圖3和4)透過如下操作執行：從計數器模組440(圖4)讀取參考影像像素計數器的值，增加該值，並儲存增加後的值到計數器模組440。
如果輸入到方法1000的套合資料為不完整，則執行選擇性之步驟1050，如上述對選擇性之步驟1025所討論者。在選擇性之步驟1050中，與立體像差未知的參考像素關聯的深度係從具有已知關聯深度的其他參考像素透過內插法所決定。例如，選擇性之步驟1050係由處理器320(圖3和4)使用儲存在結果450(圖4)中的深度而執行。在步驟1060中，與參考的、拜耳型影像中每個像素關聯的深度係予以輸出。在一實施例中，輸出係以套合到參考拜耳型影像的一景深圖的形式。例如，步驟1060係透過處理器320(圖3和4)執行，其儲存景深圖到結果450(圖4)和/或經由介面360(圖3和4)輸出景深圖到使用者或外部電腦。
圖11顯示從由攝影機陣列所擷取的複數個輸入影像，其包括一參考的、拜耳型影像，產生單一的彩色影像的方法1100。方法1100係為方法500(圖5)中之步驟560的一實施例。方法1000的指令可在系統400(圖4)中實施為組合演算法414。圖14和16中揭露了特別適於某些類型的輸入影像的方法1000的實施例。
在步驟1110中，方法1100接收由攝影機陣列所擷取的輸入影像，其包括一參考的、拜耳型影像。步驟1110可由處理器320(圖3和4)執行，其從影像儲存裝置350(圖3和4)擷取輸入影像。在步驟1120，方法1100接收所輸入的套合資料。在步驟1120的一實例中，處理器320(圖3和4)擷取套合資料420(圖4)。
在步驟1130，一灰階單一影像係予以產生。步驟1130可由處理器320(圖3和4)執行。灰階單一影像的每個像素具有像素強度，但沒有色彩定義(color definition)。單一影像被套合到參考的、拜耳型輸入影像，亦即單一影像中場景物體的位置至少近似等於參考的、拜耳型影像中的位置。例如，由 於影像組合過程所導致的改善的空間解析度，可發生少量偏移。
在一實施例中，灰階資訊係使用套合資料從組合所有輸入影像的像素強度而獲得。上述參考的、拜耳型影像中給定像素的組合過程可透過組合複數個像素強度而執行，每個像素強度都是從各輸入影像中之單一像素所萃取。替代性地，如果套合資料係以超像素解析度提供，則組合過程可以超像素解析度執行。在此情形中，從各輸入影像所萃取的像素強度可以是多個像素強度的加權平均值，如最接近套合資料所定義的位置的像素之強度。在某些實施例中，灰階資訊係僅基於非拜耳型影像而決定，亦即由攝影機所擷取的所有像素都具有相同色彩敏感度的影像。如下面所討論，非拜耳型影像感測器常比拜耳型影像感測器能提供較高品質的灰階資訊。
圖12係基於同一基本像素陣列，拜耳型影像感測器1210和非拜耳型影像感測器1220的比較。如關於圖1所討論，拜耳型影像感測器由色彩像素所組成。一例示性色彩像素1212在圖12中顯示。色彩像素1212由對紅光敏感的感光點1215，對綠光敏感的感光點1216和1217，以及對藍光敏感的感光點1218所組成。這些感光點係為以光譜選擇性塗層塗佈的實際感測器像素。分析來自每個感光點1215、1216、1217、和1218的信號，從而提供色彩像素1212的灰階值和色彩定義。感光點1215、1216、1217、和1218對應於非拜耳型影像感測器1220的像素1225、1226、1227、以及1228。因此，相比由拜耳型影像感測器1210所產生的影像，由非拜耳型影像感測器1220所產生的影像具有四倍像素解析度，因此提供更高解析度的灰階資訊。感光點1215、1216、1217、以及1218的光譜選擇性塗層進一步影響從拜耳型影像感測器獲得的灰階資訊的品質。感光點1215、1216、1217、以及1218的光譜選擇性塗層中每一者防止各通帶外波長的光到達感測器之光敏區。通帶係定義了可由感光點偵測的光譜範圍。此外，即使在通帶內，塗層的透射率通常在60-90%的範圍內。光譜選擇性塗層所導致的光損耗會導致拜耳型影像感測器1210的訊號噪訊比相較於非拜耳型影像感測器1220較為減小。因此，改善的空間解析度和訊號噪訊比的灰階資訊可透過僅基於非拜耳型影像決定灰階資訊而獲得。
在步驟1140中，色彩資訊係加入到步驟1130中所產生的灰階單一影像。色彩資訊係從上述參考的、拜耳型影像所萃取。例如，步驟1140係由處理器320(圖3和4)執行。單一影像的每個像素被分配一種顏色。被分配的 顏色係為上述參考的、拜耳型影像中之相應像素的顏色。參考的、拜耳型影像具有完整的色彩資訊，且單一影像的色彩資訊可因此避免某些色彩瑕疵問題，如先前技術系統從影像組合過程獲得單一影像的色彩資訊所經歷的遮擋引致的色彩混淆問題。
在一實施例中，單一影像和參考的、拜耳型影像具有相同的像素解析度。單一影像中給定像素的色彩係為參考的、拜耳型影像中相應像素的色彩。在另一實施例中，單一影像比參考的、拜耳型影像的像素解析度高，因此參考的、拜耳型影像中每個像素對應於單一影像中多個像素形成之一方塊。例如，灰階資訊係基於與參考的、拜耳型影像感測器(參看圖12)相同的基本像素陣列而僅從非拜耳型影像獲得的情形就是這樣。單一影像中像素塊中每個像素被分配相應於像素塊的參考像素的色彩。這導致灰階資訊比色彩資訊具有更高空間解析度的單一的彩色影像。在許多應用中，這完全是可接受的，因為一般人的視覺對灰階空間細節比對色彩空間細節更敏感。在又另一實施例中，步驟1130中所產生的單一灰階影像具有與上述參考的、拜耳型影像不同的任意像素解析度。單一灰階影像的每個像素都被分配一色彩，該色彩係為(a)像素位置最密切匹配的參考像素的色彩，或(b)像素位置最密切匹配的參考像素集合的加權平均值。
在步驟1150中，在步驟1140中最終決定的單一的彩色影像係予以輸出。在某些實施例中，步驟1150的輸出進一步包括步驟1130中所產生的灰階單一影像。例如，步驟1150係由處理器320(圖3和4)執行，其儲存單一的彩色影像和選擇性地儲存灰階單一影像到結果450(圖4)中，和/或經由介面360(圖3和4)輸出單一的彩色影像和選擇性的灰階單一影像到使用者或外部電腦。方法1100的步驟在不偏離本發明的範圍之下可重新加以組織。在一實施例中，步驟1140係在步驟1130之前執行。在另一實施例中，步驟1130和1140係並行執行。在又另一實施例中，單一的彩色影像係透過為單一影像的單一像素執行步驟1130和1140並為所有像素重複這兩個步驟，而逐像素產生的。
圖13顯示作為攝影機陣列210(圖2、3和4)之一實施例的攝影機陣列1310。攝影機陣列1310包括拜耳型攝影機1311、清晰攝影機1312、以及任意數量的選擇性攝影機1313(圖13中僅標記一個)。清晰攝影機1312至少對拜耳型攝影機覆蓋的光譜範圍敏感，並僅提供灰階資訊。在一實施例中， 清晰攝影機1312包括用於影像擷取的單色影像感測器。
圖14顯示方法1400，其用於從複數個輸入影像，其包括一參考的、拜耳型影像和至少一灰階影像，產生單一的彩色影像。由方法1400所使用的輸入影像係由攝影機陣列所擷取，例如圖13中之攝影機陣列1310。方法1400係為方法1100(圖11)的一實施例，其係適於利用特定類型的輸入影像。
步驟1410和1420與方法1100(圖11)中各步驟1110和1120相同，但要求在步驟1410中所接收的輸入影像包括一參考的、拜耳型影像和至少一灰階影像。假定至少一灰階影像的每個像素在空間上相應於上述參考的、拜耳型影像的色彩像素的感光點，如圖12所示。在步驟1430中，單一影像像素計數器N被初始化。單一影像像素計數器係例如由處理器320(圖3和4)所初始化，並儲存在計數器模組440(圖4)中。後續步驟1440到1465係為了單一像素N所執行，其中N係為單一影像像素計數器的值。在步驟1440中，強度，即單一像素N的灰階值被設定為灰階輸入影像中相應像素的平均值。在某些情形中，灰階輸入影像中僅有單一相應像素，且平均值僅為此單一相應像素的值。步驟1440特定說明應用於單一影像的單一像素的步驟1130(圖11)的一實施例，其中灰階單一影像的灰階資訊係僅基於灰階輸入影像而決定。在步驟1450中，單一像素N被分配上述參考的、拜耳型影像中相應色彩像素的色彩。步驟1450特定說明圖11中步驟1140的一實施例。在步驟1460中，單一像素計數器N的值被評估。步驟1460可由處理器320(圖3和4)執行。如果單一像素N係為單一影像的最後像素，則方法1400進入步驟1470。否則，方法1400進入步驟1465，其中單一像素計數器N在進入步驟1440之前會增加。例如，步驟1465由處理器320(圖3和4)透過如下操作執行：從計數器模組440(圖4)讀取單一影像像素計數器的值N，增加該值，以及儲存該增加後的值到計數器模組440中。步驟1470與方法1100(圖11)的步驟1150相同。
圖15顯示作為攝影機陣列210(圖2、3、和4)的一實施例的攝影機陣列1510。攝影機陣列1510包括拜耳型攝影機1511、對紅光敏感的R-攝影機1512、對綠光敏感的G-攝影機1513、對藍光敏感的B-攝影機1514、以及任意數量的選擇性攝影機1515(圖15中僅標記一個)。在一實施例中，拜耳型攝影機1511的色彩像素的每個感光點都具有與R-攝影機1512、G-攝影機1513、和B-攝影機1514之其中一者相同的光譜敏感性。雖然圖15中，拜耳型 攝影機1511係基於傳統濾色片陣列，其中每個色彩像素都由一個紅色、兩個綠色、以及一個藍色感光點所組成，但在不偏離本發明的範圍之下也可使用其他拜耳型濾色片陣列。類似地，在不偏離本發明的範圍之下，R-攝影機1512、G-攝影機1513、和B-攝影機1514可由另一組攝影機所取代，每一者都對某個光譜範圍敏感，且組合起來至少覆蓋拜耳型攝影機1511的光譜範圍，如可見光範圍。
圖16顯示方法1600，其用於從複數個輸入影像，其包括一參考的、拜耳型影像、以及R、G、和B影像，產生單一的彩色影像，其中R、G、和B影像係為紅色、綠色、和藍色影像，分別為部分入射光。由方法1600使用的輸入影像係由攝影機陣列所擷取，例如圖15的攝影機陣列1510。在不偏離本發明的範圍之下，R、G、和B影像可以由另一組影像所取代，每一者都代表某個光譜範圍，且組合起來至少覆蓋上述參考的、拜耳型影像的光譜範圍。假定R、G、和B影像的每個像素都在空間上相應於上述參考的、拜耳型影像的色彩像素的感光點，如圖12所示。方法1600係為方法1100(圖11)的一實施例，其係適於利用特定類型的輸入影像。方法1600可立即延伸到包括一參考的、拜耳型影像以及一組其他影像的任意複數個輸入影像，其中每個其他影像都表示拜耳型影像的光譜範圍的一部分，且組合起來至少代表拜耳型影像的光譜範圍。
步驟1610與方法1100(圖11)的步驟1110相同，但其要求步驟1610中所接收的輸入影像包括一參考的、拜耳型影像以及R、G、和G影像。步驟1620和1630與方法1400(圖14)的各步驟1420和1430相同。步驟1640特定說明方法1100(圖11)的步驟1130的一實施例，其應用於單一影像的單一像素，其中單一像素N的強度，即灰階值被設定為R、G、和B輸入影像的每一者中相應像素的加權平均值。步驟1640中所使用的R、G、和B像素組合起來可提供像素解析度高於透過組合上述參考的、拜耳型影像之色彩像素感光點所能實現的像素解析度的灰階值。步驟1650、1660、1665、以及1670與方法1400(圖14)的各步驟1450、1460、1465、以及1470相同。
圖17顯示系統1700，其用於處理由攝影機陣列所擷取的複數個輸入影像，其包括至少一拜耳型影像。系統1700係為影像處理系統120(圖1)的一實施例。系統1700包括處理器320(圖3和4)、記憶體330(圖3和4)、以及介面360(圖3和4)。處理器320根據指令340(圖3和4)處理儲存在記 憶體330的影像儲存裝置350(圖3和4)中的複數個影像，例如從而產生單一的彩色影像130(圖1)和景深圖140(圖1)。由處理器320所產生的結果可經由介面360傳輸給使用者或外部電腦。
圖18顯示作為系統1700的一實施例的系統1800。在系統1800中，機器可讀指令340包括用於處理攝影機陣列210所擷取的同一場景的複數個影像的演算法，每個影像都代表來自不同有利位置的場景視圖。包括在指令340中的演算法係為：套合演算法412，用於套合複數個影像；組合演算法414，其用於根據複數個影像產生單一影像，如圖1中單一的彩色影像130；以及深度演算法416，其用於根據複數個影像產生景深圖，如圖1中之景深圖140。記憶體330進一步包括套合資料420，其用於儲存處理器320根據套合演算法412中的指令所產生的套合資料。套合資料420包括立體像差422。記憶體330進一步包括處理器320在處理從攝影機陣列210接收的影像中所使用的校準資料430。校準資料430包括像差關係432，其由處理器320所使用以用於執行套合演算法412。再者，記憶體330包括處理器320在執行指令340中所使用的計數器模組440，以及結果450，其用於儲存處理器320根據指令340所產生的結果。系統1800處理儲存在影像儲存裝置350(圖3、4、和17)中的影像，這與處理直接從攝影機陣列接收的影像不同。
在不偏離本發明的範圍下，可對上面的方法和系統做出變化。應注意者為，在上面的描述中所揭露者或於附圖中所示的內容應僅為舉例說明，而非限制性者。以下申請專利範圍係意圖涵蓋本文所述的廣義和特定特徵，以及文義上可以說是落於其間之本發明方法和系統的範圍的所有陳述。
特徵組合
在不偏離本發明之範圍之下，上述特徵以及以下所請求的特徵可以不同方式組合。例如，將得以領會者為，本文所述的一種攝影機陣列系統或方法的觀點可與本文所述的另一種攝影機陣列系統或方法的特徵合併或交換。下面的實例係描述上述實施例可能的、非限制性的組合。應明瞭者為，在不偏離本發明的精神和保護範圍之下，可以對本文所述的方法和系統做出許多其他改變和修改。
(A)一種處理從不同有利位置所記錄之一場景的複數個影像之方法，上述複數個影像包括由一拜耳型攝影機所擷取的彩色參考影像和至少一 額外影像，上述方法包括從上述複數個影像產生一單一的彩色影像，其中上述單一的彩色影像的色彩資訊完全從上述彩色參考影像所決定。
(B)如(A)所表示的方法，更包括套合上述複數個影像中的至少一部分。
(C)如(B)所表示的方法，其中上述步驟或套合包括：為上述彩色參考影像中每個像素在上述至少一額外影像中發現一或多個相應位置，其中每個相應位置屬於上述至少一額外影像中的不同影像，並表示與上述彩色參考影像中之像素相同的場景部分。
(D)如(C)所表示的方法，其中上述套合步驟更包括根據上述一或多個相應位置中全部位置決定與上述彩色參考影像中之像素關聯的單一立體像差。
(E)如(D)所表示的方法，其中上述決定單一立體像差的步驟包括：當上述彩色參考影像中之像素具有複數個相應位置時，計算複數個立體像差，每一個立體像差都是上述複數個相應位置中各個位置相對於上述彩色參考影像中之像素的偏移。
(F)如(E)所表示的方法，其中上述決定單一立體像差的步驟更包括於上述複數個立體像差之間產生一或多個已知關係，從而消除上述單一立體像差之外之所有像差。
(G)如(F)所表示的方法，其中上述決定單一立體像差的步驟更包括求解方程式之系統，上述方程式系統由上述單一立體像差、上述彩色參考影像中之像素的已知座標、以及所有相應位置的已知座標所表達，從而決定上述單一立體像差。
(H)如(G)所表示的方法，更包括從上述單一立體像差為上述彩色參考影像中每個像素推導與上述彩色參考影像中之像素關聯的一部分場景的深度。
(I)如(A)到(H)所表示的方法，其中上述至少一額外影像包括至少一灰階影像。
(J)如(I)所表示的方法，其中上述單一的彩色影像的灰階資訊係從上述至少一灰階影像所決定。
(K)如(I)和(J)所表示的方法，其中上述至少一灰階影像 和上述單一的彩色影像比上述彩色參考影像具有較高空間解析度。
(L)如(A)到(H)所表示的方法，其中上述至少一額外影像包括複數個光譜選擇性影像，其中(a)上述複數個光譜選擇性影像表示由上述彩色參考影像所覆蓋的光譜範圍之複數個部分中各部分，以及(b)上述複數個部分之組合包括由上述彩色影像所覆蓋的光譜範圍。
(M)如(L)所表示的方法，其中上述單一的彩色影像的上述灰階資訊係從上述複數個光譜選擇性影像所決定。
(N)如(L)和(M)所表示的方法，其中上述複數個光譜選擇性影像和上述單一的彩色影像比上述彩色參考影像具有較高空間解析度。
(O)如(A)到(N)所表示的方法，其中上述單一的彩色影像被套合到上述彩色參考影像。
(P)如(A)到(O)所表示的方法，更包括產生套合到上述單一的彩色影像的景深圖。
(Q)一種攝影機系統，其包括用於從複數個有利位置擷取一場景之複數個影像的攝影機陣列，上述攝影機陣列包括至少一具有拜耳型濾色片陣列的彩色攝影機。
(R)如(Q)所表示的系統，更包括一處理器。
(S)如(R)所表示的系統，更包括一通信耦合到上述處理器的記憶體。
(T)如(S)所表示的系統，更包括一影像組合模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會產生上述場景的單一的彩色影像，其具有完全從上述至少一彩色攝影機中所選出的一攝影機所擷取的影像獲得的色彩資訊。
(U)如(Q)到(T)所表示的系統，其中上述攝影機陣列更包括至少一單色攝影機。
(V)如(T)所表示的系統，其中(a)上述攝影機陣列更包括至少一單色攝影機，以及(b)上述影像組合模組進一步適於從上述至少一單色攝影機所擷取的影像獲得上述單一的彩色影像的灰階資訊。
(W)如(Q)到(T)所表示的系統，其中上述攝影機陣列更包括複數個對上述至少一彩色攝影機中所選出的該攝影機的光譜範圍的各部分 敏感的光譜選擇性攝影機，且上述複數個光譜選擇性攝影機之組合係至少對於上述至少一彩色攝影機中所選出的該攝影機的光譜範圍敏感。
(X)如(T)所表示的系統，其中(a)上述攝影機陣列更包括複數個對上述至少一彩色攝影機中所選出的該攝影機的光譜範圍的各部分敏感的光譜選擇性攝影機，且上述複數個光譜選擇性攝影機之組合係至少對於上述至少一彩色攝影機中所選出的該攝影機的光譜範圍敏感，以及(b)上述影像組合模組進一步適於從上述複數個光譜選擇性攝影機所擷取的影像獲得上述單一的彩色影像的灰階資訊。
(Y)如(S)到(X)所表示的系統，更包括一深度模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會產生上述場景的景深圖。
(Z)如(Y)所表示的系統，其中上述景深圖係被套合到上述單一的彩色影像。
(AA)如(S)到(Z)所表示的系統，更包括一套合模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會使用儲存在上述記憶體中的校準資料，對於由上述至少一彩色攝影機中所選出之該攝影機所擷取的影像中之每個像素，產生由一單一立體像差所表達之套合資料。
(AB)如(AA)所表示的系統，其中上述校準資料包括與上述攝影機陣列的不同攝影機對關聯的立體像差之間的關係。
(AC)如(T)到(AB)所表示的系統，其中上述單一的彩色影像被套合到由上述至少一彩色攝影機中所選出的該攝影機所擷取的影像。
(AD)一種用於處理從不同有利位置記錄之一場景的複數個影像的系統，其中上述複數個影像包括由一拜耳型攝影機所擷取的彩色參考影像和至少一額外影像。
(AE)如(AD)所表示的系統，其包括一處理器。
(AF)如(AE)所表示的系統，更包括一通信耦合到上述處理器的記憶體。
(AG)如(AF)所表示的系統，更包括一影像組合模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執 行時，會產生上述場景之單一的彩色影像，其具有完全從上述彩色參考影像獲得的色彩資訊。
(AH)如(AD)到(AG)所表示的系統，其中上述複數個影像包括至少一單色影像。
(AI)如(AG)所表示的系統，其中(a)上述複數個影像包括至少一單色影像，以及(b)上述影像組合模組進一步適於從上述至少一單色影像獲得上述單一的彩色影像的灰階資訊。
(AJ)如(AD)到(AG)所表示的系統，其中上述複數個影像包括複數個表示上述彩色參考影像之光譜範圍的各部分的光譜選擇性影像，且上述複數個光譜選擇性影像之組合至少表示上述彩色參考影像的光譜範圍。
(AK)如(AI)所表示的系統，其中(a)上述複數個影像包括複數個表示上述彩色參考影像之光譜範圍的各部分的光譜選擇性影像，且上述複數個光譜選擇性影像之組合至少表示上述彩色參考影像的光譜範圍，以及(b)上述影像組合模組進一步適於從上述光譜選擇性影像獲得上述單一的彩色影像的灰階資訊。
(AL)如(AF)到(AK)所表示的系統，更包括一深度模組，其具有儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會產生上述場景的景深圖。
(AM)如(AL)所表示的系統，其中上述景深圖被套合到上述彩色參考影像。
(AN)如(AF)到(AM)所表示的系統，更包括一套合模組，其包括儲存在上述記憶體中的機器可讀指令，當上述機器可讀指令被上述處理器執行時，會使用儲存在上述記憶體中的校準資料，為上述彩色參考影像中之每個像素產生以單一立體像差表達的套合資料。
(AO)如(AN)所表示的系統，其中上述校準資料包括與上述複數個影像的不同影像對關聯的立體像差之間的關係。
(AP)如(AG)到(AO)所表示的系統，其中上述單一的彩色影像被套合到上述彩色參考影像。
500‧‧‧方法
510、520、530、540、550、560、570‧‧‧步驟

Claims (20)

  1. 一種用以處理從不同有利位置所記錄之一場景的複數個影像之方法，該複數個影像包括由一拜耳型攝影機所擷取的一彩色參考影像和至少一額外影像，該方法包括：使該複數個影像中之至少一部分相互套合，對於該彩色參考影像中之每個像素，該套合步驟包括執行以下步驟：(a)在該至少一額外影像中發現一或多個相應位置，每個相應位置屬於該至少一額外影像中的不同影像，並表示與該彩色參考影像中的像素相同的場景部分，以及(b)根據該一或多個相應位置中之所有位置，決定與該彩色參考影像中之像素關聯的一單一立體像差；以及從該複數個影像產生一單一的彩色影像，該單一的彩色影像的色彩資訊係完全由該彩色參考影像所決定。
  2. 如申請專利範圍第1項所述之方法，其中該單一的彩色影像係與該彩色參考影像套合。
  3. 如申請專利範圍第2項所述之方法，更包括：產生一套合至該單一的彩色影像之景深圖。
  4. 如申請專利範圍第1項所述之方法，當該彩色參考影像中之像素具有複數個相應位置時，該決定一單一立體像差的步驟包括：計算複數個立體像差，每一個立體像差皆為該複數個相應位置中各個位置相對於該彩色參考影像中之像素的偏移；於該複數個立體像差之間產生一或多個已知關係，從而消除該單一立體像差之外之所有像差；求解方程式之系統，該方程式系統係由該單一立體像差、該彩色參考影像中 之像素的已知座標以及所有相應位置的已知座標所表達，從而決定該單一立體像差。
  5. 如申請專利範圍第4項所述之方法，更包括：對於該彩色參考影像中之每個像素，從該單一立體像差推導出與該彩色參考影像中之像素關聯的一部分場景的深度。
  6. 如申請專利範圍第1項所述之方法，其中該至少一額外影像包括至少一灰階影像。
  7. 如申請專利範圍第6項所述之方法，其中該單一的彩色影像的灰階資訊係從該至少一灰階影像所決定。
  8. 如申請專利範圍第7項所述之方法，其中該至少一灰階影像和該單一的彩色影像比該彩色參考影像具有較高空間解析度。
  9. 如申請專利範圍第1項所述之方法，其中該至少一額外影像包括複數個光譜選擇性影像，其中(a)該複數個光譜選擇性影像表示由該彩色參考影像所覆蓋的光譜範圍內之複數個部分中的各部分，以及(b)該複數個部分之組合包括由該彩色影像所覆蓋的光譜範圍。
  10. 如申請專利範圍第9項所述之方法，其中該單一的彩色影像的灰階資訊係從該複數個光譜選擇性影像所決定。
  11. 如申請專利範圍第10項所述之方法，其中該複數個光譜選擇性影像和該單一的彩色影像比該彩色參考影像具有較高空間解析度。
  12. 一種攝影機系統，包括：一攝影機陣列，用於從複數個有利位置擷取一場景之複數個影像，該攝影機陣列包括至少一具有拜耳型濾色片陣列的彩色攝影機；一處理器；一記憶體，通信耦合到該處理器；以及 一影像組合模組，包括儲存在該記憶體中的機器可讀指令，當該機器可讀指令被該處理器執行時，會產生該場景之一單一的彩色影像，該單一的彩色影像具有完全自該至少一彩色攝影機中所選出的一攝影機所擷取的影像所獲得的色彩資訊。
  13. 如申請專利範圍第12項所述之系統，其中該攝影機陣列更包括至少一單色攝影機；以及其中該影像組合模組進一步適於從該至少一單色攝影機所擷取之影像獲得該單一的彩色影像之灰階資訊。
  14. 如申請專利範圍第12項所述之系統，其中該攝影機陣列更包括複數個對於該至少一彩色攝影機中所選出之該攝影機的光譜範圍的各部分敏感的光譜選擇性攝影機，且該複數個光譜選擇性攝影機之組合係至少對於該至少一彩色攝影機中所選出之該攝影機的光譜範圍敏感；以及其中該影像組合模組進一步適於從該複數個光譜選擇性攝影機所擷取的影像獲得該單一的彩色影像之灰階資訊。
  15. 如申請專利範圍第12項所述之系統，更包括：一深度模組，包括儲存在該記憶體中的機器可讀指令，當該機器可讀指令被該處理器執行時，會產生該場景之一景深圖。
  16. 如申請專利範圍第15項所述之系統，其中該景深圖係與該單一的彩色影像套合。
  17. 如申請專利範圍第12項所述之系統，更包括：一套合模組，包括儲存在該記憶體中的機器可讀指令，當該機器可讀指令被該處理器執行時，會使用儲存在該記憶體中的校準資料，對於由該至少一彩色攝影機中所選出之該攝影機所擷取的影像中之每個像素，產生由一單一立 體像差所表達之套合資料，該校準資料包括與該攝影機陣列的不同攝影機對關聯的立體像差之間的關係。
  18. 一種用於處理從不同有利位置記錄之一場景的複數個影像之系統，該複數個影像包括由一拜耳型攝影機所擷取的彩色參考影像和至少一額外影像，該系統包括：一處理器；一記憶體，通信耦合到該處理器；以及一影像組合模組，包括儲存在該記憶體中的機器可讀指令，當該機器可讀指令被該處理器執行時，會產生該場景之單一的彩色影像，該單一的彩色影像具有完全從該彩色參考影像所獲得的色彩資訊，該單一的彩色影像係與該彩色參考影像套合。
  19. 如申請專利範圍第18項所述之系統，更包括：一深度模組，包括儲存在該記憶體中的機器可讀指令，當該機器可讀指令被該處理器執行時，會產生該場景之一景深圖，該景深圖係與該彩色參考影像套合。
  20. 如申請專利範圍第18項所述之系統，更包括：一套合模組，包括儲存在該記憶體中的機器可讀指令，當該機器可讀指令被該處理器執行時，會使用儲存在該記憶體中的校準資料，對於該彩色參考影像中之每個像素產生以單一立體像差表達的套合資料，該校準資料包括與該複數個影像中之不同影像對關聯的立體像差之間的關係。
TW102142493A 2012-11-21 2013-11-21 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 TWI525382B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261729217P 2012-11-21 2012-11-21

Publications (2)

Publication Number Publication Date
TW201421145A TW201421145A (zh) 2014-06-01
TWI525382B true TWI525382B (zh) 2016-03-11

Family

ID=50727552

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102142493A TWI525382B (zh) 2012-11-21 2013-11-21 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法

Country Status (4)

Country Link
US (1) US9924142B2 (zh)
CN (1) CN104010183B (zh)
HK (1) HK1197127A1 (zh)
TW (1) TWI525382B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9129183B2 (en) 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
JP2016524125A (ja) * 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
EP3654286B1 (en) * 2013-12-13 2024-01-17 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US9466118B2 (en) * 2014-01-17 2016-10-11 Htc Corporation Image segmentation device, image segmentation method, and depth map generating method
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
US9684983B2 (en) * 2014-04-30 2017-06-20 International Business Machines Corporation Three dimensional visualization of big data
CN105556935B (zh) * 2014-05-15 2019-04-19 华为技术有限公司 用于多帧降噪的方法和终端
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
JP6460691B2 (ja) * 2014-09-16 2019-01-30 日本放送協会 映像圧縮装置、映像圧縮方法及び映像圧縮プログラム
US9654700B2 (en) * 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10007967B2 (en) 2015-06-12 2018-06-26 Gopro, Inc. Temporal and spatial video noise reduction
US10530995B2 (en) 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
DE102015111120A1 (de) * 2015-07-09 2017-01-12 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
KR102362138B1 (ko) 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10484666B1 (en) * 2016-03-17 2019-11-19 Herman Herman Method and apparatus for a computer vision camera unit
US10645277B1 (en) 2016-03-17 2020-05-05 Herman Herman Method and apparatus for a computer vision camera unit
JP7065594B2 (ja) * 2017-12-08 2022-05-12 キヤノン株式会社 画像符号化装置及びその制御方法、並びにプログラム
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114746717A (zh) 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US20230169689A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Suppression of clipping artifacts from color conversion
US11562464B1 (en) * 2022-09-29 2023-01-24 Illuscio, Inc. Systems and methods for image postprocessing via viewport demosaicing
CN117132629A (zh) * 2023-02-17 2023-11-28 荣耀终端有限公司 图像处理方法和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901160B2 (en) * 2000-04-28 2005-05-31 Electro Scientific Industries Directional lighting and method to distinguish three dimensional information
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
EP1530376A4 (en) * 2002-06-18 2006-05-24 Nokia Corp IMAGE PROCESSING DEVICE AND METHOD, IMAGE OUTPUT DEVICE, DIGITAL CAMERA, AND MOBILE DATA TERMINAL USING THE SAME
JP4127827B2 (ja) * 2004-06-30 2008-07-30 オリンパス株式会社 超音波診断装置
US7770799B2 (en) * 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
JP4747970B2 (ja) * 2006-07-04 2011-08-17 オムロン株式会社 画像処理装置
JP5022045B2 (ja) * 2007-01-24 2012-09-12 富士通株式会社 作業位置を特定するためのシステム、作業セル、方法、製品の製造方法、およびマーカ
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8432553B2 (en) * 2009-10-08 2013-04-30 Massachusetts Institute Of Technology Phase from defocused color images
US8497897B2 (en) * 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
JPWO2012029371A1 (ja) * 2010-08-30 2013-10-28 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
GB2486878A (en) * 2010-12-21 2012-07-04 St Microelectronics Res & Dev Producing a 3D image from a single 2D image using a single lens EDoF camera
US8581995B2 (en) * 2011-01-25 2013-11-12 Aptina Imaging Corporation Method and apparatus for parallax correction in fused array imaging systems
US9479743B2 (en) * 2011-06-01 2016-10-25 Gvbb Holdings S.A.R.L. Single lens 3-D camera
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8684914B2 (en) * 2011-08-12 2014-04-01 Intuitive Surgical Operations, Inc. Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
US8734328B2 (en) * 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8995782B2 (en) * 2011-11-21 2015-03-31 Georgetown University System and method for enhancing the legibility of degraded images

Also Published As

Publication number Publication date
CN104010183A (zh) 2014-08-27
US20140139642A1 (en) 2014-05-22
TW201421145A (zh) 2014-06-01
HK1197127A1 (zh) 2015-01-02
CN104010183B (zh) 2017-03-01
US9924142B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
US9798155B2 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
TWI468021B (zh) 影像感測器件及使用照度及色度感測器之影像擷取之方法
CN109104599B (zh) 距离信息生成装置及方法、摄像设备、移动单元和介质
CN105187815B (zh) 用于获得图像深度信息的系统及方法
US20130229544A1 (en) Image processing device
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
JP5406151B2 (ja) ３次元撮像装置
KR20140033414A (ko) 고해상도 멀티스펙트럼 이미지 캡처 기법
JP2013040791A (ja) 画像処理装置および画像処理方法、プログラム
JP6182396B2 (ja) 撮像装置
JP5186517B2 (ja) 撮像装置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
JP6860445B2 (ja) 物体距離検出装置
JP2015148498A (ja) 測距装置および測距方法
CN111272101A (zh) 一种四维高光谱深度成像系统
CN110995982A (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
JP5982907B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
JP2017118283A (ja) カメラシステム
JPWO2015182447A1 (ja) 撮像装置および測色方法
CN211205210U (zh) 四维高光谱深度成像系统