TWI584051B - Three - dimensional environment system of vehicle and its method - Google Patents

Three - dimensional environment system of vehicle and its method Download PDF

Info

Publication number
TWI584051B
TWI584051B TW105115298A TW105115298A TWI584051B TW I584051 B TWI584051 B TW I584051B TW 105115298 A TW105115298 A TW 105115298A TW 105115298 A TW105115298 A TW 105115298A TW I584051 B TWI584051 B TW I584051B
Authority
TW
Taiwan
Prior art keywords
image
pixel
image data
fisheye
corrected
Prior art date
Application number
TW105115298A
Other languages
English (en)
Other versions
TW201741759A (zh
Inventor
yi-cong Wu
Original Assignee
Sarmo Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sarmo Tech Inc filed Critical Sarmo Tech Inc
Priority to TW105115298A priority Critical patent/TWI584051B/zh
Priority to US15/587,885 priority patent/US10397524B1/en
Application granted granted Critical
Publication of TWI584051B publication Critical patent/TWI584051B/zh
Publication of TW201741759A publication Critical patent/TW201741759A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/34—Belt retractors, e.g. reels
    • B60R2022/3402—Retractor casings; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Description

車輛之三維環景系統及其方法
本發明有關於車輛之領域，特別有關於一種車輛之三維環景系統及其方法。
傳統的「環景系統(Around View Monitoring(AVM)System)」，透過影像縫合的方式，將車子前、後、左、右四個方向的近距離(3~5公尺)影像以2D方式呈現縫合結果，協助駕駛知悉車子四周的情況，以避免傷害車子四周的物體。此種呈現方式(2D-AVM)使得環景系統僅限於車輛低速運行時使用。
為了彌補這個缺點，近年來已有廠商朝向三維環景影像(3D-AVM)系統發展。但是，傳統3D-AVM還有一些缺點，例如：在縫合影像時會產生一些縫合的死角，換句話說，實際出現在車輛四周的物體，在影像縫合的區域會消失不見，或者，傳統3D-AVM在縫合影像時，會產生物體重複出現的情況，且距離越遠的地方發生影像重複出現的情況會越明顯。
有鑑於上述問題，本發明之目的在於提供一種車輛之三維環景系統及其方法，其在縫合影像時減少縫合死角的產生，使實際出現在車輛四周的物體在影像縫合的區域不會消失不見，亦不會產生物體重複出現的情況。
本發明之第一態樣係提供一種車輛之三維環景方法，其包括下列步驟：接收拍攝一校正板所產生之複數個魚眼影像資料，該校正板上具有呈直線之複數個水平參考線及複數個輻射垂直參考線，該等魚眼影像資料中之該等水平參考線及該等輻射垂直參考線呈圓弧線條；將具有呈圓弧線條之該等水平參考線及該等輻射垂直參考線之該等魚眼影像資料校正成為呈直線之該等水平參考線及該等輻射垂直參考線之複數個校正影像資料而產生一魚眼校正查找表，根據該魚眼校正查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；將為相鄰關係之校正影像資料之呈直線之該等輻射垂直參考線旋轉及平移成為相同的輻射角度之重疊而產生一旋轉平移查找表，根據該旋轉平移查找表及該魚眼校正查找表得知經旋轉及平移之該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；以及根據該旋轉平移查找表及該魚眼校正查找表產生一縫合影像查找表，根據該縫合影像查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置，以該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料中之每一像素之像素值，並將相鄰之該等校正影像資料進行影像縫合，以產生一靜態縫合影像資料。
本發明之第二態樣係提供一種車輛之三維環景系統，其包括：一魚眼影像校正設定模組，用以接收拍攝一校正板所產生之複數 個魚眼影像資料，將具有呈圓弧線條之複數個水平參考線及複數個輻射垂直參考線之該等魚眼影像資料校正成為呈直線之該等水平參考線及該等輻射垂直參考線之複數個校正影像資料而產生一魚眼校正查找表，將為相鄰關係之校正影像資料之呈直線之該等輻射垂直參考線旋轉及平移成為相同的輻射角度之重疊而產生一旋轉平移查找表，其中，該校正板上具有呈直線之該等水平參考線及該等輻射垂直參考線，該等魚眼影像資料中之該等水平參考線及該等輻射垂直參考線呈圓弧線條，根據該魚眼校正查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置，根據該旋轉平移查找表及該魚眼校正查找表得知經旋轉及平移之該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；以及一靜態三維縫合影像產生模組，用以根據該旋轉平移查找表及該魚眼校正查找表產生一縫合影像查找表，以該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料中之每一像素之像素值，並將相鄰之該等校正影像資料進行影像縫合，以產生一靜態縫合影像資料，其中，根據該縫合影像查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置。
100‧‧‧三維環景系統
102‧‧‧魚眼鏡頭
104‧‧‧緩衝記憶體
106‧‧‧資料顯示裝置
108‧‧‧資料處理裝置
110‧‧‧影像輸入與輸出模組
112‧‧‧攝影機安裝校正模組
114‧‧‧魚眼影像校正設定模組
116‧‧‧靜態三維縫合影像產生模組
118‧‧‧特徵擷取模組
120‧‧‧動態參數調整模組
122‧‧‧動態三維縫合影像產生模組
130‧‧‧車輛
132‧‧‧校正板
134‧‧‧校正板
136‧‧‧水平參考線
138‧‧‧輻射垂直參考線
140‧‧‧水平參考線
142‧‧‧輻射垂直參考線
144‧‧‧水平參考線
146‧‧‧輻射垂直參考線
148‧‧‧水平參考線
150‧‧‧輻射垂直參考線
152‧‧‧校正影像
154‧‧‧影像無重疊區域
156‧‧‧影像重疊區域
158‧‧‧縫合影像
160‧‧‧動態縫合影像
162‧‧‧影像無重疊區域
164‧‧‧影像重疊區域
圖1為本發明之車輛之三維環景系統之方塊圖；圖2A為本發明之魚眼鏡頭拍攝角度之示意圖；圖2B為本發明之魚眼鏡頭拍攝影像之圖示；圖3A及圖3B為本發明之校正板之示意圖；圖4A為本發明之水平參考線之魚眼影像之示意圖； 圖4B為圖4A多條水平參考線中之一條水平參考線之示意圖；圖5為本發明之輻射垂直參考線之魚眼影像之示意圖；圖6A為本發明之拍攝校正板所得到之魚眼影像之示意圖；圖6B為將圖6A之魚眼影像進行校正後所得到之校正影像之示意圖；圖6C為圖6A之魚眼影像中之一像素之座標位置之示意圖；圖6D為對應圖6C之魚眼影像中之一像素之校正影像中之一像素之座標位置之示意圖；圖7A及圖7B為本發明之建置魚眼校正查找表示意圖；圖8A及圖8B為本發明之建置旋轉平移查找表示意圖；圖9為本發明之藉由輻射垂直參考線以重疊相鄰校正影像之示意圖；圖10A為本發明之計算縫合影像中影像無重疊區域之像素值之示意圖；圖10B為本發明之計算未縫合影像中影像無重疊區域之像素值之示意圖；圖11A為本發明之計算縫合影像中影像重疊區域之像素值之示意圖；圖11B為本發明之計算未縫合影像中影像重疊區域之像素值之示意圖；圖12為本發明之決定影像之影像重疊區域之寬度之示意圖；圖13為本發明之影像未進行壓縮及移動之圖式；圖14為本發明之影像進行壓縮及移動之圖式；圖15A為本發明之計算縫合影像之像素值之示意圖； 圖15B為本發明之計算未縫合影像之像素值之示意圖；圖16為本發明之縫合多張影像而成之三維影像之圖示；以及圖17為本發明之車輛之三維環景方法之流程圖。
為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之較佳實施例，並配合所附圖式，詳細說明本發明的構成內容及所欲達成之功效。
圖1為本發明之車輛之三維環景系統之方塊圖。在圖1中，三維環景系統100包括多個魚眼鏡頭102、一緩衝記憶體104、一資料顯示裝置106及一資料處理裝置108。資料處理裝置108包括一影像輸入與輸出模組110、一攝影機安裝校正模組112、一魚眼影像校正設定模組114、一靜態三維縫合影像產生模組116、一特徵擷取模組118、一動態參數調整模組120及一動態三維縫合影像產生模組122。
在本實施例中，在車輛的前後左右分別安裝有魚眼鏡頭102以拍攝車輛四周的影像。多個魚眼鏡頭102將所拍攝的影像分別轉換為魚眼影像資料，並儲存在緩衝記憶體104中。資料顯示裝置106將影像資料顯示成影像，例如將為魚眼鏡頭102所轉換之魚眼影像資料顯示成魚眼鏡頭102將所拍攝的影像。
校正位於車輛的前、後、左、右的四個方位的每一魚眼鏡頭102之安裝位置，如圖2A為本發明之魚眼鏡頭拍攝角度之示意圖及圖2B為本發明之魚眼鏡頭拍攝影像之圖示所示，藉由資料顯示裝置106顯示圖2B之影像以校正每一魚眼鏡頭102之安裝位置，使每一魚眼鏡頭102所拍攝的影像係車底部分的影像在整個影像之底部的八分之一處。
在進行靜態三維影像縫合之程序時，如圖3A及圖3B為本發明之校正板之示意圖所示，每一魚眼鏡頭102拍攝車輛130周圍之校正板132、134，以圖3A之校正板132為例，每一魚眼鏡頭102拍攝到一條呈直線之水平參考線136及一條呈直線之輻射垂直參考線138的景物，以圖3B之校正板134為例，每一魚眼鏡頭102拍攝到多條呈直線之水平參考線140及多條呈直線之輻射垂直參考線142的景物。本發明以下實施例之說明係以圖3B之校正板134為例。
每一魚眼鏡頭102拍攝圖3B之校正板134所獲得的魚眼影像係多條呈圓弧線條之水平參考線144(如圖4A為本發明之水平參考線之魚眼影像之示意圖所示)及多條呈圓弧線條之輻射垂直參考線146(如圖5為本發明之輻射垂直參考線之魚眼影像之示意圖所示)的影像，並將多條呈圓弧線條之水平參考線144及輻射垂直參考線146之影像轉換成魚眼影像資料。每一魚眼鏡頭102將多個魚眼影像資料儲存在緩衝記憶體104中。
攝影機安裝校正模組112經由影像輸入與輸出模組110接收多個魚眼鏡頭102所轉換之多個魚眼影像資料(多條呈圓弧線條之水平參考線144及輻射垂直參考線146之魚眼影像資料)，或者在緩衝記憶體104中讀取多個魚眼影像資料。
圖4B為圖4A多條水平參考線中之一條水平參考線之示意圖。攝影機安裝校正模組112根據圖4B之呈圓弧線條之水平參考線144的兩個端點的高度h1及h2，在使水平參考線144的兩個端點的高度h1及h2相同時以調整每一魚眼鏡頭102的水平位置呈水平狀態。
攝影機安裝校正模組112根據呈圓弧線條之輻射垂直參考線146，以調整每一魚眼鏡頭102的左右角度位置，使每一魚眼鏡頭 102的左右兩端能拍攝到校正板134之輻射垂直參考線142。
圖6A為本發明之拍攝校正板所得到之魚眼影像之示意圖，圖6B為將圖6A之魚眼影像進行校正後所得到之校正影像之示意圖，圖6C為圖6A之魚眼影像中之一像素之座標位置之示意圖，圖6D為對應圖6C之魚眼影像中之一像素之校正影像中之一像素之座標位置之示意圖。
每一魚眼鏡頭102拍攝圖3B之校正板134而得到魚眼影像如圖6A所示，而魚眼影像中的水平參考線144以及輻射垂直參考線146因魚眼鏡頭102的關係而以圓弧線條的方式呈現。魚眼鏡頭102將如圖6A所示之魚眼影像轉換成魚眼影像資料，並將魚眼影像資料儲存在緩衝記憶體104。
魚眼影像校正設定模組114經由影像輸入與輸出模組110接收每一魚眼鏡頭102所轉換之魚眼影像資料或讀取緩衝記憶體104之魚眼影像資料。魚眼影像校正設定模組114利用習知影像校正技術將圖6A之呈圓弧線條之水平參考線144以及輻射垂直參考線146校正成圖6B之呈直線之水平參考線148以及輻射垂直參考線150。
校正板134的水平參考線140及輻射垂直參考線142從圓弧線條還原成直線的呈現方式，則代表完成魚眼影像的校正程序。簡而言之，魚眼影像校正的程序主要是在魚眼影像的X與Y軸各自決定一組最適當的橢圓弧度參數，然後依據該參數將魚眼影像資料中的所有像素往影像中心點壓縮，如圖6C及圖6D所示。假設圖6C為魚眼影像，經過魚眼影像校正程序後得到圖6D之校正影像，因此，在圖6D之校正影像之校正影像資料之一像素之座標(x1,y1)對應圖6C之魚眼影像之魚眼影像資料之座標(x2,y2)。
魚眼影像校正設定模組114在進行魚眼影像校正時會產生一魚眼校正查找表(Lookup Table)，該魚眼校正查找表主要是幫忙找出魚眼影像校正後之校正影像資料中的每個像素之座標(x1,y1)對應魚眼影像資料中的每個像素之座標(x2,y2)。因此，基本上至少會有「X座標」以及「Y座標」兩個魚眼校正查找表。
圖7A及圖7B為本發明之建置魚眼校正查找表示意圖。圖7A及圖7B中黑色粗線上的座標(x1,y1)表示為校正影像資料中的像素之座標位置及座標(x2,y2)表示為魚眼影像資料中的像素之座標位置，其中，x2與y2為未知值。
圖7A中之h1與h2分別代表Y座標點y1與y2到影像中心線的高度值。依據等比原理，可以求得公式(1)，經過推導可得公式(2)，換句話說，y2即為「Y座標魚眼校正查找表」中對應座標(x1,y1)之值。
使用同樣的方法(如圖7B)，藉由公式(3)可推導出x2為「X座標魚眼校正查找表」中對應座標(x1,y1)之值，其中w1與w2分別代表X座標點x1與x2到影像中心線的寬度值。
魚眼影像校正設定模組114在將魚眼影像校正為校正影像後，魚眼影像校正設定模組114將相鄰之校正影像中之輻射垂直參 考線150的輻射角度調整為相同角度且可以重疊，在進行校正影像之旋轉及平移的過程中會產生一旋轉平移查找表。
圖8A及圖8B為本發明之建置旋轉平移查找表示意圖。圖8A中之校正影像之原點(0,0)在影像的左下角處，將校正影像平移到新座標(xs,ys)之位置，並以(xs,ys)為原點做逆時針旋轉θ角，如圖8B所示。欲求得旋轉且平移後校正影像資料中的像素之座標(x2,y2)與原校正影像資料中的像素之座標(x1,y1)的關係，可由公式(4)、(5)求得，同時，也會有「X座標」以及「Y座標」兩個不同的旋轉平移查找表。換句話說，根據「X座標」以及「Y座標」兩個旋轉平移查找表可以得知經旋轉且平移後校正影像資料中的每個像素之座標位置與原始校正影像資料中的每個像素之座標位置的位置關係。
x2=(x1-xs)cosθ+(y1-ys)sinθ (4)
y2=-(x1-xs)sinθ+(y1-ys)cosθ (5)
魚眼影像校正設定模組114依據兩兩相鄰的校正影像(例如：左側校正影像與後面校正影像、及右側校正影像與後面校正影像)中的「輻射垂直參考線」，藉由如上述旋轉及平移左右兩側的校正影像之校正影像資料中每一像素的座標位置，使重疊後的兩兩相鄰的校正影像中的「輻射垂直參考線」能儘量重疊再一起(如圖9為本發明之藉由輻射垂直參考線以重疊相鄰校正影像之示意圖所示)。在本實施例中，左右兩側的校正影像的旋轉角度θ較佳是在5° θ 45°範圍之內，本實施例所述之這個旋轉角度與習知大幅度的旋轉角度(大於65度)有明顯的不同。
在上述將兩兩相鄰的校正影像進行影像重疊時，靜態三維縫合影像產生模組116根據魚眼校正查找表及旋轉平移查找表以產 生一縫合影像查找表。當靜態三維縫合影像產生模組116將圖9所示之校正影像進行影像縫合時，靜態三維縫合影像產生模組116根據該縫合影像查找表得知欲進行影像縫合之每一校正影像資料中之每一像素對應每一魚眼影像資料中之每一像素之座標位置。
圖10A為本發明之計算縫合影像中影像無重疊區域之像素值之示意圖，圖10B為本發明之計算未縫合影像中影像無重疊區域之像素值之示意圖，圖11A為本發明之計算縫合影像中影像重疊區域之像素值之示意圖，圖11B為本發明之計算未縫合影像中影像重疊區域之像素值之示意圖。每一校正影像152預設有一影像無重疊區域154及一影像重疊區域156，如圖10B及圖11B所示。
靜態三維縫合影像產生模組116產生靜態三維縫合影像的方式基本上將依據圖10A及圖11A之縫合影像158中的像素所在位置，分別計算出每一校正影像資料之影像無重疊區域154及影像重疊區域156中的每一像素之像素值(即r(紅色)、g(綠色)、b(藍色)之像素值)。
靜態三維縫合影像產生模組116計算縫合影像158在影像無重疊區域154中之校正影像資料的像素之像素值，該計算只需要參考一張校正影像，因此根據縫合影像查找表找到校正影像152在影像無重疊區域154中之像素與魚眼影像中之像素相對應之座標位置，再依據該相對應之座標位置的像素值可求得縫合影像158在影像無重疊區域154中之縫合影像資料的像素之像素值(如圖10A所示)。
假設要求得圖10A之縫合影像158中影像無重疊區域154內之像素的座標(x,y)的像素值(r,g,b)，根據縫合影像查找表找到對應縫合影像158中之像素的座標(x,y)之魚眼影像中的像素之座標位置 為(x1+α1,y1+β1)，如圖10B所示，其中加權值α1,β1的數值為0α1<1以及0β1<1。靜態三維縫合影像產生模組116計算縫合影像之像素的座標(x,y)的像素值將會使用到魚眼影像中的四個像素之座標(x1,y1)、(x1+1,y1)、(x1,y1+1)、以及(x1+1,y1+1)的像素值，並可由公式(6)、(7)、(8)求得。
r=r1(1-α1)(1-β1)+r2α1(1-β1)+r3(1-α1)β1+r4α1β1 (6)
g=g1(1-α1)(1-β1)+g2α1(1-β1)+g3(1-α1)β1+g4α1β1 (7)
b=b1(1-α1)(1-β1)+b2α1(1-β1)+b3(1-α1)β1+b4α1β1 (8)
靜態三維縫合影像產生模組116計算縫合影像158在影像重疊區域156中之像素之像素值，該計算需要參考兩張校正影像(如圖11B所示)，因此根據縫合影像查找表找到欲縫合之兩個校正影像152在影像重疊區域156中之像素與魚眼影像中之像素相對應之座標位置，再依據該相對應之座標位置的像素值可求得縫合影像158在影像重疊區域156中之縫合影像資料的像素之像素值(如圖11A所示)。
假設要求得圖11A之縫合影像158中的影像重疊區域156內之像素的座標(x,y)的像素值(r,g,b)，根據縫合影像查找表找到與圖11A之縫合影像資料在影像重疊區域156中之像素所對應之魚眼影像資料中的像素之座標位置，找到魚眼影像資料中的像素之座標位置而可得知對應該座標位置之像素之像素值。需要參考兩個魚眼影像資料之像素的像素值(如圖11B所示)，且使用公式(6)~(8)以在兩個魚眼影像資料中分別得到與像素相對應的像素值(ra,ga,ba)以及(rb,gb,bb)。在縫合影像158於影像重疊區域156中之像素進行影像縫合時之像素的像素值可由公式(9)~(11)求得。
r=0.5*ra+0.5*rb (9)
g=0.5*ga+0.5*gb (10)
b=0.5*ba+0.5*bb (11)
靜態三維縫合影像產生模組116在計算獲得縫合影像158在影像無重疊區域154及影像重疊區域156中之像素之像素值，便完成由多張魚眼影像經校正、旋轉及平移而成之靜態三維縫合影像，並可產生縫合影像查找表以供下述進行動態三維影像縫合的使用。
在進行動態三維影像縫合之程序時，每一魚眼鏡頭102拍攝在該車輛行駛中之影物而得到魚眼影像，魚眼鏡頭102將所拍攝之魚眼影像轉換成魚眼影像資料，並將魚眼影像資料儲存在緩衝記憶體104。
特徵擷取模組118經由影像輸入與輸出模組110接收每一魚眼鏡頭102所轉換之魚眼影像資料或讀取緩衝記憶體104中之魚眼影像資料。特徵擷取模組118參考多個魚眼影像來進行動態三維影像縫合，並根據上述縫合影像查找表得知一動態縫合影像之一動態縫合影像資料中的每一像素對應多個魚眼影像資料中的每一像素的座標位置。
針對兩兩相鄰之魚眼影像的影像重疊區域(如圖12為本發明之決定影像之影像重疊區域之寬度之示意圖中的L以及R的區域)藉由分析「邊緣方向(Edge Direction)」及「梯度強度(Gradient Intensity)」以得到「邊緣類型分類地圖(Edge Style Classification Map,ESCM)」。在本實施例中，若影像重疊區域(圖12中標示為L及R的區域)的寬度Wd2與魚眼影像的寬度Wd1符合公式12之關係時，可以達到使用最少的運算而求得最佳的結果。
特徵擷取模組118計算魚眼影像資料之影像重疊區域之每一像素之一水平梯度絕對值、一垂直梯度絕對值及一邊緣方向值，且將魚眼影像資料之影像重疊區域之每一像素之水平梯度絕對值、垂直梯度絕對值及邊緣方向值與複數個門檻值進行比較，而將魚眼影像資料之影像重疊區域之每一像素分類為複數個邊緣類型之其中一者。
亦即，特徵擷取模組118對魚眼影像資料進行特徵擷取主要是擷取魚眼影像資料之影像重疊區域之每一像素的梯度(Gradient)特徵。在較複雜的魚眼影像中(例如：含有車輛、陰影、人造物...等)會偵測出過多的邊緣像素(Edge Pixel)，並增加後續特徵比對的困難度。有鑑於此，本實施例利用「邊緣類型分類地圖」可以有效率地將魚眼影像資料之影像重疊區域的像素依據其特性分成至少四類的「邊緣類型(Edge Style)」。以下是ESCM的分類公式如下所示：
其中，ES(x,y)為魚眼影像資料之影像重疊區域之像素座標位置(x,y)點的「邊緣類型」分類結果；△AHG(x,y)以及△AVG(x,y)分別為像素點(x,y)的「水平梯度絕對值(Horizontal Gradient Absolute Value)」以及「垂直梯度絕對值(Vertical Gradient Absolute Value)」，其值範圍為0△AHG(x,y)255以及0△AVG(x,y)255；HdV(x,y)為的值，其範圍為0HdV(x,y)∞；ThE1、ThE2、ThE3分別為三種門檻值(threshold)。 經多次實驗發現，以下的門檻值設定在3D-AVM應用上能提供最佳的結果。
圖13為本發明之影像未進行壓縮及移動之圖式。在上述由特徵擷取模組118求得兩兩相鄰的影像(例如：「左側影像&後面影像」、「右側影像&後面影像」)之影像重疊區域中的梯度特徵後，先找出影像重疊區域中的物件(如車道線、或是車子)，再根據物件在兩個相鄰的影像中的大小，決定動態調整的兩個重要參數：「壓縮影像大小的比例」、以及「移動影像的程度」。
在靜態影像縫合時，會發現在影像縫合處會有不一致的現象，例如圖13之(a)中，「左側影像與後面影像」以及「右側影像與後面影像」的縫合處道路上的車道線有很明顯的不一致現象，除了車道線沒有連結之外，車道線也有粗細明顯的不同。
在本實施例中進行動態影像的調整，以解決上述問題。首先，動態參數調整模組120將在相鄰影像之影像重疊區域中找出對應的物件，判斷出相鄰影像中之一影像進行壓縮的比例。例如：圖13之(b)與(c)分別為圖13之(a)的左側影像與後面影像，而「影像淺白」部分為「影像重疊區域」。透過上述梯度特徵的分類，可以找出相鄰影像之影像重疊區域中比較有代表性的物件(如車道線的直線線段)，透過分析直線的平均寬度(粗細程度)，以決定影像需要實施大小壓縮的參數。例如：圖13之(d)與(e)分別為圖13之(b)與(c)的車道線寬度之圖示。
假設圖13之(d)及(e)的線段平均寬度(粗細)各自為5與3 個像素寬度。動態參數調整模組120可以決定壓縮影像的參數將會是3/5=0.6，換句話說，需要把圖13之(b)的影像大小壓縮到原本的0.6倍的大小，這樣的影像縫合結果才會比較完美。
圖14為本發明之影像進行壓縮及移動之圖式。經過「壓縮影像大小比例」的動態調整後，以及移動影像產生縫合影像之示意圖如圖14所示。假設原始左側影像的長度為500像素單位(如圖14之(a)所示)，壓縮比例設為0.6，壓縮後的影像長度變為300像素單位(如圖14之(b)所示)。
圖14之(c)為「左側影像」與「後方影像」在影像移動之前的示意圖，移動影像之後的結果如圖14之(d)所示。在本實施例中，動態參數調整模組120在影像重疊區域內決定可信賴的物體時，若同時找到一組以上的物件，動態參數調整模組120將依據這些物件的所在位置，而決定其重要性，基本上，在下方(Bottom)位置之物件的特徵會比在上方(Up)位置之物件的特徵重要。
動態參數調整模組120將多個魚眼影像資料中之每一像素進行邊緣偵測而獲得一平均梯度絕對值強度。舉例說明，表1之(a)、(b)為兩張魚眼影像中的部分影像(7×7大小)之影像資料之像素的梯度特徵，而表1之(a)、(b)的中間粗體畫底線的像素則為目前所要運算的像素的位置。表1之(c)、(d)則是兩個影像資料之像素經過水平索貝爾邊緣偵測(Sobel Edge Detection)所偵測後的結果。假設所要運算的像素之參考的預設區域為5×5大小，動態參數調整模組120求得兩張魚眼影像中對應所要運算的像素之「平均梯度絕對值強度」分別為(M a =3600/25=144)以及(M b =360/25=14.4)，如表1之(c)、(d)所示。其中，表1之(e)為索貝爾邊緣偵測的3×3遮罩(Mark)數值。
在進行動態三維縫合影像時，動態三維縫合影像產生模組122根據縫合影像查找表得知動態縫合影像資料中之每一像素對應每一魚眼影像資料中之每一像素之座標位置。
圖15A為本發明之計算縫合影像之像素值之示意圖，圖15B為本發明之計算未縫合影像之像素值之示意圖。在圖15A中，動態三維縫合影像產生模組122計算動態縫合影像160在影像無重疊區域162中之影像資料的像素之像素值的方式如同上述靜態三維縫合影像產生模組116計算縫合影像158在影像無重疊區域162中之影像資料的像素之像素值的方式，該計算只需要參考一張魚眼影像，因此根據縫合影像查找表找到動態縫合影像160在影像無重疊區域162中之像素與魚眼影像中之像素相對應之座標位置，再依據該相對應之座標位置的像素值可求得動態縫合影像160在影像無重疊區域162中之動態縫合影像資料的像素之像素值。
假設要求得圖15A之動態縫合影像160中的影像重疊區域164內之像素的座標(x,y)的像素值(r,g,b)，根據縫合影像查找表找到與圖15A之動態縫合影像資料在影像重疊區域164中之像素所對應之魚眼影像資料中的像素之座標位置，找到魚眼影像資料中的像素之座標位置而可得知對應該座標位置之像素之像素值。需要參考兩個魚眼影像資料之像素的像素值，且使用公式(6)~(8)以在兩個魚眼影像資料中分別得到與像素(xa,ya)及(xb,yb)(如圖15B所示)相對應的像素值(ra,ga,ba)以及(rb,gb,bb)。
動態三維縫合影像產生模組122根據縫合影像查找表在兩個魚眼影像資料中分別得到與像素(xa,ya)及(xb,yb)(如圖15B所示)相對應的像素值(ra,ga,ba)以及(rb,gb,bb)，並藉此計算動態縫合影像160在影像重疊區域164中之影像資料的像素之像素值，其可由公式(17)~(19)求得。其中，；M a 與M b 為魚眼影像資料中對應所要計算之像素(xa,ya)及(xb,yb)周圍的「平均梯度絕對值強度」的數值。
r=ra*RatioMa+rb*RatioMb (17)
g=ga*RatioMa+gb*RatioMb (18)
b=ba*RatioMa+bb*RatioMb (19)
圖16為本發明之縫合多張影像而成之三維影像之圖示。動態三維縫合影像產生模組122將計算獲得之動態縫合影像資料(包含動態縫合影之影像無重疊區域及影像重疊區域之影像資料)經由影像輸入與輸出模組110傳送至資料顯示裝置106，而由資料顯示裝置106顯示由多張魚眼影像(如圖16之(a)、(b)、(c)所示)經動態地壓縮及 移動而成之動態三維縫合影像(如圖16之(d)所示)。
參照上述車輛之三維環景系統之方塊圖及與車輛之三維環景系統相關之示意圖，以說明本發明之車輛之三維環景方法的操作。
圖17為本發明之車輛之三維環景方法之流程圖。在本實施例中，在車輛的前後左右分別安裝有魚眼鏡頭102以拍攝車輛四周的影像(步驟S20)。由多個魚眼鏡頭102將所拍攝的影像分別轉換為魚眼影像資料，並儲存在緩衝記憶體104中。
校正位於車輛的前、後、左、右的四個方位的每一魚眼鏡頭102之安裝位置，如圖2A及圖2B所示，藉由資料顯示裝置106顯示圖2B之影像以校正每一魚眼鏡頭102之安裝位置，使每一魚眼鏡頭102所拍攝的影像係車底部分的影像在整個影像之底部的八分之一處。
在進行靜態三維影像縫合之程序時，如圖3A及圖3B所示，由每一魚眼鏡頭102拍攝車輛130周圍之校正板132、134，如圖3B之校正板134所示，每一魚眼鏡頭102拍攝到多條呈直線之水平參考線140及多條呈直線之輻射垂直參考線142的景物。
由每一魚眼鏡頭102拍攝校正板134所獲得的魚眼影像係多條呈圓弧線條之水平參考線144(如圖4A所示)及多條呈圓弧線條之輻射垂直參考線146(如圖5所示)的影像，並將多條呈圓弧線條之水平參考線144及輻射垂直參考線146之影像轉換成魚眼影像資料。每一魚眼鏡頭102將多個魚眼影像資料儲存在緩衝記憶體104中。
由攝影機安裝校正模組112經由影像輸入與輸出模組110接收多個魚眼鏡頭102所轉換之多個魚眼影像資料(多條呈圓弧線 條之水平參考線144及輻射垂直參考線146之魚眼影像資料)，或者在緩衝記憶體104中讀取多個魚眼影像資料。
由攝影機安裝校正模組112根據圖4B之呈圓弧線條之水平參考線144的兩個端點的高度h1及h2，在使水平參考線144的兩個端點的高度h1及h2相同時以調整每一魚眼鏡頭102的水平位置呈水平狀態。
由攝影機安裝校正模組112根據呈圓弧線條之輻射垂直參考線146，以調整每一魚眼鏡頭102的左右角度位置，使每一魚眼鏡頭102的左右兩端能拍攝到校正板134之輻射垂直參考線142。
由每一魚眼鏡頭102拍攝圖3B之校正板134而得到魚眼影像如圖6A所示，而魚眼影像中的水平參考線144以及輻射垂直參考線146因魚眼鏡頭102的關係而以圓弧線條的方式呈現。魚眼鏡頭102將如圖6A所示之魚眼影像轉換成魚眼影像資料，並將魚眼影像資料儲存在緩衝記憶體104。
由魚眼影像校正設定模組114經由影像輸入與輸出模組110接收每一魚眼鏡頭102所轉換之魚眼影像資料或讀取緩衝記憶體104之魚眼影像資料。魚眼影像校正設定模組114利用習知影像校正技術將圖6A之呈圓弧線條之水平參考線144以及輻射垂直參考線146校正成圖6B之呈直線之水平參考線148以及輻射垂直參考線150(步驟S22)。
校正板134的水平參考線140及輻射垂直參考線142從圓弧線條還原成直線的呈現方式，則代表完成魚眼影像的校正程序。簡而言之，魚眼影像校正的程序主要是在魚眼影像的X與Y軸各自決定一組最適當的橢圓弧度參數，然後依據該參數將魚眼影像資料中的 所有像素往影像中心點壓縮，如圖6C及圖6D所示。假設圖6C為魚眼影像，經過魚眼影像校正程序後得到圖6D之校正影像，因此，在圖6D之校正影像之校正影像資料之一像素之座標(x1,y1)對應圖6C之魚眼影像之魚眼影像資料之座標(x2,y2)。
由魚眼影像校正設定模組114在進行魚眼影像校正時會產生一魚眼校正查找表(步驟S24)，該魚眼校正查找表主要是幫忙找出魚眼影像校正後之校正影像資料中的每個像素之座標(x1,y1)對應魚眼影像資料中的每個像素之座標(x2,y2)。因此，基本上至少會有「X座標」以及「Y座標」兩個魚眼校正查找表。
圖7A中之h1與h2分別代表Y座標點y1與y2到影像中心線的高度值。依據等比原理，可以求得公式(1)，經過推導可得公式(2)，以獲得y2為「Y座標魚眼校正查找表」中對應座標(x1,y1)之值。使用同樣的方法(如圖7B)，藉由公式(3)可推導出x2為「X座標魚眼校正查找表」中對應座標(x1,y1)之值。
魚眼影像校正設定模組114在將魚眼影像校正為校正影像後，由魚眼影像校正設定模組114將相鄰之校正影像中之輻射垂直參考線150的輻射角度調整為相同角度且可以重疊，在進行校正影像之旋轉及平移的過程中會產生一旋轉平移查找表(步驟S26)。
圖8A中之校正影像之原點(0,0)在影像的左下角處，將校正影像平移到新座標(xs,ys)之位置，並以(xs,ys)為原點做逆時針旋轉θ角，如圖8B所示。欲求得旋轉且平移後校正影像資料中的像素之座標(x2,y2)與原校正影像資料中的像素之座標(x1,y1)的關係，可由公式(4)、(5)求得，同時，也會有「X座標」以及「Y座標」兩個不同的旋轉平移查找表。換句話說，根據「X座標」以及「Y座標」兩個旋轉 平移查找表可以得知經旋轉且平移後校正影像資料中的每個像素之座標位置與原始校正影像資料中的每個像素之座標位置的位置關係。
由魚眼影像校正設定模組114依據兩兩相鄰的校正影像(如左側校正影像與後面校正影像、及右側校正影像與後面校正影像)中的「輻射垂直參考線」，藉由如上述旋轉及平移左右兩側的校正影像之校正影像資料中每一像素的座標位置，使重疊後的兩兩相鄰的校正影像中的「輻射垂直參考線」能儘量重疊再一起(如圖9所示)。在本實施例中，左右兩側的校正影像的旋轉角度θ較佳是在5° θ 45°範圍之內。
在上述將兩兩相鄰的校正影像進行影像重疊時，由靜態三維縫合影像產生模組116根據魚眼校正查找表及旋轉平移查找表以產生一縫合影像查找表。當靜態三維縫合影像產生模組116將圖9所示之校正影像進行影像縫合時，靜態三維縫合影像產生模組116根據該縫合影像查找表得知欲進行影像縫合之每一校正影像資料中之每一像素對應每一魚眼影像資料中之每一像素之座標位置。
依據圖10A及圖11A之縫合影像158中的像素所在位置，由靜態三維縫合影像產生模組116分別計算出每一校正影像資料之影像無重疊區域154及影像重疊區域156中的每一像素之像素值(即r、g、b之像素值)。
由靜態三維縫合影像產生模組116計算縫合影像158在影像無重疊區域154中之校正影像資料的像素之像素值，該計算只需要參考一張校正影像，因此根據縫合影像查找表找到校正影像152在影像無重疊區域154中之像素與魚眼影像中之像素相對應之座標位置，再依據該相對應之座標位置的像素值可求得縫合影像158在影像 無重疊區域154中之縫合影像資料的像素之像素值(如圖10A所示)。
假設要求得圖10A之縫合影像158中影像無重疊區域154內之像素的座標(x,y)的像素值(r,g,b)，根據縫合影像查找表找到對應縫合影像158中之像素的座標(x,y)之魚眼影像中的像素之座標位置為(x1+α1,y1+β1)，其中加權值α1,β1的數值為0α1<1以及0β1<1。由靜態三維縫合影像產生模組116計算縫合影像之像素的座標(x,y)的像素值將會使用到魚眼影像中的四個像素之座標(x1,y1)、(x1+1,y1)、(x1,y1+1)、以及(x1+1,y1+1)的像素值，如圖10B所示，並可由公式(6)、(7)、(8)求得。
由靜態三維縫合影像產生模組116計算縫合影像158在影像重疊區域156中之像素之像素值，該計算需要參考兩張校正影像(如圖11B所示)，因此根據縫合影像查找表找到欲縫合之兩個校正影像152在影像重疊區域156中之像素與魚眼影像中之像素相對應之座標位置，再依據該相對應之座標位置的像素值可求得縫合影像158在影像重疊區域156中之縫合影像資料的像素之像素值(如圖11A所示)。
假設要求得圖11A之縫合影像158中的影像重疊區域156內之像素的座標(x,y)的像素值(r,g,b)，根據縫合影像查找表找到與圖11A之縫合影像資料在影像重疊區域156中之像素所對應之魚眼影像資料中的像素之座標位置，找到魚眼影像資料中的像素之座標位置而可得知對應該座標位置之像素之像素值。需要參考兩個魚眼影像資料之像素的像素值(如圖11B所示)，且使用公式(6)~(8)以在兩個魚眼影像資料中分別得到與像素相對應的像素值(ra,ga,ba)以及(rb,gb,bb)。在縫合影像158於影像重疊區域156中之像素進行影像縫合時之像素的像素值可由公式(9)~(11)求得。
靜態三維縫合影像產生模組116在計算獲得縫合影像158在影像無重疊區域154及影像重疊區域156中之像素之像素值，便完成由多張魚眼影像經校正、旋轉及平移而成之靜態三維縫合影像，並可產生縫合影像查找表以供下述進行動態三維影像縫合的使用(步驟S28)。
在進行動態三維影像縫合之程序時，由每一魚眼鏡頭102拍攝在該車輛行駛中之影物而得到魚眼影像，魚眼鏡頭102將所拍攝之魚眼影像轉換成魚眼影像資料，並將魚眼影像資料儲存在緩衝記憶體104(步驟S30)。
由特徵擷取模組118經由影像輸入與輸出模組110接收每一魚眼鏡頭102所轉換之魚眼影像資料或讀取緩衝記憶體104中之魚眼影像資料。特徵擷取模組118參考多個魚眼影像來進行動態三維影像縫合，並根據上述縫合影像查找表得知一動態縫合影像之一動態縫合影像資料中的每一像素對應多個魚眼影像資料中的每一像素的座標位置。
針對兩兩相鄰之魚眼影像的影像重疊區域(如圖12中的L以及R的區域)藉由分析「邊緣方向」及「梯度強度」以得到「邊緣類型分類地圖」。
由特徵擷取模組118計算魚眼影像資料之影像重疊區域之每一像素之一水平梯度絕對值、一垂直梯度絕對值及一邊緣方向值，且將魚眼影像資料之影像重疊區域之每一像素之水平梯度絕對值、垂直梯度絕對值及邊緣方向值與多個門檻值進行比較，而將魚眼影像資料之影像重疊區域之每一像素分類為多個邊緣類型之其中一者(步驟S32)。
亦即，由特徵擷取模組118對魚眼影像資料進行特徵擷取主要是擷取魚眼影像資料之影像重疊區域之每一像素的梯度特徵，本實施例利用上述「邊緣類型分類地圖」可以有效率地將魚眼影像資料之影像重疊區域的像素依據其特性分成至少四類的「邊緣類型」。
在上述由特徵擷取模組118求得兩兩相鄰的影像(例如：「左側影像&後面影像」、「右側影像&後面影像」)之影像重疊區域中的梯度特徵後，先找出影像重疊區域中的物件(如車道線、或是車子)，再根據物件在兩個相鄰的影像中的大小，以決定動態調整的兩個重要參數：「壓縮影像大小的比例」、以及「移動影像的程度」(步驟S34)。
由動態參數調整模組120將在相鄰影像之影像重疊區域中找出對應的物件，判斷出相鄰影像中之一影像進行壓縮的比例。例如：圖13之(b)與(c)分別為圖13之(a)的左側影像與後面影像，而「影像淺白」部分為「影像重疊區域」。透過上述梯度特徵的分類，可以找出相鄰影像之影像重疊區域中比較有代表性的物件(如車道線的直線線段)，透過分析直線的平均寬度(粗細程度)，以決定影像需要實施大小壓縮的參數，如圖13之(d)與(e)分別為圖13之(b)與(c)的車道線寬度之圖示及上述線段平均寬度例子之說明。
經過「壓縮影像大小比例」的動態調整後，以及移動影像產生縫合影像之示意圖如圖14所示。假設原始左側影像的長度為500像素單位(如圖14之(a)所示)，壓縮比例設為0.6，壓縮後的影像長度變為300像素單位(如圖14之(b)所示)。
圖14之(c)為「左側影像」與「後方影像」在影像移動之前的示意圖，移動影像之後的結果如圖14之(d)所示。在本實施例中，由動態參數調整模組120在影像重疊區域內決定可信賴的物體時， 若同時找到一組以上的物件，動態參數調整模組120將依據這些物件的所在位置，而決定其重要性，基本上，在下方位置之物件的特徵會比在上方位置之物件的特徵重要。
在上述表1之說明，可由動態參數調整模組120將多個魚眼影像資料中之每一像素進行邊緣偵測而獲得一平均梯度絕對值強度。
在進行動態三維縫合影像時，由動態三維縫合影像產生模組122根據縫合影像查找表得知動態縫合影像資料中之每一像素對應每一魚眼影像資料中之每一像素之座標位置。
在圖15A中，由動態三維縫合影像產生模組122計算動態縫合影像160在影像無重疊區域162中之影像資料的像素之像素值的方式如同上述靜態三維縫合影像產生模組116計算縫合影像158在影像無重疊區域162中之影像資料的像素之像素值的方式，該計算只需要參考一張魚眼影像，因此根據縫合影像查找表找到動態縫合影像160在影像無重疊區域162中之像素與魚眼影像中之像素相對應之座標位置，再依據該相對應之座標位置的像素值可求得動態縫合影像160在影像無重疊區域162中之動態縫合影像資料的像素之像素值。
假設要求得圖15A之動態縫合影像160中的影像重疊區域164內之像素的座標(x,y)的像素值(r,g,b)，根據縫合影像查找表找到與圖15A之動態縫合影像資料在影像重疊區域164中之像素所對應之魚眼影像資料中的像素之座標位置，找到魚眼影像資料中的像素之座標位置而可得知對應該座標位置之像素之像素值。需要參考兩個魚眼影像資料之像素的像素值，且使用公式(6)~(8)以在兩個魚眼影像資料中分別得到與像素(xa,ya)及(xb,yb)(如圖15B所示)相對應的像素值 (ra,ga,ba)以及(rb,gb,bb)。
由動態三維縫合影像產生模組122根據縫合影像查找表在兩個魚眼影像資料中分別得到與像素(xa,ya)及(xb,yb)(如圖15B所示)相對應的像素值(ra,ga,ba)以及(rb,gb,bb)，並藉此計算動態縫合影像160在影像重疊區域164中之影像資料的像素之像素值，其可由公式(17)~(19)求得(步驟S36)。
由動態三維縫合影像產生模組122將計算獲得之動態縫合影像資料(包含動態縫合影之影像無重疊區域及影像重疊區域之影像資料)經由影像輸入與輸出模組110傳送至資料顯示裝置106，而由資料顯示裝置106顯示由多張魚眼影像(如圖16之(a)、(b)、(c)所示)經動態地壓縮及移動而成之動態三維縫合影像(如圖16之(d)所示)(步驟S38)。
本發明提供一種車輛之三維環景系統及其方法，其特點在縫合影像時減少縫合死角的產生，使實際出現在車輛四周的物體在影像縫合的區域不會消失不見，亦不會產生物體重複出現的情況。
雖然本發明已參照較佳具體例及舉例性附圖敘述如上，惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化，均不離開本發明之請求項之所主張範圍。
100‧‧‧三維環景系統
102‧‧‧魚眼鏡頭
104‧‧‧緩衝記憶體
106‧‧‧資料顯示裝置
108‧‧‧資料處理裝置
110‧‧‧影像輸入與輸出模組
112‧‧‧攝影機安裝校正模組
114‧‧‧魚眼影像校正設定模組
116‧‧‧靜態三維縫合影像產生模組
118‧‧‧特徵擷取模組
120‧‧‧動態參數調整模組
122‧‧‧動態三維縫合影像產生模組

Claims (17)

  1. 一種車輛之三維環景方法，其包括下列步驟：接收拍攝一校正板所產生之複數個魚眼影像資料，該校正板上具有呈直線之複數個水平參考線及複數個輻射垂直參考線，該等魚眼影像資料中之該等水平參考線及該等輻射垂直參考線呈圓弧線條；將具有呈圓弧線條之該等水平參考線及該等輻射垂直參考線之該等魚眼影像資料校正成為呈直線之該等水平參考線及該等輻射垂直參考線之複數個校正影像資料而產生一魚眼校正查找表，根據該魚眼校正查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；將相鄰關係之校正影像資料之呈直線之該等輻射垂直參考線旋轉及平移成為相同的輻射角度之重疊而產生一旋轉平移查找表，根據該旋轉平移查找表及該魚眼校正查找表得知經旋轉及平移之該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；以及根據該旋轉平移查找表及該魚眼校正查找表產生一縫合影像查找表，根據該縫合影像查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置，以該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料中之每一像素之像素值，並將相鄰之該等校正影像資料進行影像縫合，以產生一靜態縫合影像資料；其中，在進行影像縫合之步驟包括下列步驟：根據該縫合影像查找表得知該等校正影像資料之每一者所預設之一影像無重疊區域及一影像重疊區域中之每一像素對應該等魚眼影像 資料中之每一像素之座標位置；根據該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料之該影像無重疊區域之每一像素之像素值，以得到該靜態縫合影像資料之該影像無重疊區域中之每一像素之像素值；以及根據該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料之該影像重疊區域之每一像素之像素值，並根據其計算之像素值計算該等校正影像資料中進行影像重疊之該影像重疊區域中之每一像素之像素值，以得到該靜態縫合影像資料之該影像重疊區域中之每一像素之像素值。
  2. 如請求項1之方法，其中，在擷取該校正板之影像之步驟中包括下列步驟：調整複數個魚眼鏡頭之安裝位置，使該等魚眼鏡頭拍攝影像所產生之該等魚眼影像資料之影像底部的八分之一處係為一車輛之底部之影像；根據該等魚眼影像資料中之呈圓弧線條之該等水平參考線中之一者的兩個端點的高度，調整該等魚眼的水平位置；根據該等魚眼影像資料中之呈圓弧線條之該等輻射垂直參考線調整每一魚眼鏡頭，使其左右兩端拍攝到該校正板之該等輻射垂直參考線；以及將該等魚眼鏡頭攝取之該校正板之影像產生該等魚眼影像資料。
  3. 如請求項1之方法，其中，旋轉該等校正影像資料之呈直線之該等輻射垂直參考線之旋轉角度係在5°至45°之間。
  4. 如請求項1之方法，在產生該靜態縫合影像資料之步驟之後，進一步包括下列步驟： 接收拍攝在該車輛行駛中之該等魚眼影像資料；根據該縫合影像查找表以得知一動態縫合影像資料中的每一像素對應該等魚眼影像資料中的每一像素的座標位置；計算該等魚眼影像資料之一影像重疊區域之每一像素之一水平梯度絕對值、一垂直梯度絕對值及一邊緣方向值，將該等魚眼影像影像資料之該影像重疊區域之每一像素之該水平梯度絕對值、該垂直梯度絕對值及該邊緣方向值與複數個門檻值進行比較，以將該等魚眼影像資料之該影像重疊區域之每一像素分類為複數個邊緣類型之其中一者；根據該等魚眼影像資料之該影像重疊區域之每一像素之一個邊緣類型，得知在相鄰影像之該影像重疊區域中之一物件的大小，以決定該動態縫合影像資料之一壓縮影像大小比例參數及一移動影像程度參數，而對該動態縫合影像資料中為相鄰影像中之一者之影像資料進行影像壓縮及移動；根據該等魚眼影像資料之一影像無重疊區域之每一像素之像素值計算一動態縫合影像資料之該影像無重疊區域之每一像素之像素值；以及將根據該等魚眼影像資料之該影像重疊區域之每一像素之像素值所計算之相鄰影像之影像資料之該影像重疊區域之每一像素之像素值乘上一平均梯度絕對值強度，以獲得該動態縫合影像資料之該影像重疊區域之每一像素之像素值，其中將該等魚眼影像資料之該影像重疊區域之每一像素進行邊緣偵測而獲得該平均梯度絕對值強度。
  5. 一種車輛之三維環景系統，其包括：一魚眼影像校正設定模組，用以接收拍攝一校正板所產生之複數個魚眼影像資料，將具有呈圓弧線條之複數個水平參考線及複數個輻射 垂直參考線之該等魚眼影像資料校正成為呈直線之該等水平參考線及該等輻射垂直參考線之複數個校正影像資料而產生一魚眼校正查找表，將為相鄰關係之校正影像資料之呈直線之該等輻射垂直參考線旋轉及平移成為相同的輻射角度之重疊而產生一旋轉平移查找表，其中，該校正板上具有呈直線之該等水平參考線及該等輻射垂直參考線，該等魚眼影像資料中之該等水平參考線及該等輻射垂直參考線呈圓弧線條，根據該魚眼校正查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置，根據該旋轉平移查找表及該魚眼校正查找表得知經旋轉及平移之該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；以及一靜態三維縫合影像產生模組，用以根據該旋轉平移查找表及該魚眼校正查找表產生一縫合影像查找表，以該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料中之每一像素之像素值，並將相鄰之該等校正影像資料進行影像縫合，以產生一靜態縫合影像資料，其中，根據該縫合影像查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；其中，該靜態三維縫合影像產生模組執行以下功能：根據該縫合影像查找表得知該等校正影像資料之每一者所預設之一影像無重疊區域及一影像重疊區域中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；計算該等校正影像資料之該影像無重疊區域之每一像素所對應之該等魚眼影像資料中之每一像素之像素值，以得到該縫合影像資料之該影像無重疊區域中之每一像素之像素值；以及計算該等校正影像資料之該影像重疊區域之每一像素所對應之該 等魚眼鏡像資料中之每一像素之像素值，並根據其計算之像素值計算該等校正影像資料中進行影像重疊之該影像重疊區域中之每一像素之像素值，以得到該縫合影像資料之該影像重疊區域中之每一像素之像素值。
  6. 如請求項5之系統，更包括：一攝影機安裝校正模組，用以調整複數個魚眼之安裝位置，使該等魚眼鏡頭拍攝影像所產生之該等魚眼影像資料之影像底部的八分之一處係為一車輛之底部之影像，根據該等魚眼影像資料中之呈圓弧線條之該等水平參考線中之一者的兩個端點的高度，調整該等魚眼鏡頭的水平位置，並根據該等魚眼影像資料中之呈圓弧線條之該等輻射垂直參考線調整每一魚眼鏡頭使其左右兩端拍攝到該校正板之該等輻射垂直參考線；以及一影像輸入與輸出模組，該攝影機安裝校正模組及魚眼影像校正設定模組經由該影像輸入與輸出模組接收該等魚眼鏡頭傳送之該等魚眼影像資料，靜態三維縫合影像產生模組經由該影像輸入與輸出模組傳送該靜態縫合影像資料至一資料顯示裝置。
  7. 如請求項6之系統，更包括：一特徵擷取模組，用以接收拍攝在該車輛行駛中之該等魚眼影像資料，計算該等魚眼影像資料之一影像重疊區域之每一像素之一水平梯度絕對值、一垂直梯度絕對值及一邊緣方向值，將該等魚眼影像資料之該影像重疊區域之每一像素之該水平梯度絕對值、該垂直梯度絕對值及該邊緣方向值與複數個門檻值進行比較，以將該等魚眼影像資料之該影像重疊區域之每一像素分類為複數個邊緣類型之其中一者；一動態參數調整模組，用以根據該等魚眼影像資料之該影像重疊區 域之每一像素之一個邊緣類型，得知在相鄰影像之該影像重疊區域中之一物件的大小，以決定一動態縫合影像資料之一壓縮影像大小比例參數及一移動影像程度參數，將該等魚眼影像資料之該影像重疊區域之每一像素進行邊緣偵測而獲得一平均梯度絕對值強度；以及一動態三維縫合影像產生模組，用以根據該壓縮影像大小比例參數及該移動影像程度參數而對相鄰影像中之一者進行影像壓縮及移動，根據該等魚眼影像資料之一影像無重疊區域之每一像素之像素值計算該動態縫合影像資料之該影像無重疊區域之每一像素之像素值，將根據該等魚眼影像資料之該影像重疊區域之每一像素之像素值所計算之相鄰影像之影像資料之該影像重疊區域之每一像素之像素值乘上一平均梯度絕對值強度，以獲得該動態縫合影像資料之該影像重疊區域之每一像素之像素值。
  8. 如請求項5之系統，其中，該魚眼影像校正設定模組旋轉該等校正影像資料之呈直線之該等輻射垂直參考線之旋轉角度係在5°至45°之間。
  9. 一種車輛之三維環景方法，其包括下列步驟：接收拍攝一校正板所產生之複數個魚眼影像資料，該校正板上具有呈直線之複數個水平參考線及複數個輻射垂直參考線，該等魚眼影像資料中之該等水平參考線及該等輻射垂直參考線呈圓弧線條；將具有呈圓弧線條之該等水平參考線及該等輻射垂直參考線之該等魚眼影像資料校正成為呈直線之該等水平參考線及該等輻射垂直參考線之複數個校正影像資料而產生一魚眼校正查找表，根據該魚眼校正查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置； 將相鄰關係之校正影像資料之呈直線之該等輻射垂直參考線旋轉及平移成為相同的輻射角度之重疊而產生一旋轉平移查找表，根據該旋轉平移查找表及該魚眼校正查找表得知經旋轉及平移之該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；根據該旋轉平移查找表及該魚眼校正查找表產生一縫合影像查找表，根據該縫合影像查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；根據該縫合影像查找表以得知一動態縫合影像資料中的每一像素對應該等魚眼影像資料中的每一像素的座標位置；計算該等魚眼影像資料之一影像重疊區域之每一像素之一水平梯度絕對值、一垂直梯度絕對值及一邊緣方向值，將該等魚眼影像影像資料之該影像重疊區域之每一像素之該水平梯度絕對值、該垂直梯度絕對值及該邊緣方向值與複數個門檻值進行比較，以將該等魚眼影像資料之該影像重疊區域之每一像素分類為複數個邊緣類型之其中一者；根據該等魚眼影像資料之該影像重疊區域之每一像素之一個邊緣類型，得知在相鄰影像之該影像重疊區域中之一物件的大小，以決定該動態縫合影像資料之一壓縮影像大小比例參數及一移動影像程度參數，而對該動態縫合影像資料中為相鄰影像中之一者之影像資料進行影像壓縮及移動；根據該等魚眼影像資料之一影像無重疊區域之每一像素之像素值計算一動態縫合影像資料之該影像無重疊區域之每一像素之像素值；以及將根據該等魚眼影像資料之該影像重疊區域之每一像素之像素值所計算之相鄰影像之影像資料之該影像重疊區域之每一像素之像素值乘 上一平均梯度絕對值強度，以獲得該動態縫合影像資料之該影像重疊區域之每一像素之像素值，其中將該等魚眼影像資料之該影像重疊區域之每一像素進行邊緣偵測而獲得該平均梯度絕對值強度。
  10. 如請求項9之方法，其中，在擷取該校正板之影像之步驟中包括下列步驟：調整複數個魚眼鏡頭之安裝位置，使該等魚眼鏡頭拍攝影像所產生之該等魚眼影像資料之影像底部的八分之一處係為一車輛之底部之影像；根據該等魚眼影像資料中之呈圓弧線條之該等水平參考線中之一者的兩個端點的高度，調整該等魚眼的水平位置；根據該等魚眼影像資料中之呈圓弧線條之該等輻射垂直參考線調整每一魚眼鏡頭，使其左右兩端拍攝到該校正板之該等輻射垂直參考線；以及將該等魚眼鏡頭攝取之該校正板之影像產生該等魚眼影像資料。
  11. 如請求項9之方法，其中，旋轉該等校正影像資料之呈直線之該等輻射垂直參考線之旋轉角度係在5°至45°之間。
  12. 如請求項9之方法，其中，在根據該縫合影像查找表以得知該動態縫合影像資料之步驟之前包括下列步驟：以該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料中之每一像素之像素值，並將相鄰之該等校正影像資料進行影像縫合，以產生一靜態縫合影像資料，其中，在進行影像縫合之步驟包括下列步驟：根據該縫合影像查找表得知該等校正影像資料之每一者所預設之一影像無重疊區域及一影像重疊區域中之每一像素對應該等魚眼影像 資料中之每一像素之座標位置；根據該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料之該影像無重疊區域之每一像素之像素值，以得到該靜態縫合影像資料之該影像無重疊區域中之每一像素之像素值；以及根據該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料之該影像重疊區域之每一像素之像素值，並根據其計算之像素值計算該等校正影像資料中進行影像重疊之該影像重疊區域中之每一像素之像素值，以得到該靜態縫合影像資料之該影像重疊區域中之每一像素之像素值。
  13. 如請求項9之方法，在根據該縫合影像查找表以得知該動態縫合影像資料之步驟之前，進一步包括下列步驟：接收拍攝在該車輛行駛中之該等魚眼影像資料。
  14. 一種車輛之三維環景系統，其包括：一魚眼影像校正設定模組，用以接收拍攝一校正板所產生之複數個魚眼影像資料，將具有呈圓弧線條之複數個水平參考線及複數個輻射垂直參考線之該等魚眼影像資料校正成為呈直線之該等水平參考線及該等輻射垂直參考線之複數個校正影像資料而產生一魚眼校正查找表，將為相鄰關係之校正影像資料之呈直線之該等輻射垂直參考線旋轉及平移成為相同的輻射角度之重疊而產生一旋轉平移查找表，其中，該校正板上具有呈直線之該等水平參考線及該等輻射垂直參考線，該等魚眼影像資料中之該等水平參考線及該等輻射垂直參考線呈圓弧線條，根據該魚眼校正查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置，根據該旋轉平移查找表及該魚眼校正查找表得知經旋轉及平移之該等校正影像資料中 之每一像素對應該等魚眼影像資料中之每一像素之座標位置；一特徵擷取模組，用以接收拍攝在該車輛行駛中之該等魚眼影像資料，計算該等魚眼影像資料之一影像重疊區域之每一像素之一水平梯度絕對值、一垂直梯度絕對值及一邊緣方向值，將該等魚眼影像資料之該影像重疊區域之每一像素之該水平梯度絕對值、該垂直梯度絕對值及該邊緣方向值與複數個門檻值進行比較，以將該等魚眼影像資料之該影像重疊區域之每一像素分類為複數個邊緣類型之其中一者；一動態參數調整模組，用以根據該等魚眼影像資料之該影像重疊區域之每一像素之一個邊緣類型，得知在相鄰影像之該影像重疊區域中之一物件的大小，以決定一動態縫合影像資料之一壓縮影像大小比例參數及一移動影像程度參數，將該等魚眼影像資料之該影像重疊區域之每一像素進行邊緣偵測而獲得一平均梯度絕對值強度；以及一動態三維縫合影像產生模組，用以根據該壓縮影像大小比例參數及該移動影像程度參數而對相鄰影像中之一者進行影像壓縮及移動，根據該等魚眼影像資料之一影像無重疊區域之每一像素之像素值計算該動態縫合影像資料之該影像無重疊區域之每一像素之像素值，將根據該等魚眼影像資料之該影像重疊區域之每一像素之像素值所計算之相鄰影像之影像資料之該影像重疊區域之每一像素之像素值乘上一平均梯度絕對值強度，以獲得該動態縫合影像資料之該影像重疊區域之每一像素之像素值。
  15. 如請求項14之系統，更包括：一攝影機安裝校正模組，用以調整複數個魚眼之安裝位置，使該等魚眼鏡頭拍攝影像所產生之該等魚眼影像資料之影像底部的八分之一處係為一車輛之底部之影像，根據該等魚眼影像資料中之呈圓弧線條 之該等水平參考線中之一者的兩個端點的高度，調整該等魚眼鏡頭的水平位置，並根據該等魚眼影像資料中之呈圓弧線條之該等輻射垂直參考線調整每一魚眼鏡頭使其左右兩端拍攝到該校正板之該等輻射垂直參考線；一影像輸入與輸出模組，該攝影機安裝校正模組及魚眼影像校正設定模組經由該影像輸入與輸出模組接收該等魚眼鏡頭傳送之該等魚眼影像資料，靜態三維縫合影像產生模組經由該影像輸入與輸出模組傳送該靜態縫合影像資料至一資料顯示裝置；以及一靜態三維縫合影像產生模組，用以根據該旋轉平移查找表及該魚眼校正查找表產生一縫合影像查找表，以該等魚眼影像資料中之每一像素之像素值計算該等校正影像資料中之每一像素之像素值，並將相鄰之該等校正影像資料進行影像縫合，以產生一靜態縫合影像資料，其中，根據該縫合影像查找表得知該等校正影像資料中之每一像素對應該等魚眼影像資料中之每一像素之座標位置。
  16. 如請求項15之系統，其中，該靜態三維縫合影像產生模組執行以下功能：根據該縫合影像查找表得知該等校正影像資料之每一者所預設之一影像無重疊區域及一影像重疊區域中之每一像素對應該等魚眼影像資料中之每一像素之座標位置；計算該等校正影像資料之該影像無重疊區域之每一像素所對應之該等魚眼影像資料中之每一像素之像素值，以得到該縫合影像資料之該影像無重疊區域中之每一像素之像素值；以及計算該等校正影像資料之該影像重疊區域之每一像素所對應之該等魚眼鏡像資料中之每一像素之像素值，並根據其計算之像素值計算該 等校正影像資料中進行影像重疊之該影像重疊區域中之每一像素之像素值，以得到該縫合影像資料之該影像重疊區域中之每一像素之像素值。
  17. 如請求項14之系統，其中，該魚眼影像校正設定模組旋轉該等校正影像資料之呈直線之該等輻射垂直參考線之旋轉角度係在5°至45°之間。
TW105115298A 2016-05-18 2016-05-18 Three - dimensional environment system of vehicle and its method TWI584051B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105115298A TWI584051B (zh) 2016-05-18 2016-05-18 Three - dimensional environment system of vehicle and its method
US15/587,885 US10397524B1 (en) 2016-05-18 2017-05-05 Three-dimensional around view monitoring system of vehicle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105115298A TWI584051B (zh) 2016-05-18 2016-05-18 Three - dimensional environment system of vehicle and its method

Publications (2)

Publication Number Publication Date
TWI584051B true TWI584051B (zh) 2017-05-21
TW201741759A TW201741759A (zh) 2017-12-01

Family

ID=59367644

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105115298A TWI584051B (zh) 2016-05-18 2016-05-18 Three - dimensional environment system of vehicle and its method

Country Status (2)

Country Link
US (1) US10397524B1 (zh)
TW (1) TWI584051B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581403A (zh) * 2020-12-25 2021-03-30 苏州浪潮智能科技有限公司 一种鱼眼图像校正方法、系统及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN110519528B (zh) * 2018-05-22 2021-09-24 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
US11055541B2 (en) * 2018-10-12 2021-07-06 Volvo Car Corporation Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN113498527A (zh) * 2019-02-19 2021-10-12 奥拉科产品有限责任公司 具有动态拼接的镜更换系统
TWI705011B (zh) * 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
US11341607B2 (en) 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN112215796B (zh) * 2020-09-11 2022-12-23 中国铁道科学研究院集团有限公司 一种适用于铁路货运检查的铁路货车车辆图像切割方法
CN112181581B (zh) * 2020-10-29 2022-03-29 安徽江淮汽车集团股份有限公司 汽车仪表的环境显示方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002394A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Augmenting images for panoramic display
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
TW201226237A (en) * 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
CN103150715A (zh) * 2013-03-13 2013-06-12 腾讯科技（深圳）有限公司 图像拼接处理方法及装置
CN104966062A (zh) * 2015-06-17 2015-10-07 浙江大华技术股份有限公司 视频监视方法和装置
TWM533241U (en) * 2016-05-18 2016-12-01 Sarmo Technology Inc Three-dimensional panorama system of vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714936B1 (en) * 1991-05-13 2010-05-11 Sony Corporation Omniview motionless camera orientation system
US8670001B2 (en) * 2006-11-30 2014-03-11 The Mathworks, Inc. System and method for converting a fish-eye image into a rectilinear image
US20080174659A1 (en) * 2007-01-18 2008-07-24 Mcdowall Ian Wide field of view display device and method
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US9762795B2 (en) * 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
JP5846268B1 (ja) * 2014-08-12 2016-01-20 株式会社リコー 画像処理システム、画像処理装置、プログラムおよび撮像システム
US20160330376A1 (en) * 2015-05-06 2016-11-10 Otoy, Inc. Apparatus and method for spherical light field capture
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002394A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Augmenting images for panoramic display
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
TW201226237A (en) * 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
CN103150715A (zh) * 2013-03-13 2013-06-12 腾讯科技（深圳）有限公司 图像拼接处理方法及装置
CN104966062A (zh) * 2015-06-17 2015-10-07 浙江大华技术股份有限公司 视频监视方法和装置
TWM533241U (en) * 2016-05-18 2016-12-01 Sarmo Technology Inc Three-dimensional panorama system of vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581403A (zh) * 2020-12-25 2021-03-30 苏州浪潮智能科技有限公司 一种鱼眼图像校正方法、系统及介质
CN112581403B (zh) * 2020-12-25 2022-07-12 苏州浪潮智能科技有限公司 一种鱼眼图像校正方法、系统及介质

Also Published As

Publication number Publication date
TW201741759A (zh) 2017-12-01
US10397524B1 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
TWI584051B (zh) Three - dimensional environment system of vehicle and its method
US11049218B2 (en) Seamless image stitching
JP5491235B2 (ja) カメラキャリブレーション装置
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
CN108600576B (zh) 图像处理装置、方法和系统以及计算机可读记录介质
US9870601B2 (en) System and method for displaying panoramic image using single look-up table
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
WO2016000527A1 (zh) 广域图像获取方法和装置
US20160295108A1 (en) System and method for panoramic imaging
WO2011076104A1 (zh) 图像拼接方法及装置
US11568516B2 (en) Depth-based image stitching for handling parallax
US20100128231A1 (en) Projection-type display apparatus and method for performing projection adjustment
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
TW201403553A (zh) 自動校正鳥瞰影像方法
WO2018188277A1 (zh) 视线校正方法、装置、智能会议终端及存储介质
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
TW201839716A (zh) 環景影像的拼接方法及其系統
KR20190044439A (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
US20200202495A1 (en) Apparatus and method for dynamically adjusting depth resolution
WO2022109855A1 (en) Foldable electronic device for multi-view image capture
TW202011349A (zh) 全景圖形成方法及系統
US20210027439A1 (en) Orientation adjustment of objects in images
WO2019198399A1 (ja) 画像処理装置および方法
CN110832851B (zh) 图像处理装置、图像变换方法
JP4248212B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees