JP7448921B2 - リアビュー可視化のためのリアスティッチされたビューパノラマ - Google Patents
リアビュー可視化のためのリアスティッチされたビューパノラマ Download PDFInfo
- Publication number
- JP7448921B2 JP7448921B2 JP2022057110A JP2022057110A JP7448921B2 JP 7448921 B2 JP7448921 B2 JP 7448921B2 JP 2022057110 A JP2022057110 A JP 2022057110A JP 2022057110 A JP2022057110 A JP 2022057110A JP 7448921 B2 JP7448921 B2 JP 7448921B2
- Authority
- JP
- Japan
- Prior art keywords
- seam
- image
- transformed
- calculating
- cost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012800 visualization Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims description 40
- 238000002156 mixing Methods 0.000 claims description 23
- 238000009499 grossing Methods 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
Description
Z=B×f/d
は、ステレオ画像を考慮して奥行きを計算するために用いられ得、ここで、Bは二つのカメラ間の距離であり、fはカメラ焦点距離であり、dはディスパリティであり、Zは所与のロケーションにおける奥行きである。この式は、ステレオカメラ画像におけるロケーションの奥行きを推定するために用いられる。平坦面上のディスパリティを計算するために、平坦面は、ステレオカメラからの特定の既知の奥行きにおいて定義され、すなわち、画像がスティッチされるべき距離は予め決められている。それゆえ、ディスパリティ値は、
d=B×f/Z
によって計算され得、ここで、Zは既知であり、dは既知でない。
DΔ=|D’-DW|
に従って、DW及びD’における対応するディスパリティ値間の差の大きさをとることによって計算され得る。図13を参照してより詳細に説明されるように、シーム候補のコストは、DΔにおけるピクセルディスパリティのセットによって定義される。
DΔ=|D’-DG|
に従って、DG及びD’における対応するディスパリティ値間の差の大きさをとることによって計算され得る。図13を参照してより詳細に説明されるように、シーム候補のコストは、DΔにおけるピクセルディスパリティのセットによって定義される。
smin=min(smin,W,smin,G)
に従って、全体的な最小コストシームとして選択される。
を含むピクセルを考える。最終シームstのx座標は、
に従って、最小コストシームsminをスケーリングすることによって計算され得る。ここで、hRSVPはパノラマの高さである。
を有する候補シームsのコストcsは、
によって計算され得、ここで|D’(s)>0|は、D’において有効なディスパリティ値を有するシーム候補sにおけるピクセルの数であり、hRSVPは、ピクセルにおけるパノラマの高さである。
によって計算され得る。
によって表されるブレンディングLUTを考えると、パノラマを形成するための画像のスティッチは、それぞれ、パノラマRSVPの左及び右半分に対して、次の式に従って行われ得る。
に対して、
であり、
に対して、
であり、wRSVPは、ピクセルにおけるパノラマの幅である。
M. Mody, et al., "High Performance Front Camera ADAS Applications on TI’s TDA3X Platform", Proceedings of 2015 IEEE22ンdInternational Conference on High Performance Computing, December 16-19, 2015, Bangalore, India, pp.4176-463 "TDA3x SOC Processors for Advanced Driver Assist Systems (ADAS) Technical Brief", Texas Instruments, SPR704A, October, 2014, pp.1-6
本願において説明される範囲から逸脱しないその他の実施形態が考え出され得る。
Claims (20)
- デバイスであって、
第1の画像を受信し、
第2の画像を受信し、
前記第1の画像と前記第2の画像とに対する視差マップを計算し、
第3の画像を受信し、
第4の画像を受信し、
変換された第3の画像と変換された第4の画像と変換された基準画像と変換された視差マップとを生成するために前記第3の画像と前記第4の画像と前記第1の画像又は前記第2の画像の基準画像と前記視差マップとを変換し、
前記変換された視差マップに従って前記変換された基準画像と前記変換された第4の画像との間の第1の継ぎ目を計算する、
ように構成される、デバイス。 - 請求項1に記載のデバイスであって、
前記変換された視差マップに従って前記変換された第3の画像と前記変換された基準画像との間の第2の継ぎ目を計算し、
前記変換された第4の画像と前記変換された基準画像と前記第1の継ぎ目と前記変換された第3の画像と前記第2の継ぎ目とに従ってパノラマを生成する、
ように更に構成される、デバイス。 - 請求項2に記載のデバイスであって、
前記パノラマを生成することが、
前記第1の継ぎ目に従って前記変換された第4の画像と前記変換された基準画像とを継ぐことと、
前記パノラマを生成するために前記第2の継ぎ目に基づいて前記変換された第3の画像と前記変換された基準画像とを継ぐことと、
を含む、デバイス。 - 請求項3に記載のデバイスであって、
前記変換された第4の画像と前記変換された基準画像とを継ぐことが、
前記変換された第4の画像と前記変換された基準画像との組み合わせるためのアルファ混合係数を含む混合ルックアップテーブル(LUT)を計算することと、
前記変換された第4の画像と前記変換された基準画像とを継ぐために前記混合LUTを用いることと、
を含む、デバイス。 - 請求項1に記載のデバイスであって、
前記第1の継ぎ目を計算することが、
ワールド視差マップを計算することと、
前記ワールド視差マップと前記変換された視差マップとに従ってワールド視差の差マップを計算することと、
前記ワールド視差の差マップに従って前記変換された第4の画像と前記変換された基準画像との間の重なり領域における第1の候補継ぎ目のコストを計算することと、
第1の低コスト継ぎ目のための前記第1の候補継ぎ目のコストを捜索することと、
を含む、デバイス。 - 請求項5に記載のデバイスであって、
前記第1の継ぎ目を計算することが、
地面視差マップと前記変換された視差マップとに従って地面視差の差マップを計算することと、
前記変換された第4の画像と前記変換された基準画像との間の重なり領域における第2の候補継ぎ目のコストを計算することと、
第2の低コスト継ぎ目のための前記第2の候補継ぎ目のコストを捜索することと、
前記第1の低コスト継ぎ目と前記第2の低コスト継ぎ目とのより少ないものに前記第1の継ぎ目を設定することと、
を更に含む、デバイス。 - 請求項1に記載のデバイスであって、
前記第1の継ぎ目に対する一時的平滑化を適用するように更に構成され、
前記一時的平滑化を適用することが、
前記第1の継ぎ目における全てのピクセルが前の継ぎ目の最小距離閾値内にあると判定するときに前記第1の継ぎ目を前記前の継ぎ目に設定することと、
前記第1の継ぎ目における任意のピクセルが前記前の継ぎ目から離れて最大距離閾値よりも大きいと判定するときに前記第1の継ぎ目と前記前の継ぎ目との間の最大ピクセル変位が前記最大距離閾値よりも大きくないように前記第1の継ぎ目をスケーリングすることと、
を含む、デバイス。 - 方法であって、
第1の画像を受信することと、
第2の画像を受信することと、
前記第1の画像と前記第2の画像とに対する視差マップを計算することと、
第3の画像を受信することと、
第4の画像を受信することと、
変換された第3の画像と変換された第4の画像と変換された基準画像と変換された視差マップとを生成するために前記第3の画像と前記第4の画像と前記第1の画像又は前記第2の画像の基準画像と前記視差マップとを変換することと、
前記変換された視差マップに従って前記変換された基準画像と前記変換された第4の画像との間の第1の継ぎ目を計算することと、
を含む、方法。 - 請求項8に記載の方法であって、
前記変換された視差マップに従って前記変換された第3の画像と前記変換された基準画像との間の第2の継ぎ目を計算することと、
前記変換された第4の画像と前記変換された基準画像と前記第1の継ぎ目と前記変換された第3の画像と前記第2の継ぎ目とに従ってパノラマを生成することと、
を更に含む、方法。 - 請求項9に記載の方法であって、
前記パノラマを生成することが、
前記第1の継ぎ目に従って前記変換された第4の画像と前記変換された基準画像とを継ぐことと、
前記パノラマを生成するために前記第2の継ぎ目に基づいて前記変換された第3の画像と前記変換された基準画像とを継ぐことと、
を含む、方法。 - 請求項8に記載の方法であって、
前記第1の継ぎ目を計算することが、
ワールド視差マップを計算することと、
前記ワールド視差マップと前記変換された視差マップとに従ってワールド視差の差マップを計算することと、
前記ワールド視差の差マップに従って前記変換された第4の画像と前記変換された基準画像との間の重なり領域における第1の候補継ぎ目のコストを計算することと、
第1の低コスト継ぎ目のための前記第1の候補継ぎ目のコストを捜索することと、
を含む、方法。 - 請求項11に記載の方法であって、
前記第1の継ぎ目を計算することが、
地面視差マップと前記変換された視差マップとに従って地面視差の差マップを計算することと、
前記変換された第4の画像と前記変換された基準画像との間の重なり領域における第2の候補継ぎ目のコストを計算することと、
第2の低コスト継ぎ目のための前記第2の候補継ぎ目のコストを捜索することと、
前記第1の低コスト継ぎ目と前記第2の低コスト継ぎ目とのより少ないものに前記第1の継ぎ目を設定することと、
を更に含む、方法。 - 請求項8に記載の方法であって、
前記第1の継ぎ目に対する一時的平滑化を適用することを更に含み、
前記一時的平滑化を適用することが、
前記第1の継ぎ目における全てのピクセルが前の継ぎ目の最小距離閾値内にあると判定するときに前記第1の継ぎ目を前記前の継ぎ目に設定することと、
前記第1の継ぎ目における任意のピクセルが前記前の継ぎ目から離れて最大距離閾値よりも大きいと判定するときに前記第1の継ぎ目と前記前の継ぎ目との間の最大ピクセル変位が前記最大距離閾値よりも大きくないように前記第1の継ぎ目をスケーリングすることと、
を含む、方法。 - 少なくとも1つのプロセッサによって実行される命令を記憶する非一時的コンピュータ読み出し可能媒体であって、前記命令が、前記少なくとも1つのプロセッサに、
第1の画像を受信し、
第2の画像を受信し、
前記第1の画像と前記第2の画像とに対する視差マップを計算し、
第3の画像を受信し、
第4の画像を受信し、
変換された第3の画像と変換された第4の画像と変換された基準画像と変換された視差マップとを生成するために前記第3の画像と前記第4の画像と前記第1の画像又は前記第2の画像の基準画像と前記視差マップとを変換し、
前記変換された視差マップに従って前記変換された基準画像と前記変換された第4の画像との間の第1の継ぎ目を計算する、
ようにさせる、非一時的コンピュータ読み出し可能媒体。 - 請求項14に記載の非一時的コンピュータ読み出し可能媒体であって、
前記命令が、前記少なくとも1つのプロセッサに、
前記変換された視差マップに従って前記変換された第3の画像と前記変換された基準画像との間の第2の継ぎ目を計算し、
前記変換された第4の画像と前記変換された基準画像と前記第1の継ぎ目と前記変換された第3の画像と前記第2の継ぎ目とに従ってパノラマを生成する、
ようさせる、命令を更に含む、非一時的コンピュータ読み出し可能媒体。 - 請求項15に記載の非一時的コンピュータ読み出し可能媒体であって、
前記パノラマを生成することが、
前記第1の継ぎ目に従って前記変換された第4の画像と前記変換された基準画像とを継ぐことと、
前記パノラマを生成するために前記第2の継ぎ目に基づいて前記変換された第3の画像と前記変換された基準画像とを継ぐことと、
を含む、非一時的コンピュータ読み出し可能媒体。 - 請求項16に記載の非一時的コンピュータ読み出し可能媒体であって、
前記変換された第4の画像と前記変換された基準画像とを継ぐことが、
前記変換された第4の画像と前記変換された基準画像との組み合わせるためのアルファ混合係数を含む混合ルックアップテーブル(LUT)を計算することと、
前記変換された第4の画像と前記変換された基準画像とを継ぐために前記混合LUTを用いることと、
を含む、非一時的コンピュータ読み出し可能媒体。 - 請求項14に記載の非一時的コンピュータ読み出し可能媒体であって、
前記第1の継ぎ目を計算することが、
ワールド視差マップを計算することと、
前記ワールド視差マップと前記変換された視差マップとに従ってワールド視差の差マップを計算することと、
前記ワールド視差の差マップに従って前記変換された第4の画像と前記変換された基準画像との間の重なり領域における第1の候補継ぎ目のコストを計算することと、
第1の低コスト継ぎ目のための前記第1の候補継ぎ目のコストを捜索することと、
を含む、非一時的コンピュータ読み出し可能媒体。 - 請求項18に記載の非一時的コンピュータ読み出し可能媒体であって、
前記第1の継ぎ目を計算することが、
地面視差マップと前記変換された視差マップとに従って地面視差の差マップを計算することと、
前記変換された第4の画像と前記変換された基準画像との間の重なり領域における第2の候補継ぎ目のコストを計算することと、
第2の低コスト継ぎ目のための前記第2の候補継ぎ目のコストを捜索することと、
前記第1の低コスト継ぎ目と前記第2の低コスト継ぎ目とのより少ないものに前記第1の継ぎ目を設定することと、
を更に含む、非一時的コンピュータ読み出し可能媒体。 - 請求項14に記載の非一時的コンピュータ読み出し可能媒体であって、
前記命令が、前記少なくとも1つのプロセッサに、第1の継ぎ目に対する一時的平滑化を適用するようにさせる命令を更に含み、
前記一時的平滑化を適用することが、
前記第1の継ぎ目における全てのピクセルが前の継ぎ目の最小距離閾値内にあると判定するときに前記第1の継ぎ目を前記前の継ぎ目に設定することと、
前記第1の継ぎ目における任意のピクセルが前記前の継ぎ目から離れて最大距離閾値よりも大きいと判定するときに前記第1の継ぎ目と前記前の継ぎ目との間の最大ピクセル変位が前記最大距離閾値よりも大きくないように前記第1の継ぎ目をスケーリングすることと、
を含む、非一時的コンピュータ読み出し可能媒体。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762442315P | 2017-01-04 | 2017-01-04 | |
US62/442,315 | 2017-01-04 | ||
US15/661,844 US10313584B2 (en) | 2017-01-04 | 2017-07-27 | Rear-stitched view panorama for rear-view visualization |
US15/661,844 | 2017-07-27 | ||
JP2019536514A JP7054293B2 (ja) | 2017-01-04 | 2018-01-04 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
PCT/US2018/012390 WO2018129191A1 (en) | 2017-01-04 | 2018-01-04 | Rear-stitched view panorama for rear-view visualization |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019536514A Division JP7054293B2 (ja) | 2017-01-04 | 2018-01-04 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022095776A JP2022095776A (ja) | 2022-06-28 |
JP7448921B2 true JP7448921B2 (ja) | 2024-03-13 |
Family
ID=62711392
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019536514A Active JP7054293B2 (ja) | 2017-01-04 | 2018-01-04 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
JP2022057110A Active JP7448921B2 (ja) | 2017-01-04 | 2022-03-30 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019536514A Active JP7054293B2 (ja) | 2017-01-04 | 2018-01-04 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
Country Status (5)
Country | Link |
---|---|
US (3) | US10313584B2 (ja) |
EP (1) | EP3565739B1 (ja) |
JP (2) | JP7054293B2 (ja) |
CN (2) | CN110337386B (ja) |
WO (1) | WO2018129191A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10354547B1 (en) * | 2016-07-29 | 2019-07-16 | Relay Cars LLC | Apparatus and method for virtual test drive for virtual reality applications in head mounted displays |
US10321052B2 (en) * | 2017-04-28 | 2019-06-11 | Advanced Micro Devices, Inc. | Method and apparatus of seam finding |
US10861359B2 (en) * | 2017-05-16 | 2020-12-08 | Texas Instruments Incorporated | Surround-view with seamless transition to 3D view system and method |
DE102018201217A1 (de) * | 2018-01-26 | 2019-08-01 | Continental Automotive Gmbh | Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug |
US10755007B2 (en) * | 2018-05-17 | 2020-08-25 | Toyota Jidosha Kabushiki Kaisha | Mixed reality simulation system for testing vehicle control system designs |
CN109278644A (zh) * | 2018-07-27 | 2019-01-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于高清摄像头的智能电子后视镜及其图像采集方法 |
EP3606032B1 (en) * | 2018-07-30 | 2020-10-21 | Axis AB | Method and camera system combining views from plurality of cameras |
EP3620332B1 (en) * | 2018-09-05 | 2021-03-10 | Volvo Car Corporation | Driver assistance system and method for vehicle flank safety |
CN109743539B (zh) * | 2018-12-07 | 2020-05-29 | 吉林大学 | 一种视野可调节的全景行车辅助装置及其调节方法 |
CN109509153A (zh) * | 2019-01-24 | 2019-03-22 | 北京大椽科技有限公司 | 一种拖挂车图像的全景拼接方法及系统 |
BR112021016305B1 (pt) | 2019-02-19 | 2024-03-05 | Orlaco Products B.V | Sistema de espelho de câmera para um veículo e método de exibir múltiplas vistas de câmera de veículo |
US11457193B2 (en) * | 2019-04-12 | 2022-09-27 | Intel Corporation | Pre-stitching tuning automation for panoramic VR applications |
JP2020183166A (ja) * | 2019-05-07 | 2020-11-12 | アルパイン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
US11341607B2 (en) * | 2019-06-07 | 2022-05-24 | Texas Instruments Incorporated | Enhanced rendering of surround view images |
CN112449175B (zh) * | 2019-08-29 | 2022-05-17 | 浙江宇视科技有限公司 | 一种图像拼接测试方法、装置、设备和存储介质 |
JP7442029B2 (ja) * | 2019-10-17 | 2024-03-04 | 株式会社東海理化電機製作所 | 画像処理装置、画像処理プログラム |
US10882468B1 (en) * | 2019-10-29 | 2021-01-05 | Deere & Company | Work vehicle composite panoramic vision systems |
US11505123B2 (en) * | 2019-12-02 | 2022-11-22 | Magna Electronics Inc. | Vehicular camera monitoring system with stereographic display |
CN111062873B (zh) * | 2019-12-17 | 2021-09-24 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
CN111340077B (zh) * | 2020-02-18 | 2024-04-12 | 平安科技(深圳)有限公司 | 基于注意力机制的视差图获取方法和装置 |
KR20210147405A (ko) | 2020-05-28 | 2021-12-07 | 삼성전자주식회사 | 객체 인식을 수행하는 전자 장치 및 이의 동작 방법 |
US11481884B2 (en) | 2020-06-04 | 2022-10-25 | Nuro, Inc. | Image quality enhancement for autonomous vehicle remote operations |
CN111882484B (zh) * | 2020-06-16 | 2024-04-16 | 河北汉光重工有限责任公司 | 一种潜水成像系统高速无缝图像拼接中伺服控制方法 |
CN111959417B (zh) * | 2020-08-31 | 2022-03-08 | 安徽江淮汽车集团股份有限公司 | 汽车全景影像显示控制方法、装置、设备及存储介质 |
CN112308987B (zh) * | 2020-11-03 | 2024-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
CN112738382B (zh) * | 2021-01-25 | 2022-07-12 | 广州敏视数码科技有限公司 | 一种车辆车头与车身全景环视图像拼接方法 |
CN112907704B (zh) * | 2021-02-04 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、计算机设备以及装置 |
CN112995523B (zh) * | 2021-04-30 | 2021-07-30 | 武汉特斯雷信息技术有限公司 | 一种在线自助业务环境检测方法及系统 |
CN113645395A (zh) * | 2021-10-19 | 2021-11-12 | 江苏日盈电子股份有限公司 | 车载360°全景可视摄像头及其应用 |
KR102656128B1 (ko) * | 2022-08-18 | 2024-04-09 | 주식회사 켐트로닉스 | 후방 파노라마 뷰 생성 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053694A (ja) | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
US20110043604A1 (en) | 2007-03-15 | 2011-02-24 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
US20160094808A1 (en) | 2014-09-29 | 2016-03-31 | Vislab S.R.L. | All-round view monitoring system for a motor vehicle |
US20160191795A1 (en) | 2014-12-30 | 2016-06-30 | Alpine Electronics, Inc. | Method and system for presenting panoramic surround view in vehicle |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5289321A (en) | 1993-02-12 | 1994-02-22 | Secor James O | Consolidated rear view camera and display system for motor vehicle |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
EP2309453A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
US6717610B1 (en) * | 1998-11-25 | 2004-04-06 | Donnelly Corporation | Wide angle image capture system for vehicle |
JP5083443B2 (ja) * | 2001-03-28 | 2012-11-28 | パナソニック株式会社 | 運転支援装置および方法、ならびに演算装置 |
WO2006014974A2 (en) * | 2004-07-26 | 2006-02-09 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
JP2008077628A (ja) | 2006-08-21 | 2008-04-03 | Sanyo Electric Co Ltd | 画像処理装置並びに車両周辺視界支援装置及び方法 |
DE102007044535B4 (de) * | 2007-09-18 | 2022-07-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Fahrerinformation in einem Kraftfahrzeug |
JP2009098085A (ja) * | 2007-10-19 | 2009-05-07 | Suzuki Motor Corp | 車両用物体検知装置 |
WO2009144994A1 (ja) * | 2008-05-29 | 2009-12-03 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
US8633810B2 (en) | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
EP2431226B1 (de) * | 2010-09-17 | 2016-07-27 | SMR Patents S.à.r.l. | Rückblickeinrichtung für ein Kraftfahrzeug |
US8471908B2 (en) * | 2010-10-18 | 2013-06-25 | GM Global Technology Operations LLC | Three-dimensional mirror display system for a vehicle and method |
JP5682788B2 (ja) | 2011-09-27 | 2015-03-11 | アイシン精機株式会社 | 車両周辺監視装置 |
US20150022664A1 (en) * | 2012-01-20 | 2015-01-22 | Magna Electronics Inc. | Vehicle vision system with positionable virtual viewpoint |
JP2013228896A (ja) * | 2012-04-26 | 2013-11-07 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
US20140009569A1 (en) * | 2012-07-05 | 2014-01-09 | Shih-Yao Chen | Panogramic Camera System for Vehicle Event Data Recorder |
US9242602B2 (en) * | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
JP6099333B2 (ja) * | 2012-08-30 | 2017-03-22 | 富士通テン株式会社 | 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法 |
US20140114534A1 (en) * | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
US9533618B2 (en) | 2014-03-07 | 2017-01-03 | Texas Instruments Incorporated | Method, apparatus and system for processing a display from a surround view camera solution |
US20150296140A1 (en) * | 2014-04-11 | 2015-10-15 | Grey Matter Fusion, Inc. | Panoramic view blind spot eliminator system and method |
JP6589313B2 (ja) * | 2014-04-11 | 2019-10-16 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
US10525883B2 (en) * | 2014-06-13 | 2020-01-07 | Magna Electronics Inc. | Vehicle vision system with panoramic view |
US10127463B2 (en) * | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
US20160165211A1 (en) * | 2014-12-08 | 2016-06-09 | Board Of Trustees Of The University Of Alabama | Automotive imaging system |
US10247941B2 (en) * | 2015-01-19 | 2019-04-02 | Magna Electronics Inc. | Vehicle vision system with light field monitor |
US10368602B2 (en) * | 2015-04-27 | 2019-08-06 | Intelligent Cranium Helmets, LLC | Protective helmet |
US20170091559A1 (en) * | 2015-09-29 | 2017-03-30 | Valeo North America, Inc. | Camera monitor system for a vehicle |
US10438081B2 (en) | 2015-10-30 | 2019-10-08 | Texas Instruments Incorporated | Automatic feature point detection for calibration of multi-camera systems |
EP3410416B1 (en) * | 2016-01-28 | 2021-08-04 | Ricoh Company, Ltd. | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program |
JP6735474B2 (ja) * | 2016-02-29 | 2020-08-05 | パナソニックIpマネジメント株式会社 | 撮像装置 |
KR101856344B1 (ko) * | 2016-08-22 | 2018-06-25 | 현대자동차주식회사 | 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법 |
-
2017
- 2017-07-27 US US15/661,844 patent/US10313584B2/en active Active
-
2018
- 2018-01-04 EP EP18736050.8A patent/EP3565739B1/en active Active
- 2018-01-04 WO PCT/US2018/012390 patent/WO2018129191A1/en unknown
- 2018-01-04 CN CN201880013567.9A patent/CN110337386B/zh active Active
- 2018-01-04 CN CN202310363786.2A patent/CN116362971A/zh active Pending
- 2018-01-04 JP JP2019536514A patent/JP7054293B2/ja active Active
-
2019
- 2019-04-18 US US16/387,817 patent/US10674079B2/en active Active
-
2020
- 2020-04-27 US US16/859,539 patent/US11102405B2/en active Active
-
2022
- 2022-03-30 JP JP2022057110A patent/JP7448921B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053694A (ja) | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
US20110043604A1 (en) | 2007-03-15 | 2011-02-24 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
US20160094808A1 (en) | 2014-09-29 | 2016-03-31 | Vislab S.R.L. | All-round view monitoring system for a motor vehicle |
US20160191795A1 (en) | 2014-12-30 | 2016-06-30 | Alpine Electronics, Inc. | Method and system for presenting panoramic surround view in vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2018129191A1 (en) | 2018-07-12 |
CN110337386B (zh) | 2023-04-28 |
US11102405B2 (en) | 2021-08-24 |
EP3565739B1 (en) | 2023-08-16 |
US10313584B2 (en) | 2019-06-04 |
JP7054293B2 (ja) | 2022-04-13 |
EP3565739A4 (en) | 2019-12-25 |
EP3565739A1 (en) | 2019-11-13 |
US20180191954A1 (en) | 2018-07-05 |
US10674079B2 (en) | 2020-06-02 |
JP2022095776A (ja) | 2022-06-28 |
CN110337386A (zh) | 2019-10-15 |
JP2020507837A (ja) | 2020-03-12 |
CN116362971A (zh) | 2023-06-30 |
US20200260006A1 (en) | 2020-08-13 |
US20190253625A1 (en) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7448921B2 (ja) | リアビュー可視化のためのリアスティッチされたビューパノラマ | |
US9424650B2 (en) | Sensor fusion for depth estimation | |
US9870601B2 (en) | System and method for displaying panoramic image using single look-up table | |
JP5108605B2 (ja) | 運転支援システム及び車両 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP5160640B2 (ja) | 画像のステレオ・マッチングのためのシステム及び方法 | |
JP2009129001A (ja) | 運転支援システム、車両、立体物領域推定方法 | |
JP2011182236A (ja) | カメラキャリブレーション装置 | |
JP5299296B2 (ja) | 車両周辺画像表示装置及び車両周辺画像表示方法 | |
JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
US11140364B2 (en) | Sensor fusion based perceptually enhanced surround view | |
Zhou et al. | A two-step calibration method of lenslet-based light field cameras | |
EP3189493B1 (en) | Depth map based perspective correction in digital photos | |
TW201605247A (zh) | 影像處理系統及方法 | |
US11284052B2 (en) | Method for automatically restoring a calibrated state of a projection system | |
JP2018044942A (ja) | カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体 | |
JP2013200840A (ja) | 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置 | |
WO2011113447A1 (en) | Method for camera mounting in a vehicle | |
CN116092050A (zh) | 机动车障碍物检测方法、装置及计算机可读存储介质 | |
CN116485907A (zh) | 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20220502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |