CN111277764A - 基于gpu加速的4k实时视频全景拼接方法 - Google Patents

基于gpu加速的4k实时视频全景拼接方法 Download PDF

Info

Publication number
CN111277764A
CN111277764A CN202010163294.5A CN202010163294A CN111277764A CN 111277764 A CN111277764 A CN 111277764A CN 202010163294 A CN202010163294 A CN 202010163294A CN 111277764 A CN111277764 A CN 111277764A
Authority
CN
China
Prior art keywords
image
gpu
brightness
parameters
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010163294.5A
Other languages
English (en)
Other versions
CN111277764B (zh
Inventor
魏周朝
叱干鹏飞
韩亚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huacheng Zhiyun Software Co ltd
Xi'an Excellent Video Technology Co ltd
Original Assignee
Beijing Zhuo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuo Technology Co Ltd filed Critical Beijing Zhuo Technology Co Ltd
Priority to CN202010163294.5A priority Critical patent/CN111277764B/zh
Publication of CN111277764A publication Critical patent/CN111277764A/zh
Application granted granted Critical
Publication of CN111277764B publication Critical patent/CN111277764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

基于GPU加速的4K实时视频全景拼接方法，包括以下步骤：硬件设备取流直接到GPU显存；计算相机参数并保存参数；图像亮度、色度校正参数计算；计算掩模图，后续帧利用其进行图像融合；利用计算出来的相机参数将图像映射到投影平面，把两张图重叠区域重合在一起；利用步骤3计算的亮度、色度校正参数对图像进行补偿处理；采用图像金字塔及最佳拼缝技术对图像进行融合，得到全景拼接图用于显示及输出保存。本发明采用高斯多层金字塔方法提取图像高频细节信息进行融合，并所有操作用GPU加速，解决拼接过程中的鬼影及重影问题，且满足实时性要求。

Description

基于GPU加速的4K实时视频全景拼接方法
技术领域
本发明属于图像拼接技术领域，特别涉及基于GPU加速的4K实时视频全景拼接方法。
背景技术
全景拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术，图像拼接经过图像的采集、图像的处理、图像特征处理、图像匹配、建立模型、图像融合等步骤，最终完成全景图像的拼接。
目前国内外对于视频拼接技术研究较多，研究的重点主要集中在单张图像配准和图像融合这两部分，对于连续视频流拼接过程中遇到的复杂问题研究较少。图像配准主流方法是在时域上寻找并匹配相邻两幅图的特征点，建立映射模型，统一坐标系，它是图像融合的基础。图像融合主要采用加权融合方法或者取像素最大值的方法对重叠区域图像进行重构得到全景图。此方法对图像细节信息提取较少，当拼接图亮度色度稍有差异时，拼接全景图过渡带明显，视觉效果差。同时，视频全景拼接技术最关键是实时性，目前从业者大多采用CPU+GPU架构来实现，根据不同显卡性能，最多只能拼接2～4路2K视频，对拼接过程中图像亮度、色度变化，也没有去实时补偿，导致拼接图亮暗不均匀，色差较大。另外，考虑到硬件图像采集设备采集的图像可能会有暗角现象(图像中间亮，四周暗)，也没有去做处理，导致拼接全景图也存在同样的问题。
发明内容
本发明的目的在于提供基于GPU加速的4K实时视频全景拼接方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
基于GPU加速的4K实时视频全景拼接方法，包括以下步骤：
步骤1，硬件设备取流直接到GPU显存；
步骤2，计算相机参数并保存参数；
步骤3，图像亮度、色度校正参数计算；
步骤4，计算掩模图，后续帧利用其进行图像融合；
步骤5，利用计算出来的相机参数对图像做映射变换。
步骤6，利用步骤3计算的亮度、色度校正参数对图像进行补偿处理；
步骤7，采用图像金字塔及最佳拼缝技术对图像进行融合，得到全景拼接图用于显示及输出保存。
进一步的，步骤1中具体的：硬件设备利用opencv平台通过ffmpeg取流后利用cuda解码直接到GPU显存。
进一步的，步骤2中具体的：利用opencv拼接类定义的相机参数结构体及参数计算方法计算相机参数并保存参数；包括图像特征点匹配及相机参数估计；对于图像特征较少，图像无法拼接的情况，采用手动添加匹配点的功能。
进一步的，步骤3中具体的：通过相邻图像重叠区域图，在HSV颜色空间计算所有重叠区域亮度均值，并取最大值，然后用最大值除以每张图亮度均值得到每张图亮度补偿系数，在后续拼接过程中，图像rgb三个通道同时乘以该补偿系数完成亮度补偿后再粘贴到拼接大图中；色度补偿是图像做白平衡处理，具体方法是将每副图拆分为rgb三通道，并计算每个通道像素平均值avgB，avgG，avgR，再将这三个值求和后分别除以每个通道像素平均值的3倍得到每个通道色度补偿系数，在拼接过程中，图像每个通道乘以对应通道色度补偿系数完成图像色度校正。
进一步的，步骤4中，通过opencv拼接模块下SeamFinder类计算图像掩模图，后续帧利用掩模图往最终拼接大图上粘图。
进一步的，步骤5中，利用计算出来的相机参数对图像做映射变换，以满足在粘图过程中相邻两幅图重叠区域处位置匹配。
与现有技术相比，本发明有以下技术效果：
本发明rtsp取流解码到GPU，大大节约数据上传时间。
本发明会间隔一定时间触发计算一次亮度、色度参数并应用到拼接中，从而实现图像亮度、色度自适应补偿。
本发明保存图像拼接参数，实现任何时段都能正常开启拼接，不受周围环境的影响。
本发明采用高斯多层金字塔方法提取图像高频细节信息进行融合，并所有操作用GPU加速，解决拼接过程中的鬼影及重影问题，且满足实时性要求。
本发明的亮暗色度补偿，也是利用GPU多线程实现，解决拼接图暗角(图像中间偏亮四周偏暗)问题。
附图说明
图1为本发明流程图；
图2为本发明实例图。
具体实施方式
以下结合附图对本发明进一步说明：
请参阅图1和图2，基于GPU加速的4K实时视频全景拼接方法，包括以下步骤：
步骤1，硬件设备利用opencv平台通过ffmpeg取流后利用cuda解码直接到GPU显存。通常，设备取流到CPU，再上传到GPU，本发明一步到位，直接取流到GPU，大大节约数据上传时间。一般的，一张4K图由CPU上传到GPU需要耗时4ms左右。程序核心拼接模块都用CUDA多线程实现，包括亮度补偿、色度补偿、图像映射、去暗角、高斯金字塔融合。当显卡为RTX2080TI时，本系统可以至少实时拼接4～6路4K全景拼接视频。
步骤2，利用opencv拼接类定义的相机参数结构体及参数计算方法计算相机参数并保存参数。包括图像特征点匹配及相机参数估计。对于图像特征较少，图像无法拼接的情况，我们也新增了手动添加匹配点的功能，保证图像可以正常拼接。
步骤3，图像亮度、色度校正参数计算。目前研究的重点在单张图像的拼接，对于连续的实时视频流拼接关注比较少，由于设备周围环境随着时间推移，亮度光线都会发生变化，因此就需要实时适应这些变化。当设备拼接成功后，计算得到的亮度、色度校正参数只是满足当前时段环境，随着时间推移，设备周围光线明暗会有变化，老的参数已经无法满足要求，必须实时的更新以适应周围环境，本发明会间隔一定时间触发计算一次亮度、色度参数并应用到拼接中，从而解决了这个难题。
主要通过相邻图像重叠区域图，在HSV颜色空间计算所有重叠区域亮度均值，并取最大值，然后用最大值除以每张图亮度均值得到每张图亮度补偿系数，在后续拼接过程中，图像rgb三个通道同时乘以该补偿系数完成亮度补偿后再粘贴到拼接大图中。色度补偿是图像做白平衡处理，具体方法是将每副图拆分为rgb三通道，并计算每个通道像素平均值(avgB,avgG,avgR),再将这三个值求和后分别除以每个通道像素平均值的3倍得到每个通道色度补偿系数，在拼接过程中，图像每个通道乘以对应通道色度补偿系数完成图像色度校正。
步骤4，图像最佳拼缝计算。
通过opencv拼接模块下SeamFinder类计算图像掩模图，后续帧利用掩模图往最终拼接大图上粘图。全景拼接是基于特征点匹配来完成的，当图像质量较差，无法找出匹配特征点就无法完成拼接，每次找的匹配点略有差异会导致最终拼接大图大小略有不同，为了克服以上问题，实现保存图像拼接参数，实现任何时段都能正常开启拼接，不受周围环境的影响。
步骤5，图像映射。
利用计算出来的相机参数对图像做映射变换，以满足在粘图过程中相邻两幅图重叠区域处位置匹配。
步骤6，图像亮度、色度补偿。
利用第3步计算的亮度、色度补偿系数对图像进行补偿处理。
步骤7，图像融合。采用图像金字塔及最佳拼缝技术对图像进行融合，最大限度保留图像高频细节部分，同时减弱相邻两幅图亮暗及色差对拼接全景图的影响，最终会得到一个全景拼接图用于显示及输出保存。对于重叠区域，通常采用两幅图像每个通道最大值来当做该位置灰度值，但当相邻两幅图颜色差异较大时，过渡带明显，且速度慢，本发明采用高斯多层金字塔方法提取图像高频细节信息进行融合，并所有操作用GPU加速，解决拼接过程中的鬼影及重影问题，且满足实时性要求。当设备采集的图片类似鱼眼，画面扭曲时，需要对原始图进行矫正，否则拼接图画面扭曲，不利于观看，本算法对于此缺陷进行图像GPU矫正，保证拼接图正常。同时，设备采集的视频存在暗角时，本发明也会针对此现象做亮暗补偿，也是利用GPU多线程实现，解决拼接大图中间偏亮四周偏暗的问题。
本算法相机参数只计算一次，即步骤2～步骤4，当硬件获取每个设备数据到现存后，即第一帧，计算每个相机参数并完成拼接，当后续数据到来时直接跳转到步骤5，依次执行到步骤7，此过程全部在显存里利用多线程技术完成图像操作，包括图像映射、亮度、色度、补偿及图像融合。为了克服现场周围光线强弱变化的影响，如设置架设到本算法会相隔一定时间(人为设定)触发亮度、色度参数矫正模块，重新实时的计算亮度补偿系数，色度补偿系数，并应用到程序中自动补偿亮暗、色度以适应周围环境变化。
另外，本发明所用到的opencv库编译环境为：opencv版本：opencv3.4.5,CUDA版本：cuda10.1,Visual Studio版本:vs2013 X64,GPU型号:TITAN RTX,TBB版本：4.4，CMake版本：3.14.0。

Claims (6)

1.基于GPU加速的4K实时视频全景拼接方法，其特征在于，包括以下步骤：
步骤1，硬件设备取流解码直接到GPU显存；
步骤2，计算相机参数并保存参数；
步骤3，图像亮度、色度校正参数计算；
步骤4，计算掩模图，后续帧利用其往拼接大图上粘图；
步骤5，利用计算出来的相机参数对图像进行映射变换得到映射图；
步骤6，利用步骤3计算的亮度、色度校正参数对映射图进行补偿处理；
步骤7，采用图像金字塔及最佳拼缝技术对映射图进行粘图融合，得到全景拼接图用于显示及输出保存。
2.根据权利要求1所述的基于GPU加速的4K实时视频全景拼接方法，其特征在于，步骤1中具体的：硬件设备利用opencv平台通过ffmpeg取rtsp流后利用cuda解码直接到GPU显存。
3.根据权利要求1所述的基于GPU加速的4K实时视频全景拼接方法，其特征在于，步骤2中具体的：利用opencv拼接类定义的相机参数结构体及参数计算方法计算相机参数并保存参数；包括图像特征点匹配及相机参数估计；对于图像特征较少，图像无法拼接的情况，采用手动添加匹配点的功能。
4.根据权利要求1所述的基于GPU加速的4K实时视频全景拼接方法，其特征在于，步骤3中具体的：通过相邻图像重叠区域图，在HSV颜色空间计算所有重叠区域亮度均值，并取最大值，然后用最大值除以每张图亮度均值得到每张图亮度补偿系数，在后续拼接过程中，图像rgb三个通道同时乘以该补偿系数完成亮度补偿后再粘贴到拼接大图中；色度补偿是图像做白平衡处理，具体方法是将每副图拆分为rgb三通道，并计算每个通道像素平均值avgB，avgG，avgR，再将这三个值求和后分别除以每个通道像素平均值的3倍得到每个通道色度补偿系数，在拼接过程中，图像每个通道乘以对应通道色度补偿系数完成图像色度校正。
5.根据权利要求1所述的基于GPU加速的4K实时视频全景拼接方法，其特征在于，步骤4中，通过opencv拼接模块下SeamFinder类计算图像掩模图，后续帧利用掩模图往最终拼接大图上粘图。
6.根据权利要求1所述的基于GPU加速的4K实时视频全景拼接方法，其特征在于，步骤5中，利用计算出来的相机参数对图像做映射变换，以满足在粘图过程中相邻两幅图重叠区域处位置匹配。
CN202010163294.5A 2020-03-10 2020-03-10 基于gpu加速的4k实时视频全景拼接方法 Active CN111277764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010163294.5A CN111277764B (zh) 2020-03-10 2020-03-10 基于gpu加速的4k实时视频全景拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010163294.5A CN111277764B (zh) 2020-03-10 2020-03-10 基于gpu加速的4k实时视频全景拼接方法

Publications (2)

Publication Number Publication Date
CN111277764A true CN111277764A (zh) 2020-06-12
CN111277764B CN111277764B (zh) 2021-06-01

Family

ID=71002372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010163294.5A Active CN111277764B (zh) 2020-03-10 2020-03-10 基于gpu加速的4k实时视频全景拼接方法

Country Status (1)

Country Link
CN (1) CN111277764B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365407A (zh) * 2021-01-13 2021-02-12 西南交通大学 视角可配置的摄像机全景拼接方法
CN113409196A (zh) * 2021-07-07 2021-09-17 安徽水天信息科技有限公司 一种用于实时视频拼接的高速全局色差矫正方法
CN113916984A (zh) * 2021-10-09 2022-01-11 山东大学 一种大型拉挤成型复合材料自动化超声在线检测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431617A (zh) * 2007-11-09 2009-05-13 三菱电机株式会社 用于合并视频以实时显示的方法和系统
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN105957111A (zh) * 2016-04-27 2016-09-21 武汉大学 序列遥感影像的色调一致性校正方法及系统
JP2019004449A (ja) * 2017-06-09 2019-01-10 アイシン精機株式会社 画像処理装置
CN109300085A (zh) * 2017-07-25 2019-02-01 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN110446114A (zh) * 2019-08-19 2019-11-12 广州视源电子科技股份有限公司 多媒体数据的处理装置、方法、电子设备及存储介质
CN110855903A (zh) * 2019-11-19 2020-02-28 长沙品先信息技术有限公司 一种多路视频实时拼接方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431617A (zh) * 2007-11-09 2009-05-13 三菱电机株式会社 用于合并视频以实时显示的方法和系统
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN105957111A (zh) * 2016-04-27 2016-09-21 武汉大学 序列遥感影像的色调一致性校正方法及系统
JP2019004449A (ja) * 2017-06-09 2019-01-10 アイシン精機株式会社 画像処理装置
CN109300085A (zh) * 2017-07-25 2019-02-01 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN110446114A (zh) * 2019-08-19 2019-11-12 广州视源电子科技股份有限公司 多媒体数据的处理装置、方法、电子设备及存储介质
CN110855903A (zh) * 2019-11-19 2020-02-28 长沙品先信息技术有限公司 一种多路视频实时拼接方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365407A (zh) * 2021-01-13 2021-02-12 西南交通大学 视角可配置的摄像机全景拼接方法
CN113409196A (zh) * 2021-07-07 2021-09-17 安徽水天信息科技有限公司 一种用于实时视频拼接的高速全局色差矫正方法
CN113409196B (zh) * 2021-07-07 2023-02-24 安徽水天信息科技有限公司 一种用于实时视频拼接的高速全局色差矫正方法
CN113916984A (zh) * 2021-10-09 2022-01-11 山东大学 一种大型拉挤成型复合材料自动化超声在线检测系统

Also Published As

Publication number Publication date
CN111277764B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN111277764B (zh) 基于gpu加速的4k实时视频全景拼接方法
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
CN105141920B (zh) 一种360度全景视频拼接系统
CN108717691B (zh) 一种图像融合方法、装置、电子设备及介质
US20150138312A1 (en) Method and apparatus for a surround view camera system photometric alignment
CN107087123B (zh) 一种基于云端处理的实时高清抠像方法
CN106713755A (zh) 全景图像的处理方法及装置
CN111145135B (zh) 一种图像去扰处理方法、装置、设备及存储介质
CN106169182B (zh) 一种合成多幅不同曝光度图像的方法
CN106851386B (zh) 基于Android系统的电视终端中增强现实的实现方法及装置
CN112365407B (zh) 视角可配置的摄像机全景拼接方法
CN107948544A (zh) 一种基于fpga的多路视频拼接系统及方法
US9214034B2 (en) System, device and method for displaying a harmonized combined image
CN105469375A (zh) 处理高动态范围全景图的方法和装置
CN104691415B (zh) 全景泊车辅助装置
CN114630053A (zh) 一种hdr图像显示方法及显示设备
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
WO2022179087A1 (zh) 视频处理方法及装置
CN107249123A (zh) 一种基于视频拼接技术的视频监控方法
Guo et al. Learning a Practical SDR-to-HDRTV Up-conversion using New Dataset and Degradation Models
CN117114997B (zh) 基于缝合线搜索算法的图像拼接方法及装置
KR101310216B1 (ko) 촬영된 영상의 컬러 변환 장치 및 방법
WO2018105097A1 (ja) 画像合成装置、画像合成方法、及び画像合成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210129

Address after: Room 12503, 25 / F, unit 1, building 4, Jinye times, No. 32, Jinye Road, high tech Zone, Xi'an City, Shaanxi Province, 710000

Applicant after: Xi'an Excellent Video Technology Co.,Ltd.

Address before: 100083 Room 204, 2nd floor, building 6 (North), No.1 Shuangqing Road, Haidian District, Beijing

Applicant before: Beijing Zhuo Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220808

Address after: Room 1920, 19th Floor, Military-civilian Integration Innovation Port, No. 25 Development Avenue, High-tech Zone, Xi'an City, Shaanxi Province 710075

Patentee after: Xi'an Excellent Video Technology Co.,Ltd.

Patentee after: Beijing Huacheng Zhiyun Software Co.,Ltd.

Address before: Room 12503, 25 / F, unit 1, building 4, Jinye times, No. 32, Jinye Road, high tech Zone, Xi'an City, Shaanxi Province, 710000

Patentee before: Xi'an Excellent Video Technology Co.,Ltd.

TR01 Transfer of patent right