CN113506214A - 一种多路视频图像拼接方法 - Google Patents
一种多路视频图像拼接方法 Download PDFInfo
- Publication number
- CN113506214A CN113506214A CN202110564153.9A CN202110564153A CN113506214A CN 113506214 A CN113506214 A CN 113506214A CN 202110564153 A CN202110564153 A CN 202110564153A CN 113506214 A CN113506214 A CN 113506214A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- transformation
- pixel
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 104
- 230000009466 transformation Effects 0.000 claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多路视频图像拼接方法，步骤如下：获取各路视频同一时刻的图像数据，并对图像进行拼接，计算原始图像到拼接完成图像的像素坐标位置映射变换矩阵和像素值变换的蒙版矩阵；获取实际拼接时视频流中图像，使用核函数对每帧图像进行映射变换和蒙版矩阵变换，对像素坐标位置实现映射变换，对像素值实现蒙版矩阵变换，从而得到拼接后的图像；调用训练好的模型对拼接后的图像进行目标识别和跟踪。本发明充分理解拼接原理，将拼接过程从数学角度转化为各路图像像素点位置和像素值的变换，分析出像素位置坐标的映射矩阵和像素值的蒙版矩阵，无论几路视频，无论视频图像像素大小，均可以采用此方法在图形处理器上实现并行拼接。
Description
技术领域
本发明属于视频图像算法改进技术领域，具体涉及一种多路视频图像拼接方法。
背景技术
随着中国民航的飞速发展，航空保障资源日趋紧张，航空保障过程中涉及的单位错综复杂，传统的机坪管理理念和管理手段面临很大的风险。为了在地面保障资源有限的情况下，提升航班的保障效率，提高机场运行品质，提出了新的机坪管制要求。
支线机场和通用机场局限于航班量小，日常收益有限，依照传统机场建设和管制建设规划塔台，其建设成本、运营成本不能在常规的运营周期内实现冲抵、获取收益，且支线机场和通用机场爆发式增长势必会带动管制人才的需求，管制人才培养不能完全跟上机场建设需求。
针对以上支线和通用机场建设、机坪管制移交及机场跑道扩容建设需求，远程塔台全景视频系统能够实现一个管制员管制多个机场的模式，大大减少机场运营成本，提高效率；全景视频系统能够为机坪管理者提供跑道盲区区域视景。
目前远程塔台国外发展主要厂家包含SAAB、Frequentis和Searidge。2015年萨博SAAB远程塔台在恩舍尔兹维克机场投入使用，2017年在松兹瓦尔机场,伦敦城市机场建设部署远程塔台，2018年与,斯堪的纳维亚山脉签订合同2018-2019年期间由SDATS在该机场安装萨博远程塔台（R-TWR）系统，以及从2019年12月起从位于松兹瓦尔的数字塔台中心进行为期10年的初始运营；Frequentis在2016年为德国萨尔布吕肯机场，爱尔福特和德累斯顿三个机场提供高清晰度摄像机和红外传感器。加拿大Searidge参与了SESAR 2020项目成功验证多机场远程塔台概念，为布达佩斯机场建设远程塔台现场运行认证，布达佩斯机场为全球首个采用远程塔台技术的中型容量机场。
目前国内众多公司投入研发，积极推动远程塔台全景视频系统的研制和试点工作。存在的主要研发难点有：全景视频系统存在卡顿、实时性不够、色彩一致性等问题，还没有完全成熟、稳定、可靠的全景视频系统。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种多路视频图像拼接方法，以解决现有的全景视频系统中多路视频拼接耗时长，视频卡顿的问题。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种多路视频图像拼接方法，步骤如下：
（1）获取各路视频同一时刻的图像数据，并对图像进行拼接，计算原始图像到拼接完成图像的像素坐标位置映射变换矩阵和像素值变换的蒙版矩阵；
（2）获取实际拼接时视频流中图像，使用核函数对每帧图像进行映射变换和蒙版矩阵变换，对像素坐标位置实现映射变换，对像素值实现蒙版矩阵变换，从而得到拼接后的图像；
（3）调用训练好的模型对拼接后的图像进行目标识别和跟踪。
进一步地，所述步骤（1）中计算像素坐标位置映射变换矩阵具体为：使用加速稳健特征算法获取图像特征点，剔除非图像重合区域的特征点；使用最近邻和次近邻匹配算法进行特征点匹配，基于所有匹配点对欧式距离相近，以及构成的直线角度相近，筛选匹配点对；使用查并集法获取图片的匹配关系，并删除不属于同一全景图的图片，得到可拼接成全景图的各路图像；根据匹配点对的单应性变换预估各路图像的相机参数，包括内参矩阵、旋转矩阵和相机焦距；使用光束平行差精确相机参数；需要进行波形校正，寻找各图像的上升向量，对各路图像的旋转矩阵进行校正；以得到图像像素点位置的映射变换矩阵。
进一步地，所述步骤（1）中计算像素值蒙版矩阵具体为：创建与图像大小、类型相同的矩阵作为初始的蒙版矩阵，使用球面投影，创建映射变换，映射尺度为相机焦距，即多路视频中映射的尺度为上述计算得到的各路相机焦距的均值；对图像和蒙版进行映射变换得到的矩阵记为image_warp和mask_warp，并将内参矩阵和旋转矩阵转换为像素横坐标和纵坐标变换的变换矩阵；进行曝光补偿，并将补偿放到蒙版矩阵上，以对视频进行补偿，使用增益补偿的方法，先计算增益系数，再进行曝光补偿，对经过投影变换的蒙版矩阵进行曝光补偿，经过曝光补偿的图像和蒙版矩阵记为image_warp_expose和mask_warp_expose；使用基于最小图割的最佳拼接缝寻找算法，最佳拼接缝像素点的位置是两个图像重叠区域的像素颜色差异最小的位置，重叠区域像素点几何结构最相似，得到拼接缝；基于线性渐变的方式优化拼接缝，即根据拼接缝坐标，计算在最终拼接图像上的拼接缝坐标以及线性渐变宽度，从拼接缝开始向两边图像线性增强，且重合部分同一位置权重相加为1，将权重值乘以蒙版矩阵同位置数值，得到优化拼接缝的蒙版，保证拼接好的图像清晰，不会因为优化拼接缝出现弱化；最后将经过拼接缝优化后的蒙版矩阵归一化，得到最终的蒙版矩阵。
进一步地，所述步骤（2）具体包括：指定核函数调用时的线程配置，线程块是一组线程，此处设置成（32，32）的线程块，线程网格是一组线程块的集合，此处设置为(（图像宽度+线程块宽度-1）/32,（图像高度+线程块高度-1）/32)。根据各路图像的映射变换矩阵和蒙版矩阵的大小，申请设备内存空间，坐标映射变换矩阵和蒙版矩阵是固定参数，在初始时将矩阵拷贝到申请的设备内存空间中；根据输入视频流图像大小和最终拼接好的全景图像大小，申请各自对应的设备内存空间，各路相机获得的图像大小是固定的，拼接好的全景图像大小也是固定的，初始时每路图像和全景图像申请各自对应的设备内存空间。运行时，将获取的各路视频图像拷贝到申请好的设备内存空间中，针对各路图像每个像素点，根据坐标的映射矩阵计算像素点在全景图像上的坐标，基于蒙版矩阵计算此位置的像素值，将像素值保存到申请好的全景图像对应坐标，各像素点计算不存在依赖关系，核函数被图像处理器并行执行，得到拼接结果。
进一步地，所述步骤（3）具体包括：获取机场场景下的图像，使用数据集标定工具标定数据集，得到图像对应的xml文件，文件中包含图像的分类名、位置坐标，使用python的tensorflow搭建yolov3模型，加载预训练权重（在使用yolov3训练自己的模型时使用的公开的权重文件），读取标定数据集（包括标定文件*.xml和对应的图像文件），训练模型，得到模型权重文件；目标识别跟踪时，加载模型，将拼接好的图像从设备内存空间拷贝到主机内存空间，对图像进行识别，如果识别到飞机或车辆，同时返回目标的坐标，从而实现全景视频飞机的识别跟踪。
本发明的有益效果：
本发明充分理解拼接原理，将拼接过程从数学角度转化为各路图像像素点位置和像素值的变换，分析出像素位置坐标的映射矩阵和像素值的蒙版矩阵，无论几路视频，无论视频图像像素大小，均可以采用此方法在图形处理器上实现并行拼接。
本发明可以运用于各种视频拼接场景，将变换矩阵计算和拼接分成两部分，解决了视频图像处理中对图像处理库的依赖，核函数提高拼接计算速度，具有强实用性。
在机场场景下，通过多路摄像头实时视频拼接，剔除摄像头重复图像，将多路视频拼接为全景图，扩大塔台工作人员视景，实现远程监管和机场管控。
在全景视频上应用训练好的模型，实现目标识别和跟踪，防止异物入侵，提高机场安全。
附图说明
图1为本发明方法的流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种多路视频图像拼接方法，步骤如下：
（1）获取各路视频同一时刻的图像数据，并对图像进行拼接，计算原始图像到拼接完成图像的像素坐标位置映射变换矩阵和像素值变换的蒙版矩阵（掩码矩阵）；
计算像素坐标位置映射变换矩阵具体为：使用加速稳健特征（SURF）算法获取图像特征点，剔除非图像重合区域的特征点；使用最近邻和次近邻匹配算法进行特征点匹配，基于所有匹配点对欧式距离相近，以及构成的直线角度相近，筛选匹配点对；使用查并集法（leaveBiggestComponent）获取图片的匹配关系，并删除不属于同一全景图的图片，得到可拼接成全景图的各路图像；根据匹配点对的单应性变换预估各路图像的相机参数，包括内参矩阵、旋转矩阵和相机焦距；使用光束平行差精确相机参数；由于相机摆放位置并不是完全在同一水平位置，轻微的倾斜会导致全景图像出现飞机曲线，因此需要进行波形校正，寻找各图像的上升向量（up_vector），对各路图像的旋转矩阵进行校正；以得到图像像素点位置的映射变换矩阵。
计算像素值蒙版矩阵具体为：创建与图像大小、类型相同的矩阵作为初始的蒙版矩阵，使用球面投影（SphericalWarper），创建映射变换，映射尺度为相机焦距，即多路视频中映射的尺度为上述计算得到的各路相机焦距的均值；对图像和蒙版进行映射变换得到的矩阵记为image_warp和mask_warp，并将内参矩阵和旋转矩阵转换为像素横坐标和纵坐标变换的变换矩阵（原始图像经过此处的变换矩阵就是image_warp和mask_warp）；光照、相机角度等因素不同，得到的图像整体亮度不同，直接拼接会出现明显的明暗变化，需要进行曝光补偿，并将补偿放到蒙版矩阵上，以对视频进行补偿，使用增益补偿的方法，先计算增益系数，再进行曝光补偿，对经过投影变换的蒙版矩阵进行曝光补偿，经过曝光补偿的图像和蒙版矩阵记为image_warp_expose和mask_warp_expose；使用基于最小图割的最佳拼接缝寻找算法，最佳拼接缝像素点的位置是两个图像重叠区域的像素颜色差异最小的位置，重叠区域像素点几何结构最相似，得到拼接缝；基于线性渐变的方式优化拼接缝，即根据拼接缝坐标，计算在最终拼接图像上的拼接缝坐标以及线性渐变宽度，从拼接缝开始向两边图像线性增强，且重合部分同一位置权重相加为1，将权重值乘以蒙版矩阵同位置数值，得到优化拼接缝的蒙版，保证拼接好的图像清晰，不会因为优化拼接缝出现弱化；最后将经过拼接缝优化后的蒙版矩阵归一化，得到最终的蒙版矩阵，注意此时的蒙版矩阵数据类型是浮点型。
（2）获取实际拼接时视频流中图像，使用核函数对每帧图像进行映射变换和蒙版矩阵变换，对像素坐标位置实现映射变换，对像素值实现蒙版矩阵变换，从而得到拼接后的图像；
指定核函数调用时的线程配置，线程块是一组线程，此处设置成（32，32）的线程块，线程网格是一组线程块的集合，此处设置为(（图像宽度+线程块宽度-1）/32,（图像高度+线程块高度-1）/32)；根据各路图像的映射变换矩阵和蒙版矩阵的大小，申请设备内存空间，坐标映射变换矩阵和蒙版矩阵是固定参数，在初始时将矩阵拷贝到申请的设备内存空间中；根据输入视频流图像大小和最终拼接好的全景图像大小，申请各自对应的设备内存空间，各路相机获得的图像大小是固定的，拼接好的全景图像大小也是固定的，初始时每路图像和拼接图像申请各自的设备内存空间；运行时，将获取的各路视频图像拷贝到申请好的设备内存空间中，针对各路图像每个像素点，根据坐标的映射矩阵计算像素点在全景图像上的坐标，基于蒙版矩阵计算此位置的像素值，将像素值保存到申请好的全景图像对应坐标，各像素点计算不存在依赖关系，核函数被图像处理器（GPU）并行执行，得到拼接结果。
（3）调用训练好的模型对拼接后的图像进行目标识别和跟踪；
获取机场场景下的图像，使用数据集标定工具标定数据集，得到图像对应的xml文件，文件中包含图像的分类名、位置坐标，使用python的tensorflow搭建yolov3模型，加载预训练权重（在使用yolov3训练自己的模型时使用的公开的权重文件），读取标定数据集（包括标定文件*.xml和对应的图像文件），训练模型，得到模型权重文件；目标识别跟踪时（使用时），加载模型，将拼接好的图像从设备内存空间（GPU的内存）拷贝到主机内存空间（CPU的内存），对图像进行识别，如果识别到飞机或车辆，同时返回目标的坐标，从而实现全景视频飞机的识别跟踪。
本发明将拼接过程中遇到的各种处理解析为两个矩阵，分别是针对像素左边变换的映射变换矩阵和像素值变换的蒙版矩阵。拼接时像素点的矩阵变换不存在依赖关系，可全并行运行，充分利用图像处理器对核函数的并行调用，加速拼接计算。
当相机位置固定，需要进行拼接分图像大小固定，视频图像像素进行映射变换和蒙版变换，即可拼接图像。当相机位置改变，相机数量改变，图像大小改变，只需重新获取各路相机的图像，计算映射矩阵和蒙版矩阵。
图形处理器可以多线程执行核函数，设计核函数调用时的线程配置，最大化利用图形处理器的性能和内存，本发明设计线程块是（32，32），线程网格设置为(（图像宽度+线程块宽度-1）/32,（图像高度+线程块高度-1）/32)，最大化并行处理像素点，申请设备内存空间，初始时将计算好的映射变换矩阵和蒙版矩阵从主机内存空间 拷贝到设备内存空间，将各路视频图像逐帧拷贝到设备内存空间，核函数调用参数执行针对各路图像像素点的矩阵变换，将计算结果存到全景图像在设备内存空间中指定位置，实现拼接。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (5)
1.一种多路视频图像拼接方法，其特征在于，步骤如下：
（1）获取各路视频同一时刻的图像数据，并对图像进行拼接，计算原始图像到拼接完成图像的像素坐标位置映射变换矩阵和像素值变换的蒙版矩阵；
（2）获取实际拼接时视频流中图像，使用核函数对每帧图像进行映射变换和蒙版矩阵变换，对像素坐标位置实现映射变换，对像素值实现蒙版矩阵变换，从而得到拼接后的图像；
（3）调用训练好的模型对拼接后的图像进行目标识别和跟踪。
2.根据权利要求1所述的多路视频图像拼接方法，其特征在于，所述步骤（1）中计算像素坐标位置映射变换矩阵具体为：使用加速稳健特征算法获取图像特征点，剔除非图像重合区域的特征点；使用最近邻和次近邻匹配算法进行特征点匹配，基于所有匹配点对欧式距离相近，以及构成的直线角度相近，筛选匹配点对；使用查并集法获取图片的匹配关系，并删除不属于同一全景图的图片，得到可拼接成全景图的各路图像；根据匹配点对的单应性变换预估各路图像的相机参数，包括内参矩阵、旋转矩阵和相机焦距；使用光束平行差精确相机参数；需要进行波形校正，寻找各图像的上升向量，对各路图像的旋转矩阵进行校正；以得到图像像素点位置的映射变换矩阵。
3.根据权利要求1所述的多路视频图像拼接方法，其特征在于，所述步骤（1）中计算像素值蒙版矩阵具体为：创建与图像大小、类型相同的矩阵作为初始的蒙版矩阵，使用球面投影，创建映射变换，映射尺度为相机焦距，即多路视频中映射的尺度为上述计算得到的各路相机焦距的均值；对图像和蒙版进行映射变换得到的矩阵记为image_warp和mask_warp，并将内参矩阵和旋转矩阵转换为像素横坐标和纵坐标变换的变换矩阵；进行曝光补偿，并将补偿放到蒙版矩阵上，以对视频进行补偿，使用增益补偿的方法，先计算增益系数，再进行曝光补偿，对经过投影变换的蒙版矩阵进行曝光补偿，经过曝光补偿的图像和蒙版矩阵记为image_warp_expose和mask_warp_expose；使用基于最小图割的最佳拼接缝寻找算法，最佳拼接缝像素点的位置是两个图像重叠区域的像素颜色差异最小的位置，重叠区域像素点几何结构最相似，得到拼接缝；基于线性渐变的方式优化拼接缝，即根据拼接缝坐标，计算在最终拼接图像上的拼接缝坐标以及线性渐变宽度，从拼接缝开始向两边图像线性增强，且重合部分同一位置权重相加为1，将权重值乘以蒙版矩阵同位置数值，得到优化拼接缝的蒙版；最后将经过拼接缝优化后的蒙版矩阵归一化，得到最终的蒙版矩阵。
4.根据权利要求1所述的多路视频图像拼接方法，其特征在于，所述步骤（2）具体包括：指定核函数调用时的线程配置，线程块是一组线程，此处设置成（32，32）的线程块，线程网格是一组线程块的集合，此处设置为(（图像宽度+线程块宽度-1）/32,（图像高度+线程块高度-1）/32)；根据各路图像的映射变换矩阵和蒙版矩阵的大小，申请设备内存空间，坐标映射变换矩阵和蒙版矩阵是固定参数，在初始时将矩阵拷贝到申请的设备内存空间中；根据输入视频流图像大小和最终拼接好的全景图像大小，申请各自对应的设备内存空间，各路相机获得的图像大小是固定的，拼接好的全景图像大小也是固定的，初始时每路图像和全景图像申请各自对应的设备内存空间；运行时，将获取的各路视频图像拷贝到申请好的设备内存空间中，针对各路图像每个像素点，根据坐标的映射矩阵计算像素点在全景图像上的坐标，基于蒙版矩阵计算此位置的像素值，将像素值保存到申请好的全景图像对应坐标，各像素点计算不存在依赖关系，核函数被图像处理器并行执行，得到拼接结果。
5.根据权利要求1所述的多路视频图像拼接方法，其特征在于，所述步骤（3）具体包括：获取机场场景下的图像，使用数据集标定工具标定数据集，得到图像对应的xml文件，文件中包含图像的分类名、位置坐标，使用python的tensorflow搭建yolov3模型，加载预训练权重，读取标定数据集，训练模型，得到模型权重文件；目标识别跟踪时，加载模型，将拼接好的图形从设备内存空间拷贝到主机内存空间，对图像进行识别，若识别到飞机或车辆，同时返回目标的坐标，从而实现全景视频飞机的识别跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110564153.9A CN113506214B (zh) | 2021-05-24 | 2021-05-24 | 一种多路视频图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110564153.9A CN113506214B (zh) | 2021-05-24 | 2021-05-24 | 一种多路视频图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113506214A true CN113506214A (zh) | 2021-10-15 |
| CN113506214B CN113506214B (zh) | 2023-07-21 |
Family
ID=78008652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110564153.9A Active CN113506214B (zh) | 2021-05-24 | 2021-05-24 | 一种多路视频图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506214B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114071104A (zh) * | 2022-01-18 | 2022-02-18 | 山东捷瑞数字科技股份有限公司 | 基于着色器实现多投影机投影渐变融合的方法 |
| CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
| CN114222061A (zh) * | 2021-12-10 | 2022-03-22 | 中国人民解放军96901部队25分队 | 一种光电周扫的实时图像拼接与交互方法 |
| CN114723637A (zh) * | 2022-04-27 | 2022-07-08 | 上海复瞰科技有限公司 | 一种色差调整方法及系统 |
| CN116016816A (zh) * | 2022-12-13 | 2023-04-25 | 之江实验室 | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070115355A1 (en) * | 2005-11-18 | 2007-05-24 | Mccormack Kenneth | Methods and apparatus for operating a pan tilt zoom camera |
| US20140169699A1 (en) * | 2012-09-21 | 2014-06-19 | Tamaggo Inc. | Panoramic image viewer |
| US20140207710A1 (en) * | 2013-01-18 | 2014-07-24 | International Business Machines Corporation | Transductive lasso for high-dimensional data regression problems |
| CN104243935A (zh) * | 2014-10-10 | 2014-12-24 | 南京莱斯信息技术股份有限公司 | 基于视频识别的机场场监系统目标监控方法 |
| CN105245841A (zh) * | 2015-10-08 | 2016-01-13 | 北京工业大学 | 一种基于cuda的全景视频监控系统 |
| CN106683044A (zh) * | 2015-11-10 | 2017-05-17 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的图像拼接方法、装置 |
| CN107038724A (zh) * | 2015-10-28 | 2017-08-11 | 舆图行动股份有限公司 | 全景鱼眼相机影像校正、合成与景深重建方法与系统 |
| WO2018201809A1 (zh) * | 2017-05-05 | 2018-11-08 | 中国科学院计算技术研究所 | 基于双摄像头的图像处理装置及方法 |
| CN109993696A (zh) * | 2019-03-15 | 2019-07-09 | 广州愿托科技有限公司 | 基于多视点图像的结构物表观全景图矫正拼接方法 |
| WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
| CN112102372A (zh) * | 2020-09-16 | 2020-12-18 | 上海麦图信息科技有限公司 | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 |
| US20200397528A1 (en) * | 2019-06-20 | 2020-12-24 | Gentex Corporation | Illumination system and method for object tracking |
-
2021
- 2021-05-24 CN CN202110564153.9A patent/CN113506214B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070115355A1 (en) * | 2005-11-18 | 2007-05-24 | Mccormack Kenneth | Methods and apparatus for operating a pan tilt zoom camera |
| US20140169699A1 (en) * | 2012-09-21 | 2014-06-19 | Tamaggo Inc. | Panoramic image viewer |
| US20140207710A1 (en) * | 2013-01-18 | 2014-07-24 | International Business Machines Corporation | Transductive lasso for high-dimensional data regression problems |
| CN104243935A (zh) * | 2014-10-10 | 2014-12-24 | 南京莱斯信息技术股份有限公司 | 基于视频识别的机场场监系统目标监控方法 |
| CN105245841A (zh) * | 2015-10-08 | 2016-01-13 | 北京工业大学 | 一种基于cuda的全景视频监控系统 |
| CN107038724A (zh) * | 2015-10-28 | 2017-08-11 | 舆图行动股份有限公司 | 全景鱼眼相机影像校正、合成与景深重建方法与系统 |
| CN106683044A (zh) * | 2015-11-10 | 2017-05-17 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的图像拼接方法、装置 |
| WO2018201809A1 (zh) * | 2017-05-05 | 2018-11-08 | 中国科学院计算技术研究所 | 基于双摄像头的图像处理装置及方法 |
| WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN109993696A (zh) * | 2019-03-15 | 2019-07-09 | 广州愿托科技有限公司 | 基于多视点图像的结构物表观全景图矫正拼接方法 |
| US20200397528A1 (en) * | 2019-06-20 | 2020-12-24 | Gentex Corporation | Illumination system and method for object tracking |
| CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
| CN112102372A (zh) * | 2020-09-16 | 2020-12-18 | 上海麦图信息科技有限公司 | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 |
Non-Patent Citations (1)
| Title |
|---|
| 严璐: "《中国优秀硕士学位论文全文数据库 信息科技辑》" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
| CN114222061A (zh) * | 2021-12-10 | 2022-03-22 | 中国人民解放军96901部队25分队 | 一种光电周扫的实时图像拼接与交互方法 |
| CN114222061B (zh) * | 2021-12-10 | 2024-03-22 | 中国人民解放军96901部队25分队 | 一种光电周扫的实时图像拼接与交互方法 |
| CN114071104A (zh) * | 2022-01-18 | 2022-02-18 | 山东捷瑞数字科技股份有限公司 | 基于着色器实现多投影机投影渐变融合的方法 |
| CN114723637A (zh) * | 2022-04-27 | 2022-07-08 | 上海复瞰科技有限公司 | 一种色差调整方法及系统 |
| CN116016816A (zh) * | 2022-12-13 | 2023-04-25 | 之江实验室 | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统 |
| CN116016816B (zh) * | 2022-12-13 | 2024-03-29 | 之江实验室 | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113506214B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113506214B (zh) | 一种多路视频图像拼接方法 | |
| CN111127318B (zh) | 一种机场环境下的全景图像拼接方法 | |
| CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| Yuan et al. | Superpixel-based seamless image stitching for UAV images | |
| CN102567976B (zh) | 非常大的航拍图像拼接的色调映射 | |
| CN109753878B (zh) | 一种恶劣天气下的成像识别方法及系统 | |
| CN109509211B (zh) | 同时定位与建图技术中的特征点提取与匹配方法及系统 | |
| CN101777129B (zh) | 一种基于特征检测的图像匹配方法 | |
| CN109145747A (zh) | 一种水面全景图像语义分割方法 | |
| CN112288628B (zh) | 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统 | |
| CN104240211A (zh) | 用于视频拼接的图像亮度与色彩均衡方法及系统 | |
| Xia et al. | Color consistency correction based on remapping optimization for image stitching | |
| CN110908510B (zh) | 一种倾斜摄影建模数据在沉浸式显示设备中的应用方法 | |
| CN109389617A (zh) | 一种基于片上异构系统的运动目标识别与追踪方法及系统 | |
| CN110267101B (zh) | 一种基于快速三维拼图的无人机航拍视频自动抽帧方法 | |
| CN114495068B (zh) | 基于人机交互和深度学习的路面健康检测方法 | |
| CN107146219B (zh) | 一种基于流形正则化支持向量机的图像显著性检测方法 | |
| Zhang et al. | Image-only real-time incremental UAV image mosaic for multi-strip flight | |
| Zhou et al. | Adapting semantic segmentation models for changes in illumination and camera perspective | |
| CN115376028A (zh) | 基于稠密特征点拼接和改进型yolov 5的目标检测方法 | |
| Yang et al. | Towards accurate image stitching for drone-based wind turbine blade inspection | |
| CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
| CN108171651B (zh) | 基于多模型几何拟合和分层单应变换的图像对齐方法 | |
| CN111161219B (zh) | 一种适用于阴影环境的鲁棒单目视觉slam方法 | |
| Rong et al. | Active learning based 3D semantic labeling from images and videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |