CN113055613A - 一种基于矿山场景下的全景视频拼接的方法及装置 - Google Patents
一种基于矿山场景下的全景视频拼接的方法及装置 Download PDFInfo
- Publication number
- CN113055613A CN113055613A CN202110288703.9A CN202110288703A CN113055613A CN 113055613 A CN113055613 A CN 113055613A CN 202110288703 A CN202110288703 A CN 202110288703A CN 113055613 A CN113055613 A CN 113055613A
- Authority
- CN
- China
- Prior art keywords
- frame
- camera
- transformation matrix
- image
- matrix model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 65
- 230000009466 transformation Effects 0.000 claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 238000012544 monitoring process Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000007635 classification algorithm Methods 0.000 claims description 7
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007526 fusion splicing Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 239000003245 coal Substances 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000291564 Allium cepa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于矿山场景下的全景视频拼接的方法及装置，其包括：步骤S101：获取当前摄像机网络中每个摄像头拍摄的第一帧图像并提取第一帧图像的特征点；步骤S103：匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型；步骤S105：使用投影变换矩阵模型完成首次拼接，并基于投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像；步骤S107：按照预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复步骤S101‑S107，以动态实时拼接每个摄像头拍摄的每一帧图像。本发明动态生成投影变换矩阵模型，实现每一帧图像实时高效拼接。
Description
技术领域
本发明涉及视频监控领域，具体而言，本发明涉及一种基于矿山场景下的全景视频拼接的方法及装置。
背景技术
随着科学技术的发展，机械化无人开采煤矿已经逐渐成为煤矿行业发展趋势。煤矿行业近年来已分期分批投建了视频监控系统，基本实现每个生产装置和重点部位都已安装监控摄像机，人们通过视频监控手段获取井下煤矿综掘工作面的状况。当前煤矿井下生产环境中，使用的监控设备主要是单个观测角度的单目广角摄像头，而单目广角摄像头在采集井下工作环境信息时，拍摄的区域有限从而不能实现对全局信息的有效掌握。
针对该问题，部分改进方法是通过加装摄像头拍摄到更多的工作场景来保证安全监控，但是，较多的摄头就会使得监控人员应接不暇，拍摄到的视频又会出现重合区域导致观测效率低下；还有的采用视频融合的方式，但是，现有的全景视频融合方式不仅计算复杂度高，还融合速度慢，甚至在融合后图像中出现图像错位及鬼影的问题，这些在一定程度上都严重制约了无人化煤矿综掘工作面的机械化采矿技术安全监控的发展。
发明内容
为了寻找更为有效的矿山场景下的全景视频拼接的实现方案，本发明提供了一种基于矿山场景下的全景视频拼接的方法及装置。
方案一：
提供一种基于矿山场景下的全景视频拼接的方法，该基于矿山场景下的全景视频拼接的方法包括如下步骤：
步骤S101：获取当前摄像机网络中的每个摄像头拍摄的第一帧图像并提取所述第一帧图像的特征点；
步骤S103：匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型；
步骤S105：使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像；
步骤S107：按照所述预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复步骤S101-S107，以动态实时拼接每个摄像头拍摄的每一帧图像。
优选地，所述获取当前摄像机网络中的每个摄像头拍摄的第一帧图像之后，包括如下步骤：
使用去雾算法和图像增强算法对所述第一帧图像进行预处理；
对经过预处理的所述第一帧图像进行畸变矫正，并使用双线性插值方法将畸变矫正后的所述第一帧图像恢复到原始帧尺寸。
优选地，所述提取所述第一帧图像的特征点包括如下步骤：
对经过预处理、畸变矫正且恢复到原始帧尺寸的所述第一帧图像使用SURF算法提取特征点，并生成特征描述子。
优选地，所述匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型包括如下步骤：
使用K最近邻分类算法匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
优选地，所述使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像包括如下步骤：
基于渐进渐出加权平均融合方法，使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
方案二：
提供一种基于矿山场景下的全景视频拼接的装置，该基于矿山场景下的全景视频拼接的装置包括：
首帧处理模块：用于获取当前摄像机网络中的每个摄像头拍摄的第一帧图像并提取所述第一帧图像的特征点；
匹配生成模块：用于匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型；
实时拼接模块：用于使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像；
动态监测模块：用于按照所述预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复执行首帧处理模块、匹配生成模块、实时拼接模块及动态监测模块，以动态实时拼接每个摄像头拍摄的每一帧图像。
优选地，所述基于矿山场景下的全景视频拼接的装置包括：
预处理模块，用于在获取当前摄像机网络中的每个摄像头拍摄的第一帧图像之后使用去雾算法和图像增强算法对所述第一帧图像进行预处理；
矫正恢复模块，用于对经过预处理的所述第一帧图像进行畸变矫正，并使用双线性插值方法将畸变矫正后的所述第一帧图像恢复到原始帧尺寸。
优选地，所述首帧处理模块包括：
提取单元，用于对经过预处理、畸变矫正且恢复到原始帧尺寸的所述第一帧图像使用SURF算法提取特征点，并生成特征描述子。
优选地，所述匹配生成模块包括如下步骤：
匹配生成单元，用于使用K最近邻分类算法匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
优选地，所述实时拼接模块包括：
融合单元，用于基于渐进渐出加权平均融合方法，使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
与现有技术相比，本发明一种基于矿山场景下的全景视频拼接的方法及装置具有如下有益效果：
本发明一种基于矿山场景下的全景视频拼接的方法及装置通过按照预设时间间隔动态生成并调整投影变换矩阵模型，实现了对摄像机网络中的每个摄像头拍摄的每一帧图像的实时融合拼接，不仅降低视频融合的复杂度，提升融合速度，还在一定程度上解决了在融合后图像中出现图像错位及鬼影的问题，有力地促进了无人化煤矿综掘工作面的机械化采矿技术安全监控的发展。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例提供的基于矿山场景下的全景视频拼接的方法的流程示意图；
图2为本发明的另一个实施例的基于矿山场景下的全景视频拼接的装置的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、103等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示出了本发明实施例一种基于矿山场景下的全景视频拼接的方法的流程示意图，如图1所示，本发明实施例一种基于矿山场景下的全景视频拼接的方法包括如下步骤：
步骤S101：获取当前摄像机网络中的每个摄像头拍摄的第一帧图像并提取所述第一帧图像的特征点。
在一些实施方式中，考虑到矿井中粉尘多且井下光线不足，摄像机在工作的过程中受到干扰，因此，得到的视频图像存在大量噪声。为了克服其干扰，本发明实施例在获取当前摄像机网络中的每个摄像头拍摄的第一帧图像之后，包括如下步骤：
使用去雾算法和图像增强算法对第一帧图像进行预处理；
对经过预处理的第一帧图像进行畸变矫正，并使用双线性插值方法将畸变矫正后的第一帧图像恢复到原始帧尺寸。
特别说明的是，上述去雾算法、图像增强算法、畸变矫正及双线性插值方法均为本领域的常规技术，本发明实施例在此将其应用于解决因粉尘多和光线不足给视频图像带来的大量噪声问题，因此，其具体技术原理不再详述。
对应地，提取第一帧图像的特征点包括如下步骤：对经过预处理、畸变矫正且恢复到原始帧尺寸的第一帧图像使用SURF算法提取特征点，并生成特征描述子。
SURF算法是一种稳健的局部特征点检测和描述算法，其是对David Lowe在1999年提出的SIFT算法的改进，提升了算法的执行效率，为算法在实时计算机视觉系统中应用提供了可能。与SIFT算法一样，SURF算法的基本路程可以分为三大部分：局部特征点的提取、特征点的描述、特征点的匹配。值得注意的是，SURF算法在执行效率比较高，能够在一定程度上降低视频融合的复杂度，提升融合速度。
步骤S103：匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
详细地，匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型包括如下步骤：
使用K最近邻分类算法匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
具体地，利用K最近邻分类算法匹配对特征点进行匹配，在匹配的时候选择K个和特征点最相似的点，如果这K个点之间的区别足够大，则选择最相似的那个点作为匹配点，也就是最近邻匹配。对每个匹配返回两个最近邻的匹配，如果第一匹配和第二匹配距离比率足够大(向量距离足够远)，则认为这是一个正确的匹配；然后，使用随机抽样一致性算法对特征匹配对进行过滤筛选，因为，随机抽样一致算法可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。随机抽样一致算法是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。该算法最早由Fischler和Bolles于1981年提出，经常用于计算机视觉，例如同时求解相关问题与估计立体摄像机的基础矩阵。
步骤S105：使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
具体地，通过图像配准过程中特征匹配得到的投影变换矩阵模型，将待拼接图像变换到同一像素坐标系下，然后通过图像融合算法对位于相同坐标系下的不同图像的像素点进行像素融合，实现图像的拼接目的。
在一些实施方式中，预设时间间隔为60秒，即完成首次拼接后，后续60s内都使用已存储的投影变换矩阵模型进行拼接。
在一些实施方式中，对于图像重合的区域，可以使用渐进渐出加权平均的图像融合算法，使得两幅图像拼接成一幅高清大场景图像，以在拼接处无明显接缝。也即使用投影变换矩阵模型完成首次拼接，并基于投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像包括如下步骤：
基于渐进渐出加权平均融合方法，使用投影变换矩阵模型完成首次拼接，并基于投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
当然了，在基于投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像时，也可以提前对每一帧图像进行包括去雾算法、图像增强算法、畸变矫正及双线性插值方法等的处理，以实现良好的监控效果。
步骤S107：按照所述预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复步骤S101-S107，以动态实时拼接每个摄像头拍摄的每一帧图像。
优选地，判断前后帧之间的相似度是否超过预设阈值，若否，则重复步骤S105-S107，以动态实时拼接每个摄像头拍摄的每一帧图像
对应地，预设时间间隔为60秒，即每隔60秒计算一次前后帧之间的相似度，判断是否有遮挡出现，如果有，则需要重新获取投影变换矩阵模型，以解决因采矿工作面的抖动导致安装摄像头工作平台不稳定，从而拼接视频时产生伪影、不连续等深度失真问题。如果没有变动，则可依然按照之前的投影变换矩阵模型进行拼接，以便达到实时拼接的效果。
在一些实施方式中，前后帧之间的相似度计算，可以采用直方图或者感知哈希等成熟算法得到，本发明实施例对此不作限制。
与现有技术相比，本发明实施例一种基于矿山场景下的全景视频拼接的方法具有如下有益效果：
本发明实施例一种基于矿山场景下的全景视频拼接的方法通过按照预设时间间隔动态生成并调整投影变换矩阵模型，实现了对摄像机网络中的每个摄像头拍摄的每一帧图像的实时融合拼接，不仅降低视频融合的复杂度，提升融合速度，还在一定程度上解决了在融合后图像中出现图像错位及鬼影的问题，有力地促进了无人化煤矿综掘工作面的机械化采矿技术安全监控的发展。
请参阅图2，基于同本发明实施例一种基于矿山场景下的全景视频拼接的方法相同的发明构思，本发明另一实施例提供一种基于矿山场景下的全景视频拼接的装置，如图2所示，发明另一实施例提供一种基于矿山场景下的全景视频拼接的装置包括：
首帧处理模块2002：用于获取当前摄像机网络中的每个摄像头拍摄的第一帧图像并提取所述第一帧图像的特征点；
匹配生成模块2004：用于匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型；
实时拼接模块2006：用于使用投影变换矩阵模型完成首次拼接，并基于投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像；
动态监测模块2008：用于按照预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复执行首帧处理模块2002、匹配生成模块2004、实时拼接模块2006及动态监测模块2008，以动态实时拼接每个摄像头拍摄的每一帧图像。
在一些实施方式中，本发明另一实施例一种基于矿山场景下的全景视频拼接的装置包括：
预处理模块，用于在获取当前摄像机网络中的每个摄像头拍摄的第一帧图像之后使用去雾算法和图像增强算法对第一帧图像进行预处理；
矫正恢复模块，用于对经过预处理的第一帧图像进行畸变矫正，并使用双线性插值方法将畸变矫正后的第一帧图像恢复到原始帧尺寸。
在一些实施方式中，首帧处理模块2002包括：
提取单元，用于对经过预处理、畸变矫正且恢复到原始帧尺寸的第一帧图像使用SURF算法提取特征点，并生成特征描述子。
在一些实施方式中，匹配生成模块2004包括如下步骤：
匹配生成单元，用于使用K最近邻分类算法匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
在一些实施方式中，实时拼接模块2006包括：
融合单元，用于基于渐进渐出加权平均融合方法，使用投影变换矩阵模型完成首次拼接，并基于投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
在一些实施方式中，动态监测模块2008包括：
第二执行单元，用于在前后帧之间的相似度未超过预设阈值时，重复执行实时拼接模块2006和动态监测模块2008，以动态实时拼接每个摄像头拍摄的每一帧图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
与现有技术相比，本发明另一实施例一种基于矿山场景下的全景视频拼接的装置具有如下有益效果：
本发明另一实施例一种基于矿山场景下的全景视频拼接的装置通过首帧处理模块2002、匹配生成模块2004、实时拼接模块2006及动态监测模块2008按照预设时间间隔动态生成并调整投影变换矩阵模型，实现了对摄像机网络中的每个摄像头拍摄的每一帧图像的实时融合拼接，不仅降低视频融合的复杂度，提升融合速度，还在一定程度上解决了在融合后图像中出现图像错位及鬼影的问题，有力地促进了无人化煤矿综掘工作面的机械化采矿技术安全监控的发展。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccessMemory)、磁盘或光盘等。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于矿山场景下的全景视频拼接的方法，其特征在于，该基于矿山场景下的全景视频拼接的方法包括如下步骤：
步骤S101：获取当前摄像机网络中的每个摄像头拍摄的第一帧图像并提取所述第一帧图像的特征点；
步骤S103：匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型；
步骤S105：使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像；
步骤S107：按照所述预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复步骤S101-S107，以动态实时拼接每个摄像头拍摄的每一帧图像。
2.如权利要求1所述的基于矿山场景下的全景视频拼接的方法，其特征在于，所述获取当前摄像机网络中的每个摄像头拍摄的第一帧图像之后，包括如下步骤：
使用去雾算法和图像增强算法对所述第一帧图像进行预处理；
对经过预处理的所述第一帧图像进行畸变矫正，并使用双线性插值方法将畸变矫正后的所述第一帧图像恢复到原始帧尺寸。
3.如权利要求2所述的基于矿山场景下的全景视频拼接的方法，其特征在于，所述提取所述第一帧图像的特征点包括如下步骤：
对经过预处理、畸变矫正且恢复到原始帧尺寸的所述第一帧图像使用SURF算法提取特征点，并生成特征描述子。
4.如权利要求1所述的基于矿山场景下的全景视频拼接的方法，其特征在于，所述匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型包括如下步骤：
使用K最近邻分类算法匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
5.如权利要求1所述的基于矿山场景下的全景视频拼接的方法，其特征在于，所述使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像包括如下步骤：
基于渐进渐出加权平均融合方法，使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
6.一种基于矿山场景下的全景视频拼接的装置，其特征在于，该基于矿山场景下的全景视频拼接的装置包括：
首帧处理模块：用于获取当前摄像机网络中的每个摄像头拍摄的第一帧图像并提取所述第一帧图像的特征点；
匹配生成模块：用于匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型；
实时拼接模块：用于使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像；
动态监测模块：用于按照所述预设时间间隔计算一次前后帧之间的相似度，判断前后帧之间的相似度是否超过预设阈值，若是，则重复执行首帧处理模块、匹配生成模块、实时拼接模块及动态监测模块，以动态实时拼接每个摄像头拍摄的每一帧图像。
7.如权利要求6所述的基于矿山场景下的全景视频拼接的装置，其特征在于，所述基于矿山场景下的全景视频拼接的装置包括：
预处理模块，用于在获取当前摄像机网络中的每个摄像头拍摄的第一帧图像之后使用去雾算法和图像增强算法对所述第一帧图像进行预处理；
矫正恢复模块，用于对经过预处理的所述第一帧图像进行畸变矫正，并使用双线性插值方法将畸变矫正后的所述第一帧图像恢复到原始帧尺寸。
8.如权利要求7所述的基于矿山场景下的全景视频拼接的装置，其特征在于，所述首帧处理模块包括：
提取单元，用于对经过预处理、畸变矫正且恢复到原始帧尺寸的所述第一帧图像使用SURF算法提取特征点，并生成特征描述子。
9.如权利要求6所述的基于矿山场景下的全景视频拼接的装置，其特征在于，所述匹配生成模块包括如下步骤：
匹配生成单元，用于使用K最近邻分类算法匹配相邻摄像头各自拍摄的第一帧图像中的特征点，生成且保存投影变换矩阵模型。
10.如权利要求6所述的基于矿山场景下的全景视频拼接的装置，其特征在于，所述实时拼接模块包括：
融合单元，用于基于渐进渐出加权平均融合方法，使用所述投影变换矩阵模型完成首次拼接，并基于所述投影变换矩阵模型在预设时间间隔内实时拼接当前摄像机网络中每个摄像头拍摄的后续每一帧图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288703.9A CN113055613A (zh) | 2021-03-18 | 2021-03-18 | 一种基于矿山场景下的全景视频拼接的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288703.9A CN113055613A (zh) | 2021-03-18 | 2021-03-18 | 一种基于矿山场景下的全景视频拼接的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113055613A true CN113055613A (zh) | 2021-06-29 |
Family
ID=76513402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110288703.9A Pending CN113055613A (zh) | 2021-03-18 | 2021-03-18 | 一种基于矿山场景下的全景视频拼接的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113055613A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115633248A (zh) * | 2022-12-22 | 2023-01-20 | 浙江宇视科技有限公司 | 多场景协同检测方法与系统 |
| WO2023104115A1 (zh) * | 2021-12-10 | 2023-06-15 | 华为技术有限公司 | 获取全景视频的方法、装置、系统、设备及存储介质 |
-
2021
- 2021-03-18 CN CN202110288703.9A patent/CN113055613A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023104115A1 (zh) * | 2021-12-10 | 2023-06-15 | 华为技术有限公司 | 获取全景视频的方法、装置、系统、设备及存储介质 |
| CN115633248A (zh) * | 2022-12-22 | 2023-01-20 | 浙江宇视科技有限公司 | 多场景协同检测方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10630956B2 (en) | Image processing method and apparatus | |
| US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
| Johnston et al. | A review of digital video tampering: From simple editing to full synthesis | |
| US11037308B2 (en) | Intelligent method for viewing surveillance videos with improved efficiency | |
| CN104574331B (zh) | 一种数据处理方法、装置、计算机存储介质及用户终端 | |
| US10600158B2 (en) | Method of video stabilization using background subtraction | |
| CN113055613A (zh) | 一种基于矿山场景下的全景视频拼接的方法及装置 | |
| CN105469375A (zh) | 处理高动态范围全景图的方法和装置 | |
| CN111241872A (zh) | 视频图像遮挡方法及装置 | |
| CN111355928A (zh) | 一种基于多摄像头内容分析的视频拼接方法及其系统 | |
| CN110378860B (zh) | 修复视频的方法、装置、计算机设备和存储介质 | |
| CN109784215B (zh) | 一种基于改进的光流法的活体检测方法及系统 | |
| CN112132870B (zh) | 森林火灾早期烟雾检测方法 | |
| US11044399B2 (en) | Video surveillance system | |
| CN111192286A (zh) | 一种图像合成方法、电子设备及存储介质 | |
| CN103632131B (zh) | 用于提取对象的设备和方法 | |
| Koochari et al. | Exemplar-based video inpainting with large patches | |
| CN112966575A (zh) | 一种应用于智慧社区的目标人脸识别方法及装置 | |
| CN108540715B (zh) | 一种图片处理方法、电子设备和计算机可读存储介质 | |
| CN112991175A (zh) | 一种基于单ptz摄像头的全景图片生成方法及设备 | |
| CN109328373B (zh) | 图像处理方法及其相关设备、存储介质 | |
| CN111031243A (zh) | 一种全景图像的生成方法及装置 | |
| Gao et al. | Gradient guided dual-branch network for image dehazing | |
| CN111127514A (zh) | 一种机器人对目标的跟踪方法及装置 | |
| Zarif et al. | Fast and efficient video completion using object prior position |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |