CN116132729A - 一种山体滑坡监测用全景视频拼接方法及系统 - Google Patents
一种山体滑坡监测用全景视频拼接方法及系统 Download PDFInfo
- Publication number
- CN116132729A CN116132729A CN202211722125.6A CN202211722125A CN116132729A CN 116132729 A CN116132729 A CN 116132729A CN 202211722125 A CN202211722125 A CN 202211722125A CN 116132729 A CN116132729 A CN 116132729A
- Authority
- CN
- China
- Prior art keywords
- video
- point
- optimal
- image
- key frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012544 monitoring process Methods 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 12
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000011410 subtraction method Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000003068 static effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000000746 purification Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种山体滑坡监测用全景视频拼接方法及系统，解码单元利用GPU进行多线程并行解码，减少解码时间；预处理模块进行畸变校正，消除图像帧的径向畸变和切向畸变，预处理模块进行特征点提取、提纯、匹配、计算最优单应性矩阵，并利用最优单应性矩阵将各个点对集映射到基准图像所在平面，尽可能地剔除不必要信息，预处理模块获取关键帧，有效去除静态画面；融合模块下采样关键帧，并获取关键帧的前景图像，动态更新最佳缝合线，全局优化视频拼接效果，融合模块将重叠区域分为三个部分，利用渐入渐出加权法完成融合，避免运动物体的干扰。上述方法的应用，既能大大减少不必要信息的拼接，提高拼接效率，又能避免动态物体的干扰，提高拼接质量。
Description
技术领域
本发明涉及山体滑坡监测的技术领域，特别是一种山体滑坡监测用全景视频拼接方法及系统。
背景技术
山体滑坡是指山体结构在外界环境的影响下沿着本身的不稳定结构面滑动，山体滑坡会威胁生命安全和财产安全，会阻碍经济发展和社会稳定。现有技术利用无人机装置对山体滑坡进行日常监测，其应用场景包括山体滑坡前、山体滑坡时以及山体滑坡后。
无人机装置工作时，利用视频采集装置采集现场的视频流，视频流通过飞控系统传输至地面站，用于获取山体现场状况。倘若所有的视频未加处理便传输至地面站，容量非常庞大，既容易引起传输堵塞，又无法为山体滑坡预测提供准确的现场信息。
视频由一帧帧的图像帧构成，视频拼接技术以图像拼接技术为基础。图像拼接是由视频采集装置中的各个摄像头在同一时刻、从不同视角采集具有一定重叠区域的图像组，经配准、对齐、再融合后，形成具有良好视觉效果的宽视场。而视频拼接是指将由多个视频采集装置中的各个摄像头在同一时刻、从不同视角采集具有一定重叠区域的小视场实时视频流或视频文件，经配准、对齐、融合后，形成具有高分辨率和宽视场的视频。
视频拼接因为存在许多不必要的信息而影响拼接质量，因为容易受动态物体的干扰而影响拼接效率。因此有必要提出一种能有效提高拼接效率和拼接质量的山体滑坡监测用全景视频拼接方法及系统。
发明内容
本发明提供一种山体滑坡监测用全景视频拼接方法及系统，解决现有技术存在的视频拼接质量差、效率低的问题。
一种山体滑坡监测用全景视频拼接方法，包括如下步骤：
(1)视频解码：
GPU接收各路视频流并进行多线程并行解码，得到解码后的视频流；
(2)视频预处理：
(21)对解码后的视频流进行畸变校正，得到无畸变视频流；
(22)针对每个无畸变视频流提取特征点，并剔除边缘点，得到特征点集，1个无畸变视频流对应得到1个特征点集；
(23)对于任意相邻的2个特征点集，为其中1个特征点集设置窗口参数，以所述窗口参数的中心点与另一个特征点集的各个点的欧氏距离判断匹配情况，提取匹配成功的点，得到特征点对集；每两个相邻的特征点集对应得到1个特征点对集；
(24)针对每个视频流的第一图像帧对应的特征点对集，将各个点对分成四组，在每组点对中，各个点对按照在预设的基准图像中的纵坐标大小排列，序号相同的点对组合计算得到单应性矩阵，误差值最小的单应性矩阵为最优单应性矩阵，存储所述最优单应性矩阵；利用所述最优单应性矩阵将所有特征点对集映射到预设的基准图像所在平面；
(25)针对每个完成映射的视频流，如当前视频流的帧率小于等于拼接后的视频帧率，则所有的图像帧为关键帧，执行步骤(3)；否则等间距提取图像帧序列，统计图像帧序列的灰度直方图，若前图像帧与上一图像帧的二值化后的帧间差异大于预设值，保留当前图像帧作为关键帧，否则丢弃；
(3)视频融合：
(31)对(25)的关键帧下采样，并使用MOG背景减除法获取前景图像，在相邻两个关键帧的重叠区域动态更新最佳缝合线；
(32)使用双线性插值法获取各相邻关键帧在原图像帧尺寸中的最佳缝合线；
(33)针对各个相邻两个关键帧，将重叠区域分为三部分，分别为左边界到所述最佳缝合线之间的区域，最佳缝合线到右边界的区域以及最佳缝合线本身，对所述三部分使用渐入渐出加权法融合；
(4)视频压缩：
将步骤(33)融合后的视频压缩，输出至外部飞控系统。
进一步地，步骤(22)中，针对每个无畸变视频流，利用SIFT特征提取算法提取特征点，并利用Roberts边缘检测算子剔除边缘点。
进一步地，针对每个特征点对集，如特征点对集中的点对数量小于预设值，则调整该特征点对集对应的外部视频采集装置的拍摄角度，执行(1)、(21)、(22)、(23)、(24)，计算得到新的最优单应性矩阵并存储；利用所述新的最优单应性矩阵将所有特征点对集映射到预设的基准图像所在平面。
进一步地，步骤(32)中，动态更新最佳缝合线的方法为：
(321)在相邻两个关键帧的重叠区域的前景图像中，最后一行中的每个像素点都对应一条缝合线的终点，对所述重叠区域中第一行各列的像素点计算累积相似度度量值，
(322)向下扩展，将每一行的当前点的相邻上一行的左上方、正上方和右上方的三个像素点处的累积相似度度量值进行比较，将差值最小的点与当前点连接，存储抵达当前点的传播方向并计算当前点的累积相似度度量值；
(323)遍历最后一行的各个累积相似度度量值，最小值即为最佳缝合线的终点。
进一步地，包括解码单元、视频拼接单元以及压缩单元；
解码单元，负责利用GPU对各视频流进行多线程并行解码；
视频拼接单元，包括预处理模块和融合模块；所述预处理模块负责提取、提纯和匹配特征点，负责计算和存储最优单应性矩阵，负责获取关键帧；所述融合模块负责下采样关键帧、获取关键帧前景图像、动态更新最佳缝合线以及融合关键帧；
压缩单元，负责压缩融合后的视频，并输出至外部飞控系统。
本发明的优点与效果是：
解码单元利用GPU进行多线程、并行解码，硬件解码结合并行解码，大大缩短解码时间，减少了实时拼接时间，提高拼接效率；视频拼接单元进行畸变校正，消除图像帧的径向畸变和切向畸变，为提高拼接质量提供基础；视频拼接单元进行特征点提取、提纯、匹配以及计算最优单应性矩阵，并利用最优单应性矩阵将各个点对集映射到基准图像所在平面，尽可能地剔除不必要的视频信息，既保证了拼接效率又保障了拼接质量；视频拼接单元以二值化后的帧间差异作为判断是否为关键帧的判断条件，可有效去除静态画面，避免进行不必要的视频拼接，进而提高拼接效率；视频拼接单元下采样关键帧，并获取关键帧的前景图像，动态更新最佳缝合线，全局优化视频拼接效果，提高拼接质量；视频拼接单元将重叠区域分为三个部分，利用渐入渐出加权法完成融合，即便有运动物体进入重叠区域，也能不影响拼接效果，进而保障拼接质量；压缩单元将融合视频压缩后再输出至外部飞控系统，还能保证传输质量，避免造成传输拥堵，确保无人机装置准确获取山体现场信息。
附图说明
图1为山体滑坡监测用全景视频拼接方法的流程图。
图2为山体滑坡监测用全景视频拼接系统的结构原理图。
具体实施方式
以下结合实施例对本发明作进一步说明，但本发明并不局限于这些实施例。
一种山体滑坡监测用全景视频拼接方法，包括如下步骤：
(1)视频解码：
GPU接收各路视频流并进行多线程并行解码，得到解码后的视频流；
(2)视频预处理：
(21)对解码后的视频流进行畸变校正，得到无畸变视频流；
(22)针对每个无畸变视频流提取特征点，并剔除边缘点，得到特征点集，1个无畸变视频流对应得到1个特征点集；
(23)对于任意相邻的2个特征点集，为其中1个特征点集设置窗口参数，以所述窗口参数的中心点与另一个特征点集的各个点的欧氏距离判断匹配情况，提取匹配成功的点，得到特征点对集；每两个相邻的特征点集对应得到1个特征点对集；
(24)针对每个视频流的第一图像帧对应的特征点对集，将各个点对分成四组，在每组点对中，各个点对按照在预设的基准图像中的纵坐标大小排列，序号相同的点对组合计算得到单应性矩阵，误差值最小的单应性矩阵为最优单应性矩阵，存储所述最优单应性矩阵；利用所述最优单应性矩阵将所有特征点对集映射到预设的基准图像所在平面；
(25)针对每个完成映射的视频流，如当前视频流的帧率小于等于拼接后的视频帧率，则所有的图像帧为关键帧，执行步骤(3)；否则等间距提取图像帧序列，统计图像帧序列的灰度直方图，若前图像帧与上一图像帧的二值化后的帧间差异大于预设值，保留当前图像帧作为关键帧，否则丢弃；
(3)视频融合：
(31)对(25)的关键帧下采样，并使用MOG背景减除法获取前景图像，在相邻两个关键帧的重叠区域动态更新最佳缝合线；
(32)使用双线性插值法获取各相邻关键帧在原图像帧尺寸中的最佳缝合线；
(33)针对各个相邻两个关键帧，将重叠区域分为三部分，分别为左边界到所述最佳缝合线之间的区域，最佳缝合线到右边界的区域以及最佳缝合线本身，对所述三部分使用渐入渐出加权法融合；
(4)视频压缩：
将步骤(33)融合后的视频压缩，输出至外部飞控系统。
视频解码方式包括CPU+单线程轮询、CPU+多线程并行以及GPU+多线程并行。GPU为图像处理单元，采用GPU+多线程并行的解码方式，其解码时间是CPU+单线程轮询的
是CPU+多线程并行的
可见，GPU的硬件解码相对于CPU的软件解码，可缩短解码时间，保证视频流解码的实时性，因此，本发明使用GPU+多线程并行进行硬件解码。
视频采集装置采集到的视频流通常包含径向畸变和切向畸变，使得拍摄到的内容发生失真，视频流经畸变校正后才能进行特征点的提取和提纯，否则严重影响视频拼接的质量。畸变校正是结合摄像头标定的内参矩阵、畸变系数以及畸变校正模型来进行校正，畸变校正是畸变图像和理想无畸变图像之间的一种映射变换方法。畸变校正为现有技术，具体方法为：选标定物；为标定物拍摄不同视觉下的图片；提取特征点；估算理想无畸变时摄像头的内外参数；利用最小二乘法估算实际的畸变系数；利用极大似然法优化估计。
在进行图像配准前，需要以其中一张图像作为基准图像，将其他图像投影映射到该基准图像所在的平面上进行对齐、拼接、融合，从而得到具有视觉一致性且效果良好的全景视频图像。因此，需要对提取到的特征点进行提取、提纯、匹配和映射。
关于特征点的提取和提纯在步骤(22)中给出介绍，针对每个解码后的视频流，利用SIFT特征提取算法提取特征点，并利用Roberts边缘检测算子剔除边缘点。
SIFT特征提取算法在应对平移、旋转、缩放、光照变化和噪声方面尤为优异，其步骤为：
(221)构建高斯差分尺度空间：对同一张图像进行不同尺度的高斯卷积和下采样，得到一张图像在不同尺寸上的标示，即高斯差分金字塔；
(222)搜索定位高斯差分尺度空间的特征点：针对高斯差分尺度空间，将每个像素点与其周围26个相邻像素点的灰度值比较，如该像素点的灰度值为最大值或者最小值，则该像素点为特征点；采用泰勒展开式求解，进一步细化特征点的位置；边缘效应处理，获取更稳定的特征点；
(223)特征点的方向赋值：按需创建一个范围(例如0-2π)的方向直方图统计领域中各个方向出现的频数，最大频数对应的方向为特征点的主方向，大于最大频数80％的方向为特征点的辅方向；
(224)剔除边缘点：针对所有特征点，利用Roberts边缘检测算子剔除边缘点；
(225)生成特征点描述子：针对已经剔除边缘点后的每个特征点，以特征点为中心选取一定领域(例如16×16)，分成4×4的子区域，将领域旋转至特征点的主方向，对每个子区域统计各个梯度方向，得到种子点，生成SIFT特征向量。
Roberts边缘检测算子用于剔除边缘点，即不必要的特征点，具体方法为：针对每个特征点，获取其Hessian矩阵，Hessian矩阵的一个特征值远大于另一个特征值，则认为该点为边缘点，剔除该特征点，否则保留该特征点。
关于特征点的匹配在步骤(23)中给出介绍，窗口参数按需设置，可大可小，本发明以5路摄像头的视频流作为处理对象，窗口参数选择16×16正方形，针对每个正方形单元，从图像帧的中心单元开始进行特征点匹配，再从次中心点进行特征点匹配，直至匹配成功的超过阈值(经验值)或者已检测特征点数/总特征点数大于0.7。如果无法实现，则调整窗口参数大小，重新迭代，直至满足结束条件。
关于图像的映射在步骤(24)给出介绍，以其中一张图像作为基准图像，利用最优单应性矩阵将其他图像帧映射到基准图像所在的平面，便于开展下一步的融合工作。为避免因为关键帧过少影响拼接质量，本发明进一步增加关键帧的判断条件：针对每个视频流的第一图像帧对应的特征点对集，如特征点对集中的点对数量小于预设值，则调整该特征点对集对应的外部视频采集装置的拍摄角度，执行(1)、(21)、(22)、(23)、(24)，计算得到新的最优单应性矩阵并存储；利用所述新的最优单应性矩阵将所有特征点对集映射到预设的基准图像所在平面。增加关键帧判断条件，重新计算最优单应性矩阵，可进一步提升匹配的准确度，帮助提高视频拼接质量。
关于提取关键帧在步骤(25)给出介绍，由于输入视频帧率与最大输出视频帧率不匹配，即视频流中可能存在静态画面，需要对输入视频流进行关键帧提取，避免非必要的图像拼接工作引发拼接效率低的问题。对于静态画面场景，源视频存在大量非关键帧，丢弃非关键帧，仅对起始帧进行拼接，解决源视频帧率与拼接后的视频帧率差异大的问题，提高拼接效率。灰度直方图是指将图像的灰度级划分成若各个等分区间，统计图像中每个区间像素值的个数，一定程度上可以反映图像的灰度特性。以当前图像帧与上一图像帧的二值化后的帧间差异作为判断依据，可大大减少不必要的图像拼接，提高拼接效率的同时又不降低拼接质量。
按一定间隔取样关键帧，即下采样，目的是以减小图像尺寸的方式降低后续拼接的计算量，以提高视频拼接的效率。由于实际拍摄的视频流容易受到运动物体的影响，导致视频中的背景画面产生较大变化，因此需要使用MOG背景减除法获取每个关键帧的前景图像，再根据前景图像判断当前视频图像是否需要更新最佳缝合线，接着使用改进渐入渐出加权法平滑过渡区域，最终得到了具有良好视觉效果的无缝融合图像。
MOG背景减除法指的是混合高斯背景减除法，具体步骤为：
(311)针对每个下采样的关键帧，针对每个关键帧中的像素点，获取该像素点的像素值变化值，使用多个，例如3个，独立的高斯分布组成的混合高斯模型表示其概率密度函数，在各个时刻下，像素值变化值集合中的各个像素分别与混合高斯模型的均值偏差进行匹配，获取各个高斯分量的权重；
(312)更新完所有关键帧中所有像素的模型后，权重最大且标准差最小的模式排在最前，前一定数量模式与背景比例的阈值比较，达到一定比例的，便认定为是背景像素点，否则认定为前景像素点。前景像素点组成的图像帧即为前景图像。背景比例阈值和比例均为经验值，可根据需求进行调整。
视频拼接时，如果有运动物体穿过缝合线，那么拼接的视频图像会出现重影、错位、模糊以及拼接缝的问题，因此有必要在重叠区域动态更新最佳缝合线。步骤(32)中，动态更新最佳缝合线的方法为：
(321)在相邻两个关键帧的重叠区域的前景图像中，最后一行中的每个像素点都对应一条缝合线的终点，对所述重叠区域中第一行各列的像素点计算累积相似度度量值，
(322)向下扩展，将每一行的当前点的相邻上一行的左上方、正上方和右上方的三个像素点处的累积相似度度量值进行比较，将差值最小的点与当前点连接，存储抵达当前点的传播方向并计算当前点的累积相似度度量值；
(323)遍历最后一行的各个累积相似度度量值，最小值即为最佳缝合线的终点。
在所有的相邻两个关键帧的重叠区域都获取了最佳缝合线之后，需使用双线性插值法获取各相邻关键帧在原图像帧中的最佳缝合线，便于完成最后阶段的视频融合。双线性插值法是指在两个方向上基于线性距离进行插值。双线性插值法计算量小，插值后得到的图像质量较高。渐入渐出加权法为现有技术，重叠区域不同像素点所占权重大小与其到重叠区域边界的距离有关。
本发明提供的视频融合方法，首先通过基于混合高斯模型的背景减除法来获得视频中运动物体的前景图像，然后根据前景图像判断当前视频图像是否需要更新最佳缝合线，接着使用改进渐入渐出加权法平滑过渡区域，最终得到了具有良好视觉效果的无缝融合图像，可以避免发生最佳缝合线出现运动物体时视频不能完整准确展示真实场景的情况发生，还能消除基于最佳缝合线拼接时产生的拼接缝，大大提高了拼接质量。
未经压缩的视频流存在大量冗余信息，需要大量带宽进行传输，无法正常传输，而相邻图像帧的相关性强，因此完成融合的视频应当经压缩后再由飞控系统进行下一步处理。为节省系统的处理时间，本发明压缩环节采用硬件完成视频压缩，能减轻系统的工作负担，还能提高图像的压缩质量，使得再现的图像足够清晰。在硬件上主要包括压缩芯片和数据存储器。
实现上述方法的一种山体滑坡监测用全景视频拼接系统，包括解码单元、视频拼接单元以及压缩单元；解码单元，负责利用GPU对各视频流进行多线程并行解码；视频拼接单元，包括预处理模块和融合模块；所述预处理模块负责提取、提纯和匹配特征点，负责计算和存储最优单应性矩阵，负责获取关键帧；所述融合模块负责下采样关键帧、获取关键帧前景图像、动态更新最佳缝合线以及融合关键帧；压缩单元，负责压缩融合后的视频，并输出至外部飞控系统。
Claims (5)
1.一种山体滑坡监测用全景视频拼接方法，其特征在于，包括如下步骤：
(1)视频解码：
GPU接收各路视频流并进行多线程并行解码，得到解码后的视频流；
(2)视频预处理：
(21)对解码后的视频流进行畸变校正，得到无畸变视频流；
(22)针对每个无畸变视频流提取特征点，并剔除边缘点，得到特征点集，1个无畸变视频流对应得到1个特征点集；
(23)对于任意相邻的2个特征点集，为其中1个特征点集设置窗口参数，以所述窗口参数的中心点与另一个特征点集的各个点的欧氏距离判断匹配情况，提取匹配成功的点，得到特征点对集；每两个相邻的特征点集对应得到1个特征点对集；
(24)针对每个视频流的第一图像帧对应的特征点对集，将各个点对分成四组，在每组点对中，各个点对按照在预设的基准图像中的纵坐标大小排列，序号相同的点对组合计算得到单应性矩阵，误差值最小的单应性矩阵为最优单应性矩阵，存储所述最优单应性矩阵；利用所述最优单应性矩阵将所有特征点对集映射到预设的基准图像所在平面；
(25)针对每个完成映射的视频流，如当前视频流的帧率小于等于拼接后的视频帧率，则所有的图像帧为关键帧，执行步骤(3)；否则等间距提取图像帧序列，统计图像帧序列的灰度直方图，若前图像帧与上一图像帧的二值化后的帧间差异大于预设值，保留当前图像帧作为关键帧，否则丢弃；
(3)视频融合：
(31)对(25)的关键帧下采样，并使用MOG背景减除法获取前景图像，在相邻两个关键帧的重叠区域动态更新最佳缝合线；
(32)使用双线性插值法获取各相邻关键帧在原图像帧尺寸中的最佳缝合线；
(33)针对各个相邻两个关键帧，将重叠区域分为三部分，分别为左边界到所述最佳缝合线之间的区域，最佳缝合线到右边界的区域以及最佳缝合线本身，对所述三部分使用渐入渐出加权法融合；
(4)视频压缩：
将步骤(33)融合后的视频压缩，输出至外部飞控系统。
2.根据权利要求1所述的一种山体滑坡监测用全景视频拼接方法，其特征在于：
步骤(22)中，针对每个无畸变视频流，利用SIFT特征提取算法提取特征点，并利用Roberts边缘检测算子剔除边缘点。
3.根据权利要求1所述的一种山体滑坡监测用全景视频拼接方法，其特征在于：
针对每个特征点对集，如特征点对集中的点对数量小于预设值，则调整该特征点对集对应的外部视频采集装置的拍摄角度，执行(1)、(21)、(22)、(23)、(24)，计算得到新的最优单应性矩阵并存储；利用所述新的最优单应性矩阵将所有特征点对集映射到预设的基准图像所在平面。
4.根据权利要求1所述的一种山体滑坡监测用全景视频拼接方法，其特征在于：
步骤(32)中，动态更新最佳缝合线的方法为：
(321)在相邻两个关键帧的重叠区域的前景图像中，最后一行中的每个像素点都对应一条缝合线的终点，对所述重叠区域中第一行各列的像素点计算累积相似度度量值，
(322)向下扩展，将每一行的当前点的相邻上一行的左上方、正上方和右上方的三个像素点处的累积相似度度量值进行比较，将差值最小的点与当前点连接，存储抵达当前点的传播方向并计算当前点的累积相似度度量值；
(323)遍历最后一行的各个累积相似度度量值，最小值即为最佳缝合线的终点。
5.实现权利要求1所述方法的一种山体滑坡监测用全景视频拼接系统，其特征在于：
包括解码单元、视频拼接单元以及压缩单元；
解码单元，负责利用GPU对各视频流进行多线程并行解码；
视频拼接单元，包括预处理模块和融合模块；所述预处理模块负责提取、提纯和匹配特征点，负责计算和存储最优单应性矩阵，负责获取关键帧；所述融合模块负责下采样关键帧、获取关键帧前景图像、动态更新最佳缝合线以及融合关键帧；
压缩单元，负责压缩融合后的视频，并输出至外部飞控系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722125.6A CN116132729A (zh) | 2022-12-30 | 2022-12-30 | 一种山体滑坡监测用全景视频拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722125.6A CN116132729A (zh) | 2022-12-30 | 2022-12-30 | 一种山体滑坡监测用全景视频拼接方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116132729A true CN116132729A (zh) | 2023-05-16 |
Family
ID=86307386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211722125.6A Pending CN116132729A (zh) | 2022-12-30 | 2022-12-30 | 一种山体滑坡监测用全景视频拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116132729A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612390A (zh) * | 2023-07-21 | 2023-08-18 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
-
2022
- 2022-12-30 CN CN202211722125.6A patent/CN116132729A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612390A (zh) * | 2023-07-21 | 2023-08-18 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
| CN116612390B (zh) * | 2023-07-21 | 2023-10-03 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
| CN101276465B (zh) | 广角图像自动拼接方法 | |
| CN101540046B (zh) | 基于图像特征的全景图拼接方法和装置 | |
| CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| WO2022062346A1 (zh) | 图像增强方法、装置及电子设备 | |
| CN111445389A (zh) | 一种高分辨率图像的宽视角快速拼接方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| EP2023596A2 (en) | Apparatus and program for producing as panoramic image | |
| CN112261387B (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
| CN112365404B (zh) | 一种基于多相机的接触网全景图像拼接方法、系统及设备 | |
| TWI639136B (zh) | 即時視訊畫面拼接方法 | |
| CN102857739A (zh) | 分布式全景监控系统及其方法 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN111147768A (zh) | 一种提高回看效率的智能监控视频回看方法 | |
| WO2023217046A1 (zh) | 图像处理方法及装置、非易失性可读存储介质、电子设备 | |
| CN110555866A (zh) | 一种改进kcf特征描述符的红外目标跟踪方法 | |
| CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
| CN116132729A (zh) | 一种山体滑坡监测用全景视频拼接方法及系统 | |
| CN110658918B (zh) | 用于视频眼镜的眼球追踪相机的定位方法、设备及介质 | |
| CN113822927B (zh) | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 | |
| CN115314635A (zh) | 用于离焦量确定的模型训练方法及装置 | |
| CN112465702B (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 | |
| CN113938578B (zh) | 一种图像虚化方法、存储介质及终端设备 | |
| CN117114997A (zh) | 基于缝合线搜索算法的图像拼接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |