CN115222591A - 相机设备参数无关的快速多目鱼眼图像及视频拼接方法 - Google Patents
相机设备参数无关的快速多目鱼眼图像及视频拼接方法 Download PDFInfo
- Publication number
- CN115222591A CN115222591A CN202210713947.1A CN202210713947A CN115222591A CN 115222591 A CN115222591 A CN 115222591A CN 202210713947 A CN202210713947 A CN 202210713947A CN 115222591 A CN115222591 A CN 115222591A
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- camera
- video
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000003702 image correction Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 4
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 claims description 3
- 208000029618 autoimmune pulmonary alveolar proteinosis Diseases 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种相机设备参数无关的快速多目鱼眼图像及视频拼接方法，包括以下步骤：S1、对鱼眼相机拍摄的鱼眼图像进行预处理，所述预处理包括图像校正和镜头间视差优化；S2、采用基于网格变换的方法对预处理后的图像进行配准；S3、对图像配准进行优化；S4、进行动态视频拼接，获得全景图像和视频。本发明计算复杂度较低，能够快速捕获相机周围的场景信息，可有效提高图像及视频拼接的准确性、适应性和计算效率，有利于与计算机视觉和计算机图形学等计算机任务相结合；本发明的方法适用范围广、鲁棒性强，在不同类型的自然场景下，依然能够实现高精度的全景拼接质量，能够应用于对全景图像及视频质量要求较高的相关计算机应用。
Description
技术领域
本发明涉及计算机视觉和计算机图形学领域，特别涉及一种相机设备参数无关的快速多目鱼眼图像及视频拼接方法。
背景技术
鱼眼相机具有多个镜头，同时可拍摄多张多个角度的鱼眼图像，组合起来能够覆盖全方位视野。由于相机供应商提供的拼接算法和软件通常是离线的且绑定于不公开的相机硬件参数设置，无法满足实时和多设备兼容的应用需求。因此研究一种相机设备参数无关的快速鱼眼图像及视频拼接方法是十分必要的。
由于鱼眼图像存在严重的内容畸变和边界不规整等问题，提高图像拼接的对齐精度和计算效率一直是国内外的研究热点。近年来，深度学习在计算机视觉领域得到了广泛的应用，一些研究会设计卷积神经网络来拼接图像。虽然基于深度学习的方法可以减少人为设计特征的不完备性，但主要存在两个问题：一是适应性差，待拼接图像类型受数据集限制，基于深度学习的方法很难在复杂场景下拼接多张图像；二是计算效率较低，基于深度学习的方法需要消耗巨大的计算资源，对硬件设备的要求高。还有一些研究者使用非深度学习方法将单个全局配准模型分解为多个局部配准模型，包括基于网格对齐法和基于超像素分割法。这类方法的鲁棒性虽好，能够在复杂场景下依然保持较好的拼接效果。但是，现有基于非深度学习方法的算法不适用于拼接有畸变的鱼眼图像，拼接后的全景图像容易出现重叠伪影和不规则的图像边界。鱼眼视频是拍摄内容随时间变化的一组鱼眼图像序列，在处理视频拼接的任务上，现有算法致力于降低拼接过程中的内容抖动，无法很好地平衡视频拼接过程中的内容质量与计算效率。
所以现在有必要对现有技术进行改进，以提供一种可靠的方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种。
为解决上述技术问题，本发明采用的技术方案是：一种相机设备参数无关的快速多目鱼眼图像及视频拼接方法，包括以下步骤：
S1、对鱼眼相机拍摄的鱼眼图像进行预处理，所述预处理包括图像校正和镜头间视差优化；
S2、采用基于网格变换的方法对预处理后的图像进行配准；
S3、采用由特征对齐项Qa(W)、局部结构保留项Ql(W)以及边界规整项Qb(W)组成的图像约束项QT(W)约束网格变换的自由度，对图像配准进行优化；
S4、进行动态视频拼接，获得全景图像和视频。
优选的是，所述步骤S1中的图像校正方法具体包括以下步骤：
S1-1-1、基于扫描线法提取鱼眼图像的有效区域；
S1-1-2、将有效区域的平面坐标P映射到球面坐标S；
S1-1-3、将球面坐标S投影到正交平面坐标O中，从而获得校正后的鱼眼图像。
所述步骤S1中的镜头间视差优化方法具体包括以下步骤：
S1-2-1、计算相机的视差最小允许距离d：
其中，r表示相机的最小内接半径，β＝(γ-π)/2，γ表示相机镜头的视场角；
S1-2-2、在水平方向上裁剪图像，使得在水平视场角γ减小至180°，即使得距离d为无穷大；
S1-2-3、将第一张鱼眼图像延水平方向二等分，并分别准备与第二张和最后一张鱼眼图像拼接，其余鱼眼图像按原顺序依次拼接。
优选的是，所述步骤S2具体包括：
S2-1、基于ORB或SIFT特征点检测算法提取经步骤S2处理后的鱼眼图像中的特征点；
S2-2、使用RANSAC算法建立相邻鱼眼图像之间的特征点匹配关系并剔除错误的特征点；
S2-3、将鱼眼图像划分为多个矩形子图像；
S2-4、基于直接线性变换算法计算初始网格顶点W的局部单应性矩阵；
S2-5、计算网格顶点的映射位置V并配准图像。
优选的是，所述步骤S3中，对图像配准进行优化后得到的网格顶点的映射位置V由稀疏线性求解器计算，计算公式如下：
V＝argminQT(W)＝argmin(Qa(W)+Ql(W)+Qb(W))。
优选的是，其中，Qa(W)的计算方法为：
(1)遍历与图像Ii有重叠区域的图像Ij，Ij∈N(Ii)；N表示判断是否有重叠区域的函数；
(2)根据步骤S2中特征点的位置计算图像Ii、Ij的匹配网格Mij；
(3)根据APAP算法计算匹配图像Ii、Ij中网格顶点wi、wj的权重因子αi、αj；其中，权重因子决定了网格顶点配准后位置；
(4)按照以下公式计算Qa(W)：
其中，I表示所有鱼眼图像的集合，i、j表示鱼眼图像的索引，k表示中任意一个匹配网格。
优选的是，其中，Ql(W)的计算方法为：
(1)计算初始图像Ii中的网格边集合E及图像配准后的网格边集合F；
(2)根据E中网格边的位置计算每条网格边的权重αl，其中，靠近图像中心的权重越高，靠近图像边界的权重越低；
(3)根据网格中各个网格边的空间位置关系计算网格的相似性变换矩阵T；
(4)按照以下公式计算Ql(W)：
其中，e表示E中任意一条配准前的网格边，f表示F中任意一条配准后的网格边，表示具有匹配关系的e和f，k表示中任意一个匹配网格边。
优选的是，其中，Qb(W)的计算方法为：
(1)提取配准后的网格边界处所有顶点，保证全景图像每条边Bc上的顶点
均与其所在边的中点
在竖直方向或水平方向对齐；
其中，c＝1,2,3,4，Bc包括左侧边B1，右侧边B2，上侧边B3，下侧边B4；
其中，为保证全景图像内容的连续性，B1与B2上对应的网格顶点需要在水平方向上对齐；
(3)按照以下公式计算Qb(W)：
其中，
表示左侧边B1上的顶点，
表示右侧边B2上的顶点。
优选的是，所述步骤S4具体包括：
S4-1、计算时序平滑项Qs(W)；
S4-1-1、根据相邻两个视频帧中的特征点数目Nt-1,Nt计算权重因子αs＝Nt-1/Nt；t表示视频中索引为t的视频帧；
S4-1-2、按照以下公式计算Qs(W)：
其中，I表示所有鱼眼图像的集合，i表示鱼眼图像的索引，Wi表示图像Ii中所有网格顶点，wk表示Wi中任意一个网格顶点；
S4-2、判断视频帧间是否可以共享拼接参数，具体步骤如下：
S4-2-1、计算当前视频帧的平均梯度τ；
S4-2-2、根据相机校正算法计算相机的内参K；
S4-2-3、根据相邻视频帧中检测出的特征点生成相机的本征矩阵E；
S4-2-4、利用SfM三维重建算法计算相机的外参矩阵M:
M＝[R|T]＝D(E,K)
其中，函数D(E,K)表示本征图像分解，相机位移L通过计算平移矩阵T的F-范数得到，平移矩阵T通过上述外参矩阵M得到；
其中，R表示相机的旋转矩阵；
如果τ和L小于预先设定的阈值，则说明相机位移较小，视频帧间内容差异不大，此时，重复利用上一帧的拼接参数对当前视频帧进行拼接；
S4-3、完成动态视频拼接，获得全景图像和视频。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是：
本发明提供了相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其计算复杂度较低，能够快速捕获相机周围的场景信息，可有效提高图像及视频拼接的准确性、适应性和计算效率，有利于与计算机视觉和计算机图形学等计算机任务相结合；
本发明中采用了基于网格变换的鱼眼图像配准算法和视频关键帧参数共享算法，本发明的方法适用范围广、鲁棒性强，在不同类型的自然场景下，依然能够实现高精度的全景拼接质量，能够应用于对全景图像及视频质量要求较高的相关计算机应用。
附图说明
图1为本发明的相机设备参数无关的快速多目鱼眼图像及视频拼接方法的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
参照图1，本实施例的一种相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其总体思路为：
为了降低鱼眼图像拼接的难度，鱼眼相机拍摄的鱼眼图像首先需要经过图像预处理，包括鱼眼图像校正和镜头间视差优化；之后，采用基于网格变换的方法来配准多张预处理后的图像；为了提高图像的配准质量，本发明创新设计了三种能量函数来约束网格变换的自由度；最后，将鱼眼图像拼接方法拓展到视频拼接任务中，在不同视频帧之间共享拼接参数，以便快速地获取动态场景信息。
本发明提供的方法具体包括以下步骤：
S1、对鱼眼相机拍摄的鱼眼图像进行预处理，所述预处理包括图像校正和镜头间视差优化。
S1-1、图像校正：
在获得更大视野范围的同时，鱼眼图像会产生严重的桶型畸变，这非常不利于相邻图像间的图像拼接。鱼眼图像校正有助于消除桶形畸变，减轻后续图像拼接的难度，具体步骤如下：
S1-1-1、基于扫描线法提取鱼眼图像的有效区域；
S1-1-2、将有效区域的平面坐标P映射到球面坐标S；
S1-1-3、将球面坐标S投影到正交平面坐标O中，从而获得校正后的鱼眼图像。
在使用同一款鱼眼相机的情况下，校正参数是相同的。因此，鱼眼图像校正算法只需要预计算一次，并把校正参数保留至本地用于后续图像拼接。
S1-2、镜头间视差优化：
摄物体距离相机越近，相邻镜头拍摄的图像视差越大。当拍摄物体距离相机特别近的时候，物体可能只被一个镜头拍到。这种情况下，图像拼接可能会失败并产生严重的伪影。为了避免这种情况发生，本发明设计了一种巧妙的镜头间视差优化方法，具体步骤如下：
S1-2-1、计算相机的视差最小允许距离d：
其中，r表示相机的最小内接半径，β＝(γ-π)/2，γ表示相机镜头的视场角；
S1-2-2、在水平方向上裁剪图像，使得在水平视场角γ减小至180°，即使得距离d为无穷大(d＝+∞)；
S1-2-3、将第一张鱼眼图像延水平方向二等分，并分别准备与第二张和最后一张鱼眼图像拼接，其余鱼眼图像按原顺序依次拼接，不作其它处理；从而后便实现了镜头间的视差优化。
S2、采用基于网格变换的方法对预处理后的图像进行配准。
对预处理后的鱼眼图像进行配准，如果使用单个全局的单应性矩阵配准相邻图像，无法保证图像中每个像素都能对齐正确；如果每个像素都计算一个局部的单应性矩阵，则会导致计算复杂度过高，无法满足实时应用的需求。为了平衡配准的准确率和效率问题，本发明采用基于网格变换的方法，将图像均匀划分为多个矩形子区域，每个子区域都单独设计一个单应性矩阵来配准图像，具体步骤如下：
S2-1、基于ORB或SIFT特征点检测算法提取经步骤S2处理后的鱼眼图像中的特征点；
S2-2、使用RANSAC算法建立相邻鱼眼图像之间的特征点匹配关系并剔除错误的特征点；
S2-3、将鱼眼图像划分为多个矩形子图像；
S2-4、基于直接线性变换算法计算初始网格顶点W的局部单应性矩阵；
S2-5、计算网格顶点的映射位置V并配准图像。
S3、采用由特征对齐项Qa(W)、局部结构保留项Ql(W)以及边界规整项Qb(W)组成的图像约束项QT(W)约束网格变换的自由度，对图像配准进行优化。
由于图像内容通常较为复杂且不同环境拍摄的图像差异较大，若使网格内的图像相对独立，则不可避免会导致图像结构产生严重的变形和失真。为了解决这个问题，本发明创新设计了三个约束项来控制网格变换的自由度，进而优化图像配准质量；图像约束项QT(W)由特征对齐项Qa(W)、局部结构保留项Ql(W)以及边界规整项Qb(W)组成，最终对图像配准进行优化后得到的网格顶点的映射位置V由稀疏线性求解器计算，计算公式如下：
V＝argminQT(W)＝argmin(Qa(W)+Ql(W)+Qb(W))。
S3-1、计算Qa(W)
其中，Qa(W)的作用在于将相邻图像间重叠区域内的网格对齐，有助于提高配准的准确性，消除拼接后的图像伪影，具体步骤如下：
(1)遍历与图像Ii有重叠区域的图像Ij，Ij∈N(Ii)；N表示判断是否有重叠区域的函数；
(2)根据步骤S2中特征点的位置计算图像Ii、Ij的匹配网格Mij；
(3)根据APAP算法计算匹配图像Ii、Ij中网格顶点wi、wj的权重因子αi、αj；其中，权重因子决定了网格顶点配准后位置；
(4)按照以下公式计算Qa(W)：
其中，I表示所有鱼眼图像的集合，i、j表示鱼眼图像的索引，k表示中任意一个匹配网格。
S3-2、计算Ql(W)
由于步骤1中的鱼眼图像校正只能近似消除桶形畸变，只添加Qa(W)会导致每个网格变换的幅度不一致，进而造成图像变形严重。为了避免全景拼接过程中的失真，本发明添加Ql(W)来约束网格变换的自由度，使得配准后的网格尽可能保持原有的几何结构，具体步骤如下：
(1)计算初始图像Ii中的网格边集合E及图像配准后的网格边集合F；
(2)根据E中网格边的位置计算每条网格边的权重αl，其中，靠近图像中心的权重越高，靠近图像边界的权重越低；
(3)根据网格中各个网格边的空间位置关系计算网格的相似性变换矩阵T；
(4)按照以下公式计算Ql(W)：
其中，e表示E中任意一条配准前的网格边，f表示F中任意一条配准后的网格边，表示具有匹配关系的e和f，k表示中任意一个匹配网格边。
S3-3、计算Qb(W)
现有拼接算法只能保证图像内容的完整性，而不能保证图像边界的规整性和内容的连续性；当全景图像映射到三维空间时，视觉上的内容不连续会严重影响用户的沉浸感。为了解决上述问题，本发明添加了Qb(W)来优化图像边界的位置，具体步骤如下：
(1)提取配准后的网格边界处所有顶点，保证全景图像每条边Bc上的顶点
均与其所在边的中点
在竖直方向或水平方向对齐；
其中，c＝1,2,3,4，Bc包括左侧边B1，右侧边B2，上侧边B3，下侧边B4；
其中，为保证全景图像内容的连续性，B1与B2上对应的网格顶点需要在水平方向上对齐；
(3)按照以下公式计算Qb(W)：
其中，
表示左侧边B1上的顶点，
表示右侧边B2上的顶点。
S4、进行动态视频拼接，获得全景图像和视频。
若将上述多目鱼眼图像拼接算法简单地拓展到在视频拼接任务中的话主要会存在两个问题。一是视频帧的独立拼接会造成视频中内容抖动；二是每帧图像都要重复步骤4的算法，计算复杂度较高。为了解决上述问题，本发明提供的方法具体为：
S4-1、计算时序平滑项Qs(W)；
步骤S3中提出了三种图像约束项以提高在静态场景中图像拼接质量，进一步地，本发明将图像约束项拓展到视频约束项，为了保持视频帧间内容的连续性，每张图像的网格需要尽可能地在同一位置，因此本发明设计了Qs(W)来防止视频抖动同时保证每张全景图像的分辨率都是一致的，Qs(W)的具体计算步骤如下
S4-1-1、根据相邻两个视频帧中的特征点数目Nt-1,Nt计算权重因子αs＝Nt-1/Nt；t表示视频中索引为t的视频帧；
S4-1-2、保证相邻两个视频帧的网格顶点尽量不发生变化，按照以下公式计算Qs(W)：
其中，I表示所有鱼眼图像的集合，i表示鱼眼图像的索引，Wi表示图像Ii中所有网格顶点，wk表示Wi中任意一个网格顶点；
S4-2、判断视频帧间是否可以共享拼接参数：
由于相机的所有镜头的相对位置是固定的，理论上，所有视频帧都可以共享同一组拼接参数。然而，由于步骤S2中稀疏的特征点检测并不能提供所有图像像素的对应关系，每一帧建立的图像特征关系都是有差异的，所有视频帧共享同一组拼接参数会造成严重的累计误差。为了平衡视频拼接质量和计算效率，在拼接误差允许的范围内，在一定帧数范围内共享拼接参数，具体步骤如下：
S4-2-1、计算当前视频帧的平均梯度τ；
S4-2-2、根据相机校正算法计算相机的内参K；
S4-2-3、根据相邻视频帧中检测出的特征点生成相机的本征矩阵E；
S4-2-4、利用SfM三维重建算法计算相机的外参矩阵M:
M＝[R|T]＝D(E,K)
其中，函数D(E,K)表示本征图像分解，相机位移L通过计算平移矩阵T的F-范数得到，平移矩阵T通过上述外参矩阵M得到；
其中，R表示相机的旋转矩阵；
如果τ和L小于预先设定的阈值，则说明相机位移较小，视频帧间内容差异不大，此时，重复利用上一帧的拼接参数对当前视频帧进行拼接；
S4-3、完成动态视频拼接，获得全景图像和视频。
实施例2
本实施例提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。
实施例3
本实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。
Claims (10)
1.一种相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，包括以下步骤：
S1、对鱼眼相机拍摄的鱼眼图像进行预处理，所述预处理包括图像校正和镜头间视差优化；
S2、采用基于网格变换的方法对预处理后的图像进行配准；
S3、采用由特征对齐项Qa(W)、局部结构保留项Ql(W)以及边界规整项Qb(W)组成的图像约束项QT(W)约束网格变换的自由度，对图像配准进行优化；
S4、进行动态视频拼接，获得全景图像和视频。
2.根据权利要求1所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，所述步骤S1中的图像校正方法具体包括以下步骤：
S1-1-1、基于扫描线法提取鱼眼图像的有效区域；
S1-1-2、将有效区域的平面坐标P映射到球面坐标S；
S1-1-3、将球面坐标S投影到正交平面坐标O中，从而获得校正后的鱼眼图像。
所述步骤S1中的镜头间视差优化方法具体包括以下步骤：
S1-2-1、计算相机的视差最小允许距离d：
其中，r表示相机的最小内接半径，β＝(γ-π)/2，γ表示相机镜头的视场角；
S1-2-2、在水平方向上裁剪图像，使得在水平上视场角γ减小至180°，即使得距离d为无穷大；
S1-2-3、将第一张鱼眼图像沿水平方向二等分，并分别准备与第二张和最后一张鱼眼图像拼接，其余鱼眼图像按原顺序依次拼接。
3.根据权利要求2所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，所述步骤S2具体包括：
S2-1、基于ORB或SIFT特征点检测算法提取经步骤S2处理后的鱼眼图像中的特征点；
S2-2、使用RANSAC算法建立相邻鱼眼图像之间的特征点匹配关系并剔除错误的特征点；
S2-3、将鱼眼图像划分为多个矩形子图像；
S2-4、基于直接线性变换算法计算初始网格顶点W的局部单应性矩阵；
S2-5、计算网格顶点的映射位置V并配准图像。
4.根据权利要求3所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，所述步骤S3中，对图像配准进行优化后得到的网格顶点的映射位置V由稀疏线性求解器计算，计算公式如下：
V＝argminQT(W)＝argmin(Qa(W)+Ql(W)+Qb(W))。
5.根据权利要求4所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，其中，Qa(W)的计算方法为：
(1)遍历与图像Ii有重叠区域的图像Ij，Ij∈N(Ii)；N表示判断是否有重叠区域的函数；
(2)根据步骤S2中特征点的位置计算图像Ii、Ij的匹配网格Mij；
(3)根据APAP算法计算匹配图像Ii、Ij中网格顶点wi、wj的权重因子αi、αj；其中，权重因子决定了网格顶点配准后位置；
(4)按照以下公式计算Qa(W)：
其中，I表示所有鱼眼图像的集合，i、j表示鱼眼图像的索引，k表示Mij中任意一个匹配网格。
6.根据权利要求5所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，其中，Ql(W)的计算方法为：
(1)计算初始图像Ii中的网格边集合E及图像配准后的网格边集合F；
(2)根据E中网格边的位置计算每条网格边的权重αl，其中，靠近图像中心的权重越高，靠近图像边界的权重越低；
(3)根据网格中各个网格边的空间位置关系计算网格的相似性变换矩阵T；
(4)按照以下公式计算Ql(W)：
其中，e表示E中任意一条配准前的网格边，f表示F中任意一条配准后的网格边，Mef表示具有匹配关系的e和f，k表示Mef中任意一个匹配网格边。
7.根据权利要求6所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，其中，Qb(W)的计算方法为：
(1)提取配准后的网格边界处所有顶点，保证全景图像每条边Bc上的顶点
均与其所在边的中点
在竖直方向或水平方向对齐；
其中，c＝1,2,3,4，Bc包括左侧边B1，右侧边B2，上侧边B3，下侧边B4；
其中，为保证全景图像内容的连续性，B1与B2上对应的网格顶点需要在水平方向上对齐；
(3)按照以下公式计算Qb(W)：
其中，
表示左侧边B1上的顶点，
表示右侧边B2上的顶点。
8.根据权利要求7所述的相机设备参数无关的快速多目鱼眼图像及视频拼接方法，其特征在于，所述步骤S4具体包括：
S4-1、计算时序平滑项Qs(W)；
S4-1-1、根据相邻两个视频帧中的特征点数目Nt-1,Nt计算权重因子αs＝Nt-1/Nt；t表示视频中索引为t的视频帧；
S4-1-2、按照以下公式计算Qs(W)：
其中，I表示所有鱼眼图像的集合，i表示鱼眼图像的索引，Wi表示图像Ii中所有网格顶点，wk表示Wi中任意一个网格顶点；
S4-2、判断视频帧间是否可以共享拼接参数，具体步骤如下：
S4-2-1、计算当前视频帧的平均梯度τ；
S4-2-2、根据相机校正算法计算相机的内参K；
S4-2-3、根据相邻视频帧中检测出的特征点生成相机的本征矩阵E；
S4-2-4、利用SfM三维重建算法计算相机的外参矩阵M:
M＝[R|T]＝D(E,K)
其中，函数D(E,K)表示本征图像分解，相机位移L通过计算相机平移矩阵T的F-范数得到，平移矩阵T通过上述外参矩阵M得到；
其中，R表示相机的旋转矩阵；
如果τ和L小于预先设定的阈值，则说明相机位移较小，视频帧间内容差异不大，此时，重复利用上一帧的拼接参数对当前视频帧进行拼接；
S4-3、完成动态视频拼接，获得全景图像和视频。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如权利要求1-8中任意一项所述的方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210713947.1A CN115222591A (zh) | 2022-06-22 | 2022-06-22 | 相机设备参数无关的快速多目鱼眼图像及视频拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210713947.1A CN115222591A (zh) | 2022-06-22 | 2022-06-22 | 相机设备参数无关的快速多目鱼眼图像及视频拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115222591A true CN115222591A (zh) | 2022-10-21 |
Family
ID=83610642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210713947.1A Pending CN115222591A (zh) | 2022-06-22 | 2022-06-22 | 相机设备参数无关的快速多目鱼眼图像及视频拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222591A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645496A (zh) * | 2023-05-23 | 2023-08-25 | 北京理工大学 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
-
2022
- 2022-06-22 CN CN202210713947.1A patent/CN115222591A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645496A (zh) * | 2023-05-23 | 2023-08-25 | 北京理工大学 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| Tateno et al. | Distortion-aware convolutional filters for dense prediction in panoramic images | |
| CN108564617B (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| CA3018965C (en) | Efficient determination of optical flow between images | |
| CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
| US20240169674A1 (en) | Indoor scene virtual roaming method based on reflection decomposition | |
| CN107767339B (zh) | 一种双目立体图像拼接方法 | |
| CN115205489A (zh) | 一种大场景下的三维重建方法、系统及装置 | |
| CN111325828B (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
| Wan et al. | Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform | |
| CN115222591A (zh) | 相机设备参数无关的快速多目鱼眼图像及视频拼接方法 | |
| Lu et al. | Multiperspective image stitching and regularization via hybrid structure warping | |
| Bergmann et al. | Gravity alignment for single panorama depth inference | |
| Wang et al. | Model-aware pre-training for radial distortion rectification | |
| WO2023066143A1 (zh) | 全景图像的图像分割方法、装置、计算机设备和存储介质 | |
| CN114565516B (zh) | 一种融合传感器数据的安全壳表面区域鲁棒拼接方法 | |
| CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
| Gao et al. | Integrating TPS, cylindrical projection, and plumb-line constraint for natural stitching of multiple images | |
| Kang et al. | A highly accurate dense approach for homography estimation using modified differential evolution | |
| Pan et al. | Parallax-tolerant image stitching based on mesh optimization | |
| CN108830781B (zh) | 一种透视变换模型下的宽基线影像直线匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |