CN116452426A - 一种全景图拼接方法及装置 - Google Patents
一种全景图拼接方法及装置 Download PDFInfo
- Publication number
- CN116452426A CN116452426A CN202310718278.1A CN202310718278A CN116452426A CN 116452426 A CN116452426 A CN 116452426A CN 202310718278 A CN202310718278 A CN 202310718278A CN 116452426 A CN116452426 A CN 116452426A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- matching
- initialized
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种全景图拼接方法及装置，该方法包括：获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；提取每个初始化图像的二进制码特征；根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果；基于匹配结果确定每个初始化图像相邻图像之间的接缝；对初始化图像进行拼接前预处理，得到多个预处理图像；基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；输出拼接全景图。可见，该方法及装置能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种全景图拼接方法及装置。
背景技术
图像全景拼接是指将同一场景下，不同方位多个相机获得的多幅原图进行拼接，以获得一幅包含各方向图像信息的、宽视角场景的、完整的全景图像。现有的全景图拼接方法，通常利用特征点检测和匹配技术来对多幅图像进行对齐和拼接。然而，在实践中发现，现有方法直接采用高纬度特征进行特征匹配，需要更多的计算资源和时间，从而导致处理速度较慢，并且在拼接全景图像时，当拍摄的图像中存在透视变换时，直接对图像进行拼接会导致拼接后的全景图像出现视角畸变。可见，现有方法适用性差，对于大场景的处理速度较慢，图片拼接处理效率低，且存在视角畸变等情况的出现，降低了图片拼接质量，从而降低了。
发明内容
本申请实施例的目的在于提供一种全景图拼接方法及装置，能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。
本申请实施例第一方面提供了一种全景图拼接方法，包括：
获取图像采集区的多帧连续图像；并对所述多帧连续图像进行初始化，得到多个初始化图像；
提取每个所述初始化图像的二进制码特征；
根据预设的LSH算法和所述二进制码特征进行特征匹配，得到匹配结果；
基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝；
对所述初始化图像进行拼接前预处理，得到多个预处理图像；
基于预设的图像融合算法和所述接缝，对所述预处理图像进行融合处理，得到最终的拼接全景图；
输出所述拼接全景图。
在上述实现过程中，该方法可以优先获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；然后，提取每个初始化图像的二进制码特征；并根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果；再后，基于匹配结果确定每个初始化图像相邻图像之间的接缝；并对初始化图像进行拼接前预处理，得到多个预处理图像；最后，再基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；并输出拼接全景图。可见，该方法能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。
进一步地，所述提取每个所述初始化图像的二进制码特征，包括：
提取每个所述初始化图像的SIFT特征；
利用哈希算法对所述SIFT特征进行编码，得到每个所述初始化图像的二进制码特征。
进一步地，所述基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝，包括：
根据所述匹配结果，为所述每个所述初始化图像确定相对应的相似特征向量；
基于最近邻匹配方法获取与每个所述相似特征向量相对应的多个匹配对以及每个所述匹配对相对应的匹配分数；
根据所述匹配分数、预设的置信度阈值以及所述匹配，确定与每个所述相似特征向量相对应的目标匹配对集合；
根据所述目标匹配对集合估计同源矩阵；
根据所述同源矩阵和所述目标匹配对集合确定每个相似特征向量相对应的目标关键点对；
根据所述目标关键点对确定每个所述初始化图像相邻图像之间的接缝。
进一步地，所述对所述初始化图像进行拼接前预处理，得到多个预处理图像，包括：
根据预设的图像分辨率，调整每个所述初始化图像的图像大小，得到多个第一处理图像；
对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像；
对所述第二处理图像进行裁剪处理，得到多个预处理图像。
进一步地，所述对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像，包括：
获取预设的相机焦距比例因子；
根据多个所述第一处理图像生成输入图像列表；
根据所述相机焦距比例因子对所述输入图像列表中每张图片进行扭曲处理，得到目标图像列表；
获取所述目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩；
根据所述扭曲掩码和所述扭曲遮罩，计算所述目标图像列表中每张图片对应的ROI区域；
根据所述ROI区域对所述目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。
本申请实施例第二方面提供了一种全景图拼接装置，所述全景图拼接装置包括：
获取单元，用于获取图像采集区的多帧连续图像；并对所述多帧连续图像进行初始化，得到多个初始化图像；
提取单元，用于提取每个所述初始化图像的二进制码特征；
特征匹配单元，用于根据预设的LSH算法和所述二进制码特征进行特征匹配，得到匹配结果；
确定单元，用于基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝；
处理单元，用于对所述初始化图像进行拼接前预处理，得到多个预处理图像；
融合单元，用于基于预设的图像融合算法和所述接缝，对所述预处理图像进行融合处理，得到最终的拼接全景图；
输出单元，用于输出所述拼接全景图。
在上述实现过程中，该装置可以通过获取单元获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；通过提取单元提取每个初始化图像的二进制码特征；通过特征匹配单元来根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果；通过确定单元来基于匹配结果确定每个初始化图像相邻图像之间的接缝；通过处理单元对初始化图像进行拼接前预处理，得到多个预处理图像；通过融合单元基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；再通过输出单元输出拼接全景图。可见，该装置能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。
进一步地，所述提取单元包括：
提取子单元，用于提取每个所述初始化图像的SIFT特征；
编码子单元，用于利用哈希算法对所述SIFT特征进行编码，得到每个所述初始化图像的二进制码特征。
进一步地，所述确定单元包括：
第一确定子单元，用于根据所述匹配结果，为所述每个所述初始化图像确定相对应的相似特征向量；
获取子单元，用于基于最近邻匹配方法获取与每个所述相似特征向量相对应的多个匹配对以及每个所述匹配对相对应的匹配分数；
第二确定子单元，用于根据所述匹配分数、预设的置信度阈值以及所述匹配，确定与每个所述相似特征向量相对应的目标匹配对集合；
估计子单元，用于根据所述目标匹配对集合估计同源矩阵；
第三确定子单元，用于根据所述同源矩阵和所述目标匹配对集合确定每个相似特征向量相对应的目标关键点对；以及根据所述目标关键点对确定每个所述初始化图像相邻图像之间的接缝。
进一步地，所述处理单元包括：
调整子单元，用于根据预设的图像分辨率，调整每个所述初始化图像的图像大小，得到多个第一处理图像；
处理子单元，用于对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像；
所述处理子单元，还用于对所述第二处理图像进行裁剪处理，得到多个预处理图像。
进一步地，所述处理子单元包括：
获取模块，用于获取预设的相机焦距比例因子；
生成模块，用于根据多个所述第一处理图像生成输入图像列表；
处理模块，用于根据所述相机焦距比例因子对所述输入图像列表中每张图片进行扭曲处理，得到目标图像列表；
所述获取模块，还用于获取所述目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩；
计算模块，用于根据所述扭曲掩码和所述扭曲遮罩，计算所述目标图像列表中每张图片对应的ROI区域；
所述处理模块，还用于根据所述ROI区域对所述目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的全景图拼接方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的全景图拼接方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种全景图拼接方法的流程示意图；
图2为本申请实施例提供的另一种全景图拼接方法的流程示意图；
图3为本申请实施例提供的一种全景图拼接装置的结构示意图；
图4为本申请实施例提供的另一种全景图拼接装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本实施例提供了一种全景图拼接方法的流程示意图。其中，该全景图拼接方法包括：
S101、获取图像采集区的多帧连续图像。
S102、对多帧连续图像进行初始化，得到多个初始化图像。
S103、提取每个初始化图像的二进制码特征。
S104、根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果。
S105、基于匹配结果确定每个初始化图像相邻图像之间的接缝。
S106、对初始化图像进行拼接前预处理，得到多个预处理图像。
S107、基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图。
S108、输出拼接全景图。
本实施例中，该方法提出了一种全景图像拼接融合的方法，能够解决现有技术中存在的全景图像拼接处理速度慢，可能出现视角畸变和拼接边缘出现伪影的问题。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的全景图拼接方法，能够提高大场景拼接图像的效率，从而节省计算资源和时间；同时，还能够解决了视角畸变的问题；还能够解决拼接边缘的伪影问题。
实施例2
请参看图2，图2为本实施例提供了一种全景图拼接方法的流程示意图。其中，该全景图拼接方法包括：
S201、获取图像采集区的多帧连续图像。
本实施例中，该方法可以优先获取图像采集区的多帧连续图像。
S202、对多帧连续图像进行初始化，得到多个初始化图像。
本实施例中，该方法可以对图像进行初始化，从而将图像分辨率调整至合适大小。
S203、提取每个初始化图像的SIFT特征。
本实施例中，该方法可以提取图像SIFT特征。
在本实施例中，图像提取SIFT特征可用其他特征提取方法代替如SURF、ORB等。
S204、利用哈希算法对SIFT特征进行编码，得到每个初始化图像的二进制码特征。
本实施例中，该方法可以利用哈希对提取的SIFT特征进行编码，对每个描述子特征进行编码，将其转换为一个二进制码，用于后续的哈希处理。
S205、根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果。
本实施例中，该方法可以使用LSH对图像进行特征匹配。
在本实施例中，图像特征点匹配算法可用其他匹配方法代替包括RANSAC、LPM、LEP等。其中，替代方法速度会变慢，效率较低。
在本实施例中，使用哈希对SIFT特征进行编码可以提高图像匹配的速度，因为哈希可以将原始高维特征向量映射到低维二进制码中，从而减少了特征向量的存储和计算量。当使用哈希搜索进行图像匹配时，可以只比较哈希码的相似度，而不需要计算原始特征向量的距离，这样可以大大减少计算量，从而提高匹配速度。
在本实施例中，在该SIFT特征匹配中，使用Locality-Sensitive Hashing （LSH）将高维特征向量映射到多个低维二进制码中，从而实现局部敏感哈希，即相似的向量被映射到相同的哈希桶中的概率较高，而不相似的向量被映射到相同的哈希桶中的概率较低，在处理大量图像时，可以节省大量的计算资源和时间。
S206、根据匹配结果，为每个初始化图像确定相对应的相似特征向量。
S207、基于最近邻匹配方法获取与每个相似特征向量相对应的多个匹配对以及每个匹配对相对应的匹配分数。
S208、根据匹配分数、预设的置信度阈值以及匹配，确定与每个相似特征向量相对应的目标匹配对集合。
本实施例中，该方法可以根据置信度阈值，选择输入图像、特征和匹配的子集。
在本实施例中，对于每张输入图像，将其特征向量经过哈希映射后，在哈希桶中搜索相似的特征向量。对于每个特征向量，选择最近邻匹配方法，从而获得匹配对和相应的匹配分数。对于每个输入图像，根据匹配分数和置信度阈值，筛选出置信度较高的匹配对。这些匹配对表示输入图像之间的相似性，用于后续的图像拼接。
S209、根据目标匹配对集合估计同源矩阵。
S210、根据同源矩阵和目标匹配对集合确定每个相似特征向量相对应的目标关键点对。
S211、根据目标关键点对确定每个初始化图像相邻图像之间的接缝。
本实施例中，该方法可以寻找相邻图像之间的接缝。
S212、根据预设的图像分辨率，调整每个初始化图像的图像大小，得到多个第一处理图像。
在本实施例中，该方法可以调整输入图像大小到最终的分辨率。
S213、获取预设的相机焦距比例因子。
S214、根据多个第一处理图像生成输入图像列表。
S215、根据相机焦距比例因子对输入图像列表中每张图片进行扭曲处理，得到目标图像列表。
S216、获取目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩。
S217、根据扭曲掩码和扭曲遮罩，计算目标图像列表中每张图片对应的ROI区域。
S218、根据ROI区域对目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。
本实施例中，在全景图像拼接中，对拼接后的图像进行翘曲处理，以达到更好的拼接效果或者更好的视觉效果。
剧来说，上述处理翘曲的流程如下：
（1） 根据用于捕捉图像的相机的中位焦距来设置比例因子。其中，比例因子在扭曲过程中被用来调整输出图像的大小。
（2）对输入图像列表进行扭曲，每次扭曲一个图像。
（3）为一个图像尺寸创建掩码生成器，对每个掩码进行扭曲，生成器会逐一产生翘曲的掩码。
（4）创建一个指定尺寸的遮罩，使用掩码信息对图像进行扭曲。该方法返回扭曲的遮罩。
（5）对于每个遮罩，创建和扭曲遮罩。将指定的扭曲类型应用到遮罩上。
（6）计算扭曲图像的感兴趣区域（ROI），返回每张图像的ROI的角和尺寸。
（7）对图像进行扭曲变换，过程可以参考投影变换部分。
S219、对第二处理图像进行裁剪处理，得到多个预处理图像。
本实施例中，该方法可以裁剪被扭曲的图像，以消除黑边。
在本实施例中，该方法可以利用图像的融合技术将两个图像融合在一起。融合的技术使用图像加权平均。
在本实施例中，拼接后的全景图像转换为 RGBA 格式，并计算 alpha 值。在图像拼接过程中，可能会出现一些区域没有完全重叠的情况，这些区域的 alpha 值会小于 1，将这些区域的 alpha 值设为 0。这样可以将黑边的 alpha 值设置为 0，使其在后面的步骤中不会对图像产生影响。根据拼接图像的大小和拼接区域的位置，创建一个与拼接图像大小相同的掩膜。在掩膜中将拼接区域的像素值设置为 1，将其他区域的像素值设置为 0。接着，将 alpha 值应用于掩膜，将 alpha 值为 0 的区域的像素值也设置为 0。这样就可以去除伪影。
S220、基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图。
本实施例中，该方法可以沿着接缝处将裁剪后的图像混合在一起，形成最终的全景图，将最终的全景图作为输出返回。
S221、输出拼接全景图。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的全景图拼接方法，能够提高大场景拼接图像的效率，从而节省计算资源和时间；同时，还能够解决了视角畸变的问题；还能够解决拼接边缘的伪影问题。
实施例3
请参看图3，图3为本实施例提供的一种全景图拼接装置的结构示意图。如图3所示，该全景图拼接装置包括：
获取单元310，用于获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；
提取单元320，用于提取每个初始化图像的二进制码特征；
特征匹配单元330，用于根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果；
确定单元340，用于基于匹配结果确定每个初始化图像相邻图像之间的接缝；
处理单元350，用于对初始化图像进行拼接前预处理，得到多个预处理图像；
融合单元360，用于基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；
输出单元370，用于输出拼接全景图。
本实施例中，对于全景图拼接装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的全景图拼接装置，能够提高大场景拼接图像的效率，从而节省计算资源和时间；同时，还能够解决了视角畸变的问题；还能够解决拼接边缘的伪影问题。
实施例4
请参看图4，图4为本实施例提供的一种全景图拼接装置的结构示意图。如图4所示，该全景图拼接装置包括：
获取单元310，用于获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；
提取单元320，用于提取每个初始化图像的二进制码特征；
特征匹配单元330，用于根据预设的LSH算法和二进制码特征进行特征匹配，得到匹配结果；
确定单元340，用于基于匹配结果确定每个初始化图像相邻图像之间的接缝；
处理单元350，用于对初始化图像进行拼接前预处理，得到多个预处理图像；
融合单元360，用于基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；
输出单元370，用于输出拼接全景图。
作为一种可选的实施方式，提取单元320包括：
提取子单元321，用于提取每个初始化图像的SIFT特征；
编码子单元322，用于利用哈希算法对SIFT特征进行编码，得到每个初始化图像的二进制码特征。
作为一种可选的实施方式，确定单元340包括：
第一确定子单元341，用于根据匹配结果，为每个初始化图像确定相对应的相似特征向量；
获取子单元342，用于基于最近邻匹配方法获取与每个相似特征向量相对应的多个匹配对以及每个匹配对相对应的匹配分数；
第二确定子单元343，用于根据匹配分数、预设的置信度阈值以及匹配，确定与每个相似特征向量相对应的目标匹配对集合；
估计子单元344，用于根据目标匹配对集合估计同源矩阵；
第三确定子单元345，用于根据同源矩阵和目标匹配对集合确定每个相似特征向量相对应的目标关键点对；以及根据目标关键点对确定每个初始化图像相邻图像之间的接缝。
作为一种可选的实施方式，处理单元350包括：
调整子单元351，用于根据预设的图像分辨率，调整每个初始化图像的图像大小，得到多个第一处理图像；
处理子单元352，用于对每个第一处理图像进行翘曲处理，得到多个第二处理图像；
处理子单元352，还用于对第二处理图像进行裁剪处理，得到多个预处理图像。
作为一种可选的实施方式，处理子单元352包括：
获取模块，用于获取预设的相机焦距比例因子；
生成模块，用于根据多个第一处理图像生成输入图像列表；
处理模块，用于根据相机焦距比例因子对输入图像列表中每张图片进行扭曲处理，得到目标图像列表；
获取模块，还用于获取目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩；
计算模块，用于根据扭曲掩码和扭曲遮罩，计算目标图像列表中每张图片对应的ROI区域；
处理模块，还用于根据ROI区域对目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。
本实施例中，对于全景图拼接装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的全景图拼接装置，能够提高大场景拼接图像的效率，从而节省计算资源和时间；同时，还能够解决了视角畸变的问题；还能够解决拼接边缘的伪影问题。
本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中的全景图拼接方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中的全景图拼接方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种全景图拼接方法，其特征在于，包括：
获取图像采集区的多帧连续图像；并对所述多帧连续图像进行初始化，得到多个初始化图像；
提取每个所述初始化图像的二进制码特征；
根据预设的LSH算法和所述二进制码特征进行特征匹配，得到匹配结果；
基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝；
对所述初始化图像进行拼接前预处理，得到多个预处理图像；
基于预设的图像融合算法和所述接缝，对所述预处理图像进行融合处理，得到最终的拼接全景图；
输出所述拼接全景图。
2.根据权利要求1所述的全景图拼接方法，其特征在于，所述提取每个所述初始化图像的二进制码特征，包括：
提取每个所述初始化图像的SIFT特征；
利用哈希算法对所述SIFT特征进行编码，得到每个所述初始化图像的二进制码特征。
3.根据权利要求1所述的全景图拼接方法，其特征在于，所述基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝，包括：
根据所述匹配结果，为所述每个所述初始化图像确定相对应的相似特征向量；
基于最近邻匹配方法获取与每个所述相似特征向量相对应的多个匹配对以及每个所述匹配对相对应的匹配分数；
根据所述匹配分数、预设的置信度阈值以及所述匹配，确定与每个所述相似特征向量相对应的目标匹配对集合；
根据所述目标匹配对集合估计同源矩阵；
根据所述同源矩阵和所述目标匹配对集合确定每个相似特征向量相对应的目标关键点对；
根据所述目标关键点对确定每个所述初始化图像相邻图像之间的接缝。
4.根据权利要求1所述的全景图拼接方法，其特征在于，所述对所述初始化图像进行拼接前预处理，得到多个预处理图像，包括：
根据预设的图像分辨率，调整每个所述初始化图像的图像大小，得到多个第一处理图像；
对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像；
对所述第二处理图像进行裁剪处理，得到多个预处理图像。
5.根据权利要求4所述的全景图拼接方法，其特征在于，所述对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像，包括：
获取预设的相机焦距比例因子；
根据多个所述第一处理图像生成输入图像列表；
根据所述相机焦距比例因子对所述输入图像列表中每张图片进行扭曲处理，得到目标图像列表；
获取所述目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩；
根据所述扭曲掩码和所述扭曲遮罩，计算所述目标图像列表中每张图片对应的ROI区域；
根据所述ROI区域对所述目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。
6.一种全景图拼接装置，其特征在于，所述全景图拼接装置包括：
获取单元，用于获取图像采集区的多帧连续图像；并对所述多帧连续图像进行初始化，得到多个初始化图像；
提取单元，用于提取每个所述初始化图像的二进制码特征；
特征匹配单元，用于根据预设的LSH算法和所述二进制码特征进行特征匹配，得到匹配结果；
确定单元，用于基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝；
处理单元，用于对所述初始化图像进行拼接前预处理，得到多个预处理图像；
融合单元，用于基于预设的图像融合算法和所述接缝，对所述预处理图像进行融合处理，得到最终的拼接全景图；
输出单元，用于输出所述拼接全景图。
7.根据权利要求6所述的全景图拼接装置，其特征在于，所述提取单元包括：
提取子单元，用于提取每个所述初始化图像的SIFT特征；
编码子单元，用于利用哈希算法对所述SIFT特征进行编码，得到每个所述初始化图像的二进制码特征。
8.根据权利要求6所述的全景图拼接装置，其特征在于，所述确定单元包括：
第一确定子单元，用于根据所述匹配结果，为所述每个所述初始化图像确定相对应的相似特征向量；
获取子单元，用于基于最近邻匹配方法获取与每个所述相似特征向量相对应的多个匹配对以及每个所述匹配对相对应的匹配分数；
第二确定子单元，用于根据所述匹配分数、预设的置信度阈值以及所述匹配，确定与每个所述相似特征向量相对应的目标匹配对集合；
估计子单元，用于根据所述目标匹配对集合估计同源矩阵；
第三确定子单元，用于根据所述同源矩阵和所述目标匹配对集合确定每个相似特征向量相对应的目标关键点对；以及根据所述目标关键点对确定每个所述初始化图像相邻图像之间的接缝。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的全景图拼接方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的全景图拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718278.1A CN116452426B (zh) | 2023-06-16 | 2023-06-16 | 一种全景图拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718278.1A CN116452426B (zh) | 2023-06-16 | 2023-06-16 | 一种全景图拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452426A true CN116452426A (zh) | 2023-07-18 |
| CN116452426B CN116452426B (zh) | 2023-09-05 |
Family
ID=87120551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310718278.1A Active CN116452426B (zh) | 2023-06-16 | 2023-06-16 | 一种全景图拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452426B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246085A (zh) * | 2023-03-07 | 2023-06-09 | 北京甲板智慧科技有限公司 | 用于ar望远镜的方位角生成方法和装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070031062A1 (en) * | 2005-08-04 | 2007-02-08 | Microsoft Corporation | Video registration and image sequence stitching |
| CN104778675A (zh) * | 2015-04-28 | 2015-07-15 | 中国矿业大学 | 一种采煤综掘工作面动态视频图像融合方法 |
| CN105128746A (zh) * | 2015-09-25 | 2015-12-09 | 武汉华安科技股份有限公司 | 一种车辆泊车方法及其泊车系统 |
| CN105787876A (zh) * | 2015-12-31 | 2016-07-20 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
| WO2017193372A1 (zh) * | 2016-05-13 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种实现全景图像拼接的方法及系统 |
| US20180365803A1 (en) * | 2015-06-30 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Panoramic image generation method and apparatus for user terminal |
| WO2019047284A1 (zh) * | 2017-09-05 | 2019-03-14 | 平安科技（深圳）有限公司 | 特征提取、全景拼接方法及其装置、设备、可读存储介质 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN110223235A (zh) * | 2019-06-14 | 2019-09-10 | 南京天眼信息科技有限公司 | 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法 |
| US20220237736A1 (en) * | 2019-05-30 | 2022-07-28 | Arashi Vision Inc. | Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera |
| CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
| WO2023011013A1 (zh) * | 2021-08-04 | 2023-02-09 | 北京旷视科技有限公司 | 视频图像的拼缝搜索方法、视频图像的拼接方法和装置 |
-
2023
- 2023-06-16 CN CN202310718278.1A patent/CN116452426B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070031062A1 (en) * | 2005-08-04 | 2007-02-08 | Microsoft Corporation | Video registration and image sequence stitching |
| CN104778675A (zh) * | 2015-04-28 | 2015-07-15 | 中国矿业大学 | 一种采煤综掘工作面动态视频图像融合方法 |
| US20180365803A1 (en) * | 2015-06-30 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Panoramic image generation method and apparatus for user terminal |
| CN105128746A (zh) * | 2015-09-25 | 2015-12-09 | 武汉华安科技股份有限公司 | 一种车辆泊车方法及其泊车系统 |
| CN105787876A (zh) * | 2015-12-31 | 2016-07-20 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
| WO2017193372A1 (zh) * | 2016-05-13 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种实现全景图像拼接的方法及系统 |
| WO2019047284A1 (zh) * | 2017-09-05 | 2019-03-14 | 平安科技（深圳）有限公司 | 特征提取、全景拼接方法及其装置、设备、可读存储介质 |
| US20220237736A1 (en) * | 2019-05-30 | 2022-07-28 | Arashi Vision Inc. | Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN110223235A (zh) * | 2019-06-14 | 2019-09-10 | 南京天眼信息科技有限公司 | 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法 |
| WO2023011013A1 (zh) * | 2021-08-04 | 2023-02-09 | 北京旷视科技有限公司 | 视频图像的拼缝搜索方法、视频图像的拼接方法和装置 |
| CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 史建东;耿利川;秦永志;: "基于BSIFT的无人机影像快速拼接算法", 测绘与空间地理信息, no. 05, pages 124 - 127 * |
| 姜代红;华钢;王永星;: "矿井监控图像自动快速拼接算法研究", 工矿自动化, no. 04, pages 78 - 82 * |
| 宋延爽;耿楠;: "基于SURF算法的全景图拼接技术研究与实现", 计算机工程与设计, no. 12, pages 4647 - 4651 * |
| 杨凯;陈丽芳;刘渊;: "基于扩展级联原始位置敏感散列的快速影像特征匹配", 计算机工程, no. 08, pages 211 - 219 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246085A (zh) * | 2023-03-07 | 2023-06-09 | 北京甲板智慧科技有限公司 | 用于ar望远镜的方位角生成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452426B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| EP3576017B1 (en) | Method and system for determining pose of object in image, and storage medium | |
| Zou et al. | Deep adversarial decomposition: A unified framework for separating superimposed images | |
| Feng et al. | Local background enclosure for RGB-D salient object detection | |
| Lee et al. | Semantic line detection and its applications | |
| US9118846B2 (en) | Apparatus for generating an image with defocused background and method thereof | |
| US8391645B2 (en) | Detecting orientation of digital images using face detection information | |
| US8081844B2 (en) | Detecting orientation of digital images using face detection information | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| Ren et al. | Face video deblurring using 3D facial priors | |
| US20150319373A1 (en) | Method and device to compose an image by eliminating one or more moving objects | |
| CN116452426B (zh) | 一种全景图拼接方法及装置 | |
| CN113228105A (zh) | 一种图像处理方法、装置和电子设备 | |
| US9392146B2 (en) | Apparatus and method for extracting object | |
| WO2019184719A1 (zh) | 一种拍照的方法和装置 | |
| CN111105369B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN111079624A (zh) | 一种样本信息采集的方法、装置、电子设备以及介质 | |
| CN112634298B (zh) | 图像处理方法及装置、存储介质、终端 | |
| CN111627041B (zh) | 多帧数据的处理方法、装置及电子设备 | |
| KR101636481B1 (ko) | 컴파운드뷰 이미지 생성 방법 및 장치 | |
| Sampetoding et al. | Automatic field-of-view expansion using deep features and image stitching | |
| Kakar | Passive approaches for digital image forgery detection | |
| Patil et al. | Techniques of developing panorama for low light images | |
| Cheung et al. | Complete Face Recovering: An Approach towards Recognizing a Person by a Single Partial Face Image without the Target Photo in Gallery | |
| Kumara et al. | An Automatic Stranger Removal Photography System Using Panoramic Inpainting. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |