CN110689484A - 一种自动全景图片拼接方法及存储设备 - Google Patents
一种自动全景图片拼接方法及存储设备 Download PDFInfo
- Publication number
- CN110689484A CN110689484A CN201910921698.3A CN201910921698A CN110689484A CN 110689484 A CN110689484 A CN 110689484A CN 201910921698 A CN201910921698 A CN 201910921698A CN 110689484 A CN110689484 A CN 110689484A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- images
- panoramic
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000009877 rendering Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种自动全景图片拼接方法及存储设备，存储设备接受图片,对所有图片中提取SIFT特征，再使用K‑D树为每个特征点找到其的K个最近匹配特征点，然后对每个图像选择候选匹配图像，并使用RANSAC查找几何上一致的特征匹配，以求解图像对之间的单应性，再使用概率模型验证图像匹配，然后使用多波段混合渲染全景，最后输出全景图像，本发明可以自动识别构成全景图像一部分的图像，并在没有任何用户输入的情况下缝合它们。
Description
技术领域
本发明涉及图像处理领域，具体为一种自动全景图片拼接方法及存储设备。
背景技术
随着近年来人工智能等技术的兴起，图像处理技术快速发展，图像拼接也渐渐映入人们的眼帘，图像拼接是一个日益流行的研究领域，它已经成为照相绘图学、计算机视觉、图像处理和计算机图像研究中的热点，图像拼接解决的问题一般是，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。
现有很多图像拼接处理设备，但大都需要自己手动输入图像或者对图像序列的限制来进行匹配步骤，并且在拼接多张图片时，效果不是很理想，并且无法过滤掉不需要的图片。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种自动全景图片拼接方法及存储设备，可以自动过滤掉不需要图像，并自动对无序的图像进行全景拼接。
(二)技术方案
为实现上述可以自动过滤掉不需要图像，并自动对无序的图像进行全景拼接的目的，本发明提供如下技术方案：一种自动全景图片拼接方法及存储设备，具体技术方案如下：一种全自动构建全景图的图片拼接方法及存储设备，具体步骤为：从存储卡中读取需要处理的图像，通过存储设备里的算法程序自动拼接全景图像，输出全景图像，并将图片保存在存储设备里。
进一步的，所述“存储设备里的程序”具体为：在所有图像之间提取和匹配SIFT特征。SIFT特征位于高斯函数差值的极值点处。由于SIFT特征在旋转和尺度变化时是不变的，所以我们可以处理具有变化的方向和大小的图像。
进一步的，一旦从所有n个图像中提取特征点后，多个图像可能重叠于一条光线上，在特征空间内每个特征点需要和其最近的k个最近特征匹配点匹配可以在O(n log n)时间内通过使用kd树算法来找到近似的最近的特征匹配点。
进一步的，对每个图像，有M个与其有最多特征匹配点的候选图像，使用RANSAC算法找到几何一致的特征匹配来得到图像对间的对应矩阵，并使用概率模型验证图像匹配，过滤不需要的图像。
进一步的，进行图像匹配，并使用多波段融合渲染全景图。
进一步的，输出全景图像，保存在存储设备中，其中所述“存储设备”用于存储全景图片及算法程序。
(三)有益效果
与现有技术相比，本发明提供了一种自动全景图片拼接方法及存储设备，具备以下有益效果：
(1)无人机拍摄照片后保存在存储卡，从所有图片中提取SIFT特征点，为每个特征点找到最近匹配特征点，然后对每个图像选择候选匹配图像，并使用RANSAC查找几何上一致的特征匹配，以求解图像对之间的单应性，再使用概率模型验证图像匹配，然后使用多波段混合渲染全景，最后输出全景图像，本发明可以自动识别构成全景图像一部分的图像，并在没有任何用户输入的情况下缝合它们。
(2)设备使用方便快捷，自动进行拼接，不需要人工输入或对图像序列的限制来进行匹配步骤，并可以过滤掉不需要的图片，不变特征的使用使算法对输入图像的顺序，方向，尺度和亮度变化都不敏感。
附图说明
图1为具体实施方法所述一种自动全景拼接方法的流程；
图2为具体实施方法所述一种存储设备的模块示意图；
图3为多张无序图片；
图4输出的全景拼接图片。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施案例并配合附图详细说明。
请参阅图1—4，在本实施方式中，一种自动全景图片拼接方法可运行在存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。具体实施方式如下：
步骤1：输入需要处理的n张无序图片。
步骤2：在n张无序图片中提取并匹配SIFT特征点，SIFT特征点位于高斯差值函数的极值点处，对每个特征点，特征尺度和方向被确定，这为我们提供了一个相似不变的结构，尽管在这个结构中简单的采样强度值是相似不变的，但是不变描述子实际上是通过对方向直方图的局部梯度值进行累积计算得到的，这样就允许边缘有轻微的移动而不会改变描述子的矢量，对映射变换提供了一定的鲁棒性。
步骤3：由于多个图像可能重叠在一个单一的光线上，在特征空间内每个特征点需和它最近的K个匹配特征点，通过k-d算法找到近似最近的匹配特征点，时间复杂度为O(nlogn)，k-d树是轴对齐的二进制空间划分，它在平均最高方差维递归划分特征空间。
步骤4：为了得到一个好的拼接结果，对于图像几何而言，每个图像只需要和少量重叠的图像来匹配，从特征匹配步骤我们已经找到图像间有大量匹配点的图像，对于每一个图像，我们选择与其有最大数量匹配点的图像。
步骤5：首先使用RANSAC算法选择一系列和图像间对应矩阵兼容的内点，在全景图的情况下，我们选择r＝4对匹配特征点，使用直接线性变换(DLT)方法计算图像间的对应矩阵H，假设一对匹配图像间的特征匹配点是正确的概率为Pi，n次试验后找到正确变换的概率为：P(H is correst)＝1-(1-(Pi)r)n。
步骤6：对两两图像间是否存在匹配关系，我们使用一系列几何一致的特征匹配点(RANSAC)一系列在重叠区域内，但不一致的特征点(RANSAC外点)，通过比较这些正确匹配产生的一系列内点和错误匹配产生的一系列外点的概率来验证模型，验证模型后，图像间的匹配点确定，就可以找到作为全景序列中的匹配图象集，可以识别图像集中的全景，拒绝不需要的“噪声”图像。
步骤7：使用多波段融合拼接全景图像，多波段融合的想法是在一个很大的空间范围内融合低频率，在一个小的范围内融合高频频率，考虑到已知的匹配，有n幅图像Ii(x,y)(i∈{1…n})可以被表示在一个共同的(球形)坐标系
中。为了从多个图像中合并信息，我们为每个图像分配一个加权函数W(x,y)＝ω(x)ω(y)，其中ω(x)从中心1到边缘0线性变化。加权函数在球形坐标系内重新采样，通过找到图像I最有用的点集来初始化每个图像的混合权重：
其中
为1表示图像i有最大权值，0表示其他一些图像有较高的权值，这些最大权值的映射连续混合形成每个波段的混合权值。
步骤8：拼接全景图像完成后，保存在存储设备中，输出全景图像。
需要说明的是，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种全自动构建全景图的图片拼接方法及存储设备，其特征在于，该方法包括以下具体步骤：
步骤1：对摄像机存储卡的N张无序图片中提取SIFT特征；
步骤2：使用K-D树为每个特征点找到K个最近邻近的特征匹配点；
步骤3：对每个图像，选择M个候选匹配图像(与此图像的有最大的特征匹配数)，
使用RANSAC查找几何上的一致的特征匹配来得到图像对间的对应矩阵；
步骤4：使用概率模型验证图像匹配，过滤”噪声”图像；
步骤5：图像匹配，并使用多波段混合渲染全景；
步骤6：输出全景图像。
存储设备：用于存储全景图片及程序。
2.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述步骤一具体为：全景识别算法的第一步是在所有图像之间提取和匹配SIFT特征。SIFT特征位于高斯函数差值的极值点处。由于SIFT特征在旋转和尺度变化时是不变的，所以我们可以处理具有变化的方向和大小的图像。
3.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述步骤二具体为：一旦从所有n个图像中提取特征点后，多个图像可能重叠于一条光线上，在特征空间内每个特征点需要和其最近的k个最近特征匹配点匹配可以在O(n log n)时间内通过使用kd树算法来找到近似的最近的特征匹配点。
4.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述步骤三具体为：对每个图像，有M个与其有最多特征匹配点的候选图像，使用RANSAC算法找到几何一致的特征匹配来得到图像对间的对应矩阵。
5.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述步骤四具体为：使用概率模型验证图像匹配，过滤不需要的图像。
6.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述步骤六具体为：进行图像匹配，并使用多波段融合渲染全景图。
7.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述步骤七具体为：输出全景图像，保存在存储设备中。
8.根据权利要求1所述的一种全自动构建全景图的图片拼接算法，其特征在于：所述存储设备用于存储全景图片及算法程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910921698.3A CN110689484A (zh) | 2019-09-27 | 2019-09-27 | 一种自动全景图片拼接方法及存储设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910921698.3A CN110689484A (zh) | 2019-09-27 | 2019-09-27 | 一种自动全景图片拼接方法及存储设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110689484A true CN110689484A (zh) | 2020-01-14 |
Family
ID=69110512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910921698.3A Pending CN110689484A (zh) | 2019-09-27 | 2019-09-27 | 一种自动全景图片拼接方法及存储设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689484A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111800609A (zh) * | 2020-06-29 | 2020-10-20 | 中国矿业大学 | 基于多平面多感知缝合线的矿井巷道视频拼接方法 |
| WO2021248564A1 (zh) * | 2020-06-08 | 2021-12-16 | 厦门理工学院 | 一种全景大数据应用监测管控系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952225A (zh) * | 2017-02-15 | 2017-07-14 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
| CN107451985A (zh) * | 2017-08-01 | 2017-12-08 | 中国农业大学 | 一种小鼠舌头切片显微序列图像的拼接方法 |
-
2019
- 2019-09-27 CN CN201910921698.3A patent/CN110689484A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952225A (zh) * | 2017-02-15 | 2017-07-14 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
| CN107451985A (zh) * | 2017-08-01 | 2017-12-08 | 中国农业大学 | 一种小鼠舌头切片显微序列图像的拼接方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021248564A1 (zh) * | 2020-06-08 | 2021-12-16 | 厦门理工学院 | 一种全景大数据应用监测管控系统 |
| US11703820B2 (en) | 2020-06-08 | 2023-07-18 | Xiamen University Of Technology | Monitoring management and control system based on panoramic big data |
| CN111800609A (zh) * | 2020-06-29 | 2020-10-20 | 中国矿业大学 | 基于多平面多感知缝合线的矿井巷道视频拼接方法 |
| CN111800609B (zh) * | 2020-06-29 | 2021-05-25 | 中国矿业大学 | 基于多平面多感知缝合线的矿井巷道视频拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103945210B (zh) | 一种实现浅景深效果的多摄像头拍摄方法 | |
| CN101689292B (zh) | Banana多媒体数字信号编解码器 | |
| CN111652934A (zh) | 定位方法及地图构建方法、装置、设备、存储介质 | |
| CN105389787A (zh) | 一种全景图像拼接方法及装置 | |
| WO2023280038A1 (zh) | 一种三维实景模型的构建方法及相关装置 | |
| CN107430498B (zh) | 扩展照片的视场 | |
| WO2023011013A1 (zh) | 视频图像的拼缝搜索方法、视频图像的拼接方法和装置 | |
| CN110689484A (zh) | 一种自动全景图片拼接方法及存储设备 | |
| CN109117693B (zh) | 一种基于广角取景的扫描识别的方法及终端 | |
| US20220335684A1 (en) | Finite aperture omni-directional stereo light transport | |
| CN110288511A (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
| US10380719B2 (en) | Device and method for generating panorama image | |
| CN106096520A (zh) | 一种信息推送方法及装置 | |
| US11100617B2 (en) | Deep learning method and apparatus for automatic upright rectification of virtual reality content | |
| CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111652163A (zh) | 一种输电线路杆塔线段匹配方法以及设备 | |
| CN106296580A (zh) | 一种图像拼接的方法及装置 | |
| CN112532886B (zh) | 全景拍摄方法、装置及计算机可读存储介质 | |
| CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
| CN114170077A (zh) | 一种基于无人机的非线性图像拼接顺序获取方法及装置 | |
| CN108573470A (zh) | 图像拼接方法及装置 | |
| CN106331486A (zh) | 图像处理方法及系统 | |
| CN112991175A (zh) | 一种基于单ptz摄像头的全景图片生成方法及设备 | |
| CN109754367A (zh) | 用于智能手机端的图像拼接方法、系统、设备及存储介质 | |
| CN106604015B (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200114 |
|
| WD01 | Invention patent application deemed withdrawn after publication |