CN109272445A - 基于球面模型的全景视频拼接方法 - Google Patents
基于球面模型的全景视频拼接方法 Download PDFInfo
- Publication number
- CN109272445A CN109272445A CN201811268474.9A CN201811268474A CN109272445A CN 109272445 A CN109272445 A CN 109272445A CN 201811268474 A CN201811268474 A CN 201811268474A CN 109272445 A CN109272445 A CN 109272445A
- Authority
- CN
- China
- Prior art keywords
- image
- spherical
- panoramic
- method based
- joining method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005259 measurement Methods 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 244000268528 Platanus occidentalis Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于球面模型的全景视频拼接方法，包括以下步骤：一：获取摄像机的内部参数和外部参数的标定；二：把6个摄像机在一个球面范围内拍摄到的原始平面图像进行去除波纹，获取平面去波图像；三：将位置临近的两张平面去波图像分别进行特征点提取之后，将提取的特征点按照特征距离最近规则进行匹配和配对；四：将平面去波图像投影成相应的球面图像，在球面坐标系上，根据配对结果将球面图像进行拼接得到初步球面全景图；五：对初步球面全景图中的重叠区域进行融合，使拼接后的图像在视觉上能够保持一致，得到最终的球面全景图。本发明所生成球面虚拟空间全景图像,具有不受上下观察范围限制等优点,从而克服了柱面虚拟空间的不足。
Description
技术领域
本发明涉及图像拼接技术领域。
背景技术
高分辨率的全景图像生成技术一直是计算机视觉、计算机图形学、遥感图像、远程监控和虚拟现实等领域的研究热点。人们在日常生活中，通过普通数码相机获取图像时，如果目标场景过于庞大，如大型建筑物、远处连绵不绝的山峰、巨型湖泊等，那么为了将整个场景囊括在一幅图像中，摄影师只能通过调整焦距牺牲分辨率来达到要求。此外，在航空航天、矿产探测等特殊领域，由于拍摄条件和拍摄距离的限制，即使采用专业的设备也很难将一些超大规模的场景和目标用一张图片囊括。图像拼接技术解决了成像设备的分辨率与成像场景的规模大小之间的互斥问题。不仅与人们日常生活娱乐和工作息息相关，而且在科学研究和实际生产建设中有着广泛的应用
全景图像拼接近些年来受到国内外大量学者的关注，全景图像拼接涉及到的关键技术也得到迅速的发展，其主要过程包含几何配准和光学配准两个部分。几何配准主要是依据计算机几何学原理，通过匹配的待拼接图像之间的关系计算出反映图像之间坐标变换关系的单应矩阵，通过单应矩阵将两幅图像变换到同一坐标系上，完成图像几何上的配准。几何配准的主要流程包括：选取图像几何变换模型、求解变换模型参数、插值变换到同一坐标系。光学配准(图像融合)则主要是处理拼接结果图像重叠区域的像素点灰度值，消除拼接痕迹和图像亮度上的差异。
发明内容
全景图像拼接技术由于涉及到多路视频图像的处理和矫正，实现实时拼接需要的运算量非常大，对于一般的嵌入式系统难以达到实时处理效果，本发明提出了一种基于球面模型的全景视频拼接方法，以解决现有技术的不足。
本发明的发明目的通过以下技术方案实现：
一种基于球面模型的全景视频拼接方法，包括以下步骤：
步骤一：获取摄像机的内部参数和外部参数的标定；
步骤二：把6个摄像机在一个球面范围内拍摄到的原始平面图像进行去除波纹，获取平面去波图像；
步骤三：将位置临近的两张平面去波图像分别进行特征点提取之后，将提取的特征点按照特征距离最近规则进行匹配和配对；
步骤四：将平面去波图像投影成相应的球面图像，在球面坐标系上，根据配对结果将球面图像进行拼接得到初步球面全景图；
步骤五：对初步球面全景图中的重叠区域进行融合，使拼接后的图像在视觉上能够保持一致，得到最终的球面全景图。
优选地，步骤一通过在多视点图像间建立特征点匹配关系，从而获取摄像机的内部参数和外部参数的标定，并同时获取特征点的空间位置。
优选地，步骤二利用逐行扫描方式获取原始平面图像的奇场和偶场，通过对奇场和偶场取差值去除波纹现象。
优选地，步骤五对初步球面全景图中的重叠区域的像素灰度值先进行加权计算，再叠加像素灰度值来计算像素灰度平均值，从而得出重叠区域的像素灰度值，完成融合。
附图说明
图1是基于球面模型的全景图像拼接方法的流程图示意图。
图2是球面图像拼接示意图。
图3是平面去波图像转换球面图像示意图。
图4是基于球面模型的全景图像拼接方法的实验效果。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
本实施例所示的一种基于球面模型的全景视频拼接方法，采用SoC片上系统实现，具体采用飞思卡尔的IMX6带4核ARM和GPU的SoC系统实现。全景视频拼接方法都是采用基于Opencv和Opengl的库实现，采用C语言进行编程，通过Matlab进行功能仿真，并最终下载到SoC中进行在线验证。本方案中具体是采用6路PA摄像机作为视频源，可同时送出6个方向的视频图像，分辨率720X576,其帧频达到每秒30帧频，如图1所示，包括以下步骤：
步骤一：获取摄像机的内部参数和外部参数的标定。本实施例通过在多视点图像间建立特征点匹配关系，从而获取摄像机的内部参数和外部参数的标定M，并同时获取特征点的空间位置，这种技术也称为由运动恢复结构。
步骤二：把6个摄像机在一个球面范围内拍摄到的原始平面图像进行去除波纹，获取平面去波图像。在运动过程中，每场图像保证独立的稳定性，但是场间信息偏差较大，导致直接将场间信息合并成为一帧图像会产生较严重的波纹现象。观察目标运动越快或车辆运动过快导致摄像机抖动，均会产生以上现象。毛刺及波纹现象如果不进行处理，会严重影响后期图像拼接的效果。本实施例采用场间线性滤波算法去掉波纹。场间线性滤波算法利用逐行扫描方式获取原始平面图像的奇场和偶场，通过对奇场和偶场取差值，可以一定程度上去除波纹现象，由于采用原始信息，也会避免由于插值运算导致的模糊。
步骤三：将位置临近的两张平面去波图像分别进行特征点提取之后，将提取的特征点按照特征距离最近规则进行匹配和配对。采用基于特征点的图像拼接，首先在图像中提取特征点作为配准基元，这些特征点由包含了这些特征的位置以及其他特性的特征描述量来表征。特征点根据项目的需求进行设计，在本方法中拟和内参标定模块进行计算资源的最大化利用，采用棋盘格特征点。
步骤四：为了保持实际景物空间约束关系，须将平面去波图像投影成相应的球面图像，在球面坐标系上，根据配对结果将球面图像进行拼接得到初步球面全景图，如图2所示，这过程是一个在图像平面的X与Y方向的非线性图像变形过程，如图3所示：
世界坐标系为XYZ，照相机坐标系为xyz,假设相机坐标系与由世界坐标系Z轴间的旋转关系为a.平面去波图像上P点的坐标为(x,y),球面投影图像上对应图像坐标系为(θ，φ)即水平旋转角和俯仰角。平面去波图像的高为H，平面去波图像的宽度为W。设球体中心为坐标系圆点，相机焦距为f，球半径为f。则经过公式推导，可得出
在实际运算时，采用逆向投影方法，在最终的球面拼接图上，通过内外参的运算，得到平面去波图像上的坐标，在该坐标处取得纹理数目，通过一定的拼接算法，形成球面全景图像的纹理。
步骤五：对初步球面全景图中的重叠区域进行融合，使拼接后的图像在视觉上能够保持一致。加权平均法使用图像的像素灰度值里进行融合。加权平均法是对图像重叠区域中的像素灰度值先进行加权计算，再叠加像素灰度值来计算像素灰度平均值。设f1和f2分别代表待拼接的两幅图像，f代表融合后的图像，则有：
式中，w1与w2分别代表f1和f2的权重值，且w1与w2之和为1，w1,w2∈(0,1)。在渐入渐出的图像融合算法中，w1由1渐变至0，而w2由0渐变至1，通过此种图像融合算法就可以在图像重叠区域中由图像1慢慢过渡到图像2。
本实施例的图像拼接仿真效果如图4所示。实验证明该图像拼接方法适合于多路球面模型的全景图像拼接，并且能够满足实时拼接需求。
Claims (4)
1.一种基于球面模型的全景视频拼接方法，包括以下步骤：
步骤一：获取摄像机的内部参数和外部参数的标定；
步骤二：把6个摄像机在一个球面范围内拍摄到的原始平面图像进行去除波纹，获取平面去波图像；
步骤三：将位置临近的两张平面去波图像分别进行特征点提取之后，将提取的特征点按照特征距离最近规则进行匹配和配对；
步骤四：将平面去波图像投影成相应的球面图像，在球面坐标系上，根据配对结果将球面图像进行拼接得到初步球面全景图；
步骤五：对初步球面全景图中的重叠区域进行融合，使拼接后的图像在视觉上能够保持一致，得到最终的球面全景图。
2.根据权利要求1所述的一种基于球面模型的全景视频拼接方法，其特征在于步骤一通过在多视点图像间建立特征点匹配关系，从而获取摄像机的内部参数和外部参数的标定，并同时获取特征点的空间位置。
3.根据权利要求1所述的一种基于球面模型的全景视频拼接方法，其特征在于步骤二利用逐行扫描方式获取原始平面图像的奇场和偶场，通过对奇场和偶场取差值去除波纹现象。
4.根据权利要求1所述的一种基于球面模型的全景视频拼接方法，其特征在于步骤五对初步球面全景图中的重叠区域的像素灰度值先进行加权计算，再叠加像素灰度值来计算像素灰度平均值，从而得出重叠区域的像素灰度值，完成融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811268474.9A CN109272445B (zh) | 2018-10-29 | 2018-10-29 | 基于球面模型的全景视频拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811268474.9A CN109272445B (zh) | 2018-10-29 | 2018-10-29 | 基于球面模型的全景视频拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109272445A true CN109272445A (zh) | 2019-01-25 |
| CN109272445B CN109272445B (zh) | 2022-11-04 |
Family
ID=65195421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811268474.9A Active CN109272445B (zh) | 2018-10-29 | 2018-10-29 | 基于球面模型的全景视频拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109272445B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009570A (zh) * | 2019-04-19 | 2019-07-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于自动机器学习的虚拟现实全景图智能拼接方法 |
| CN111507894A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501409A (zh) * | 2013-10-01 | 2014-01-08 | 中国人民解放军国防科学技术大学 | 一种超高分辨率全景高速球一体机系统 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN108200360A (zh) * | 2018-01-12 | 2018-06-22 | 深圳市粒视界科技有限公司 | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 |
-
2018
- 2018-10-29 CN CN201811268474.9A patent/CN109272445B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501409A (zh) * | 2013-10-01 | 2014-01-08 | 中国人民解放军国防科学技术大学 | 一种超高分辨率全景高速球一体机系统 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
| CN108200360A (zh) * | 2018-01-12 | 2018-06-22 | 深圳市粒视界科技有限公司 | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 华顺刚等: "基于图像绘制的球面全景图生成及自动拼接技术研究", 《大连理工大学学报》 * |
| 杨镇豪: "基于柱面变换的图像拼接技术", 《现代计算机(专业版)》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009570A (zh) * | 2019-04-19 | 2019-07-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于自动机器学习的虚拟现实全景图智能拼接方法 |
| CN110009570B (zh) * | 2019-04-19 | 2022-12-20 | 山东浪潮科学研究院有限公司 | 一种基于自动机器学习的虚拟现实全景图智能拼接方法 |
| CN111507894A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
| CN111507894B (zh) * | 2020-04-17 | 2023-06-13 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109272445B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021120407A1 (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| CN104835117B (zh) | 基于重叠方式的球面全景图生成方法 | |
| WO2021120405A1 (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| CN103226822B (zh) | 医疗影像拼接方法 | |
| CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| US6947059B2 (en) | Stereoscopic panoramic image capture device | |
| CN104463778B (zh) | 一种全景图生成方法 | |
| CN113382168A (zh) | 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN107451952B (zh) | 一种全景视频的拼接融合方法、设备以及系统 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN101938599A (zh) | 生成互动的动态全景影像的方法 | |
| JP2004187298A (ja) | パノラマ画像および全方位画像の描画および符号化 | |
| JP2011070579A (ja) | 撮影画像表示装置 | |
| WO2021017589A1 (zh) | 一种基于梯度域映射的图像融合方法 | |
| JP2006515128A (ja) | 立体パノラマ画像取り込み装置 | |
| TWI615808B (zh) | 全景即時影像處理方法 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
| CN109272445A (zh) | 基于球面模型的全景视频拼接方法 | |
| CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
| CN108765292A (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| CN109461116B (zh) | 一种基于opengl的720全景展开监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |