CN113191954B - 一种基于双目相机的全景图像拼接方法 - Google Patents
一种基于双目相机的全景图像拼接方法 Download PDFInfo
- Publication number
- CN113191954B CN113191954B CN202110654308.8A CN202110654308A CN113191954B CN 113191954 B CN113191954 B CN 113191954B CN 202110654308 A CN202110654308 A CN 202110654308A CN 113191954 B CN113191954 B CN 113191954B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- point
- points
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 108010063499 Sigma Factor Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目相机的全景图像拼接方法，涉及数字图像处理技术领域，能够解决传统图像拼接方法所采集图像过程操作繁琐，图像拼接过程数据复杂，可行性低的问题。基于双目相机的全景图像拼接方法包括：放置双目相机和支架，使其能够拍摄到空间内前后全部视角；通过对鱼眼相机标定，再对鱼眼图像进行基于球面透视投影进行畸变校正；基于SIFT的特征点检测、BBF搜索和改进的RANSAC特征匹配将两幅图像进行有序拼接成360°全景图，在拼接前对图像进行亮度差异自动校正，保证全景图亮度一致、清晰。
Description
技术领域
本发明涉数字图像处理技术领域，特别是一种基于双目相机的全景图像拼接方法。
背景技术
普通相机拍摄图像时，无法兼顾相机视场与视场中单个物体的分辨率问题，而全景相机普遍价格昂贵，不适用于低成本的一般性场景。为了使用普通相机获取宽视角，甚至是360°全景图像，人们提出了图像拼接技术：将拍摄的多幅相邻图像进行拼接成一张全景图像。但这种方法操作复杂，效率低，适用性较差。在图像拼接过程中图像特征点的识别和提取大都依赖于计算机GPU进行处理，但由于普通计算机GPU的并行处理能力有限，会导致图像特征点的识别与提取速度较慢，最终生成的全景图像实时性不高。
为解决图像拼接实时性的问题，如CN202010535149中所设计的一种面向全景拼接加速的FPGA架构及全景图像拼接方法，在建立FPGA架构的基础上加快图像特征点的识别和提取速度。由于需要FPGA这种硬件电路，该技术成本偏高、设计的灵活度低且功耗较大，所以并不能进行大规模的应用。
发明内容
为克服上述现有技术的不足，本专利采用基于双目鱼眼相机的全景图像拼接方法，利用鱼眼相机能获取比普通相机更为广阔的视角，同时双目相机通过相反两个方向进行放置，拍摄出覆盖周围全部环境的鱼眼图像。这种方法仅需在同一时段的两张照片进行图像拼接，这样普通计算机GPU处理能力便也可完成实时的图像特征点识别与提取，进而实现全景图像的拼接，保证的全景图像的实时性和方法的低成本实现，可行性高。
本发明采用的技术方案是：
一种基于双目相机的全景图像拼接方法，包括以下步骤：
S1.采集数据：控制双目相机拍摄图像，定义双目相机拍摄图像的一个相机拍摄的图像为图像A，另一个相机拍摄的图像为图像B；
S2.选用棋盘图作为标定板，采集若干标定图，，从图像A和图像B中中提取角点，，标定法获取相机的内参、外参和畸变参数，实现相机的标定；S3.对图像A和图像B进行畸变校正，获得校正后的图像A1和图像B1；
S4.基于SIFT特征点检测法提取校正图像A1和图像B1的特征点，并采用BBF搜索进行特征点的匹配，根据所得图像匹配对，计算出图像间的变换矩阵；
S5.对校正图像A1和B1进行亮度差异进行校正；
S6.根据变换矩阵确定图像的重叠区域和缝合线，实现图像有序拼接，整合成全景图像。
S1中双目相机选用鱼眼相机，通过相反两个方向进行拍摄，获取空间360°全部图像信息，从而达到空间图像信息的获取简便的效果。
S3中进行畸变校正采用球面透视投影法，根据鱼眼相机球面模型的成像原理，在等距投影模型r＝fθ中，设鱼眼相机拍摄实物生成的图像A和B(成像面)中任意一点像素的坐标为(x,y)，相机拍摄的实物所在的平面为图2中P(X,Y,Z)所在的平面，其中P(X,Y,Z)为世界坐标中的一点；取Z＝R，其中R为鱼眼图像的半径，得：
式中，r表示的是在鱼眼相机中所成像的像高，f表示的是相机的焦距，θ表示的是光线到相机的入射角，为成像面上点(x,y)与x轴之间的夹角；
由式(1)可得：
设实物平面的点P(X,Y,Z)到成像面上的点(x,y)之间的线段与半球面的交点为P1(x1,y1,z1)，因此在式(2)中求得入射角θ和夹角求解出点P1：
将得到的空间点P1(x1,y1,z1)进行球面透视转换，将球面上的点P1映射到实物平面中，根据相似三角形可列以下关系式：
与式(4)联立，设原成像面上的点(x,y)经过校正后的坐标为(u,v)，鱼眼图像的原成像面上的点(x,y)与校正后的图像上的点之间的变换关系为：
根据式(5)变换关系并不断调整鱼眼图像半径R，选取校正图像A1和B1。
步骤S4具体包括以下步骤：
(401)将校正图像A1和图像B1转换为灰度图，采用基于SIFT的特征点检测。
(402)为保证所提取的特征点具有尺度保持不变性，需要构建尺度空间的图像，然后在其中寻找出满足该性质的特征点。
采用卷积运算对校正图像A1和B1进行尺度空间卷积，尺度空间卷积运算公式为：
L(x,y,σ)＝G(x,y,σ)*I(x,y) (6)
式中L(x,y,σ)表示图像在各尺度空间上的值，G(x,y,σ)表示二维高斯函数，I(x,y)表示输入图像，(x,y)表示图像中像素的坐标，σ表示尺度空间因子，σ越大表示图像更平滑，图像丢失的信息更少，反之则丢失信息更多。
将相邻尺度的L(x,y,σ)值进行差运算，则得到原图像在该尺度上的信息值，高斯差分函数为：
D(x,y,σ)为高斯差分函数，s为相邻尺度空间的比例因子。
利用高斯差分函数得到高斯图像，在高斯差分图像结果中，计算SIFT候选特征点；
计算SIFT候选特征点，是取一像素点作为中心点，将其与在周围n个像素点以及高斯差分图像的上下两个相邻层的同位置的n+1个像素相比对，如果选取的这个中心点比这3n+2个像素点的值都大或比这些像素点都小，为SIFT候选特征点(局部灰度极值点)；
(403)从SIFT候选特征点中筛选掉不明显的特征点以提高后续匹配的稳定性和其抗噪声能力。
所需去除的特征点有两种：第一种为灰度伪特征点，即从一个灰度都小于灰度阈值的区域中所选出的特征点；第二种为边缘不稳定噪声点。
设候选特征点集合M＝(x,y,σ)T，根据多元函数的泰勒展开公式得到高斯差分函数D(x,y,σ)在(x+Δx,y+Δy,σ+Δσ)处的二阶泰勒展开为：
对式(9)其进行求导，令导函数等于零，得到极值M0；当当在特征点M0的高斯差分值|D(M0)|小于灰度阈值时，则将其视为灰度伪特征点并进行去除，否则保留该特征点。
(404)建立Hessian矩阵，其表达式为：
其中Dxx是特征点在水平方向上的二阶导数，Dxy是特征点先在水平方向求一阶导数，然后在垂直方向再求一阶导数，Dyy是特征点在垂直方向上的二阶导数。
设α等于H的最大特征值，β等于H的最小特征值，则α、β和Hessian矩阵关系式为：
当α、β都满足式(9)时，则为边缘不稳定噪声点并进行去除，否则保留特征点。
式中k表示最大特征值α和最小特征值β的比值；
对特征点进行筛选后，计算特征点周围像素梯度大小和方向，通过直方图进行统计，将360°方向平均分为36组，其中幅值最大的那组为特征点的主方向。在确定图像特征点的位置和方向后，确定图像的特征向量，完成特征点的检测。
(405)采用BBF(Best-Bin-First)搜索算法，根据检测到的图像特征点构建一个二进制的空间分割树，即二叉树，其中二叉树中的各个节点对应着图像特征点信息。然后通过比较节点与二叉树查询节点间的欧式距离来对节点进行搜索，找出图像间相似的特征点并将其作为匹配对。
在已搜索的匹配对中，利用改进的RANSAC算法将匹配对进行提纯，去除错误的特征匹配对，保证匹配对的准确率。从匹配对中取出一对(Pi,Qi)，任意匹配为对(Pj,Qj)，利用Pi到图像A1中所有的特征点Pj的距离与Qi到图像B1中所有特征点Qj的距离之间的相似关系，通过评价函数W(i)计算相似差异：
式中，D(i,j)是Pi和Qi到每一对特征点的平均距离，d表示两点之间的距离，r(i,j)表示Pi和Qi与每一对特征点的相似差异。
然后将求出的所有W(i)取平均得均值W，当W(i)大于评价阈值则为准确匹配对，进行保留，否则去除该匹配对。根据筛选后的准确匹配对计算出变换矩阵H。
S5中根据S4中求出的变换矩阵确定图像的重叠区域，由于可能前后视角拍摄的图像光线的差异，采集的鱼眼图像会出现不同程度的亮度差异，导致后续拼接图像亮度不一致等问题。故根据同一时间采集的前后图像中的重叠区域中的像素点均值削弱拍摄时产生的亮度差异。
步骤S5具体包括以下步骤：
(501)分别计算校正图像A1和B1两幅图像重复区域的像素值，记为I1和I2,并求出其重复区域均值和/>及两重复区域均值/>根据式(14)，利用均值调节I1和I2的亮度差异：
调节后，两幅图像亮度整体保持一致，可以保证后续拼接完成的全景图像的清晰度和完整性。
k＝10。
相机的内参是相机和传感器固有的特征，包括五个参数：相机的焦距f、像素点在x轴方向的尺度偏差dx、在y轴方向的尺度偏差dy、图像中心行坐标u0和列坐标v0；
相机的外参是相机位姿的参数，描述将图像中的像素点从世界坐标系转换到相机坐标的过程，包括旋转矩阵和平移矩阵；
相机的畸变参数指在成像时会由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形，产生的径向畸变和切向畸变。
一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据一种基于双目相机的全景图像拼接方法的指令。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据一种基于双目相机的全景图像拼接方法。
与现有技术相比，本发明具有的有益效果是：
1.本申请步骤S1，采取前后放置的双目鱼眼相机，实现拍摄图像完整包含空间环境图像信息，从而达到了减少图像信息采集的成本和降低后续图像拼接的复杂性的有益效果，且操作简单、硬件容易实现。
2.本申请步骤S3，采取球面透视投影法为鱼眼图像进行畸变校正，实现了校正图像不失真且比较完整保留原始图像信息的有益效果。
3.本申请步骤S4，采取SIFT特征点检测和改进的RANSAC特征匹配，实现了加快了图像拼接速度且提高特征点匹配的准确率的有益效果。
4.本申请步骤S5，采取了图像亮度差异自动校正，实现了最后全景图像更为清晰，改善拼接痕迹的有益效果。
本申请公开一种全景图像拼接方法，采用双目相机与鱼眼相机相结合的结构，实现周围环境信息的高效采集，能够一次拍摄便可得到全景图像，达到拼接前的图像采集高效性的效果。通过对鱼眼图像的经纬校正和基于SIFT的特征匹配，达到拼接图像更加自然的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的全景拼接方法实现框图；
图2为本发明的等距投影方法图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示，一种基于双目相机的全景图像拼接方法，包括以下步骤：
S1.采集数据：控制双目相机拍摄图像，定义双目相机拍摄图像的一个相机拍摄的图像为图像A，另一个相机拍摄的图像为图像B。选定一个空间位置，将双目相机固定到可移动的支架上。将两个鱼眼相机按照相反方向放置，分别进行对空间内前、后视角的拍摄。仅需一次拍摄就可以获得包含空间环境所有的图像信息；
S2.选用7*6的棋盘图作为标定板，采集若干标定图，再利用Harris角点检测方法从图中提取角点，进行亚像素精确化。最后采用“张正友式”标定法获取相机的内参、外参和畸变参数，实现相机的标定。其中，内参是相机和传感器固有的特征，包括五个参数：相机的焦距f、像素点在x轴方向的尺度偏差dx、在y轴方向的尺度偏差dy、图像中心行坐标u0和列坐标v0；外参是相机位姿的参数，描述了将图像中的像素点从世界坐标系转换到相机坐标的过程，包括了旋转矩阵和平移矩阵；相机在成像时会由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形，产生的径向畸变和切向畸变便是由畸变参数进行描述的。
S3.对图像A和图像B进行畸变校正，获得校正后的图像A1和图像B1。
S4.基于SIFT特征点检测法提取校正图像A1和图像B1的特征点，并采用BBF搜索进行特征点的匹配，然后根据所得图像匹配对，计算出图像间的变换矩阵。
S5.对校正图像A1和B1进行亮度差异自动校正；
S6.在根据变换矩阵确定图像的重叠区域和缝合线后，实现图像有序拼接，整合成全景图像。
S1中双目相机选用鱼眼相机，其较普通镜头有着更加广阔的视角，可以获得更多空间图像信息，选用210°的鱼眼相机，便可通过相反两个方向进行拍摄，获取空间360°全部图像信息，从而达到空间图像信息的获取简便的效果。
S3中进行畸变校正采用球面透视投影法，根据鱼眼相机球面模型的成像原理，在等距投影模型r＝fθ中，设鱼眼相机拍摄实物生成的图像A和B(成像面)中任意一点像素的坐标为(x,y)，相机拍摄的实物所在的平面为图2中P(X,Y,Z)所在的平面，其中P(X,Y,Z)为世界坐标中的一点。取Z＝R，其中R为鱼眼图像的半径，可得：
式中，r表示的是在鱼眼相机中所成像的像高，f表示的是鱼眼相机的焦距，θ表示的是光线到鱼眼相机的入射角，为成像面上点(x,y)与x轴之间的夹角；
由式(1)可得：
设实物平面的点P(X,Y,Z)到成像面上的点(x,y)之间的线段与半球面的交点为P1(x1,y1,z1)，因此在式(9)中求得入射角θ和夹角求解出点P1：
将得到的空间点P1(x1,y1,z1)进行球面透视转换，将球面上的点P1映射到实物平面中，根据图2中存在的相似三角形可列以下关系式：
与式(4)联立，设原成像面上的点(x,y)经过校正后的坐标为(u,v)，鱼眼图像的原成像面上的点(x,y)与校正后的图像上的点之间的变换关系为：
根据式(10)变换关系并不断调整鱼眼图像半径R，选取校正效果最好的作为校正图像A1和B1。
步骤S4具体包括以下步骤：
(401)将校正图像A1和图像B1转换为灰度图，采用基于SIFT的特征点检测。
(402)为保证所提取的特征点具有尺度保持不变性，需要构建尺度空间的图像，然后在其中寻找出满足该性质的特征点。
(402)为保证所提取的特征点具有尺度保持不变性，需要构建尺度空间的图像，然后在其中寻找出满足该性质的特征点。
采用卷积运算对校正图像A1和B1进行尺度空间卷积，尺度空间卷积运算公式为：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
(11)
式中L(x,y,σ)表示图像在各尺度空间上的值，G(x,y,σ)表示二维高斯函数，I(x,y)表示输入图像，(x,y)表示图像中像素的坐标，σ表示尺度空间因子，σ越大表示图像更平滑，图像丢失的信息更少，反之则丢失信息更多。
将相邻尺度的L(x,y,σ)值进行差运算，则得到原图像在该尺度上的信息值，高斯差分函数为：
D(x,y,σ)＝(G(x,y,sσ)-G(x,y,σ))*I(x,y)
＝L(x,y,sσ)-L(x,y,σ)
(13)
D(x,y,σ)为高斯差分函数，s为相邻尺度空间的比例因子。
利用高斯差分函数得到高斯图像，在高斯差分图像结果中，计算SIFT候选特征点；
计算SIFT候选特征点，是取一像素点作为中心点，将其与在周围8个像素点以及高斯差分图像的上下两个相邻层的同位置的9个像素相比对，如果选取的中心点比这26个像素点的值都大或比这些像素点都小，则所述选取的中心点为SIFT候选特征点(局部灰度极值点)；
(403)从SIFT候选特征点中筛选掉不明显的特征点；不明显的特征点包括灰度伪特征点和边缘不稳定噪声点；
候选特征点集合M＝(x,y,σ)T，根据多元函数的泰勒展开公式得到高斯差分函数D(x,y,σ)在(x+Δx,y+Δy,σ+Δσ)处的二阶泰勒展开为：
Δx、Δy和Δσ为泰勒公式中参数的增量参数；
对式(9)其进行求导，令导函数等于零，得到极值M0；当在特征点M0的高斯差分值|D(M0)|＜0.03时，则将其视为灰度伪特征点并进行去除，否则保留该特征点。
(404)建立Hessian矩阵，其表达式为：
其中Dxx是特征点在水平方向上的二阶导数，Dxy是特征点先在水平方向求一阶导数，然后在垂直方向再求一阶导数，Dyy是特征点在垂直方向上的二阶导数。
设α等于H的最大特征值，β等于H的最小特征值，则α、β和Hessian矩阵关系式为：
当α、β都满足式(9)时，则为边缘不稳定噪声点并进行去除，否则保留特征点。
式中k表示最大特征值α和最小特征值β的比值，本实施例取值为10。
对特征点进行筛选后，计算特征点周围像素梯度大小和方向，通过直方图进行统计，将360°方向平均分为36组，其中幅值最大的那组为特征点的主方向。在确定图像特征点的位置和方向后，确定图像的特征向量，完成特征点的检测。
(405)采用BBF(Best-Bin-First)搜索算法，根据检测到的图像特征点构建一个二进制的空间分割树，即二叉树，其中二叉树中的各个节点对应着图像特征点信息。然后通过比较节点与二叉树查询节点间的欧式距离来对节点进行搜索，找出图像间相似的特征点并将其作为匹配对。
在已搜索的匹配对中，利用改进的RANSAC算法将匹配对进行提纯，去除错误的特征匹配对，保证匹配对的准确率。从匹配对中取出一对(Pi,Qi)，其他任意匹配为对(Pj,Qj)，利用Pi到图像A1中所有的特征点Pj的距离与Qi到图像B1中所有特征点Qj的距离之间的相似关系，通过评价函数W(i)计算相似差异：
式中，D(i,j)是Pi和Qi到每一对特征点的平均距离，d表示两点之间的距离，r(i,j)表示Pi和Qi与每一对特征点的相似差异。
然后将求出的所有W(i)取平均得均值W，然后根据W(i)值进行判断，如果满足条件，则将其视为准确的匹配对，进行保留，否则去除该匹配对。最后，在根据筛选后的准确匹配对计算出变换矩阵H。
W(i)＞0.8W
S5中根据S4中求出的变换矩阵确定图像的重叠区域，由于可能前后视角拍摄的图像光线的差异，采集的鱼眼图像会出现不同程度的亮度差异，导致后续拼接图像亮度不一致等问题。故根据同一时间采集的前后图像中的重叠区域中的像素点均值削弱拍摄时产生的亮度差异。首先分别计算前后视角两幅图像重复区域的像素值，记为I1和I2,并求出其重复区域均值及两重复区域均值/>然后根据式(14)，利用均值来调节I1和I2的亮度差异。
调节后，两幅图像亮度整体保持一致，可以保证后续拼接完成的全景图像的清晰度和完整性。
在根据变换矩阵确定图像的重叠区域和缝合线后，对待拼接图像进行视角变换，最后对图像进行有序拼接，完成全景拼接图像。
一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据一种基于双目相机的全景图像拼接方法的指令。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据一种基于双目相机的全景图像拼接方法。
以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (9)
1.一种基于双目相机的全景图像拼接方法，其特征在于，包括以下步骤：
S1.采集数据：控制双目相机拍摄图像，定义双目相机拍摄图像的一个相机拍摄的图像为图像A，另一个相机拍摄的图像为图像B；
S2.选用棋盘图作为标定板，采集若干标定图，从图像A和图像B中提取角点，标定法获取相机的内参、外参和畸变参数，实现相机的标定；
S3.对图像A和图像B进行畸变校正，获得校正后的图像A1和图像B1；
S4.基于SIFT特征点检测法提取校正图像A1和图像B1的特征点，并采用BBF搜索进行特征点的匹配，根据所得图像匹配对，计算出图像间的变换矩阵；
S5.对校正图像A1和B1进行亮度差异进行校正；
S6.根据变换矩阵确定图像的重叠区域和缝合线，实现图像有序拼接，整合成全景图像；
步骤S4具体包括以下步骤：
(401)将校正图像A1和图像B1转换为灰度图，基于SIFT的特征点检测；
(402)采用卷积运算对校正图像A1和B1进行尺度空间卷积，尺度空间卷积运算公式为：
L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)
式中L(x,y,σ)表示图像在各尺度空间上的值，G(x,y,σ)表示二维高斯函数，I(x,y)表示输入图像，(x,y)表示图像中像素的坐标，σ表示尺度空间因子；
将相邻尺度的L(x,y,σ)值进行差运算，高斯差分函数为：
D(x,y,σ)为高斯差分函数，s为相邻尺度空间的比例因子；
利用高斯差分函数得到高斯图像，在高斯差分图像结果中，计算SIFT候选特征点；
计算SIFT候选特征点，取一像素点作为中心点，将所述中心点与在周围n个像素点以及高斯差分图像的上下两个相邻层的同位置的n+1个像素相比对，如果选取的中心点比3n+2个像素点的值都大或比所述像素点都小，则所述选取的中心点为SIFT候选特征点；
(403)从SIFT候选特征点中筛选掉不明显的特征点；不明显的特征点包括灰度伪特征点和边缘不稳定噪声点；
候选特征点集合M＝(x,y,σ)T，根据多元函数的泰勒展开公式得到高斯差分函数D(x,y,σ)在(x+Δx,y+Δy,σ+Δσ)处的二阶泰勒展开为：
Δx、Δy和Δσ为泰勒公式中参数的增量参数；
对式(9)其进行求导,令导函数等于零，得到极值M0；当在特征点M0的高斯差分值|D(M0)|小于灰度阈值时，则特征点M0为灰度伪特征点并进行去除，否则保留该特征点；
(404)建立Hessian矩阵，表达式为：
其中Dxx是特征点在水平方向上的二阶导数，Dxy是特征点先在水平方向求一阶导数，然后在垂直方向再求一阶导数，Dyy是特征点在垂直方向上的二阶导数；
α等于H的最大特征值，β等于H的最小特征值，则α、β和Hessian矩阵关系式为：
当α、β都满足式(12)时，则为边缘不稳定噪声点并进行去除，否则保留特征点；
式中k表示最大特征值α和最小特征值β的比值；
对特征点进行筛选后，计算特征点周围像素梯度大小和方向，通过直方图进行统计，将360°方向平均分为36组，其中幅值最大的那组为特征点的主方向；在确定图像特征点的位置和主方向后，确定图像的特征向量，完成特征点的检测；
(405)采用BBF搜索算法，根据检测到的图像特征点构建二叉树，其中二叉树中的各个节点对应着图像特征点信息；通过比较节点与二叉树查询节点间的欧式距离来对节点进行搜索，找出图像间相似的特征点并将所述图像间相似的特征点作为匹配对；
在已搜索的匹配对中，从匹配对中取出一对(Pi,Qi)，其他任意匹配为对(Pj,Qj)，基于Pi到图像A1中所有的特征点Pj的距离与Qi到图像B1中所有特征点Qj的距离之间的相似关系，通过评价函数W(i)计算相似差异：
式中，D(i,j)是Pi和Qi到每一对特征点的平均距离，d表示两点之间的距离，r(i,j)表示Pi和Qi与每一对特征点的相似差异；
将求出的所有W(i)取平均得均值W，当W(i)大于评价阈值则为准确匹配对，进行保留，否则去除该匹配对；根据筛选后的准确匹配对计算出变换矩阵H。
2.根据权利要求1所述的基于双目相机的全景图像拼接方法，其特征在于，
S1中双目相机选用鱼眼相机，通过相反两个方向进行拍摄，获取空间360°全部图像信息。
3.根据权利要求1所述的基于双目相机的全景图像拼接方法，其特征在于，
S3中进行畸变校正采用球面透视投影法，在等距投影模型r＝fθ中，相机拍摄实物生成的图像A和B中任意一点像素的坐标为(x,y)，相机拍摄的实物所在的平面中P(X,Y,Z)所在的平面，其中P(X,Y,Z)为世界坐标中的一点；取Z＝R，其中R为图像A或者B的半径：
式中，r表示在相机中所成像的像高，f表示相机的焦距，θ表示的是光线到相机的入射角，为成像面上点(x,y)与x轴之间的夹角；
由式可得：
设实物平面的点P(X,Y,Z)到成像面上的点(x,y)之间的线段与半球面的交点为P1(x1,y1,z1)，在式(2)中求得入射角θ和夹角求解出点P1：
将得到的空间点P1(x1,y1,z1)进行球面透视转换，将球面上的点P1映射到实物平面中，根据相似三角形得式(4)：
原成像面上的点(x,y)经过校正后的坐标为(u,v)，图像的原成像面上的点(x,y)与校正后的图像上的点之间的变换关系为：
根据式(5)变换关系并调整图像半径R，获得校正图像A1和B1。
4.根据权利要求1所述的基于双目相机的全景图像拼接方法，其特征在于，步骤S5具体包括以下步骤：
(501)分别计算校正图像A1和B1两幅图像重复区域的像素值，记为I1和I2,并求出其重复区域均值和/>及两重复区域均值/>根据式(14)，利用均值调节I1和I2的亮度差异：
调节后，两幅图像亮度整体保持一致，可以保证后续拼接完成的全景图像的清晰度和完整性。
5.根据权利要求1所述的基于双目相机的全景图像拼接方法，其特征在于，k＝10。
6.根据权利要求1所述的基于双目相机的全景图像拼接方法，其特征在于，相机的内参是相机和传感器固有的特征，包括五个参数：相机的焦距f、像素点在x轴方向的尺度偏差dx、在y轴方向的尺度偏差dy、图像中心行坐标u0和列坐标v0；
相机的外参是相机位姿的参数，描述将图像中的像素点从世界坐标系转换到相机坐标的过程，包括旋转矩阵和平移矩阵；
相机的畸变参数指在成像时会由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形，产生的径向畸变和切向畸变。
7.根据权利要求1所述的基于双目相机的全景图像拼接方法，其特征在于，
灰度阈值为0.03。
8.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至7所述的方法中的任一方法的指令。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至7所述的方法中的任一方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654308.8A CN113191954B (zh) | 2021-06-11 | 2021-06-11 | 一种基于双目相机的全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654308.8A CN113191954B (zh) | 2021-06-11 | 2021-06-11 | 一种基于双目相机的全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191954A CN113191954A (zh) | 2021-07-30 |
| CN113191954B true CN113191954B (zh) | 2023-09-26 |
Family
ID=76976559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110654308.8A Active CN113191954B (zh) | 2021-06-11 | 2021-06-11 | 一种基于双目相机的全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191954B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709388B (zh) * | 2021-08-23 | 2022-07-05 | 西北工业大学 | 一种多源视频拼接方法及装置 |
| CN114549301A (zh) * | 2021-12-29 | 2022-05-27 | 浙江大华技术股份有限公司 | 图像拼接方法及装置 |
| CN114757834B (zh) * | 2022-06-16 | 2022-09-27 | 北京建筑大学 | 一种全景图像处理方法和全景图像处理装置 |
| CN116258811B (zh) * | 2023-05-08 | 2023-07-25 | 北京德风新征程科技股份有限公司 | 信息发送方法、装置、电子设备和计算机可读介质 |
| CN116681732B (zh) * | 2023-08-03 | 2023-10-20 | 南昌工程学院 | 一种基于复眼形态视觉的目标运动识别方法及系统 |
| CN117670667B (zh) * | 2023-11-08 | 2024-05-28 | 广州成至智能机器科技有限公司 | 一种无人机实时红外图像全景拼接方法 |
| CN117726559B (zh) * | 2023-12-14 | 2024-08-09 | 江苏北方湖光光电有限公司 | 一种基于低照度多视角图像拼接的亮度自适应匹配方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN107705252A (zh) * | 2017-10-13 | 2018-02-16 | 华东理工大学 | 适用于双目鱼眼图像拼接展开校正的方法及系统 |
| CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
| CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10496353B2 (en) * | 2016-09-29 | 2019-12-03 | Jiang Chang | Three-dimensional image formation and color correction system and method |
-
2021
- 2021-06-11 CN CN202110654308.8A patent/CN113191954B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN107705252A (zh) * | 2017-10-13 | 2018-02-16 | 华东理工大学 | 适用于双目鱼眼图像拼接展开校正的方法及系统 |
| CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
| CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于球面空间匹配的双目鱼眼全景图像生成;何林飞等;《计算机应用与软件》;第37卷(第2期);第166-170页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191954A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113191954B (zh) | 一种基于双目相机的全景图像拼接方法 | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN108564617B (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
| CN111750820B (zh) | 影像定位方法及其系统 | |
| US10506154B2 (en) | Method and device for generating a panoramic image | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN105957015B (zh) | 一种螺纹桶内壁图像360度全景拼接方法及系统 | |
| Adel et al. | Image stitching based on feature extraction techniques: a survey | |
| CN108734657B (zh) | 一种具有视差处理能力的图像拼接方法 | |
| CN109816708B (zh) | 基于倾斜航空影像的建筑物纹理提取方法 | |
| CN111723801B (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| Alomran et al. | Feature-based panoramic image stitching | |
| CN112862674B (zh) | 一种多图像自动拼接方法和系统 | |
| CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
| KR101868740B1 (ko) | 파노라마 이미지 생성 방법 및 장치 | |
| CN111899345A (zh) | 一种基于2d视觉图像的三维重建方法 | |
| Attard et al. | Image mosaicing of tunnel wall images using high level features | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| CN111260574B (zh) | 一种印章照片矫正的方法、终端及计算机可读存储介质 | |
| CN117253022A (zh) | 一种对象识别方法、装置及查验设备 | |
| Ha et al. | Embedded panoramic mosaic system using auto-shot interface | |
| WO2018100230A1 (en) | Method and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN113096051B (zh) | 一种基于消失点检测的图矫正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |