CN103226840B - 全景影像拼接及量测系统及方法 - Google Patents

Abstract

本发明公开了一种全景影像拼接及量测系统及方法，该系统包括360°全景影像拼接模块、鱼眼镜头畸变改正模块和影像量测模块，其中，360°全景影像拼接模块用来将多幅鱼眼影像拼接成360°全景影像；鱼眼镜头畸变改正模块用来改正单幅鱼眼影像和360°全景影像的畸变；影像量测模块用来获取改正后的单幅鱼眼影像和360°全景影像的空间信息。本发明在已知相机焦距和象元大小的前提能对单幅鱼眼影像和360°全景影像进行精确量测。

Description

全景影像拼接及量测系统及方法

技术领域

本发明属于全景影像测量领域，具体是一种通过全景影像数据获得空间信息的全景影像拼接及量测系统及方法。

背景技术

随着测绘技术和社会需求的不断发展，全景相机及其360度全景影像已经广泛应用于测绘生产和其它社会服务中。然而，目前的全景影像主要充当虚拟场景的角色，全景影像可视化软件通常只提供漫游和查询等功能。

从场景中获取深度信息一直是机器视觉研究领域中最重要的问题之一。地理信息系统的发展促进了测绘技术的进步，全景地图是近年来地理信息系统发展的热点方向，全景地图系统也是数字城市建设的重要组成部分，它不仅对政府监管部门在道路养护、城市管理以及安保任务执行等方面具有辅助作用，还能为社会公众的出行提供便利，利用全景影像处理技术，为我们提供了与真实地物、地貌近似的可视化模型

全景图像的可量测技术具有极大的实用价值，如在市政管理、规划管理（如用于编制城乡规划中的现状分析和调查、道路和市政设施规划管理等）、应急救援、实景导航和道路设施管理等中均发挥了不可取代的作用。

目前，全景影像的一大局限在于可实现360°全景浏览及漫游等功能，却无法提供物体的空间几何信息。

专利号申请号为201110029746的中国专利，利用柱面投影进行影像畸变改正，然后基于sift算法对影像匹配拼接，最后根据控制点做后方交会然后再前方交会从而达到量测目的。该方法的修改畸变差效果一般，且匹配定位精度不高，而且，量测方法复杂，实际应用还需要克服匹配、外方位元素解算等难点。

发明内容

本发明的目的是提供一种通过鱼眼影像数据快速、精确获取物体空间几何信息的简单、有效的全景影像拼接及量测系统及方法。

为达到上述目的，本发明的技术方案如下：

一种全景影像拼接及量测系统，包括360°全景影像拼接模块、鱼眼镜头畸变改正模块和影像量测模块，其中：

360°全景影像拼接模块用来将多幅鱼眼影像拼接成360°全景影像；

鱼眼镜头畸变改正模块用来改正单幅鱼眼影像和360°全景影像的畸变；

影像量测模块用来获取改正后的单幅鱼眼影像和360°全景影像的空间信息，具体为：用来基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据物点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中任何两物点之间的距离。

上述鱼眼镜头畸变改正模块为基于球面模型的鱼眼镜头畸变改正模块。

上述360°全景影像拼接模块进一步包括畸变改正模块和拼接模块，其中，畸变改正模块用来将单幅鱼眼影像转换成完全线性或部分线性影像；拼接模块用来对畸变改正模块改正后的影像进行拼接以获得360°全景影像。

上述影像量测模块进一步包括子模块地面线段量测模块、竖直线段量测模块和竖直平面内非竖直线段量测模块。

一种全景影像拼接及量测方法，包括步骤：

将多幅鱼眼影像拼接成360°全景影像；

改正单幅鱼眼影像和360°全景影像的畸变；

获取改正后的单幅鱼眼影像和360°全景影像的空间信息，具体为：基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据物点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中任何两物点之间的距离。

采用球面模型改正单幅鱼眼影像和360°全景影像的畸变。

上述获取改正后的单幅鱼眼影像和360°全景影像的空间信息，进一步包括子步骤：

1获取地面线段距离，具体为：

基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据地面物点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中两地面物点A'、B'之间的距离L：

$L=h\sqrt{{\left[f(\frac{1}{d|y_B-H/2|}-\frac{1}{d|y_A-H/2|})\right]}^2+{(\frac{x_A-W/2}{|y_A-H/2|}-\frac{x_B-W/2}{|y_B-H/2|})}^2}$

其中，h为相机中心到地面的距离，f为相机焦距，d为象元大小，H、W分别为影像的高和宽；x_A、y_A分别为地面物点A'在投影切平面上对应的投影点在投影切平面坐标系上的横、纵坐标；x_B、y_B分别为地面物点B'在投影切平面上对应的投影点在投影切平面坐标系上的横、纵坐标；

2获取竖直线段距离，具体为：

基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据物点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中两地面物点A'、B'之间的距离L：

$L=h+h\×\frac{|y_B-H/2|}{|y_A-H/2|}$

其中，h为相机中心到地面的距离，H为影像高；y_A为地面物点A'在投影切平面上对应的投影点在投影切平面坐标系上的纵坐标；y_B为地面物点B'在投影切平面上对应的投影点在投影切平面坐标系上的纵坐标；

3获取竖直平面内非竖直线段距离，具体为：

3-1在原始影像上确定竖直平面S''与地面的相交线L：

首先，在原始影像上选取过相交线L的任意两个点a₁、b₁，然后根据公式（3-1）～（3-4）求出点a₁、b₁在投影切平面中的坐标；然后，根据点a₁、b₁的坐标，求出相交线L与投影切平面横向的夹角，接着，将点a₁、b₁以设定距离分别向相交线L两端做n次延伸，这时在相交线L上得到2n+2个地面点，分别计算出该2n+2个点在投影切平面的坐标；最好，根据上述2n+2个点在投影切平面的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连起来得到一条沿着相交线L的曲线连线；

3-2获取代表竖直平面S''的网格：

首先，过步骤3-1所得2n+2个点分别做地面垂线；然后，在各垂线上，将地面点以设定距离向垂线两端做m次延伸；接着，确定各垂线上2m+2个点在投影切平面的坐标；然后，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表竖直平面S''的网格；

3-3获取物方地面S'的网格：

首先，步骤3-1所得相交线L上的2n+2个点均对应着一个到投影切平面的纵深，将各点以设定距离沿着各点对应的纵深方向两端做k次延伸；然后，确定各纵深方向上各点在投影切平面的坐标；接着，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表地方面S''的网格。

3-4基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并基于所构建的竖直平面S''和物方地面S'网格获取单幅鱼眼影像或360°全景影像中两地面物点A'、B'之间的距离L。

与现有技术相比，本发明具有以下特点：

（1）在鱼眼镜头影像畸变改正中，本发明通过球面模型将原始影像重新经过一次球面投影得到畸变改正后的图像，可纠正原始图像横向和纵向的各种变形。

（2）本发明基于相机中心、像点、物方点三点共线的共线方程，提出了一种简单、有效的鱼眼影像量测方法。

附图说明

图1为本发明系统的架构图；

图2为球面模型示意图；

图3为重采样示意图；

图4为根据关键点邻域梯度信息生成特征向量的示意图，其中，图（a）为关键点邻域梯度示意图，图（b）为关键点示意图；

图5为图像的重复区域融合示意图；

图6为图像融合中融合权重和融合处像素点位置的关系示意图；

图7为中心投影构图关系示意图；

图8为地面线段量测模块的量测原理示意图；

图9为竖直线段量测模块的量测原理示意图；

图10为竖直平面内非竖直线段量测模块的量测原理示意图；

图11为地面线段量测模块的量测实例；

图12为竖直线段量测模块的量测实例；

图13为竖直平面内非竖直线段量测模块的量测实例。

具体实施方式

下面将结合具体实施方式对本发明的各模块进行详细说明。

一、鱼眼镜头畸变改正模块

本具体实施采用球面模型改正鱼眼影像畸变，下面将对球面模型原理进行介绍。

图2为球面模型，以鱼眼镜头中心O为原点，以鱼眼图像的横向和纵向分别为X、Y轴，构建O-XYZ三维坐标系。图中，OZ为鱼眼镜头的主光轴，XOY面是成像平面，坐标原点O即相机中心。M为空间一点，连接OM交球面于P，过P点做OZ的平行线交XOY面于点Q，点Q即为点M的球面投影。平面S是切于镜头的一个平面，即投影切平面S，OM与投影切平面S交于P'，O'是投影切平面S与主光轴OZ的交点，即投影切平面S中心。以O'为原点，过O'点分别作X、Y轴的平行线，即得到X'、Y'轴，构建O'-X'Y'坐标系。

利用图2中球面模型需解决的问题是：将鱼眼影像上某个坐标点的像素值经投影变换到投影切平面S，然后采用间接采样法生成改正后的影像。

假设相机焦距为f，即图2中半圆球的半径，d为像素大小。

在原始影像平面内，以相机中心为原点O，点Q到相机中心O的距离r为：

$r=\sqrt{x^2+y^2}\×d---(1-1)$

其中，x、y分别为点Q在O-XYZ三维坐标系中的横、纵坐标。

距离r就等于在半圆球上顶点O'到P点沿半径最大的弧的弧长，所以O'OP对应的弧的弧度β为：

β=r/f（1-2）

根据弧度β推算出在点Q对应在投影切平面上的点P'到投影切平面中心O'的距离R：

R=tan(β)×f（1-3）

根据R推算点P'在投影切平面坐标系，即O'-X'Y'坐标系中的坐标：

x’=R×x×d/r

y’＝R×y×d/r（1-4）

其中，x、y分别为点Q在O-XYZ三维坐标系中的横、纵坐标。

根据公式（1-1）～（1-4）即可推出投影影像的高H和宽W。

基于以上原理，也可通过投影切平面上已知点P'的坐标反算出该点在原始影像平面内的对应点Q的坐标，如下：

α=arctan(y'/x')

$O^{\′}{P}^{\′}=d\×\sqrt{x^{\′}\×x^{\′}+y^{\′}\×y^{\′}}$

κ＝arctan(S/f)（1-5）

L＝κ×f

x＝cos(α)×L/d

y＝sin(α)×L/d

其中，x、y分别为点Q在O-XYZ三维坐标系中的横、纵坐标；x'、y'分别为点P'在投影切平面坐标系中的横、纵坐标；α为投影切平面S内点P'跟O'X'轴的夹角；O'P'为点P'到原点O'的距离；κ为O'OP对应的弧的弧度；L为点P'在原始影像平面内的对应点Q到相机中心O的距离。

通过原始影像到投影切平面的正算可获得投影影像的大小，通过投影切平面到原始影像的反算可获得投影切平面上某一点在原始影像上的对应位置。上述计算获得的坐标值不可能全部为整数，即不可能恰好落在原始影像上的某一像素位置，针对该问题，可采用双线性差值法解决。见图3，经反算获得点P刚好落在P[0][0]、P[1][0]、P[0][1]、P[1][1]这四个像素内，x_tao、y_tao分别为点P与点P[0][0]的坐标之差，其值非整数。

见图3，在图3中的垂直方向上有：

t₁＝(1-y_tao)×p[0][0]+y_tao×p[0][1]（1-6）

t₂＝(1-y_tao)×p[1][0]+y_tao×p[1][1]

其中，t₁、t₂为重采样参数；p[0][0]、p[0][1]、p[1][0]、p[1][1]分别为[0][0]、[0][1]、[1][0]、[1][1]位置的像素灰度值。

在图3中的水平方向上有：

t＝(1-x_tao)×t1+x_tao×t2（1-7）

其中，t为重采样后的结果灰度值。

如果t小于零的话，就将其赋值为0；如果t>255，则t=255。

将投影切平面S上各点采用公（1-5）进行反算，得出其在原始影像上的坐标，然后根据重采样公式（1-6）和（1-7）获得投影切平面上各像素的灰度值，从而得到畸变改正后的鱼眼影像。

二、360°全景影像拼接模块

该模块进一步包括畸变改正模块和拼接模块。本具体实施中，畸变改正模块采用经纬法改正单幅鱼眼影像在垂直方向上的畸变差，从而得到畸变改正后的鱼眼影像；拼接模块则基于siftCPU提取特征点对畸变改正模块改正后的鱼眼影像进行拼接得到360°全景影像。

1、畸变改正模块

鱼眼影像的成像原理与人眼的透视系统存在较大差异，且其图像信息是以非线性方式存储，存在严重变形，无法直接处理，需要将其转变为线性透视图像后再进行相关处理。在全景拼接领域，鱼眼镜头常采用水平拍摄方式，在拍摄的时候将摄像镜头轴心平行于水平面，以镜头为圆心，按特定的角度水平旋转镜头一周。

由于鱼眼影像是存在形变的非线性图像，直接对其进行拼接将导致后面所有功能模块都必须采用非线性方法。因此，一般都先将鱼眼影像转换成完全线性，或者某方向线性（如，进行水平方向的图像拼接时，则需要鱼眼影像的垂直线性）。完成转换后，后续模块可采用通用的处理线性图像的方式，完成鱼眼影像的拼接。本具体实施中采用经纬法改正鱼眼影像在垂直方向的畸变，将其转换成垂直线性图像。

2、拼接模块

拼接模块基于siftCPU提取各单幅鱼眼影像的特征点后，基于提取的特征点对多幅鱼眼影像进行匹配、拼接融合从而得到360°全景影像。

影像特征提取主要包括步骤：

1）建立尺度空间，检测尺度空间极值点，以初步确定关键点位置和所在尺度。

2）通过拟和三维二次函数，以精确确定关键点位置和尺度，去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

3）确定关键点方向，具体为：利用关键点邻域像素的梯度方向分布特性为关键点指定方向参数，使算子具备旋转不变性。

4）提取特征描述符，其具体方案为：首先，将坐标轴旋转为关键点方向，以确保旋转不变性。然后，以关键点为中心取8×8的窗口，见图4，图4（a）中的中央黑点为当前关键点位置，圈代表高斯加权范围。在每4×4的小块上计算8个方向的梯度方向直方图并计算各梯度方向的累加值，形成种子点。图中关键点由2×2共4个种子点组成，见图4（b），各种子点有8个方向向量信息，邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了容错性。实际计算中，可使用4×4共16个种子点来描述，这样对于一个关键点就可产生128个数据，即最终形成128维的SIFT特征向量。此时，SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可进一步去除光照变化的影响。

完成影像特征提取后，下一步进行特征向量匹配，主要包括2个步骤：

1)相似性度量

一般可采用欧氏距离、马氏距离等距离函数作为特征的相似性度量，根据相似性度量可得到影像间的潜在匹配。

2)消除错误匹配

通过相似性度量得到潜在匹配对后，其中会产生错误匹配，需要根据几何限制和附加约束消除错误匹配，提高鲁棒性。可使用RANSAC随机抽样一致性算法去外点。算法随机选择3个特征点确定一个圆线拟合，可降低匹配特征点共线的风险，同时在一定程度上避免了内点过于临近，相对于多次循环RANSAC算法，改进后的圆线形RANSAC算法提高了消除错配的效率，增强了图像配准算法稳健性。

在影像拼接中，由于sift算法较为复杂，计算一副图像的SIFT特征点需要较长时间，而且计算出来的特征点中对拼接有用的点是处于重叠区域的特征点，所以，本具体实施中，仅选取图像的重叠区域来计算SIFT特征点以提高计算效率。

在确定图像之间位置关系后，需要对两幅存在交叉区域的图像进行重投影，将其投影到同一幅图像之内，从而达到拼接效果，重投影往往是以一幅图像作为基图像，第二幅图像内所有的点通过图像的位置模型重新计算，得到这些点在第一幅图像内的相对位置，从而将两幅图像统一成一幅拼接图。在重投影过程中，会出现非整数的像素点数据，因此需要进行差值计算，再加上拍摄误差，特征点检测匹配的噪声数据等等因素，往往会造成两幅图像间的交叉数据无法完全重叠，产生如重影，模糊，过度不自然等拼接问题。

本具体实施采用一种多次非线性融合法，即对图像中的重叠区域采用加权处理，将重叠区域中的像素与两幅图像的位置关系作为权重信息，从而达到过渡效果。但仅仅如此，重叠部分会出现重影等不利于拼接的问题，所以，根据位置关系，距离拼接图像越近则权值就应该越大，仅仅一次的线性关系是不能满足去除重影的条件，所以，采用如下融合公式进行拼接：

$p(x,y)={\left(\frac{x-x_s}{x_e-x_s}\right)}^3{I}_1(x,y)+(1-{\left(\frac{x-x_s}{x_e-x_s}\right)}^3)I_r(x,y)---(2-1)$

公式（2-1）中，p(x,y)表示图像中(x,y)位置像素点的灰度值；x_s为重叠区域的像素坐标起点，x_e则为重叠区域像素的坐标终点，见图5；I_l(x,y)、I_r(x,y)分别表示处于重叠区域左方和右方的图像分别在点(x,y)处的灰度值。

公式（2-1）的图形表达见图6，在重叠区域中心位置权值设为0.5，随着融合处像素点与中心位置距离的变化，左边权值I_左以距离的三次方的速度变化，右边权值I_右则是用1减去I_左。

三、影像量测模块

本部分内容所使用的所有字母的含义以本部分的定义为准。

影像量测模块基于共线方程建立像平面坐标系和物方坐标系之间的联系，并根据物点在物方坐标系中的坐标获取单幅鱼眼影像或360°全景影像中任何两物点之间的实际距离，从而实现影像的量测。

本具体实施中，影像量测模块进一步包括竖直线段量测模块、地面线段量测模块和竖直平面内非竖直线段量测模块。竖直线段量测模块用来量测公路路灯高、室内门高等垂直地面物体的高度；地面线段量测模块用来量测地面上任意距离，例如公路斑马线长度等；竖直平面内非竖直线段量测模块可用来量测墙壁上挂画的尺寸等。

下面说明影像量测模块的基本原理。

影像量测模块是基于摄影测量学中的共线方程进行影像中任意距离的量测。见图7，选取地面摄影测量坐标系D-XYZ和像空间辅助坐标系O-uvw，并使上述两种坐标系的坐标轴彼此平行。地面摄影测量坐标系D-XYZ即物方坐标系，像空间辅助坐标系O-uvw的uOv平面为影像。

图7中，相机中心O与地面任意物方点A在地面摄影测量坐标系中的坐标分别为O(X_O,Y_O,Z_O)和A(X,Y,Z)，因此，地面物方点A在像空间辅助坐标系中的坐标为A(X-X_O,Y-Y_O,Z-Z_O)，像点a在像空间辅助坐标系中的坐标为a(u,v,w)。由于S、a、A三点共线，因此，基于三角形相似原理可得到：

$\frac{u}{X-X_O}=\frac{v}{Y-Y_O}=\frac{w}{Z-Z_O}=\frac{1}{\mathrm{\λ}}---(3-1)$

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\frac{1}{\mathrm{\λ}}\left[\begin{array}{c}X-X_O\\ Y-Y_O\\ Z-Z_O\end{array}\right]---(3-2)$

在摄影测量学中，像点a在像空间坐标系中与像空间辅助坐标系的坐标存在关系：

$\left[\begin{array}{c}x\\ y\\ -f\end{array}\right]=\left[\begin{array}{ccc}{a}_1& b_1& c_1\\ a_2& b_2& c_2\\ a_3& b_3& c_3\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\end{array}\right]---(3-3)$

式（3-3）中，x、y分别是像点a在像空间坐标系上的横、纵坐标，f为相机焦距；a_i、b_i、c_i为旋转矩阵因子，i＝1,2,3，a_i、b_i、c_i为由相机的外方元素ω、κ所生成的3×3正交旋转矩阵R的元素。

基于公式（3-1）～（3-3），可获得公式（3-4）：

$X-X_O=(Z-Z_O)\frac{a_{1}x+a_{2}y-a_{3}f}{c_{1}x+c_{2}y-c_{3}f}---(3-4)$

$Y-Y_O=(Z-Z_O)\frac{b_{1}x+b_{2}y-b_{3}f}{c_{1}x+c_{2}y-c_{3}f}$

当X_O、Y_O均为0，Z_O即为相机中心O到地面的距离h，外方位元素ω、κ的初值都设为零，因此，可求出地面物方点A在地面摄影测量坐标系D-XYZ的坐标值，知道地面物方点的坐标值，即可采用欧式距离计算影像中两点之间的实际距离。

在测量中，可根据物方点、像点、相机中心在成像空间的特点——三点共线，再结合相似三角形原理解决全景影像测量问题。

1、地面线段量测模块

该模块可用来量测地面上任意两物方点之间的距离。见图8，其中，半圆代表鱼眼镜头，O为相机中心，S为投影切平面，S'为物方地面；A、B分别是投影切平面上的两点，即像点；O'为投影切平面的中心点；A'、B'是地面上与点A、B对应的物方点，L1、L2分别是过物方点A'、B'所做的沿影像横向方向的垂直线；过A点做DZ平行线与DXY平面交于P点，连接A'、P，并延长与直线DY交于P'，过点B'做A'P所在直线的垂直与A'P交于M点。

根据A点在投影切平面坐标系的纵坐标y_A及投影后影像高H来确定AO'：

O'A＝|y_A-H/2|×d（3-5）

式（3-5）中，d为象元大小。所述的投影切平面坐标系以投影切平面中心点O'为原点，其横纵坐标轴分别与物方坐标系的横纵坐标平行。

基于三角形相似原理，可得到：

$\frac{P^{\′}P}{P^{\′}{A}^{\′}}=\frac{O^{\′}A}{O{P}^{\′}}---(3-6)$

由于点P为投影切平面S与直线P'A'的交点，所以P'P＝f，O'P＝h，h为相机中心O到地面的距离，根据公式（3-5）和（3-6）可得到：

L1＝f×h/|y_A×d-H/2×d|（3-7）

同理，可获得L2＝f×h/|y_B×d-H/2×d|，所以，A'M＝|L2-L1|。

令A、B在投影切平面内沿影像横向方向X到投影切平面坐标系Y'轴的距离为m1、m2，令A'、B'到X轴的距离分别为M1、M2。同样基于相似三角形原理，得到：

m1＝x_A-W/2（3-8）

m2＝x_B-W/2

式（3-8）中，x_A、x_B分别为点A、B在投影切平面坐标系中的横坐标；

W为投影后的投影影像宽。

基于三角形相似原理，可得到：

$M1=h\frac{x_A-W/2}{|y_A-H/2|}---(3-9)$

$M2=h\frac{x_B-W/2}{|y_B-H/2|}$

所以，B'M＝|M1-M2|。

由A'M和B'M可以得到地面任意两点A'、B'之间的距离：

$A^{\′}{B}^{\′}=\sqrt{A^{\′}M\×A^{\′}M+B^{\′}M\×B^{\′}M}---(3-10)$

即，

$A^{\′}{B}^{\′}=h\sqrt{{\left[f(\frac{1}{d|y_B-H/2|}-\frac{1}{d|y_A-H/2|})\right]}^2+{(\frac{x_A-W/2}{|y_A-H/2|}-\frac{x_B-W/2}{|y_B-H/2|})}^2}$

2、竖直线段量测模块

本模块用来量测过地面某一点与地面垂直的线段距离，例如：公路路灯的高、室内门高等。该类直线的特点是该线段与地面必须有一个交点且交点为线段的一个端点，见图9。

见图9，半圆代表鱼眼镜头，A'B'为与地面垂直的待测距离，点A'为地面上一物方点，O'M是与地面平行且垂直于A'B'的直线，S为投影切平面，S'为物方地面，A、B分别是投影切平面上与物方点A'、B'对应的两点，O'为投影切平面S的中心点，L1是过物方点A'做的Y轴的垂直线，利用公式（3-6）、（3-7）可求出L1距离，将L1定义为物方点A'到投影切平面的纵深距离。由于物方点B'与A'的连线与地面相互垂直，所以，从图9可以得出，点B'到投影切平面的纵深距离也是L1。过A点做DZ平行线与DXY平面交于P点，连接A'、P，并延长与直线DY交于P'，过点B'做A'P直线的垂直线与A'P交于M点。

基于三角形相似原理，可得到：

$\frac{{\mathrm{OO}}^{\′}}{\mathrm{OM}}=\frac{O^{\′}A}{M{A}^{\′}}=\frac{O^{\′}B}{{\mathrm{MB}}^{\′}}---(3-11)$

根据公式（3-5）可得到O'A＝|y_A-H/2|×d，O'B＝|y_B-H/2|×d。

由于M'A＝h，

则根据式（3-11）可得到： $\left|{\mathrm{MB}}^{\′}\right|=h\×\frac{|y_B-H/2|}{|y_A-H/2|}.$

因此，A'B'距离为：

$\left|A^{\′}{B}^{\′}\right|=\left|{\mathrm{MA}}^{\′}\right|+\left|{\mathrm{MB}}^{\′}\right|=h+h\×\frac{|y_B-H/2|}{|y_A-H/2|}---(3-12)$

3、竖直平面内非竖直线段量测模块

从上述两类线段距离的求解中可以看出，求解线段距离的关键在于确定物方点到投影切平面的纵深距离，如果两线段两端点的纵深距离确定了，就可以基于三角形相似原理采用欧式距离来确定线段距离。

见图10，半圆代表鱼眼镜头，S是投影切平面，S'是物方地面，S''是某与地面垂直的任意竖直平面，A'、B'为竖直平面S''内任意两物方点，且A'、B'均不在物方地面S'上；A、B分别是图像上与物方点A'、B'对应的两像点，L为竖直平面S''与物方地面S'的交线；过物方点A'、B'分别作L的垂线并与L交于a、b点，L1、L2分别是过a、b点所做的沿影像横向方向的垂直线，过b点做L1所在直线的垂线交于n点。

从图中可以看出，物方点A'、B'到投影切平面的纵深距离难以直接求出，但是，点A'、B'到投影切平面S的纵深距离分别等于点a、b到投影切平面S的纵深距离L1、L2，根据公式（3-7）可得点a、b对应的纵深距离L1、L2。

针对本类线段，本发明提出了一种网格法来获得本类线段的距离。所述的网格法包括以下步骤：

第一步，在原始鱼眼镜头影像上确定竖直平面S''与地面的相交线L。

（1）在原始鱼眼镜头影像上选取过相交线L的任意两个点a₁、b₁，然后根据公式（3-1）～（3-4）求出点在投影切平面中的坐标。

（2）根据点a₁、b₁在投影切平面中的坐标求出相交线L与投影切平面横向的夹角。

（3）将点a₁、b₁以设定距离分别向相交线L两端做n次延伸，这时在相交线L上得到2n+2个地面点，根据公式（3-5）～（3-9）分别计算出该2n+2个点在投影切平面的坐标。

（4）根据（1-5）反算出上述2n+2个点在原始影像中的坐标，并将各点依次连起来得到一条沿着相交线L的曲线连线。

第二步，获取代表S''面的网格。

过步骤一所得的2n+2个点分别做地面垂线，然后分别在各垂线上，将各点以设定距离向垂线两端做n次延伸，同步骤一，根据公式（3-11）～（3-12）确定各垂线上2n+2个点在投影切平面坐标系的纵坐标；然后，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表竖直平面S''的网格。

第三步，采用同步骤二相同的方法获取物方地面S'的网格。

在步骤一中确定了相交线L上的2n+2个地面点后，各点对应着一个到投影切平面的纵深L，将各点以设定距离沿着各点对应的纵深方向两端做n次延伸，根据公式（1-1）～（1-4）反算出各纵深方向上各点在投影切平面的坐标；然后，再利用公式（1-5）反算出各点在原始影像上的坐标；最后，将各点连接，即形成一个代表物方地面S'的网格。

确定代表S''面和S'面的网格后，根据网格即可确定物方点A'、B'对应的纵深距离L1和L2。具体为：

首先，根据物方点A'、B'的横坐标判断物方点在原始图像的相交线L上的的2n+2个点中哪两个点之间；然后，在投影面切平面内计算出点A、B的直线方程，将A点在投影切平面的横坐标带入直线方程即可求出A点对应a点的纵坐标，根据公式（3-7）即可出L1，同理也可求出L2。

已知物方点A'和B'的纵深L1和L2，可采用地面线段量测模块可获得地面两点a和b的距离|ab|，从而得到|AM'|距离；采用竖直线段量测模块可分别获得|A'a|和|B'b|距离值，从而得到|B'M|距离值。根据|AM'|和|B'M|值，获得物方点之间的距离A'B'距离：

$\left|A^{\′}{B}^{\′}\right|=\sqrt{B^{\′}M\×B^{\′}M+A^{\′}M\×A^{\′}M}---(2-13)$

下面将结合几个具体应用来说明本发明的技术效果。

本具体实施的量测选用的是ladybug3全景相机，相机焦距3.3mm，象元大小4.4×10^-6m，在拍摄时，相机中心距离地面距离为1.205m。

1）量测地面距离

见图11，采用本发明方法量测图11（a）中斑马线的距离，图（a）中标注斑马线的标准距离为2.960038，图11（b）中量测的斑马线即11（a）中标注的斑马线，图11（c）中量测的斑马线是与图11（a）中标识的斑马线平行的另一条斑马线。量测图11（b）和图11（c）中白线长度，即可获得斑马线的量测结果，见表1。

表1地面距离量测结果

2）量测垂直距离

见图12，采用本发明方法量测图12（a）中路灯高度，图路灯的实际高度为7.941086。量测图12（b）和图12（c）中白线长度，即可获得路灯线的量测结果，见表2。

图12（b）和图12（c）中对路灯的量测结果相差了近10cm，这是由于，图12（b）的量测结果是从电线杆台阶下面的路面开始测量，而在图12（c）的测量结果则是在台阶上从路灯的底部就开始测量，这两个测量值之差实际上相差了一个台阶的高度。

表1地面距离量测结果

3）量测竖直平面内非竖直直线的距离

见图13，采用画网格的方法来完成对竖直平面内一些非竖直直线的量测。本具体应用中需要量测图中5段线段a、b、c、d、e的距离，该5段线段的量测分别为a=2.86141，b=1.5072，c=3.12619，d=3.5777e=4.69716，其中，a、b、c三条线段构成直角三角形，a、d、e三条线段也构成直角三角形。

可以采用勾股定理对量测结果进行自检验。在直角三角形abc中，由勾股定理可以求出 $c^{\′}=\sqrt{a^2+b^2}=3.23409;$ 可求得 $e^{\′}=\sqrt{a^2+d^2}=4.55011.$ 与原来测量结果比较，Δc＝c-c'=-0.1079，Δe＝e-e'=0.14705。在自检验过程中发现，量测的自检验误差都在±15cm。

Claims (5)

1.全景影像拼接及量测系统，其特征在于，包括360°全景影像拼接模块、鱼眼镜头畸变改正模块和影像量测模块，其中：

360°全景影像拼接模块用来将多幅鱼眼影像拼接成360°全景影像；

鱼眼镜头畸变改正模块用来改正单幅鱼眼影像和360°全景影像的畸变；

影像量测模块用来获取改正后的单幅鱼眼影像和360°全景影像的空间信息，具体为：用来基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据物点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中任何两物点之间的距离；

其中，影像量测模块进一步包括子模块：地面线段量测模块、竖直线段量测模块和竖直平面内非竖直线段量测模块；

地面线段量测模块，用来基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据地面物点在投影切平面上对应的投影点在投影切平面坐标系中的坐标，获取单幅鱼眼影像或360°全景影像中两地面物点A'、B'之间的距离A'B'：

$A^{\′}{B}^{\′}=h\sqrt{{\[f(\frac{1}{d|y_B-H/2|}-\frac{1}{d|y_A-H/2|})\]}^2+{(\frac{x_A-W/2}{|y_A-H/2|}-\frac{x_B-W/2}{|y_B-H/2|})}^2}$

其中，h为相机中心到地面的距离，f为相机焦距，d为象元大小，H、W分别为影像的高和宽；x_A、y_A分别为地面物点A'在投影切平面上对应的投影点在投影切平面坐标系上的横、纵坐标；x_B、y_B分别为地面物点B'在投影切平面上对应的投影点在投影切平面坐标系上的横、纵坐标；

竖直线段量测模块，用来基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据物点在投影切平面上对应的投影点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中两物点A'、B'之间的距离A'B'：

$A^{\′}{B}^{\′}=h+h\×\frac{|y_B-H/2|}{|y_A-H/2|}$

其中，h为相机中心到地面的距离，H为影像高；y_A为地面物点A'在投影切平面上对应的投影点在投影切平面坐标系上的纵坐标；y_B为物点B'在投影切平面上对应的投影点在投影切平面坐标系上的纵坐标；线段A'B'为与地面垂直的待测线段；

竖直平面内非竖直线段量测模块用来：

在原始影像上确定竖直平面S”与地面的相交线L：首先，在原始影像上选取过相交线L的任意两个点a、b，然后根据公式 $\left\{\begin{array}{c}X-X_O=(Z-Z_O)\frac{a_{1}x+a_{2}y-a_{3}f}{c_{1}x+c_{2}y-c_{3}f}\\ Y-Y_O=(Z-Z_O)\frac{b_{1}x+b_{2}y-b_{3}f}{c_{1}x+c_{2}y-c_{3}f}\end{array}\right.$ 分别求出点a、b在投影切平面中的坐标，其中，f为相机焦距；a_i、b_i、c_i为由相机的外方元素所生成的旋转矩阵因子，i＝1,2,3；(X_O,Y_O,Z_O)表示相机中心O在地面摄影测量坐标系中的坐标；然后，根据点a、b的坐标，求出相交线L与投影切平面横向的夹角，接着，将点a、b以设定距离分别向相交线L两端做n次延伸，这时在相交线L上得到2n+2个地面点，分别计算出该2n+2个点在投影切平面的坐标；最后，根据上述2n+2个点在投影切平面的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连起来得到一条沿着相交线L的曲线连线；

获取代表竖直平面S”的网格：首先，经过所得2n+2个点分别做地面垂线；然后，在各垂线上，将地面点以设定距离向垂线两端做m次延伸；接着，确定各垂线上2m+2个点在投影切平面的坐标；然后，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表竖直平面S”的网格；

获取物方地面S'的网格：首先，所得相交线L上的2n+2个点均对应着一个到投影切平面的纵深，将各点以设定距离沿着各点对应的纵深方向两端做k次延伸；然后，确定各纵深方向上各点在投影切平面的坐标；接着，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表物方地面S'的网格；

基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并基于所构建的竖直平面S”和物方地面S'网格获取单幅鱼眼影像或360°全景影像中两物点A'、B'之间的距离。

2.如权利要求1所述的全景影像拼接及量测系统，其特征在于：

所述的鱼眼镜头畸变改正模块为基于球面模型的鱼眼镜头畸变改正模块。

3.如权利要求1所述的全景影像拼接及量测系统，其特征在于：

所述的360°全景影像拼接模块进一步包括畸变改正模块和拼接模块，其中：

畸变改正模块用来将单幅鱼眼影像转换成完全线性或部分线性影像；

拼接模块用来对畸变改正模块改正后的影像进行拼接以获得360°全景影像。

4.全景影像拼接及量测方法，其特征在于，包括步骤：

将多幅鱼眼影像拼接成360°全景影像；

改正单幅鱼眼影像和360°全景影像的畸变；

获取改正后的单幅鱼眼影像和360°全景影像的空间信息，进一步包括：

1获取地面线段距离，具体为：

基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据地面物点在投影切平面上对应的投影点在投影切平面坐标系中的坐标，获取单幅鱼眼影像或360°全景影像中两地面物点A'、B'之间的距离A'B'：

$A^{\′}{B}^{\′}=h\sqrt{{\[f(\frac{1}{d|y_B-H/2|}-\frac{1}{d|y_A-H/2|})\]}^2+{(\frac{x_A-W/2}{|y_A-H/2|}-\frac{x_B-W/2}{|y_B-H/2|})}^2}$

其中，h为相机中心到地面的距离，f为相机焦距，d为象元大小，H、W分别为影像的高和宽；x_A、y_A分别为地面物点A'在投影切平面上对应的投影点在投影切平面坐标系上的横、纵坐标；x_B、y_B分别为地面物点B'在投影切平面上对应的投影点在投影切平面坐标系上的横、纵坐标；

2获取竖直线段距离，具体为：

基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并根据物点在投影切平面上对应的投影点在投影切平面坐标系中的坐标获取单幅鱼眼影像或360°全景影像中两物点A'、B'之间的距离A'B'：

$A^{\′}{B}^{\′}=h+h\×\frac{|y_B-H/2|}{|y_A-H/2|}$

其中，h为相机中心到地面的距离，H为影像高；y_A为地面物点A'在投影切平面上对应的投影点在投影切平面坐标系上的纵坐标；y_B为物点B'在投影切平面上对应的投影点在投影切平面坐标系上的纵坐标；线段A'B'为与地面垂直的待测线段；

3获取竖直平面内非竖直线段距离，具体为：

3-1在原始影像上确定竖直平面S”与地面的相交线L：

首先，在原始影像上选取过相交线L的任意两个点a、b，然后根据公式 $\left\{\begin{array}{c}X-X_O=(Z-Z_O)\frac{a_{1}x+a_{2}y-a_{3}f}{c_{1}x+c_{2}y-c_{3}f}\\ Y-Y_O=(Z-Z_O)\frac{b_{1}x+b_{2}y-b_{3}f}{c_{1}x+c_{2}y-c_{3}f}\end{array}\right.$ 分别求出点a、b在投影切平面中的坐标，其中，f为相机焦距；a_i、b_i、c_i为由相机的外方元素所生成的旋转矩阵因子，i＝1,2,3；(X_O,Y_O,Z_O)表示相机中心O在地面摄影测量坐标系中的坐标；然后，根据点a、b的坐标，求出相交线L与投影切平面横向的夹角，接着，将点a、b以设定距离分别向相交线L两端做n次延伸，这时在相交线L上得到2n+2个地面点，分别计算出该2n+2个点在投影切平面的坐标；最后，根据上述2n+2个点在投影切平面的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连起来得到一条沿着相交线L的曲线连线；

3-2获取代表竖直平面S”的网格：

首先，经过步骤3-1所得2n+2个点分别做地面垂线；然后，在各垂线上，将地面点以设定距离向垂线两端做m次延伸；接着，确定各垂线上2m+2个点在投影切平面的坐标；然后，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表竖直平面S”的网格；

3-3获取物方地面S'的网格：

首先，步骤3-1所得相交线L上的2n+2个点均对应着一个到投影切平面的纵深，将各点以设定距离沿着各点对应的纵深方向两端做k次延伸；然后，确定各纵深方向上各点在投影切平面的坐标；接着，根据各点在投影切平面上的坐标获取其在原始影像中的坐标，将原始影像中的各点依次连接，即得到代表物方地面S'的网格；

3-4基于摄影测量学中的共线方程和相似三角形原理构建像平面坐标系和物方坐标系之间的联系，并基于所构建的竖直平面S”和物方地面S'网格获取单幅鱼眼影像或360°全景影像中两物点A'、B'之间的距离。

5.如权利要求4所述的全景影像拼接及量测方法，其特征在于：

所述的改正单幅鱼眼影像和360°全景影像的畸变是采用球面模型进行改正。