CN102519435B

CN102519435B - 全景影像采集测量系统和全景影像空间测量方法

Info

Publication number: CN102519435B
Application number: CN 201110433716
Authority: CN
Inventors: 刘玉亭; 殷铭; 张海威
Original assignee: SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Current assignee: SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Priority date: 2011-12-21
Filing date: 2011-12-21
Publication date: 2013-12-25
Anticipated expiration: 2031-12-21
Also published as: CN102519435A

Abstract

本发明公开了全景影像采集测量系统和全景影像空间测量方法，可单独采集全景，又可根据需求测量某一部分空间或者全部360度空间，从而实现全景影像采集系统向全景影像采集测量系统的跨越发展。其技术方案为：将全景影像采集独立为一个采集模块，并在此基础上，结合双目测量原理，在采集模块的基础上进一步增加其他的非激光原理的光学采集设备，如鱼眼或广角镜头及配套装置来进行测量的辅助，使测量的视角比传统双目视觉大大拓展。同时，由于全景采集设备和大视角的测量设备相结合，使得360度测量的复杂度降低了很多。

Description

全景影像采集测量系统和全景影像空间测量方法

技术领域

本发明涉及一种全景影像采集和测量技术，尤其涉及基于双目测量原理的全景影像采集测量系统以及全景影像空间测量方法。

背景技术

全景影像作为GIS(地理信息系统)的图像层，是GIS栅格影像的重要表现形式。由于GIS系统对全景影像的需求量日益增多，在全景影像的采集处理方法上，越来越需要半自动化甚至自动化的设备来进行海量的全景影像采集，从而满足海量的POI(兴趣点)关联的栅格数据提取和应用。

同时在各种GIS系统的应用需求中，日益强调对三维空间的测量功能，特别是全景影像的广泛使用，更使各研究个体及团体想方设法的寻找到如何基于全景影像来获取其影像中各点的位置信息的系统和方法。基于上述需求和问题，产生了诸多的全景影像采集和测量解决方案。

但他们大多都采用了全景影像采集装置配合以激光测量的系统及方法。其中，全景影像采集装置负责最大限度的进行接近360×180度全景影像的采集。该全景影像的采集往往采用获取以全景影像采集装置为中心的空间范围中的肉眼能分辨的光线，并将其转化为电子信号进行影像的获取和存留。而激光测量装置，则用来测量相对应的全景影像在360×180空间中的位置信息，通常没有图像的色彩信息，分辨率低，数据量大，采集范围有限，后处理复杂耗时，得到的空间点云数据需通过和全景影像的匹配而达成对全景影像上的点进行测量的目的。

同时也有一些采用了普通双目测量的系统及方法。其主要特点在于每组测量都是单独测量为主，相互不补充；每组测量的视角有限，在测量高楼，等场合就不方便；而在实际的应用中由于又经常需要全景和测量方案，所以单纯的普通双目测量的系统及方法是无法满足的。

上述全景影像采集和激光测量装置结构复杂，造价高，尤其是当提升全景影像画质的同时，激光测量装置相配套的数据量大幅提高，需配套的数据存储和处理各模块的采购和适配成本将大大提高，是制约上述装置进行海量，高精度数据采集的关键问题。

申请人结合长期的全景影像采集实践，发展出一套专门针对全景影像海量采集和测量的系统和方法。申请人的中国发明专利201110022511.x-鱼眼标定方法和装置解决了全景采集系统在采集活动发生前，完成对全景影像采集系统进行校准和标定活动的方法和装置。申请人的中国发明专利201110023561.x-基于鱼眼镜头的车载移动摄影测量系统则是在不改变任何我司现有全景影像采集系统的基础上，如何形成可以实现测量的系统。

而上述的中国发明专利还存在进一步的创新空间：将全景影像采集独立为一个采集模块，并在此基础上，结合双目测量原理，在采集模块的基础上进一步增加其他的非激光原理的光学采集设备，从而实现全景影像采集系统向全景影像采集测量系统的跨越发展，这将是目前亟待解决的问题。

发明内容

本发明的目的在于解决上述问题，提供了一种全景影像采集测量系统，可单独采集全景，又可根据需求测量某一部分空间或者全部360度空间，从而实现全景影像采集系统向全景影像采集测量系统的跨越发展。

本发明的另一目的在于提供了一种全景影像采集测量方法，可单独采集全景，又可根据需求测量某一部分空间或者全部360度空间，从而实现全景影像采集方法向全景影像采集测量方法的跨越发展。

本发明的技术方案为：本发明揭示了一种全景影像采集测量系统，基于双目测量原理实现，包括拍摄模块和控制模块，其中所述拍摄模块和所述控制模块通过线缆连接，所述拍摄模块包括全景拍摄装置、测量拍摄装置以及全景拍摄装置位置获取模块，所述控制模块包括标定模块、采集控制器、供电装置、存储模块，其中：

所述拍摄模块，用于外部数据的获取；

所述全景拍摄装置，用于全景影像的拍摄；

所述测量拍摄装置，用于辅助所述全景拍摄装置进行测量的影像采集；

所述全景拍摄装置位置获取模块，用于获取所述全景拍摄装置所在位置的经纬度坐标及其地理信息数据；

所述控制模块，用于集中控制所述拍摄模块各部分数据的获取和对获取到的数据的集中存储；

所述标定模块，用于在所述拍摄模块开始拍摄前对所述全景拍摄装置、所述测量拍摄装置以及所述全景拍摄装置位置获取模块进行校准；

所述采集控制器，用于在所述拍摄模块开始拍摄时对所述全景拍摄装置、所述测量拍摄装置进行集中的拍摄控制，并将获取到的外部影像数据同步传输到所述存储模块；

所述供电装置，用于对所述拍摄模块和所述控制模块所需的电源提供电力支撑；

所述存储模块，接收所述采集控制器的指令，获取并存储获取到的所述外部影像数据。

根据本发明的全景影像采集测量系统的一实施例，所述全景拍摄装置包括至少一个镜头组，其中每一镜头组包括一镜头和一感光存储器，各个感光存储器获得的影像依次连续完整连接在一起以形成全景影像。

根据本发明的全景影像采集测量系统的一实施例，所述测量拍摄装置包括一镜头和一感光存储器。

本发明还揭示了一种全景影像采集测量方法，包括：

进行全景拍摄装置和测量拍摄装置的图像标定，建立计算模型；

进行道路影像采集，获得连续的道路影像原始图、道路测量影像，其中所述道路影像原始图、所述道路测量影像以及拍摄设备的位置数据存在对应关系；

将采集到的所述道路影像原始图处理成道路全景影像；

将所述道路全景影像和同时获取到的所述道路测量影像导入所述计算模型中计算；

通过输入所要测量位置在所述道路全景影像中的像素坐标和与之对应的所述道路测量影像中的像素坐标，代入到所述计算模型中，经过运算得到所要测量位置的空间坐标。

根据本发明的全景影像采集测量方法的一实施例，所述计算模式是根据所述全景拍摄装置和所述测量拍摄装置建立的半单位球面模型。

根据本发明的全景影像采集测量方法的一实施例，在建立的半单位球面模型上建立鱼眼成像关系，初始化内参，计算单应矩阵，初始化外参，通过LM迭代最小化重投影误差，其中内参是所述全景拍摄装置和所述测量拍摄装置的自身参数，所述外参是所述全景拍摄装置和所述测量拍摄装置与外部环境之间的参数。

本发明又揭示了一种全景影像采集测量方法，包括：

将所述道路影像原始图和同时获取到的所述道路测量影像导入所述计算模型中计算；

通过输入所要测量位置在所述道路影像原始图中的像素坐标和与之对应的所述道路测量影像中的像素坐标，代入到所述计算模型中，经过运算得到所要测量位置的空间坐标。

本发明对比现有技术有如下的有益效果：本发明是将全景影像采集独立为一个采集模块，并在此基础上，结合双目测量原理，在采集模块的基础上进一步增加其他的非激光原理的光学采集设备，如鱼眼或广角镜头及配套装置来进行测量的辅助，使测量的视角比传统双目视觉大大拓展。同时，由于全景采集设备和大视角的测量设备相结合，使得360度测量的复杂度降低了很多。在本发明中，由于使用一组全景设备配合一组分散的测量设备，这样可以让测量基线(Base Line)变大，提升测量精度。这种系统，组装灵活性大，可以单独采集全景，又可根据需求测量某一部分空间或者全部360度空间，从而实现全景影像采集系统向全景影像采集测量系统的跨越发展。

附图说明

图1是本发明的全景影像采集测量系统的实施例的系统原理图。

图2A、2B是本发明的全景影像采集测量系统的实施例的设备原理图。

图3A、3B是本发明的全景影像采集测量系统的实施例的另一设备原理图。

图4是本发明的全景影像采集测量方法的第一实施例的流程图。

图5是本发明的全景影像采集测量方法的第一实施例的测量示意图。

图6是本发明的全景影像采集测量方法的第二实施例的流程图。

图7是本发明的全景影像采集测量方法的第二实施例的测量示意图。

图8是本发明的基于双目测量原理的全景影像采集测量方法的数学模型图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

在介绍本发明的各个实施例之前，首先对全景或者全景图像(影像)作一个说明：若将图像放在一个球空间、或立方体空间、或柱形空间、或锥形空间、或椭球空间中，通过上述空间中固定一点作为观察点，通过该观察点采用单点透视该图像所获得的影像的过程即为全景播放，则该图像被对应的称为球形全景、或立方体全景、或柱形全景、或锥形全景、或椭球全景，并且统称该图像为全景或全景图像(影像)。

本发明基于的测量原理是双目测量原理。其中双目测量原理具体为：

如图8所示，其中为全景相机图片上一点，其坐标直接采用球坐标表示，

m_{2} \begin{matrix}  \end{matrix} = [\begin{matrix} u \\ v \end{matrix}]

为鱼眼相机图片上一点，其坐标采用像素坐标表示。

用m₁的球坐标可得射线

由中国发明专利201110022511.x-鱼眼标定方法和装置可知如下公式：

(\begin{matrix} x_{d} \\ y_{d} \end{matrix}) = (\begin{matrix} \frac{1}{m_{u}} & 0 \\ 0 & \frac{1}{m_{v}} \end{matrix}) (\begin{matrix} u - u_{0} \\ v - v_{0} \end{matrix}),

求解出(x_d，y_d)

r = \sqrt{x_{d}^{2} + y_{d}^{2}} = k_{1} θ_{2} + k_{2} θ_{2}^{2} + k_{3} θ_{2}^{3},

求解出θ₂，

求解出

因此可求得射线

两条射线相交于空中一点X，令l₁＝Rl₂+T，其中R、T为全景相机与鱼眼相机之间的外参，由标定过程获得，则可求得λ₁和λ₂，从而得到空间点X的三维坐标。

其中X就是我们要进行测量的空间点，θ为射线与Z轴正方向夹角，

为射线与X轴正方向夹角，(u₀，v₀)为鱼眼图像的主点坐标，由标定过程获得，(m_u，m_v)为鱼眼相机中CCD水平与垂直方向单位距离的像素数，由标定过程获得，(x_d，y_d)为鱼眼相机像素点的空间平面坐标，r为鱼眼相机的像素点到主点的距离，λ为射线的模长，(k₁，k₂，k₃)为鱼眼相机的畸变参数，由标定过程获得。

全景影像采集测量系统的实施例

图1示出了本发明的基于双目测量原理的全景影像采集测量系统的实施例。请参见图1，本实施例的全景影像采集测量系统包括拍摄模块10和控制模块20。拍摄模块10和控制模块20通过线缆连接，线缆分为供电部分和数据交换部分。

拍摄模块10用于外部数据的获取，这些外部数据包括全景影像、用于测量的影像以及全景影像获取装置104的当前位置和相关数据。对应于拍摄模块10所需获取的外部数据，拍摄模块10包括全景拍摄装置100、测量拍摄装置102以及全景拍摄装置位置获取模块104。

全景拍摄装置100用于全景影像的拍摄。测量拍摄装置102用于辅助全景拍摄装置100进行测量的影像采集。全景拍摄装置位置获取模块104用于获取全景拍摄装置100所在位置的经纬度坐标及其地理信息数据。

全景拍摄装置100由镜头1000和感光存储器1002组成，为了获取360×180度的部分或全部空间全景影像，镜头1000和感光存储器1002各由至少一个到多个组成，镜头1000的个数和感光存储器1002的个数相同，且每个镜头1000和感光存储器1002耦接在一起，各个感光存储器1002获得的影像能够依次连续完整连接在一起，形成水平方向上覆盖360度视角范围的全景影像。

测量拍摄装置102由镜头1020和感光存储器1022组成。镜头1020和感光存储器1022各由至少一个到多个组成，镜头1020的个数和感光存储器1022的个数相同，且每个镜头1020和感光存储器1022耦接在一起，感光存储器1022获得的影像不需依次连续完整连接在一起，不需形成水平方向覆盖360度视角范围的全景影像。

感光存储器1002和感光存储器1022即通常意义上的感光元件，是将光转化为电荷信号的介质，可以是CCD(Charge Coupled Device，电荷耦合器件图像传感器)感光元件，或CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)图像传感器，或类CCD和CMOS结构的感光元件。感光存储器1002用于将镜头1000折射进来的可视光线转换为电荷信号。感光存储器1022用于将镜头1020折射进来的可视光线转换为电荷信号。

控制模块20用于集中控制拍摄模块10各部分数据的获取和对获取到的数据的集中存储。控制模块20包括标定模块200、采集控制器202、供电装置204、存储模块206。

标定模块200用于在拍摄模块10开始拍摄前，对全景拍摄装置100、测量拍摄装置102以及全景拍摄装置位置获取模块104进行校准。采集控制器202用于在拍摄模块10开始拍摄时，对全景拍摄装置100、测量拍摄装置102所包含的一个或多个镜头1000、一个或多个感光存储器1002、一个或多个镜头1020、一个或多个感光存储器1022进行集中的拍摄控制，并将一个或多个感光存储器1002和一个或多个感光存储器1022中获取到的外部影像数据同步传输到存储模块206。供电装置204用于对拍摄模块10和控制模块20所需的电源提供电力支撑。存储模块206接收采集控制器202的指令，获取并存储一个或多个感光存储器1002以及一个或多个感光存储器1022中获取到的外部影像数据。

拍摄模块10中的全景拍摄装置100和测量拍摄装置102的布局如图2A-2B和图3A-3B所示。

在图2A-2B中，装置30对应于全景拍摄装置100，装置40对应于测量拍摄装置102，装置50对应于全景拍摄装置位置获取模块104。

装置30中的镜头组300、镜头组302、镜头组304、镜头组306、以及镜头组308构成全景拍摄装置100。镜头组300、镜头组302、镜头组304、镜头组306、以及镜头组308由镜头1000和感光存储器1002构成。镜头组300、镜头组302、镜头组304、镜头组306、以及镜头组308依次间隔72度，各镜头组的反向延长线相交于一点Q，且Q点到各镜头组的感光存储器1002的距离相同。镜头组300、镜头组302、镜头组304、镜头组306、以及镜头组308内的各感光存储器1002所获取的影像能够在水平方向完整拼合成360度的全景影像。

装置40示出的镜头组由一个镜头1020和一个感光存储器1022组成。装置40放置的位置面向需要进行测量的方向，装置40的放置不需要和装置30水平，即，可与装置30成任意角度摆放。

装置50对应于全景拍摄装置位置获取模块104，放置位置以Q点为中心。装置50用于获取Q点位置的坐标及相关地理信息参数。

相似的，图3A-3B中，装置60对应于全景拍摄装置100，装置70对应于测量拍摄装置102，装置80对应于全景拍摄装置位置获取模块104。

装置60中镜头组600、镜头组602、镜头组604、以及镜头组606构成全景拍摄装置100。镜头组600、镜头组602、镜头组604、以及镜头组606由镜头1000和感光存储器1002构成。镜头组600、镜头组602、镜头组604、以及镜头组606依次间隔90度，各镜头组的反向延长线相交于一点Q，且Q点到各镜头组的感光存储器1002的距离相同。镜头组600、镜头组602、镜头组604、以及镜头组606内的各感光存储器1002所获取的影像能够在水平方向完整拼合成360度的全景影像。

基于上述图1、图2A-2B、以及图3A-3B的描述，本基于双目测量原理的全景影像采集测量系统的第一实施例不在全景拍摄装置100和测量拍摄装置102所含的镜头1000、感光存储器1002、镜头1020、以及感光存储器1022的总体数量上做限制。仅要求镜头1000和感光存储器1002数量一一对应，且若干镜头1000和感光存储器1002能在水平方向完全拼合成360度的全景影像；也仅要求镜头1020和感光存储器1022数量一一对应。

基于上述图1、图2A-2B、以及图3A-3B的描述，本基于双目测量原理的全景影像采集测量系统的第一实施例在保证图1的论述的前提下，可在工业化生产的配合下生产出更多类似图2A-2B、或图3A-3B的装配图示。

全景影像采集测量方法的第一实施例

在示出了上述基于双目测量原理的全景影像采集测量系统的第一实施例的同时，图4相配合的示出了本发明的基于双目测量原理的全景影像采集测量方法的第一实施例。请参见图4，下面是对本实施例的基于双目测量原理的全景影像采集测量方法的各个步骤的详细描述。

步骤S10：拍摄设备的图像标定。

这一步骤主要实行全景拍摄装置和测量拍摄装置的图像标定，并建立计算模型。在这一步骤中，根据全景拍摄装置和测量拍摄装置建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系，初始化内参，其中内参是全景拍摄装置和测量拍摄装置的自身参数，与外部环境无关，同时计算单应矩阵，初始化外残，其中外参是全景拍摄装置和测量拍摄装置与外部环境之间的参数，通过LM迭代最小化重投影误差，得到优化后的内参与外参。具体的标定方法，参阅申请人的中国发明专利201110022511.x-鱼眼标定方法和装置。

步骤S12：道路影像及相关数据采集。

在执行完步骤S10后，本发明所描述的基于双目测量原理的全景影像采集测量系统进行道路的采集工作，基于双目测量原理的全景采集测量系统在道路上做位移，进行持续的道路影像采集，并获得连续的道路影像原始图和道路测量影像。道路影像原始图和道路测量影像存在固定的位置关系且互相对应。道路影像原始图和道路测量影像与同时获取的全景拍摄装置位置数据存在对应关系。

步骤S13：道路影像原始图处理成道路全景影像。

将全景拍摄装置获取的道路影像原始图进行处理，组合成道路全景影像，供后续步骤使用。

步骤S14：道路全景影像与同时获取的测量影像导入。

将道路全景影像与一一对应的道路测量影像导入计算。并将S10建立的单半球面模型导入计算。

进一步的，如图5所示，将全景道路影像M1和同时获取的测量影像M2导入计算，并将S10建立的半球面模型导入计算。

步骤S16：影像对比测量。

通过输入所要测量位置在道路全景影像中的像素坐标(a1，b1)和与之一一对应的道路测量影像中的像素坐标(m1，n1)代入步骤S14所获得的数学模型中，经过运算可得到所要测量位置点的空间坐标。

在本实施例中，可在步骤S14和S16之间进行循环，直到希望进行空间位置测量完毕。

全景影像采集测量方法的第二实施例

在示出上述基于双目测量原理的全景影像采集测量系统的第一实施例的同时，图6相配合的示出了本发明的基于双目测量原理的全景影像采集测量的方法的第二实施例。请参见图6，下面是对本实施例的基于双目测量原理的全景影像采集测量方法的各个步骤的详细描述。

步骤S20：拍摄设备的图像标定。

根据全景拍摄装置和测量拍摄装置建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系，初始化内参，其中内参是全景拍摄装置和测量拍摄装置的自身参数，与外部环境无关，同时计算单应矩阵，初始化外残，其中外参是全景拍摄装置和测量拍摄装置与外部环境之间的参数，通过LM迭代最小化重投影误差，得到优化后的内参与外参。具体的标定方法，参阅我司的中国发明专利201110022511.x-鱼眼标定方法和装置。

步骤S22：道路影像及相关数据采集。

在执行完步骤S20后，本发明所描述的基于双目测量原理的全景影像采集测量系统进行道路的采集工作，基于双目测量原理的全景采集测量系统在道路上做位移，进行持续的道路影像采集，并获得连续的道路影像原始图和道路测量影像。道路影像原始图和道路测量影像存在固定的位置关系且互相对应。道路影像原始图和道路测量影像与同时获取的全景拍摄装置位置数据存在对应关系。

步骤S24：道路影像原始图与同时获取的测量影像导入。

将道路影像原始图与相对应的道路测量影像导入计算。并将S20建立的单半球面模型导入计算。

进一步的，如图7所示，将道路影像原始图M1和同时获取的测量影像M2导入计算，并将S20建立的半球面模型导入计算。

步骤S26：影像对比测量。

通过输入所要测量位置在道路影像原始图中的像素坐标(a1，b1)和与之相对应的道路测量影像中的像素坐标(m1，n1)代入步骤S24所获得的数学模型中，经过运算可得到所要测量位置点的空间坐标。

在本实施例中，在步骤S24和S26之间进行循环，直到希望进行空间位置测量完毕。

上述实施例是提供给本领域普通技术人员来实现或使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims

1.一种全景影像采集测量系统，基于双目测量原理实现，包括拍摄模块和控制模块，其中所述拍摄模块和所述控制模块通过线缆连接，所述拍摄模块包括全景拍摄装置、测量拍摄装置以及全景拍摄装置位置获取模块，所述控制模块包括标定模块、采集控制器、供电装置、存储模块，其中：

所述拍摄模块，用于外部数据的获取；

所述全景拍摄装置，用于全景影像的拍摄；

所述标定模块，用于在所述拍摄模块开始拍摄前对所述全景拍摄装置、所述测量拍摄装置以及所述全景拍摄装置位置获取模块进行校准，根据所述全景拍摄装置和所述测量拍摄装置建立鱼眼相机的半单位球面模型；

2.根据权利要求1所述的全景影像采集测量系统，其特征在于，所述全景拍摄装置包括至少一个镜头组，其中每一镜头组包括一镜头和一感光存储器，各个感光存储器获得的影像依次连续完整连接在一起以形成全景影像。

3.根据权利要求1所述的全景影像采集测量系统，其特征在于，所述测量拍摄装置包括一镜头和一感光存储器。

4.一种全景影像采集测量方法，包括：

进行全景拍摄装置和测量拍摄装置的图像标定，建立鱼眼相机的半单位球面模型；

将采集到的所述道路影像原始图处理成道路全景影像；

5.根据权利要求4所述的全景影像采集测量方法，其特征在于，在建立的半单位球面模型上建立鱼眼成像关系，初始化内参，计算单应矩阵，初始化外参，通过LM迭代最小化重投影误差，其中内参是所述全景拍摄装置和所述测量拍摄装置的自身参数，所述外参是所述全景拍摄装置和所述测量拍摄装置与外部环境之间的参数。

6.一种全景影像采集测量方法，包括：

7.根据权利要求6所述的全景影像采集测量方法，其特征在于，在建立的半单位球面模型上建立鱼眼成像关系，初始化内参，计算单应矩阵，初始化外参，通过LM迭代最小化重投影误差，其中内参是所述全景拍摄装置和所述测量拍摄装置的自身参数，所述外参是所述全景拍摄装置和所述测量拍摄装置与外部环境之间的参数。