CN102679959A - 基于主动全景视觉传感器的全方位三维建模系统 - Google Patents

Abstract

一种基于主动全景视觉传感器的全方位三维建模系统，包括全方位视觉传感器、移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上；所述微处理器包括：视频图像读取模块、全方位视觉传感器标定模块、Bird-View变换模块、全方位面激光信息解析模块、联合标定模块、移动面激光光源的直线电机的位置估计模块、移动面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元；本发明实现了3D全景模型重构的几何准确性、真实感和重建过程自动化的完美统一。

Description

基于主动全景视觉传感器的全方位三维建模系统

技术领域

本发明涉及激光光源、全方位视觉传感器以及计算机视觉技术在立体视觉测量方面的应用，尤其是一种基于主动立体全景视觉传感器的全方位三维模型重建技术，主要应用于机器人导航和三维立体重构。

背景技术

基于计算机视觉的双目立体视觉三维测量与立体重构技术，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。针对具有高精度的几何信息和真实感的颜色信息的三维模型的重建，一直是计算机视觉、人工智能、模式识别、计算机图形学和地理信息系统等领域的研究热点。

三维模型的重建技术主要涉及到以下三个方面的内容：1）几何的准确性；2）真实感；3）重建过程的自动化。三维模型的重建所需要的数据主要包括激光扫描的深度图像数据和图像传感器采集的图像数据两个方面。

通常立体图像获取是通过采用由图像传感器构成的双目立体视觉进行场景图像采集，即同时从不同视点采集两幅同一场景的图像。但由于普通的图像传感器的视场角较小，只能获取有限视场内的局部图像。为了获取大视场场景图像，只能通过单个图像传感器旋转或者多个图像传感器组合得到全景图像，为此产生了系统设计复杂、运行实时性差等问题。全方位视觉传感器（ODVS）通过镜面折反射原理得到360°范围的环境图像信息，对于建立室内环境三维模型有着巨大优势。由于二次曲面的折反射使得获得的全景图像水平方向畸变很大，往往需要将全景图像进行展开，根据不同的需要全景图像可以展开成360°矩形展开图像、局部透视展开图像和Bird-View变换图像。

中国发明专利申请号为200810062128.5公开了一种基于双目全方位视觉传感器的立体视觉测量装置，该专利中组成立体视觉测量装置的两个全方位视觉传感器采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，能实现快速的点与点的匹配，从而达到立体视觉测量的目的。该发明利用全景图像具有大视场的优点，对两幅全景图像进行立体匹配获得场景深度图，并经过相关图像处理方式建立环境三维模型；但是从完成点对点匹配到立体测量仍需要较大的计算资源，要实现实时在线的立体测量以及三维立体重构仍然存在着一些“病态”计算问题。

基于激光扫描所建立的三维模型只能得到精确的空间三维几何模型，而缺少场景的纹理信息；而基于图像立体匹配建立的室内环境三维模型虽然具有纹理信息，但模型精度很低，按目前的图像传感器的分辨率还难以达到真正有效地实用。因此，通过激光扫描得到准确的三维几何模型，通过数据关联与分割，在三维点云模型中构建环境表面，然后将图像中相应部分映射到模型表面，使得重构后的三维模型同时具有较高的精度和较好的纹理信息。

但是上述方法最大的问题是无法满足实时处理的要求，尤其难以满足移动机器人这样的实时导航定位的任务需求。

发明内容

为了克服已有的被动式全景立体视觉测量装置的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高等不足，以及全彩色全景LED光源的主动三维立体全景视觉测量装置容易受到环境光的干扰等不足，本发明提供一种通过直接获取空间三维点的位置几何信息以及颜色信息，能够减少计算机资源消耗、快速完成测量、实时性好、实用性强、鲁棒性高的基于主动全景视觉传感器的全方位三维建模系统。

要实现上述发明内容，必须要解决三个核心问题：（1）实现一种移动面激光光源；（2）实现一种能快速获得实际物体深度信息的主动式全景视觉传感器；（3）将激光扫描空间数据点与全景图像中相应像素点进行快速融合的方法；（4）一种基于全方位视觉Bird-View变换的三维重建方法。

本发明解决其技术问题所采用的技术方案是：

一种基于主动全景视觉传感器的全方位三维建模系统，所述全方位三维建模系统包括全方位视觉传感器、用于产生三维体结构投射光源的移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上；

所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出与所述微处理器连接；

所述的移动面激光光源包括绿光线激光发生单元、线激光发生组合单元、直线电机组件、导向支撑杆、直线电机固定支架、底盘和红光线激光发生单元；所述的绿光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出绿光的全方位面激光光源；所述的红光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出红光的全方位面激光光源；组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别固定在所述的直线电机组件中齿条的两端；所述的导向支撑杆垂直固定在所述的底盘上，所述的直线电机固定支架垂直固定在所述的底盘上；

所述的全方位视觉传感器通过连接板安装在所述的移动面激光光源中的所述的导向支撑杆上，构成一个主动式全方位视觉传感器；

所述微处理器包括：

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储单元中，其输出与所述的全方位视觉传感器标定模块、Bird-View变换模块和全方位面激光信息解析模块连接；

全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，标定后的参数存放在所述的存储单元中；

Bird-View变换模块，用于读取存放在所述的存储单元中的全方位视觉传感器的标定参数值，通过Bird-View变换来修正全方位视觉成像后严重扭曲变形，将全方位图像变换为Bird-View视图，Bird-View视图类似于鸟类俯瞰着这个地面上所形成的图像，变换后得到的Bird-View视图存放在所述的存储单元中，以便后续处理中调用；

全方位面激光信息解析模块，用于在全景图像上解析出激光投影信息，产生点云信息；

联合标定模块，用于对所述的主动式全方位视觉传感器进行标定；由于所述的全方位视觉传感器和所述的移动面激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；

移动面激光光源的直线电机的位置估计模块，用于估算所述的移动面激光光源的当前位置，为所述的移动面的点云几何信息的计算模块提供数据；

移动面的点云几何信息的计算模块，用于对所述的移动面激光光源的直线电机的位置的估计值以及在全景图像上解析出激光投影信息的相关像素坐标值计算移动面的点云几何信息；

点云的几何信息和颜色信息的融合模块，对每个点云用(R,α,β，r,g,b)来表达其几何信息和颜色信息，其中，R为点云到全方位视觉传感器单视点Om的距离，α为点云到全方位视觉传感器单视点Om的入射角，β为点云到全方位视觉传感器单视点Om的方位角，r为点云的RGB颜色空间的R颜色分量，g为点云的RGB颜色空间的G颜色分量，b为点云的RGB颜色空间的B颜色分量；

以移动面的位置信息构建全景3D模型构建模块，用于逐步构建全景3D模型；所述的移动面激光光源完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某一个高度情况下的切片点云数据，将这些数据以所述的移动面激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；从上极限位置到下极限位置重构过程为向下全景3D重构模式，从下极限位置到上极限位置重构过程为向上全景3D重构两种不同模式；

3D全景模型生成模块，用于输出重构结果并为下一次重构做准备。

进一步，所述的全方位视觉传感器标定模块中，建立一个成像平面的像点与入射光线之间的联系，即与入射角之间的对应关系，用公式（6）表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...{+a}_N{\left|\right|u^{\′\′}\left|\right|}^N}---\left(6\right)$

式中，α表示点云的入射角，||u″||为传感器平面点到该平面中心点的距离，a₀、a₁、a₂、a_N为标定的全方位视觉传感器的内外参数，通过公式（6）建立一张成像平面任一像素点与入射角之间的对应关系表，表1为本发明中使用的一种单视点全方位视觉传感器的标定结果，

表1 ODVS的标定结果

对于采用的全方位视觉传感器进行标定后，成像平面上的点||u″||与点云的入射角α关系可以用下面等式来表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{-75.12+0.0027{\left|\right|u^{\′\′}\left|\right|}^2}$

更进一步，所述的Bird-View变换模块中，Bird-View变换看成全方位视觉传感器成像过程的一种逆变换，因此利用公式（6）标定的结果进行Bird-View变换，通过该标定结果将全方位图像转换成Bird-View图像，其中点云P到观测点Om在水平地面上的投影点之间的距离R用公式（7）进行计算，

$R=h\×\cos \mathrm{\β}/\tan \mathrm{\α}=\frac{h\×|f\left(\right|\left|u^{\′\′}\right|\left|\right)\×\cos \mathrm{\β}}{\left|u^{\′\′}\right||}=---\left(7\right)$

$\frac{h\×\cos \mathrm{\β}\×(a_0+a_1|\left|u^{\′\′}\right||+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N)}{\left|u^{\′\′}\right||}$

式中，R为点云P到观测点Om在水平地面上的投影点之间的距离，h为点云P到观测点Om在垂直面上的投影点之间的距离，α为点云P到观测点Om的入射角，β为点云P到观测点Om的方位角。

所述的全方位面激光信息解析模块中，解析在全景图上绿色激光和红色激光投射点的方法是根据绿色激光和红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将全景图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均亮度的1.2倍作为提取绿色激光和红色激光投射点的阈值，在提取出绿色激光和红色激光投射点后需要进一步区分绿色激光和红色激光投射点，根据HIS颜色空间中的色调值H进行判断，如果色调值H在（0，30）之间就判断为红色激光投射点，如果色调值H在（105，135）之间就判断为绿色激光投射点，其余像素点就判断为干扰；采用高斯近似方法来抽取出激光投射线的中心位置，具体实现算法是：

Step1：设置初始方位角β＝0；

Step2：在全景图像上以方位角β从全景图像的中心点开始检索红色和绿色激光投射点，对于方位角β上存在着若干个连续的红色激光投射的像素，选择HIS颜色空间中的I分量，即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置；具体计算方法由公式（8）给出，

$d=\frac{\ln \left(f(i-1)\right)-\ln \left(f(i+1)\right)}{2\×[\ln \left(f(i-1)\right)-2\ln \left(f\left(i\right)\right)+\ln \left(f(i+1)\right)]}$

式中，f(i-1)、f(i)和f(i+1)分别为三个相邻像素接近最高亮度值的亮度值，d为修正值，i表示从图像中心点开始的第i个像素点；因此估算得到的红色激光投射线的中心位置为(i+d)，该值对应于公式（6）和公式（7）中的||u″||，即||u″||(β)_red＝i+d；对于绿色激光投射点的估算方法类同，得到||u″||(β)_green；

Step3：改变方位角继续检索激光投射点，即β=β+Δβ，Δβ=0.36；

Step4：判断方位角β=360，如果成立，检索结束；反之转到Step2。

所述以移动面的位置信息构建全景3D模型构建模块中，三维重构的处理流程是：

StepA：通过视频图像读取模块读取全景视频图像:；

StepB：根据直线电机的移动速度以及到达两个极限点的时间估计移动面激光光源的直线电机的位置；

StepC：在全景图像上解析出全方位面激光信息，计算移动面点云几何信息；

StepD：从内存中读取无激光投射情况下的全景视频图像，根据StepC中处理结果将移动面几何信息和颜色信息进行融合；

StepE：逐步构建全景3D模型；

StepF：判断是否已经到达极限点位置，如果是的话转到StepG，不成立的话转到StepA；

StepG：设置所述的移动面激光光源为OFF，读取无激光投射情况下的全景视频图像，并将其保存在内存单元中，输出3D全景模型并保存到存储单元，设置所述的移动面激光光源为ON，转到StepA。

所述的移动面激光光源的直线电机的位置估计模块中，规定在重构开始时将移动面激光光源的初始位置定在上极限位置h_up lim it，初始步长控制值z_move(j)=0，相邻两帧时间移动面激光光源的移动步长为Δz，即存在着以下关系，

z_move(j+1)=z_move(j)+Δz    （9）

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为移动面激光光源的移动步长，这里规定从上极限位置h_up lim it向下方向移动时，Δz=1mm；从下极限位置h_{down lim it}向上方向移动时，Δz=-1mm；程序实现时通过以下关系式进行判断，

$\mathrm{\Δz}=\left\{\begin{array}{cc}1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=0\\ -1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=h_{\mathrm{LaserMD}}\\ \mathrm{\Δz}& \mathrm{else}\end{array}\right.---\left(10\right)$

根据设计红色全方位面激光和绿色全方位面激光之间距离满足以下关系，

h_redlazer(z_move(j))=500+h_greenlazer(z_move(j))  （11）

式中，z_move(j)为第j帧时步长控制值，在红色全方位面激光处于上极限位置h_up lim it时，z_move(j)=0；当绿色全方位面激光处于下极限位置h_{down lim it}时，z_move(j)＝h_LaserMD；上下极限位置存在着以下关系，

h_{down lim it}=500+h_LaserMD+h_up lim it    （12）

所述的移动面的点云几何信息的计算模块中，点云的空间位置信息用高斯坐标系来表示，每一个点云的空间坐标相对于全方位视觉传感器的单视点Om为高斯坐标原点的高斯坐标用3个值来确定，即(R,α,β)，R为某一个点云到全方位视觉传感器的单视点Om的距离，α为某一个点云到全方位视觉传感器的单视点Om的入射角，β为某一个点云到全方位视觉传感器的单视点Om的方位角，对于点云

点，其计算方法由公式（13）给出，

$R_b\left(z_{\mathrm{move}}\left(j\right)\right)=\frac{h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)}{\sin {\mathrm{\α}}_b}---\left(13\right)$

${\mathrm{\α}}_b\left(z_{\mathrm{move}}\left(j\right)\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{f\left({\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}\right)}\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)$

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_red为点云

点对应于成像平面上的点到该平面中心点的距离，h_redlaer(z_move(j))为点云点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，α_b(z_move(j))为点云

点到全方位视觉传感器的单视点Om的入射角，R_b(z_move(j))为点云

到全方位视觉传感器的单视点Om的距离；

对于点云点，其计算方法由公式（15）给出，

$R_a\left(z_{\mathrm{move}}\left(j\right)\right)=\frac{h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)}{\sin {\mathrm{\α}}_a}---\left(15\right)$

${\mathrm{\α}}_a\left(z_{\mathrm{move}}\left(j\right)\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{f\left({\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}\right)}\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)$

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_green为点云

点对应于成像平面上的点到该平面中心点的距离，h_greenlazer(z_move(j))为点云

点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，α_a为点云点到全方位视觉传感器的单视点Om的入射角，R_a为点云

到全方位视觉传感器的单视点Om的距离。

所述的点云的几何信息和颜色信息的融合模块中，为融合过程如下，

Step①：设置初始方位角β=0；

Step②：根据方位角β和在传感器平面上与点云数据相对应的||u″||(β)_red和||u″||(β)_green两个点的信息，读取无激光投射情况下的全景视频图上的相关像素点的(r,g,b)颜色数据，与从所述的StepC中处理加工得到的相对应的(R,α,β)进行融合，得到相对应的点云几何信息和颜色信息(R,α,β，r,g,b)；

Step③：β←β+Δβ，Δβ=0.36，判断β=360是否成立，如果成立结束计算，将计算结果保存在存储单元中；否则转到Step②；

所述的移动面的点云几何信息的计算模块中，点云

点空间位置信息用笛卡尔坐标系

来表示，其计算方法由公式（14）给出，

$x_b\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\cos \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)---\left(14\right)$

$y_b\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\sin \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)$

z_b(z_move(j))=-h_redlazer(z_move(j))

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_red为点云

点对应于成像平面上的点到该平面中心点的距离，h_redlaer(z_move(j))为点云点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，β为点云点到全方位视觉传感器的单视点Om的方位角；

点云

点空间位置信息用笛卡尔坐标系

来表示，其计算方法由公式（16）给出，

$x_a\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\cos \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)---\left(16\right)$

$y_a\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\sin \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)$

z_a(z_move(j))=-h_greenlazer(z_move(j))

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_green为点云

点对应于成像平面上的点到该平面中心点的距离，h_greenlazer(z_move(j))为点云

点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，β为点云

点到全方位视觉传感器的单视点Om的方位角。

在所述的StepC计算过程中遍历了全方位360°的红色和绿色全方位面激光投射所产生的点云数据；这里采用计算步长为Δβ=0.36来遍历整个360°的方位角，遍历算法如下，

Step Ⅰ：设置初始方位角β=0；

Step Ⅱ：采用所述的全方位面激光信息解析模块，沿射线方向检索点云

和点云

得到在传感器平面上与点云数据相对应的||u″||(β)_red和||u″||(β)_green两个点，用公式（13）计算点云

的距离值R_b和入射角α_b，用公式（15）计算点云的距离值R_a和入射角α_a；或者用公式（14）和公式（16）得到

和

将上述的计算数据保存在内存单元中；

StepⅢ：β←β+Δβ，Δβ=0.36，判断β=360是否成立，如果成立结束计算，否则转到StepⅡ。

本发明的有益效果主要表现在：

1）提供了一种全新的立体视觉获取方法，利用全方位激光扫描和全方位视觉的特性使得重构后的三维模型同时具有较高的精度和较好的纹理信息；

2）能有效地减少计算机资源消耗，具有实时性好、实用性强、鲁棒性高、自动化程度高等优点，整个3D重构不需要人工介入；

3）利用全方位激光检测保证了几何的准确性，采用高分辨率的全景图像采集技术使得在全景图像上的每个像素同时拥有几何信息和颜色信息，从而保证了3D重构的真实感，整个过程自动扫描、自动解析和计算，不存在着三维重构的病态计算问题，实现了三维重建过程的自动化；实现了3D全景模型重构的几何准确性、真实感和重建过程自动化的完美统一。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为单视点折反射全方位视觉传感器成像模型，图2（a）透视成像过程，图2（b）传感器平面，图2（c）图像平面；

图3为移动面激光光源结构简图；

图4为主动全景视觉传感器的标定说明图；

图5为求激光中心点的说明示意图；

图6为全方位激光发生器部件的结构图，图6(a)为全方位激光发生器部件正视图，图(b)为全方位激光发生器部件俯视图；

图7为全方位视觉传感器的成像原理图；

图8为基于主动全景视觉传感器的全方位三维建模系统的硬件结构图；

图9为基于主动全景视觉传感器的全方位三维建模系统的软件架构图；

图10为单视点的全方位视觉传感器标定结果三维立体图；

图11为基于主动全景视觉传感器的全方位三维建模系统中的点云空间几何信息计算的说明图；

图12为在全景图像上解析点云空间几何信息计算的过程说明图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～12，一种基于主动全景视觉传感器的全方位三维建模系统，包括全方位视觉传感器、移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上；所述全方位视觉传感器包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，如附图1所示；所述的双曲面镜面2固定在所述的上盖1上，所述的连接单元7将所述的下固定座4和透明半圆形外罩3连接成一体，所述的透明半圆形外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元固定座5用螺钉固定在所述的下固定座4上，所述的全方位视觉传感器中的所述的摄像单元6的输出与所述微处理器连接；

所述的移动面激光光源用于产生三维体结构投射光源，包括，绿光线激光发生单元2-1、线激光发生组合单元2-2、直线电机组件2-3、导向支撑杆2-4、直线电机固定支架2-5、底盘2-6、红光线激光发生单元2-7，如附图2所示；所述的绿光线激光发生单元2-1固定在所述的线激光发生组合单元2-2的孔中，如附图4所示，经过这样组合后的线激光能形成一个发出绿光的全方位面激光光源；所述的红光线激光发生单元2-7固定在所述的线激光发生组合单元2-2的孔中，经过这样组合后的线激光能形成一个发出红光的全方位面激光光源；组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别用螺钉固定在所述的直线电机组件2-3中齿条的两端；这时组合后的绿光的全方位面激光光源部分、组合后的红光的全方位面激光光源部分和所述直线电机组件2-3构成了一个所述的移动面激光光源的核心组件；所述的导向支撑杆2-4垂直固定在所述的底盘2-6上，所述的直线电机固定支架2-5垂直固定在所述的底盘2-6上；然后将所述的移动面激光光源的核心组件中的两个所述的线激光发生组合单元2-2对准所述的导向支撑杆2-4插入，将所述的移动面激光光源的核心组件中的所述的直线电机组件2-3中的电机基座固定在所述的直线电机固定支架2-5上；经过上述装配，所述的直线电机组件2-3中的齿条上下运动会带动组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分上下运动，以此产生扫描式的面激光光源；由于每次在全景成像过程中只有两种类型的激光，因此在全景视频图像上能方便地区分红色激光和绿色激光；将组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别固定在齿条的两端有利于增加激光扫描的垂直范围；所述的直线电机组件2-3为微型交流直线往复式减速电动机，其往复运动范围为500mm，型号为4IK25GNCMZ15S500，直线往复移动速度为15mm/s，最大移动推力为625N；

所述的全方位视觉传感器通过连接板安装在所述的移动面激光光源中的所述的导向支撑杆2-4上，构成一个主动式全方位视觉传感器，如附图3所示；所述的全方位视觉传感器通过USB接口与所述的微处理器相连接；

所述的微处理器的应用软件中主要由标定和三维重构两个部分组成，标定部分主要包括：视频图像读取模块、全方位视觉传感器标定模块、Bird-View变换模块、全方位面激光信息解析模块、联合标定模块；重构部分主要包括：视频图像读取模块、移动面激光光源的直线电机的位置估计模块、全方位面激光信息解析模块、移动面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元；

所述的视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储单元中，其输出与所述的全方位视觉传感器标定模块、Bird-View变换模块和全方位面激光信息解析模块连接；

所述的全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，本发明中采用了单视点的全方位视觉传感器，由双曲面折反射镜面成像原理构成的全方位视觉传感器具有单视点成像特性；其成像原理如图5所示；为了建立三维空间点与成像平面图像点上的映射关系，这里采用Micusík的透视投影成像模型，如图10所示，在该成像模型中，考虑两个不同的参考平面，图像平面(u′,v′)和传感器平面(u″,v″)，图像平面和摄像机的CCD相关，用像素坐标系来表示。传感器平面是一个假设的和镜面光轴正交的平面，其中心原点是光轴和该平面的交点；以双曲面镜面的焦点，即单视点O_m为原点建立坐标系，z″轴和镜面光轴对齐；设X=[X,Y,Z]^T为空间中一点，u″=[u″,v″]^T是X在传感器平面的投影，u′＝[u′,v′]^T是其对应的图像平面的像素点；空间坐标点X先通过射影变换矩阵投射到镜面上A点处，A点由镜面反射聚焦于摄像机光学中心点C，并交传感器平面上u″=[u″,v″]^T点，u″点通过仿射变换到图像平面上点u′＝[u′,v′]^T；整个单视点折反射摄像机成像模型描述的是由空间点到折反射镜面点，折反射镜面点到成像平面上的点，成像平面上的点再到图像平面点形成图像中的像素点的过程；

折反射镜面到传感器平面之间的转换用公式（1）表示；

${\mathrm{\λp}}^{\′\′}=\mathrm{\λ}\left(\begin{array}{c}{x}^{\′\′T}\\ z^{\′\′}\end{array}\right)=\mathrm{\λ}\left(\begin{array}{c}h\left(\right|\left|u^{\′\′}\right|\left|\right)u^{\′\′}\\ g\left|\right|u^{\′\′}\left|\right|\end{array}\right)=P\·X,$ λ>0（1）

式中，X∈R⁴表示空间点X的次坐标，P=[R|T]∈R^3×4为射影变换矩阵，R∈R^3×3为空间点到折反射镜面点的旋转矩阵，T∈R^3×1为空间点到折反射镜面点的平移矩阵；

由传感器平面到图像平面之间的转换用公式（2）表示：

u″=Au′+t    （2）

式中，A∈R^2×2，t∈R^2×1。

Scaramuzza在Micusik透视投影模型的基础上，用一个函数f＝g／h来代替公式（1）中的函数g，h，即用函数f来表征三维空间点和二维平面点之间的关系，得到公式（3）,

${\mathrm{\λp}}^{\′\′}=\mathrm{\λ}\left[\begin{array}{c}{u}^{\′\′}\\ f\left(\right|\left|u^{\′\′}\right|\left|\right)\end{array}\right]=\mathrm{\λ}\left[\begin{array}{c}{\mathrm{Au}}^{\′}+t\\ f\left(\right||{\mathrm{Au}}^{\′\′}+t|\left|\right)\end{array}\right]=P\·X,$ λ＞0（3）

由于双曲面的旋转对称性，Scaramuzza用Taylor展开多项式来描述函数f，用公式（4）表示：

f(||u″||)=a₀+a₁||u″||+a₂||u″||²+…+a_n||u″||^N    （4）

式中，||u″||为成像平面上的点到该平面中心点的距离；

Scaramuzza和Micusik的模型的前提都是理想折反射摄像机模型，由于在实际加工组装全方位视觉传感器时会引入一些误差；这里假设标定的全方位视觉传感器满足理想模型，将存在一定的误差的非理想模型代入Scaramuzza提出的简化模型转换公式，得到公式（5）；

${\mathrm{\λp}}^{\′\′}=\mathrm{\λ}\left[\begin{array}{c}{u}^{\′\′}\\ f\left(\right|\left|u^{\′\′}\right|\left|\right)\end{array}\right]=\mathrm{\λ}\left[\begin{array}{c}{\mathrm{Au}}^{\′}+t\\ f\left(\right||{\mathrm{Au}}^{\′\′}+t|\left|\right)\end{array}\right]=P\·R\·X,$ λ>0 （5）

具体标定过程是将标定板绕全方位视觉传感器一周，拍摄若干组全景图像，建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，计算结果如表1所示，即为本发明中使用的全方位视觉传感器的标定参数；

表1 ODVS的标定结果

标定出全方位视觉传感器的内外参数后，就能建立一个成像平面的像点与入射光线，即入射角之间的对应关系，如公式（6）表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N}---\left(6\right)$

式中，α表示点云的入射角，||u″||为成像平面上的点到该平面中心点的距离，a₀、a₁、a₂、a_N为标定的全方位视觉传感器的内外参数，通过公式（6）建立一张成像平面任一像素点与入射角之间的对应关系表；关于标定公式的具体推导和实现方法见参考文献，Yi-ping Tang,QingWang,Ming-li Zong,Jun Jiang,andYi-hua Zhu，Design of Vertically Aligned Binocular Omnistereo Vision Sensor，EURASIP Journal on Image and Video Processing，2010，P1~24；标定后的结果可以建立图像坐标和地面位置之间的映射关系，如图11所示；

所述的Bird-View变换模块，用于修正全方位视觉成像后严重扭曲变形，将全方位图像变换为Bird-View视图，Bird-View视图类似于鸟类俯瞰着这个地面上所形成的图像，通过这种变换将全景视频图像还原成水平面方向上无形变全景视频图像，通过两个电机的极限位置的激光扫描以及Bird-View变换可以得到接近地面的场景二维地图和在一定高度的场景二维地图；

Bird-View变换可以看成全方位视觉传感器成像过程的一种逆变换，因此可以利用公式（6）标定的结果进行Bird-View变换，通过该标定结果将全方位图像转换成Bird-View图像，其中点云P到单视点Om在水平地面上的投影点之间的距离R用公式（7）进行计算，

$R=h\×\cos \mathrm{\β}/\tan \mathrm{\α}=\frac{h\×|f\left(\right|\left|u^{\′\′}\right|\left|\right)\×\cos \mathrm{\β}}{\left|u^{\′\′}\right||}=---\left(7\right)$

$\frac{h\×\cos \mathrm{\β}\×(a_0+a_1|\left|u^{\′\′}\right||+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N)}{\left|u^{\′\′}\right||}$

式中，R为点云P到单视点O_m在水平面上的投影点之间的距离，h为点云P到单视点O_m在垂直面上的投影点之间的距离，α为点云P到单视点O_m的入射角，β为点云P到单视点O_m的方位角；

在Bird-View变换图上点云的方位角β与全方位图像上的方位角β一致；这样一幅全方位图像可以在不同的水平面上构建出若干不同高度的二维全局地图；图8(a)为全方位图像，图8(b)为Bird-View变换图像，从Bird-View变换图像来看，其不但具有以单视点O_m为中心的全局视觉，同时也具有在不同高度水平面上的深度信息；

本发明中两个极限位置是由所述移动面激光光源中的所述的直线电机组件最大行程以及组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分之间的垂直距离所决定的，这里选择所述的直线电机组件最大行程为h_LaserMD=500mm，设计组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分之间的垂直距离为500mm，即满足以下关系h_redlazer(z)=500+h_greenlazer(z)，上极限位置为单视点O_m到组合后的红光的全方位面激光光源部分发射的红色面激光的垂直距离，如附图4中的h_up lim it，下极限位置为单视点O_m到组合后的绿光的全方位面激光光源部分发射的绿色面激光的垂直距离，如附图4中的h_{down lim it}，根据本发明的设计，h_{down lim it}=500+h_LaserMD+h_up lim it；这里规定全方位视觉传感器的采集图像速率为15Flame/s，由于所述的移动面激光光源的垂直方向上的直线往复移动速度为15mm/s，两个帧间之间所述的移动面激光光源的垂直方向上的直线移动距离为1mm，两个极限位置之间距离为1000mm，因此完成一次垂直方向上扫描时间为30s，共会产生1000个全景切片图像；在一次垂直扫描过程中要处理500帧图像，在1帧图像中存在着红色激光线和绿色激光线的两条投影线，其中第1帧和第500帧图像就是两个极限位置的扫描全景切片图像，解析第1帧和第500帧图像上的红色激光线和绿色激光线的两条投影线，以得到投影线的空间位置信息；

所述的全方位面激光信息解析模块，用于在全景图像上解析出激光投影信息；解析在全景图上绿色激光和红色激光投射点的方法是根据绿色激光和红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将全景图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均亮度的1.2倍作为提取绿色激光和红色激光投射点的阈值，在提取出绿色激光和红色激光投射点后需要进一步区分绿色激光和红色激光投射点，本发明中根据HIS颜色空间中的色调值H进行判断，如果色调值H在（0，30）之间就判断为红色激光投射点，如果色调值H在（105，135）之间就判断为绿色激光投射点，其余像素点就判断为干扰；为了得到激光投射线的准确位置，本发明采用高斯近似方法来抽取出激光投射线的中心位置，具体实现算法是：

Step1：设置初始方位角β=0；

Step2：在全景图像上以方位角β从全景图像的中心点开始检索红色和绿色激光投射点，对于方位角β上存在着若干个连续的红色激光投射的像素，其分布如附图5，这里选择HIS颜色空间中的I分量，即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置；具体计算方法由公式（8）给出，

$d=\frac{\ln \left(f(i-1)\right)-\ln \left(f(i+1)\right)}{2\×[\ln \left(f(i-1)\right)-2\ln \left(f\left(i\right)\right)+\ln \left(f(i+1)\right)]}---\left(8\right)$

式中，f(i-1)、f(i)和f(i+1)分别为三个相邻像素接近最高亮度值的亮度值，d为修正值；因此估算得到的红色激光投射线的中心位置为(i+d)，该值对应于公式（6）和公式（7）中的||u″||，即||u″||(β)_red=i+d；对于绿色激光投射点的估算方法类同，得到u″||(β)_green；

Step3：改变方位角继续检索激光投射点，即β=β+Δβ，Δβ=0.36；

Step4：判断方位角β=360，如果成立，检索结束；反之转到Step2；

所述的联合标定，用于对所述的主动式全方位视觉传感器进行标定；由于所述的全方位视觉传感器和所述的移动面激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；具体做法是：首先，将所述的主动式全方位视觉传感器放置在一个直径为1000mm的空心圆柱体内，并将所述的主动式全方位视觉传感器的轴心线与空心圆柱体内的轴心线重合，如附图4所示；接着，使得所述的移动面激光光源ON，发射红色和绿色激光，将所述的移动面激光光源调整到上极限位置h_up lim it，并采集全景图像，观察在全景图像上的红色光圈和绿色光圈的圆心是否与全景图像上的中心一致，检测在全景图像上的红色光圈和绿色光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整所述的全方位视觉传感器和所述的移动面激光光源之间的连接；进一步，将所述的移动面激光光源调整到下极限位置h_{down lim it}，并采集全景图像，观察在全景图像上的红色光圈和绿色光圈的圆心是否与全景图像上的中心一致，检测在全景图像上的红色光圈和绿色光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整所述的全方位视觉传感器和所述的移动面激光光源之间的连接；最后，将上极限位置h_up lim it、下极限位置h_{down lim it}、移动面激光光源的最大移动距离h_LaserMD、全方位视觉传感器的标定参数以及Bird-View变换对应表等信息存放在联合标定数据库中，以便在三维重构时调用；

本发明中在所述的全方位视觉传感器中采用高清成像芯片，具有4096x2160分辨率；所述的移动面激光光源的移动步长为1mm，垂直扫描范围1000mm，因此由所述的移动面激光光源产生的切片全景图像的分辨率为1000，这样完成一次垂直扫描就能完成全景图像上的每一个像素点几何信息和颜色信息的采样、融合直至三维重构，如附图13所示；

对于三维重构部分，其处理流程是：

StepA：通过视频图像读取模块读取全景视频图像:；

StepB：根据直线电机的移动速度以及到达两个极限点的时间估计移动面激光光源的直线电机的位置；

StepC：在全景图像上解析出全方位面激光信息，计算移动面点云几何信息；

StepD：从内存中读取无激光投射情况下的全景视频图像，根据StepC中处理结果将移动面几何信息和颜色信息进行融合；

StepE：逐步构建全景3D模型；

StepF：判断是否已经到达极限点位置，如果是的话转到StepG，不成立的话转到StepA；

StepG：设置所述的移动面激光光源为OFF，读取无激光投射情况下的全景视频图像，并将其保存在内存单元中，输出3D全景模型并保存到存储单元，设置所述的移动面激光光源为ON，转到StepA；

下面对三维重构的处理流程作详细说明，在StepA中专门采用一个线程读取全景视频图像，视频图像的读取速率是15Flame/s，采集后的全景图像保存在一个内存单元内，以便后续的处理调用；

在StepB中，主要用于估算所述的移动面激光光源的当前位置；规定在重构开始时将移动面激光光源的初始位置定在上极限位置h_up lim it，初始步长控制值z_move(j)=0，相邻两帧时间移动面激光光源的移动步长为Δz，即存在着以下关系，

z_move(j+1)=z_move(j)+Δz    （9）

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为移动面激光光源的移动步长，这里规定从上极限位置h_up lim it向下方向移动时，Δz=1mm；从下极限位置h_{down lim it}向上方向移动时，Δz=-1mm；程序实现时通过以下关系式进行判断，

$\mathrm{\Δz}=\left\{\begin{array}{cc}1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=0\\ -1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=h_{\mathrm{LaserMD}}\\ \mathrm{\Δz}& \mathrm{else}\end{array}\right.---\left(10\right)$

根据设计红色全方位面激光和绿色全方位面激光之间距离满足以下关系，

h_redlazer(z_move(j))=500+h_greenlazer(z_move(j))    （11）

式中，z_move(j)为第j帧时步长控制值，在红色全方位面激光处于上极限位置h_up lim it时，z_move(j)=0；当绿色全方位面激光处于下极限位置h_{down lim it}时，z_move(j)=h_LaserMD；上下极限位置存在着以下关系，

h_{down lim it}=500+h_LaserMD+h_up lim it    （12）

在StepC中，读取内存单元中的全景图像并采用所述的全方位面激光信息解析模块从全景图像上解析出全方位面激光信息，接着计算移动面点云几何信息；

点云的空间位置信息用高斯坐标系来表示的话，每一个点云的空间坐标相对于全方位视觉传感器的单视点O_m为高斯坐标原点的高斯坐标用3个值来确定，即(R,α,β)，R为某一个点云到全方位视觉传感器的单视点O_m的距离，α为某一个点云到全方位视觉传感器的单视点O_m的入射角，β为某一个点云到全方位视觉传感器的单视点O_m的方位角，对于附图12中的点云

点，其计算方法由公式（13）给出，

$R_b\left(z_{\mathrm{move}}\left(j\right)\right)=\frac{h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)}{\sin {\mathrm{\α}}_b}---\left(13\right)$

${\mathrm{\α}}_b\left(z_{\mathrm{move}}\left(j\right)\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{f\left({\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}\right)}\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)$

式中，||u″||(β)_red为点云

点对应于成像平面上的点到该平面中心点的距离，h_redlazer(z_move(j))为点云

点到全方位视觉传感器的单视点O_m之间在Z轴的投影距离，由公式（11）计算得到，α_b(z_move(j))为点云点到全方位视觉传感器的单视点O_m的入射角，R_b(z_move(j))为点云

到全方位视觉传感器的单视点O_m的距离；

对于附图12中的点云

点，其计算方法由公式（15）给出，

$R_a\left(z_{\mathrm{move}}\left(j\right)\right)=\frac{h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)}{\sin {\mathrm{\α}}_a}---\left(15\right)$

${\mathrm{\α}}_a\left(z_{\mathrm{move}}\left(j\right)\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{f\left({\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}\right)}\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)$

式中，||u″||(β)_green为点云

点对应于成像平面上的点到该平面中心点的距离，h_greenlazer(z_move(j))为点云

点到全方位视觉传感器的单视点O_m之间在Z轴的投影距离，由公式（11）计算得到，α_a为点云

点到全方位视觉传感器的单视点O_m的入射角，R_a为点云

到全方位视觉传感器的单视点O_m的距离；

在StepC计算过程中遍历了全方位360°的红色和绿色全方位面激光投射所产生的点云数据；由于本发明中采用高清成像芯片，为了与垂直扫描精度取得一致，这里采用计算步长为Δβ=0.36来遍历整个360°的方位角，附图13为所述的移动面激光光源在某一个高度位置上扫描结果全景图，在全景图上红色长虚线为红色全方位面激光投射所产生的点云数据

绿色短虚线为绿色全方位面激光投射所产生的点云数据

下面具体说明遍历方法，

Step Ⅰ：设置初始方位角β=0；

Step Ⅱ：采用所述的全方位面激光信息解析模块，沿射线方向检索点云

和点云

得到在传感器平面上与点云数据相对应的||u″||(β)_red和||u″||(β)_green两个点，用公式（13）计算点云

的距离值R_b和入射角α_b，用公式（15）计算点云的距离值R_a和入射角α_a；或者用公式（14）和公式（16）得到

和

将上述的计算数据保存在内存单元中；

StepⅢ：β←β+Δβ，Δβ＝0.36，判断β=360是否成立，如果成立结束计算，否则转到Step Ⅱ；

在StepD中，首先从内存中读取无激光投射情况下的全景视频图像，根据StepC中处理结果将点云的几何信息和颜色信息进行融合；融合后的点云数据将包括该点云的几何信息和颜色信息，即用(R,α,β，r,g,b)来表达某一个点云的几何信息和颜色信息，下面具体说明融合算法，

Step①：设置初始方位角β=0；

Step②：根据方位角β和在传感器平面上与点云数据相对应的||u″||(β)_red和||u″||(β)_green两个点的信息，读取无激光投射情况下的全景视频图上的相关像素点的(r,g,b)颜色数据，与从StepC中处理加工得到的相对应的(R,α,β)进行融合，得到相对应的点云几何信息和颜色信息(R,α,β，r,g,b)；

Step③：β←β+Δβ，Δβ＝0.36，判断β=360是否成立，如果成立结束计算，将计算结果保存在存储单元中；否则转到Step②；

在StepE中根据StepD的计算结果逐步构建全景3D模型，在本发明中，所述的移动面激光光源完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某一个高度情况下的切片点云数据，将这些数据以所述的移动面激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；根据上述的描述，本发明有向下全景3D重构和向上全景3D重构两种不同模式；

在StepF中判断所述的移动面激光光源是否达到极限位置，即判断z_move(j)=0或者z_move(j)=h_LaserMD是否成立，如果成立的话转到StepG，不成立的话转到StepA；

在StepG中，主要工作是输出重构结果并为下一次重构做一些准备；具体做法是：首先设置所述的移动面激光光源为OFF，读取无激光投射情况下的全景视频图像，并将其保存在内存单元中；然后输出3D重构全景模型并保存到存储单元，由于本发明中无论是在切片点云数据产生方面还是在某一个切片上的全方位点云数据产生方面均采用了高分辨率的采集手段，在成像平面上的每个像素都具备了与实际点云相对应的几何信息和颜色信息，因此也就有效地回避了在三维重构中的对应点问题、平铺问题和分支问题；最后设置所述的移动面激光光源为ON，转到StepA，进行新的3D全景模型的重构。

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y，Z)；

图7中的2－双曲线面镜，12－入射光线，13－双曲面镜的实焦点Om(0,0,c)，14－双曲面镜的虚焦点，即摄像单元6的中心Oc(0,0,-c)，15－反射光线，16－成像平面，17－实物图像的空间坐标A(X,Y，Z)，18－入射到双曲面镜面上的图像的空间坐标，19－反射在成像平面上的点P(x,y)。

图7中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)=-1   当Z>0时    (17)

$c=\sqrt{a^2+b^2}---\left(18\right)$

β＝tan^-1(Y/X)      (19)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ      (20)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(21\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a,b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x,y表示在成像平面上的一个点。

实施例2

参照图1~图12，本实施例中，将点云

点用笛卡尔坐标系

来表示，其计算方法由公式（14）给出，

$x_b\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\cos \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)---\left(14\right)$

$y_b\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\sin \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)$

z_b(z_move(j))=-h_redlazer(z_move(j))

式中，||u″||(β)_red为点云

点对应于成像平面上的点到该平面中心点的距离，h_redlazer(z_move(j))为点云

点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，β为点云

点到全方位视觉传感器的单视点Om的方位角；

将点云

点用笛卡尔坐标系

来表示，其计算方法由公式（16）给出，

$x_a\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\cos \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)---\left(16\right)$

$y_a\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\sin \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)$

z_a(z_move(j))=-h_greenlazer(z_move(j))

式中，||u″||(β)_green为点云点对应于成像平面上的点到该平面中心点的距离，h_greenlazer(z_move(j))为点云

点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，β为点云

点到全方位视觉传感器的单视点Om的方位角；

本实施例的其他结构和工作过程与实施例1相同。

Claims (10)

1.一种基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述全方位三维建模系统包括全方位视觉传感器、用于产生三维体结构投射光源的移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上；

所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出与所述微处理器连接；

所述的移动面激光光源包括绿光线激光发生单元、线激光发生组合单元、直线电机组件、导向支撑杆、直线电机固定支架、底盘和红光线激光发生单元；所述的绿光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出绿光的全方位面激光光源；所述的红光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出红光的全方位面激光光源；组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别固定在所述的直线电机组件中齿条的两端；所述的导向支撑杆垂直固定在所述的底盘上，所述的直线电机固定支架垂直固定在所述的底盘上；

所述的全方位视觉传感器通过连接板安装在所述的移动面激光光源中的所述的导向支撑杆上，构成一个主动式全方位视觉传感器；

所述微处理器包括：

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储单元中，其输出与所述的全方位视觉传感器标定模块、Bird-View变换模块和全方位面激光信息解析模块连接；

全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，标定后的参数存放在所述的存储单元中；

Bird-View变换模块，用于读取存放在所述的存储单元中的全方位视觉传感器的标定参数值，通过Bird-View变换来修正全方位视觉成像后严重扭曲变形，将全方位图像变换为Bird-View视图，Bird-View视图类似于鸟类俯瞰着这个地面上所形成的图像，变换后得到的Bird-View视图存放在所述的存储单元中，以便后续处理中调用；

全方位面激光信息解析模块，用于在全景图像上解析出激光投影信息，产生点云信息；

联合标定模块，用于对所述的主动式全方位视觉传感器进行标定；由于所述的全方位视觉传感器和所述的移动面激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；

移动面激光光源的直线电机的位置估计模块，用于估算所述的移动面激光光源的当前位置，为所述的移动面的点云几何信息的计算模块提供数据；

移动面的点云几何信息的计算模块，用于对所述的移动面激光光源的直线电机的位置的估计值以及在全景图像上解析出激光投影信息的相关像素坐标值计算移动面的点云几何信息；

点云的几何信息和颜色信息的融合模块，对每个点云用(R,α,β，r,g,b)来表达其几何信息和颜色信息，其中，R为点云到全方位视觉传感器单视点Om的距离，α为点云到全方位视觉传感器单视点Om的入射角，β为点云到全方位视觉传感器单视点Om的方位角，r为点云的RGB颜色空间的R颜色分量，g为点云的RGB颜色空间的G颜色分量，b为点云的RGB颜色空间的B颜色分量；

以移动面的位置信息构建全景3D模型构建模块，用于逐步构建全景3D模型；所述的移动面激光光源完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某一个高度情况下的切片点云数据，将这些数据以所述的移动面激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；从上极限位置到下极限位置重构过程为向下全景3D重构模式，从下极限位置到上极限位置重构过程为向上全景3D重构两种不同模式；

3D全景模型生成模块，用于输出重构结果并为下一次重构做准备。

2.如权利要求1所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的全方位视觉传感器标定模块中，建立一个成像平面的像点与入射光线之间的联系，即与入射角之间的对应关系，用公式（6）表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...{+a}_N{\left|\right|u^{\′\′}\left|\right|}^N}---\left(6\right)$

式中，α表示点云的入射角，||u″||为传感器平面点到该平面中心点的距离，a₀、a₁、a₂、a_N为标定的全方位视觉传感器的内外参数，通过公式（6）建立一张成像平面任一像素点与入射角之间的对应关系表，表1为使用的一种单视点全方位视觉传感器的标定结果，

表1 ODVS的标定结果

对于采用的全方位视觉传感器进行标定后，成像平面上的点||u″||与点云的入射角α关系可以用下面等式来表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{-75.12+0.0027{\left|\right|u^{\′\′}\left|\right|}^2}.$

3.如权利要求2所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的Bird-View变换模块中，Bird-View变换看成全方位视觉传感器成像过程的一种逆变换，因此利用公式（6）标定的结果进行Bird-View变换，通过该标定结果将全方位图像转换成Bird-View图像，其中点云P到观测点Om在水平地面上的投影点之间的距离R用公式（7）进行计算，

$R=h\×\cos \mathrm{\β}/\tan \mathrm{\α}=\frac{h\×|f\left(\right|\left|u^{\′\′}\right|\left|\right)\×\cos \mathrm{\β}}{\left|u^{\′\′}\right||}=---\left(7\right)$

$\frac{h\×\cos \mathrm{\β}\×(a_0+a_1|\left|u^{\′\′}\right||+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N)}{\left|u^{\′\′}\right||}$

式中，R为点云P到观测点O_m在水平地面上的投影点之间的距离，h为点云P到观测点O_m在垂直面上的投影点之间的距离，α为点云P到观测点O_m的入射角，β为点云P到观测点O_m的方位角。

4.如权利要求3所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的全方位面激光信息解析模块中，解析在全景图上绿色激光和红色激光投射点的方法是根据绿色激光和红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将全景图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均亮度的1.2倍作为提取绿色激光和红色激光投射点的阈值，在提取出绿色激光和红色激光投射点后需要进一步区分绿色激光和红色激光投射点，根据HIS颜色空间中的色调值H进行判断，如果色调值H在（0，30）之间就判断为红色激光投射点，如果色调值H在（105，135）之间就判断为绿色激光投射点，其余像素点就判断为干扰；采用高斯近似方法来抽取出激光投射线的中心位置，具体实现算法是：

Step1：设置初始方位角β=0；

Step2：在全景图像上以方位角β从全景图像的中心点开始检索红色和绿色激光投射点，对于方位角β上存在着若干个连续的红色激光投射的像素，选择HIS颜色空间中的I分量，即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置；具体计算方法由公式（8）给出，

$d=\frac{\ln \left(f(i-1)\right)-\ln \left(f(i+1)\right)}{2\×[\ln \left(f(i-1)\right)-2\ln \left(f\left(i\right)\right)+\ln \left(f(i+1)\right)]}---\left(8\right)$

式中，f(i-1)、f(i)和f(i+1)分别为三个相邻像素接近最高亮度值的亮度值，d为修正值，i表示从图像中心点开始的第i个像素点；因此估算得到的红色激光投射线的中心位置为(i+d)，该值对应于公式（6）和公式（7）中的||u″||，即||u″||(β)_red＝i+d；对于绿色激光投射点的估算方法类同，得到||u″||(β)_green；

Step3：改变方位角继续检索激光投射点，即β=β+Δβ，Δβ=0.36；

Step4：判断方位角β=360，如果成立，检索结束；反之转到Step2。

5.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述以移动面的位置信息构建全景3D模型构建模块中，三维重构的处理流程是：

StepA：通过视频图像读取模块读取全景视频图像:；

StepB：根据直线电机的移动速度以及到达两个极限点的时间估计移动面激光光源的直线电机的位置；

StepC：在全景图像上解析出全方位面激光信息，计算移动面点云几何信息；

StepD：从内存中读取无激光投射情况下的全景视频图像，根据StepC中处理结果将移动面几何信息和颜色信息进行融合；

StepE：逐步构建全景3D模型；

StepF：判断是否已经到达极限点位置，如果是的话转到StepG，不成立的话转到StepA；

StepG：设置所述的移动面激光光源为OFF，读取无激光投射情况下的全景视频图像，并将其保存在内存单元中，输出3D全景模型并保存到存储单元，设置所述的移动面激光光源为ON，转到StepA。

6.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的移动面激光光源的直线电机的位置估计模块中，规定在重构开始时将移动面激光光源的初始位置定在上极限位置h_up lim it，初始步长控制值z_move(j)=0，相邻两帧时间移动面激光光源的移动步长为Δz，即存在着以下关系，z_move(j+1)=z_move(j)+Δz    （9）

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为移动面激光光源的移动步长，这里规定从上极限位置h_up lim it向下方向移动时，Δz=1mm；从下极限位置h_{down lim it}向上方向移动时，Δz=-1mm；程序实现时通过以下关系式进行判断，

$\mathrm{\Δz}=\left\{\begin{array}{cc}1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=0\\ -1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=h_{\mathrm{LaserMD}}\\ \mathrm{\Δz}& \mathrm{else}\end{array}\right.---\left(10\right)$

根据设计红色全方位面激光和绿色全方位面激光之间距离满足以下关系，

h_redlazer(z_move(j))=500+h_greenlazer(z_move(j))    （11）

式中，z_move(j)为第j帧时步长控制值，在红色全方位面激光处于上极限位置h_up lim it时，z_move(j)=0；当绿色全方位面激光处于下极限位置h_{down lim it}时，z_move(j)=h_LaserMD；上下极限位置存在着以下关系，

h_{down lim it}=500+h_LaserMD+h_up lim it    （12）

7.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的移动面的点云几何信息的计算模块中，点云的空间位置信息用高斯坐标系来表示，每一个点云的空间坐标相对于全方位视觉传感器的单视点Om为高斯坐标原点的高斯坐标用3个值来确定，即(R,α,β)，R为某一个点云到全方位视觉传感器的单视点Om的距离，α为某一个点云到全方位视觉传感器的单视点Om的入射角，β为某一个点云到全方位视觉传感器的单视点Om的方位角，对于点云

点，其计算方法由公式（13）给出，

$R_b\left(z_{\mathrm{move}}\left(j\right)\right)=\frac{h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)}{\sin {\mathrm{\α}}_b}---\left(13\right)$

${\mathrm{\α}}_b\left(z_{\mathrm{move}}\left(j\right)\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{f\left({\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}\right)}\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)$

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_red为点云

点对应于成像平面上的点到该平面中心点的距离，h_redlazer(z_move(j))为点云

点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，α_b(z_move(j))为点云

点到全方位视觉传感器的单视点Om的入射角，R_b(z_move(j))为点云

到全方位视觉传感器的单视点Om的距离；

对于点云

点，其计算方法由公式（15）给出，

$R_a\left(z_{\mathrm{move}}\left(j\right)\right)=\frac{h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)}{\sin {\mathrm{\α}}_a}---\left(15\right)$

${\mathrm{\α}}_a\left(z_{\mathrm{move}}\left(j\right)\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{f\left({\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}\right)}\right)=\arctan \left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)$

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_green为点云

点对应于成像平面上的点到该平面中心点的距离，h_greenlazer(z_move(j))为点云

点到全方位视觉传感器的单视点O_m之间在Z轴的投影距离，由公式（11）计算得到，α_a为点云点到全方位视觉传感器的单视点O_m的入射角，R_a为点云

到全方位视觉传感器的单视点O_m的距离。

8.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的点云的几何信息和颜色信息的融合模块中，为融合过程如下，

Step①：设置初始方位角β=0；

Step②：根据方位角β和在传感器平面上与点云数据相对应的||u″||(β)_red和||u″||(β)_green两个点的信息，读取无激光投射情况下的全景视频图上的相关像素点的(r,g,b)颜色数据，与从所述的StepC中处理加工得到的相对应的(R,α,β)进行融合，得到相对应的点云几何信息和颜色信息(R,α,β，r,g,b)；

Step③：β←β+Δβ，Δβ=0.36，判断β=360是否成立，如果成立结束计算，将计算结果保存在存储单元中；否则转到Step②。

9.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：所述的移动面的点云几何信息的计算模块中，点云

点空间位置信息用笛卡尔坐标系

来表示，其计算方法由公式（14）给出，

$x_b\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\cos \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)---\left(14\right)$

$y_b\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{redlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\sin \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{red}}}^2}\right)$

z_b(z_move(j))=-h_redlazer(z_move(j))

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_red为点云

点对应于成像平面上的点到该平面中心点的距离，h_redlazer(z_move(j))为点云

点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，β为点云

点到全方位视觉传感器的单视点Om的方位角；

点云

点空间位置信息用笛卡尔坐标系

来表示，其计算方法由公式（16）给出，

$x_a\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\cos \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)$

$y_a\left(z_{\mathrm{move}}\left(j\right)\right)=h_{\mathrm{greenlazer}}\left(z_{\mathrm{move}}\left(j\right)\right)\×\sin \mathrm{\β}\×\left(\frac{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}{a_0+a_2{{\left|\right|u^{\′\′}\left|\right|\left(\mathrm{\β}\right)}_{\mathrm{green}}}^2}\right)---\left(16\right)$

z_a(z_move(j))=-h_greenlazer(z_move(j))

式中，z_move(j)为第j帧时步长控制值，||u″||(β)_green为点云

点对应于成像平面上的点到该平面中心点的距离，h_greenlazer(z_move(j))为点云点到全方位视觉传感器的单视点Om之间在Z轴的投影距离，由公式（11）计算得到，β为点云

点到全方位视觉传感器的单视点Om的方位角。

10.如权利要求5所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于：在所述的StepC计算过程中遍历了全方位360°的红色和绿色全方位面激光投射所产生的点云数据；这里采用计算步长为Δβ=0.36来遍历整个360°的方位角，遍历算法如下，

Step Ⅰ：设置初始方位角β=0；

Step Ⅱ：采用所述的全方位面激光信息解析模块，沿射线方向检索点云

和点云

得到在传感器平面上与点云数据相对应的||u″||(β)_red和||u″||(β)_green两个点，用公式（13）计算点云

的距离值R_b和入射角α_b，用公式（15）计算点云

的距离值R_a和入射角α_a；或者用公式（14）和公式（16）得到

和

将上述的计算数据保存在内存单元中；

StepⅢ：β←β+Δβ，Δβ=0.36，判断β=360是否成立，如果成立结束计算，否则转到Step Ⅱ。

Images