CN104406539A - 全天候主动式全景感知装置及3d全景建模方法 - Google Patents

Abstract

本发明公开了一种全天候主动式全景感知装置，包括移动体激光光源、多元输出全方位视觉传感器和微处理器；多元输出全方位视觉传感器内设有双曲面镜面和两个摄像单元；双曲面镜面的折反射光路上装有偏振分光棱镜，用于将双曲面镜面的折反射光分为含有某一个偏振成分的光和不包含有某一个偏振成分的光；两个摄像单元分别位于偏振分光棱镜的反射和透射光路上，用于分别采集仅包含有偏振光信息的第一全景视频图像和包含有光强信息的第二全景视频图像；微处理器，用于融合第一全景视频图像中的点云几何信息和第二全景视频图像中的颜色信息，并构建全景3D模型。本发明还公开了一种采用全天候主动式全景感知装置的3D全景建模方法。

Description

全天候主动式全景感知装置及3D全景建模方法

技术领域

本发明涉及激光光源、偏振成像、全方位视觉传感器以及计算机视觉技术在立体视觉测量及3D绘制方面的应用，尤其涉及全天候主动式全景感知装置及采用该装置的3D全景建模方法。

背景技术

三维重建技术包括了三维测量与立体重构，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。针对具有高精度的几何信息和真实感的颜色信息的三维模型的重建，该技术成为了在计算机视觉、人工智能、模式识别、计算机图形学和地理信息系统等领域的一个重要研究热点。

三维模型的重建技术主要涉及到以下三个方面的内容：1)几何的准确性；2)真实感；3)重建过程的自动化。三维模型的重建所需要的数据主要包括激光扫描的深度图像数据和图像传感器采集的图像数据两个方面。

三维激光测量技术的出现和发展为空间三维信息的获取提供了全新的技术手段，为信息数字化发展提供了必要的生存条件。随着三维激光扫描测量装置在精度、速度、易操作性、轻便、抗干扰能力等性能方面的提升及价格方面的逐步下降，20世纪90年代，其在测绘领域成为研究的热点，扫描对象不断扩大，应用领域不断扩展，逐步成为快速获取空间实体三维模型的主要方式之一，许多公司都推出了不同类型的三维激光扫描测量系统。上世纪90年代中后期，三维激光扫描仪已形成了颇具规模的产业。

目前的三维激光扫描仪仍然有很多可改进之处，1)如精密的硬件构造，要求将CCD技术、激光技术、精密机械传感技术等进行高质量的整合，导致了该类仪器具有昂贵的制造成本和维护成本。2)现有的三维激光扫描技术属于面扫描成像技术，一幅扫描点云图无法获取建筑物的全貌，尤其是建筑物内部的全貌；从不同扫描站(视角)获得的点云分别采用其各自的局部坐标系，因此需要将它们配准到一个统一坐标系下。配准过程中存在着多次多个坐标系之间的转换，造成了各种误差并影响计算速度和计算资源。3)点云采集过程中会带入较多的干扰，导致了需要对点云数据进行预处理等环节。4)各厂商的三维激光扫描仪所配置的软件中点云数据缺乏统一的数据标准，难以实现数据的共享，这点将在数字城市建设中尤为突出。5)两种不同设备来获取空间物点的几何和色彩信息，不同设备之间的几何和色彩信息数据配准好坏直接影响纹理映射和纹理合成的效果。6)三维建模处理过程中需要多次人工干预，建模效率不高，这需要操作人员具有较高的专业知识，并且影响着自动化程度。

中国发明专利申请号为201210137201.7公开了一种基于主动全景视觉传感器的全方位三维建模系统，系统主要包括全方位视觉传感器、移动体激光光源以及用于对全方位图像进行3D全景重构的微处理器，移动体激光光源完成一次垂直方向的扫描得到了在不同高度情况下的切片点云数据，将这些数据以所述的移动体激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，最终构建出带有几何信息和颜色信息的全景3D模型。但是该技术方案存在着一个问题，体激光光源所发射的投射光在室外阳光等环境光照射下会显得较弱，使得视觉传感器难以检测到激光的投射线。这是由于这种解决方案时根据光强的差别来区分激光投射线，但当强度差别不明显或目标背景很杂乱时，用强度来区分激光投射线就很困难，而用光的另一个特性—偏振特性来区别激光投射线有助于克服由于光强差太小所带来的困难。

偏振成像是一种获取目标二维空间光强分布以及偏振特性分布的新型光电成像技术。摄像成像、红外热像等传统光电成像是通过探测反射、辐射光强的二维空间分布来获得图像的，其实质是二维空间强度成像；偏振成像在传统强度成像基础上增加了偏振信息维度，不仅能获取二维空间光强分布，还能获得图像上每一点的偏振信息。在雾霾、烟尘等恶劣环境下能提高光电探测装备的目标探测识别能力。

由于主动成像不受气象条件、目标温度及背景照度影响等优势，可以进行全天候、远距离探测，而且激光发射波束窄和抗干扰性好，所以激光照明偏振成像技术更为适用于三维激光测量，尤其是激光成像偏振技术在远距离目标探测和三维测量等方面有着广泛的应用潜力。

针对现有的主动全景视觉传感器难以在任何环境条件中正常使用等问题，提出了一种用激光偏振成像技术单独处理体激光光源所发射的投射光和用透视成像技术处理环境的反射光，前者与移动体激光光源配合得到在不同高度情况下的切片点云几何数据，后者直接从折反射镜面获取全景图像，然后解析出与点云几何数据相匹配颜色数据，最终构建出带有几何信息和颜色信息的全景3D模型。

发明内容

为了克服已有的主动三维立体全景视觉测量装置容易受到环境光的干扰、难以对图像中测量目标的一些本质特性做出正确的理解等不足，考虑到激光偏振成像技术可以在恶劣的环境下进行远距离的图像获取操作，在抑制背景噪声、提高探测距离、细节特征获取等方面具有绝对优势；本发明提供一种通过全景激光偏振成像技术直接获取空间三维点的位置几何信息、通过传统的全景摄像成像技术得到空间三维点的颜色信息，并将这两种技术处理的结果进行信息融合，最终获取全景三维空间的光强分布数据，实现对环境的快速测量与全景三维建模。

要实现上述发明内容，必须要解决几个核心问题：(1)实现一种能覆盖整个重构场景的移动体激光光源；(2)实现一种能快速获得实际物体深度信息的主动式激光偏振成像全方位视觉传感器；(3)通过消偏振分光技术实现全方位视觉传感器和偏振成像全方位视觉传感器的融合，使得两者具有相一致的空间坐标关系；(4)将激光偏振扫描空间数据点的三维空间几何信息与全景图像中相应像素点的光强信息进行快速融合的方法；(5)一种基于规则点云数据的高度自动化三维场景重建方法；(6)3D重建过程的自动化，减少人工干预，整个扫描、处理、生成、绘制显示过程一气呵成。

本发明解决其技术问题所采用的技术方案是：

一种全天候主动式全景感知装置，包括兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器，下面简称为多源输出全方位视觉传感器、移动体激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的多源输出全方位视觉传感器的中心与所述移动体激光光源的中心配置在同一根轴心线上；

多源输出全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、第一摄像单元固定座、第二摄像单元固定座、第一摄像单元、第二摄像单元、偏振分光棱镜、连接单元和上罩。双曲面镜面固定在上盖的下方，连接单元将下固定座和透明半圆形外罩连接成一体，透明半圆形外罩与上盖以及上罩固定在一起，第一摄像单元固定在所述的第一摄像单元固定座上，第二摄像单元固定在第二摄像单元固定座上，第一摄像单元和第二摄像单元成正交关系固定座固定在下固定座上，偏振分光棱镜固定在所述的第一摄像单元的光轴和第二摄像单元的光轴相交处，多源输出全方位视觉传感器中的第一摄像单元的输出与微处理器连接，多源输出全方位视觉传感器中的第二摄像单元的输出与所述微处理器连接。

所述的移动体激光光源用于产生三维体结构投射光源，包括：导向支撑杆、激光发生组合单元、底盘、直线电机移动杆、直线电机组件、线激光发生单元。

所述的移动体激光光源的装配关系是将体激光光源套入到导向支撑杆内构成移动副，导向支撑杆垂直固定在底盘上，直线电机组件固定在底盘上，直线电机移动杆上端与体激光光源进行固定连接，控制直线电机组件来实现直线电机移动杆的上下移动，从而带动体激光光源在导向支撑杆的导向作用下上下移动，形成一种移动的体激光光源。

所述的多源输出全方位视觉传感器通过连接板安装在移动体激光光源中的导向支撑杆上，构成一个全天候主动式全方位视觉传感器；多源输出全方位视觉传感器具有两种不同类型的视频输出，一种是仅包含有偏振光信息的全景视频图像，另一种是包含有光强信息的全景视频图像，两种不同类型的视频输出分别通过USB接口与所述的微处理器相连接。

微处理器的应用软件中主要由标定和3D重构二个部分组成，标定部分主要包括：视频图像读取模块、多源输出全方位视觉传感器标定模块、全方位面激光信息解析模块、联合标定模块；3D重构部分主要包括：视频图像读取模块、移动体激光光源的直线电机的位置估计模块、全方位面激光信息解析模块、移动面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元。

激光发生组合单元上共开有12个孔，其中每4个孔为一组，分别产生3个不同平面的激光，即仰角平面组、正交平面组和俯角平面组；正交平面组中的4个线激光发生单元安装孔的轴心线分别与所述的激光发生组合单元的圆柱体的轴心线成正交关系；仰角平面组中的4个线激光发生单元安装孔的轴心线分别与激光发生组合单元的圆柱体的轴心线成倾斜θ_c关系；俯角平面组中的4个线激光发生单元安装孔的轴心线分别与所述的激光发生组合单元的圆柱体的轴心线成倾斜θ_a关系；这12个孔在激光发生组合单元的圆柱体的圆周方向上成90°夹角均匀分布，这样保证了12个孔的轴心线相交于激光发生组合单元的圆柱体的轴心线上的同一点上。

所述的视频图像读取模块，分别用于读取多源输出全方位视觉传感器中的第一摄像单元中成像的不包含有某一个偏振成分的全景视频图像，即光强全景视频图像和读取第二摄像单元中成像的包含有某一个偏振成分的全景视频图像，即偏振全景图像，并保存在存储单元中，其输出与多源输出全方位视觉传感器标定模块和全方位面激光信息解析模块连接。

所述的全方位面激光信息解析模块，用于在偏振全景图像上解析出激光投影信息，产生点云信息；全方位面激光信息解析方法是基于帧间差的激光投射点提取算法，该算法是一种通过对两个相邻位置高度所获得的偏振全景切片图像作差分运算来获得激光投射点的方法，当移动激光面在上下扫描过程中，帧与帧之间在垂直方向，即不同的切面上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取切片偏振全景图像中的激光投射点；然后根据在偏振全景图像上出现激光投射的顺序来判定在某一方位角β上的3个不同投射角发射的激光，从而得到在切片偏振全景图像上的以偏振全景图像为极坐标中心的各激光投射点坐标值；各激光投射点坐标值作为输出与移动面的点云几何信息的计算模块连接。

移动体激光光源的直线电机的位置估计模块，用于估计估算移动体激光光源的当前位置；规定在重构开始时将移动体激光光源的初始位置定在上极限位置h_up lim it，初始步长控制值z_move(j)＝0，相邻两帧时间移动体激光光源的移动步长为Δz，即存在着以下关系，

z_move(j+1)＝z_move(j)+Δz   (5)

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为移动体激光光源的移动步长，这里规定从上极限位置h_up lim it向下方向移动时，Δz＝1mm；从下极限位置h_{down lim it}向上方向移动时，Δz＝-1mm；程序实现时通过以下关系式进行判断，

$\mathrm{\Δz}=\left\{\begin{array}{cc}1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=0\\ -1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=h_{\mathrm{LaserMD}}\\ \mathrm{\Δz}& \mathrm{else}\end{array}\right.---\left(6\right)$

用公式(5)的计算结果值z_move(j+1)代入公式(3)中的h_LaserMD，得到移动体激光光源与多元输出全方位视觉传感器的单视点O_m之间的距离h(z)；

$h\left(z\right)=h_{O_m}-h_{\mathrm{uplimit}}+h_{\mathrm{LaserMD}}---\left(3\right)$

式中，为多源输出全方位视觉传感器的单视点O_m离地面的距离，h_uplimit为移动体激光光源的上极限位置，h_LaserMD为移动体激光光源的移动距离，h(z)为移动体激光光源与多源输出全方位视觉传感器的单视点O_m之间的距离。

移动面的点云几何信息的计算模块，用于根据全方位面激光信息解析模块从切片激光偏振全景图像中解析得到仰角平面组、正交平面组和俯角平面组激光投射点在偏振全景图像上的各激光投射点坐标值，根据多源输出全方位视觉传感器标定模块的标定结果，用公式(7)、(8)、(9)计算在某一切片激光偏振全景图像上的仰角平面组、正交平面组和俯角平面组激光投射点的用高斯坐标表示的三维空间位置信息，即点云数据；

$\left\{\begin{array}{c}{R}_a=\frac{h\left(z\right)\×\cos {\mathrm{\θ}}_G}{\sin ({\mathrm{\α}}_a-{\mathrm{\θ}}_G)}\\ {\mathrm{\α}}_a=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_a}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_a}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_a}^2}\right)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{R}_b=\frac{h\left(z\right)}{\sin \left({\mathrm{\α}}_b\right)}\\ {\mathrm{\α}}_b=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_b}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_b\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_b}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\mathrm{\β}}_b}^2}\right)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{R}_c=\frac{h\left(z\right)\×\cos {\mathrm{\θ}}_B}{\sin ({\mathrm{\α}}_c+{\mathrm{\θ}}_B)}\\ {\mathrm{\α}}_c=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_c}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_c\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_c}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_c}^2}\right)\end{array}\right.---\left(9\right)$

式中，(β)_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，(β)_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，(β)_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，θ_B为俯角平面组的激光投射线与Z轴之间的夹角，θ_G为仰角平面组激光投射线与Z轴之间的夹角，h(z)为移动体激光光源到多元输出全方位视觉传感器的单视点O_m的距离，α_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，α_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，α_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，R_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，R_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，R_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为俯角平面组的激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，||u"||(β)_b为正交平面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，||u"||(β)_c为仰角平面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离。

所述的点云的几何信息和颜色信息的融合模块，用于根据移动面的点云几何信息的计算模块从切片激光偏振全景图像中解析计算得到的点云的几何信息(R,α,β)，根据切片激光偏振全景图像上的投射激光点位置找到在所述的光强全景视频图像上相一致的点，并从这些点得到其相对应的颜色信息(r,g,b)，然后将这些点云的几何信息和颜色信息进行融合；融合后的点云数据将包括该点云的几何信息和颜色信息，即用(R,α,β,r,g,b)来表达某一个点云的几何信息和颜色信息。

所述的以移动面的位置信息构建全景3D模型构建模块，用于构建带有几何信息和颜色信息的全景3D模型；所述的移动体激光光源在扫描过程中每一移动步长都产生在某一个高度情况下的切片点云数据；将这些数据以所述的移动体激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，并根据仰角平面组、正交平面组和俯角平面组激光扫描形成以所述的移动体激光光源的移动距离h_LaserMD和移动步长Δh的比行数、以遍历切片激光偏振全景图像的360°和遍历方位角步长Δβ的比为列数的3个有序规则的全景点云数据矩阵；最后对这3个有序规则的全景点云数据矩阵以仰角平面组、正交平面组和俯角平面组顺序进行叠加最终形成1个有序规则的全景点云数据矩阵。

所述的偏振分光棱镜所选择的偏振光的波长与所述的线激光发生单元发射光的波长一致。

所述的移动体激光光源中仰角平面组中的4个线激光发生单元的仰角θ_c与所述的多源输出全方位视觉传感器的设计最大仰角α_cmax之间差的绝对值小于阈值T，这里选择T＝2°；所述的多源输出全方位视觉传感器的设计最大仰角α_cmax＝28°。

本发明的有益效果主要表现在：

1)提供了一种全新的立体视觉获取方法，利用全方位激光扫描和全方位视觉的特性使得重构后的三维模型同时具有较高的精度和较好的纹理信息；

2)能有效地减少计算机资源消耗，具有实时性好、实用性强、鲁棒性高、自动化程度高等优点，整个3D重构不需要人工介入；

3)利用全方位激光检测保证了几何的准确性，采用高分辨率的全景图像采集技术使得在全景图像上的每个像素同时拥有几何信息和颜色信息，从而保证了3D重构的真实感，整个过程自动扫描、自动解析和计算，不存在着三维重构的病态计算问题，实现了三维重建过程的自动化；实现了3D全景模型重构的几何准确性、真实感和重建过程自动化的完美统一；

4)激光偏振成像技术可以在恶劣的环境下进行远距离的图像获取操作，在抑制背景噪声、提高探测距离、细节特征获取等方面具有绝对优势，本发明提供了一种全天候的3D全景测量与3D全景模型重构的工业级解决方案。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为单视点折反射全方位视觉传感器成像模型，图2(a)透视成像过程，图2(b)传感器平面，图2(c)图像平面；

图3为移动体激光光源结构简图；

图4为多元输出主动全景视觉传感器的标定说明图；

图5为基于多元输出主动全景视觉传感器的全方位三维建模系统的硬件结构图；

图6为全方位激光发生器部件的结构图，图6(a)为全方位激光发生器部件正视图，图(b)为全方位激光发生器部件俯视图；

图7为多元输出全方位视觉传感器的成像原理图；

图8为偏振分光棱镜将P偏振光和S偏振光进行分光原理图；

图9为多元输出全方位视觉传感器的结构图；

图10为基于全天候主动全景视觉传感器的全方位三维建模系统的架构图；

图11为基于全天候主动全景视觉传感器的全方位三维建模系统中的点云空间几何信息计算的说明图；

图12为基于全天候主动全景视觉传感器的全方位三维建模系统在获取三维点云数据时得到的切片全景图像示意图；

图13为在激光偏振全景图像上解析点云空间几何信息计算的过程说明图；

图14为在解析全景切片图像上分别获取俯角平面组、正交平面组和仰角平面组激光投影线的说明图；

图15一种偏振成像全方位视觉传感器的结构图。

具体实施方式

参照图1～15，一种全天候主动式全景感知装置及3D全景建模方法，包括全方位视觉传感器、偏振成像全方位视觉传感器、移动体激光光源以及用于对全方位图像进行3D全景重构的微处理器，全方位视觉传感器的中心和偏振成像全方位视觉传感器与移动体激光光源的中心配置在同一根轴心线上。

全方位视觉传感器包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，如附图1所示。双曲面镜面2固定在上盖1上，连接单元7将下固定座4和透明半圆形外罩3连接成一体，透明半圆形外罩3与上盖1以及上罩8通过螺钉固定在一起，摄像单元6用螺钉固定在摄像单元固定座5上，摄像单元固定座5用螺钉固定在下固定座4上，全方位视觉传感器中的摄像单元6的输出与所述微处理器连接。

偏振成像全方位视觉传感器包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8、偏振滤光片10，如附图15所示。双曲面镜面2固定在上盖1上，连接单元7将下固定座4和透明半圆形外罩3连接成一体，透明半圆形外罩3与上盖1以及上罩8通过螺钉固定在一起，摄像单元6用螺钉固定在摄像单元固定座5上，摄像单元固定座5用螺钉固定在下固定座4上，偏振滤光片10固定在摄像单元6的前方，全方位视觉传感器中的摄像单元6的输出与所述微处理器连接。

为了实现全方位视觉传感器和偏振成像全方位视觉传感器具有相一致的空间坐标关系，通过偏振分光技术实现全方位视觉传感器和偏振成像全方位视觉传感器的融合集成，构成兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器，下面简称为多源输出全方位视觉传感器，如附图9所示。通过偏振分光棱镜9的作用将双曲面镜面2折反射的光分为仅包含有某一个偏振成分的光和不包含有某一个偏振成分的光，如附图8所示。偏振分光棱镜9把入射的偏振光分成两束垂直的线偏光，其中P偏光完全通过，而S偏光以45度角被反射，出射方向与P光成90度角；偏振分光棱镜9由一对高精度直角棱镜胶合而成，其中一个棱镜的斜边上镀有偏振分光介质膜；P偏光在摄像单元6-1中成像，S偏光在摄像单元6-2中成像，这样在摄像单元6-1中成像的是不包含有某一个偏振成分的全景图像1，在摄像单元6-2中成像的是包含有某一个偏振成分的全景图像2；因此，多源输出全方位视觉传感器具有两种不同类型的视频输出，一种是仅包含有偏振光信息的全景视频图像，另一种是包含有光强信息的全景视频图像；多源输出全方位视觉传感器中的摄像单元6-1和摄像单元6-2的输出分别与所述微处理器连接。

移动体激光光源用于产生三维体结构投射光源，包括，导向支撑杆2-1、激光发生组合单元2-2、底盘2-3、直线电机移动杆2-4、直线电机组件2-5、线激光发生单元2-6，如附图3所示。

激光发生组合单元2-2上共开有12个孔，其中每4个孔为一组，分别产生3个不同平面的激光，即仰角平面组、正交平面组和俯角平面组；正交平面组中的4个线激光发生单元安装孔的轴心线分别与激光发生组合单元2-2的圆柱体的轴心线成正交关系；仰角平面组中的4个线激光发生单元安装孔的轴心线分别与激光发生组合单元2-2的圆柱体的轴心线成倾斜θ_c关系；俯角平面组中的4个线激光发生单元安装孔的轴心线分别与激光发生组合单元2-2的圆柱体的轴心线成倾斜θ_c关系；这12个孔在激光发生组合单元2-2的圆柱体的圆周方向上成90°夹角均匀分布，这样保证了12个孔的轴心线相交于激光发生组合单元2-2的圆柱体的轴心线上的同一点上，如附图6所示；线激光发生单元2-6发射光的波长与偏振分光棱镜9的S偏光的波长一致。

移动体激光光源的装配关系是将体激光光源套入到导向支撑杆2-1内构成移动副，导向支撑杆2-1垂直固定在底盘2-3上，直线电机组件2-5固定在底盘2-3上，直线电机移动杆2-4上端与体激光光源进行固定连接，控制直线电机组件2-5来实现直线电机移动杆2-4的上下移动，从而带动体激光光源在导向支撑杆2-1的导向作用下上下移动，形成一种移动的体激光光源，使得重构的全景均被扫描；直线电机组件2-5为微型交流直线往复式减速电动机，其往复运动范围为700mm，型号为4IK25GNCMZ15S500，直线往复移动速度为15mm/s，最大移动推力为625N。

多源输出全方位视觉传感器通过连接板安装在移动体激光光源中的导向支撑杆2-1上，构成一个全天候主动式全方位视觉传感器，如附图5所示；全天候主动式全方位视觉传感器有两个视频输出接口，分别输出激光偏振全景图像和光强全景图像，两个视频输出接口采用USB接口与微处理器相连接。

微处理器的应用软件中主要由标定和3D重构二个部分组成。标定部分主要包括：视频图像读取模块、多源输出全方位视觉传感器标定模块、全方位面激光信息解析模块、联合标定模块。3D重构部分主要包括：视频图像读取模块、移动体激光光源的直线电机的位置估计模块、全方位面激光信息解析模块、移动面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元。

视频图像读取模块，分别用于读取多源输出全方位视觉传感器中的摄像单元6-1中成像的不包含有某一个偏振成分的全景视频图像和读取摄像单元6-2中成像的包含有某一个偏振成分的全景视频图像，并保存在存储单元中，其输出与多源输出全方位视觉传感器标定模块和全方位面激光信息解析模块连接。

多源输出全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数。具体标定过程是将标定板绕多源输出全方位视觉传感器一周，拍摄若干组全景图像，建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，计算结果如表1所示，即为本发明中使用的多源输出全方位视觉传感器的标定参数；

表1 ODVS的标定结果

标定出多源输出全方位视觉传感器的内外参数后，就能建立一个成像平面的像素点与入射光线，即入射角之间的对应关系，如公式(1)表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N}---\left(1\right)$

式中，α表示点云的入射角，||u″||为成像平面上的点到该平面中心点的距离，a₀、a₁、a₂、a_N为标定的多源输出全方位视觉传感器的内外参数，通过公式(1)建立一张成像平面任一像素点与入射角之间的对应关系表；

对于本发明中所采用的多源输出全方位视觉传感器的标定后，成像平面上的点||u″||与点云的入射角α关系可以用下面等式来表示；

$\tan \mathrm{\α}=\frac{\left|\right|u^{\′\′}\left|\right|}{-75.12+0.0027{\left|\right|u^{\′\′}\left|\right|}^2}---\left(2\right)$

本发明中移动体激光光源的两个极限位置是由移动体激光光源中的直线电机组件的最大行程以及体激光光源的投射角所决定的，上极限位置设置以成年人当站立时眼睛处于平视状态的高度为基准，上极限位置初始值设置为1500mm，下极限位置设置以成年人当蹲下时眼睛处于平视状态的高度为基准，下极限位置初始值设置为800mm；直线电机组件的最大行程为700mm，在上极限位置时还有30°的仰视角，在下极限位置时还有30°的俯视角；本发明采用的多源输出全方位视觉传感器具有28°的仰视角和65°的俯视角，覆盖了整个垂直视场；根据本发明的设计，移动体激光光源与多源输出全方位视觉传感器的单视点O_m之间的距离用公式(3)进行计算；

$h\left(z\right)=h_{O_m}-h_{\mathrm{uplimit}}+h_{\mathrm{LaserMD}}---\left(3\right)$

式中，为多源输出全方位视觉传感器的单视点O_m离地面的距离，h_uplimit为移动体激光光源的上极限位置，h_LaserMD为移动体激光光源的移动距离，h(z)为移动体激光光源与多源输出全方位视觉传感器的单视点O_m之间的距离；如附图4所示。

这里规定多源输出全方位视觉传感器中的包含有某一个偏振成分的全景视频图像的采集图像速率为15Flame/s，不包含有某一个偏振成分的全景视频图像的采集图像速率为1Flame/s，本发明中设定了移动体激光光源的垂直方向上的直线往复移动速度为15mm/s，两个帧间之间移动体激光光源的垂直方向上的直线移动距离为1mm，两个极限位置之间距离为700mm，因此完成一次垂直方向上扫描时间为47s，共会产生700个全景切片图像；在一次垂直扫描过程中要处理700帧图像，在1帧图像中存在着三条激光投影线，其中第1帧和700帧图像就是两个极限位置的扫描全景切片图像。

全方位面激光信息解析模块，用于在偏振成像的全景图像上解析出激光投影信息；采用基于帧间差的激光投射点提取算法，该算法是一种通过对两个相邻位置高度所获得的偏振成像的全景切片图像作差分运算来获得激光投射点的方法，当移动激光面在上下扫描过程中，帧与帧之间在垂直方向，即不同的切面上会出现较为明显的差别，两帧相减，得到两帧图像中偏振光差的绝对值，判断它是否大于阈值来分析提取全景切片图像中的激光投射点；然后根据在全景图像上出现激光投射的顺序来判定在某一方位角β上的3个不同投射角发射的激光。

联合标定，用于对全天候主动式全方位视觉传感器进行标定。由于多源输出全方位视觉传感器和移动体激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；具体做法是：首先，将全天候主动式全方位视觉传感器放置在一个直径为1000mm的空心圆柱体内，并将全天候主动式全方位视觉传感器的轴心线与空心圆柱体内的轴心线重合，如附图4所示；接着，使得移动体激光光源ON，发射激光，将移动体激光光源调整到上极限位置h_up lim it，并采集激光偏振全景图像和光强全景图像，观察在激光偏振全景图像和光强全景图像上的激光投射光圈的圆心是否与激光偏振全景图像和光强全景图像上的中心一致，检测在激光偏振全景图像和光强全景图像上的投射激光光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整多源输出全方位视觉传感器和移动体激光光源之间的连接；进一步，将移动体激光光源调整到下极限位置h_{down lim it}，并采集激光偏振全景图像和光强全景图像，观察在激光偏振全景图像和光强全景图像上的激光投射光圈的圆心是否与激光偏振全景图像和光强全景图像上的中心一致，检测在激光偏振全景图像和光强全景图像上的投射激光光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整多源输出全方位视觉传感器和移动体激光光源之间的连接；最后，将上极限位置h_up lim it、下极限位置h_{down lim it}、移动体激光光源的最大移动距离h_LaserMD、多源输出全方位视觉传感器的标定参数信息存放在联合标定数据库中，以便在三维重构时调用。

本发明中在多源输出全方位视觉传感器中的摄像单元6-1和摄像单元6-2均采用高清成像芯片，具有4096×2160分辨率；移动体激光光源的移动步长为1mm，垂直扫描范围700mm，因此由移动体激光光源产生的切片激光偏振全景图像的分辨率为700，这样完成一次垂直扫描就能完成激光偏振全景图像和光强全景图像的每一个像素点几何信息和颜色信息的采样、融合直至三维重构及绘制输出，如附图10所示。

对于三维重构部分，其处理流程是：

StepA：通过视频图像读取模块读取激光偏振全景图像；

StepB：根据直线电机的移动速度以及到达两个极限点的时间估计移动体激光光源的直线电机的位置；

StepC：在激光偏振全景图像上解析出全方位面激光信息，计算移动面点云几何信息；

StepD：从内存中读取光强全景图像，根据StepC中处理结果将移动面几何信息和颜色信息进行融合；

StepE：逐步构建全景3D模型；

StepF：判断是否已经到达极限点位置，如果是的话转到StepG，不成立的话转到StepA；

StepG：设置移动体激光光源为OFF，读取光强全景图像，并将其保存在内存单元中，输出3D全景模型并保存到存储单元，设置移动体激光光源为ON，转到StepA；

下面对三维重构的处理流程作详细说明，在StepA中专门采用一个线程读取激光偏振全景视频图像，视频图像的读取速率是15Flame/s，采集后的激光偏振全景图像保存在一个内存单元内，以便后续的处理调用。

在StepB中，主要用于估算移动体激光光源的当前位置；规定在重构开始时将移动体激光光源的初始位置定在上极限位置h_up lim it，初始步长控制值z_move(j)＝0，相邻两帧时间移动体激光光源的移动步长为Δz，即存在着以下关系，

z_move(j+1)＝z_move(j)+Δz   (5)

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为移动体激光光源的移动步长，这里规定从上极限位置h_up lim it向下方向移动时，Δz＝1mm；从下极限位置h_{down lim it}向上方向移动时，Δz＝-1mm；程序实现时通过以下关系式进行判断，

$\mathrm{\Δz}=\left\{\begin{array}{cc}1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=0\\ -1& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)=h_{\mathrm{LaserMD}}\\ \mathrm{\Δz}& \mathrm{else}\end{array}\right.---\left(6\right)$

用公式(5)的计算结果值z_move(j+1)代入公式(3)中的h_LaserMD，得到移动体激光光源与多元输出全方位视觉传感器的单视点O_m之间的距离h(z)。

在StepC中，读取内存单元中的激光偏振全景图像并采用全方位面激光信息解析模块从激光偏振全景图像上解析出全方位面激光信息，接着计算移动面点云几何信息。

点云的空间位置信息用高斯坐标系来表示的话，每一个点云的空间坐标相对于多元输出全方位视觉传感器的单视点O_m为高斯坐标原点的高斯坐标用3个值来确定，即(R,α,β)，R为某一个点云到多元输出全方位视觉传感器的单视点O_m的距离，α为某一个点云到多元输出全方位视觉传感器的单视点O_m的入射角，β为某一个点云到多元输出全方位视觉传感器的单视点O_m的方位角，对于附图13中的点云和点，在高斯坐标下的点云数据的计算方法由公式(7)、(8)、(9)给出；

$\left\{\begin{array}{c}{R}_a=\frac{h\left(z\right)\×\cos {\mathrm{\θ}}_G}{\sin ({\mathrm{\α}}_a-{\mathrm{\θ}}_G)}\\ {\mathrm{\α}}_a=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_a}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_a}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_a}^2}\right)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{R}_b=\frac{h\left(z\right)}{\sin \left({\mathrm{\α}}_b\right)}\\ {\mathrm{\α}}_b=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_b}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_b\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_b}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\mathrm{\β}}_b}^2}\right)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{R}_c=\frac{h\left(z\right)\×\cos {\mathrm{\θ}}_B}{\sin ({\mathrm{\α}}_c+{\mathrm{\θ}}_B)}\\ {\mathrm{\α}}_c=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_c}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_c\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_c}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_c}^2}\right)\end{array}\right.---\left(9\right)$

式中，(β)_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，(β)_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，(β)_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，θ_B为俯角平面组的激光投射线与Z轴之间的夹角，θ_G为仰角平面组激光投射线与Z轴之间的夹角，h(z)为移动体激光光源到多元输出全方位视觉传感器的单视点O_m的距离，α_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，α_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，α_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，R_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，R_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，R_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为俯角平面组的激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，||u"||(β)_b为正交平面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，||u"||(β)_c为仰角平面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离。

如果将点云和点用笛卡尔坐标系和来表示的话，参考附图11，其计算方法由公式(10)、(11)、(12)给出，

$\left\{\begin{array}{c}{x}_a=R_a\×\cos {\mathrm{\α}}_a\×\sin {\left(\mathrm{\β}\right)}_a\\ y_a=R_a\×\cos {\mathrm{\α}}_a\×\cos {\left(\mathrm{\β}\right)}_a\\ y_a=R_a\×\sin {\mathrm{\α}}_a\end{array}\right.---\left(10\right)$

$\left\{\begin{array}{c}{x}_b=R_b\×\cos {\mathrm{\α}}_b\×\sin {\left(\mathrm{\β}\right)}_b\\ y_b=R_b\×\cos {\mathrm{\α}}_b\×\cos {\left(\mathrm{\β}\right)}_b\\ y_b=R_b\×\sin {\mathrm{\α}}_b\end{array}\right.---\left(11\right)$

$\left\{\begin{array}{c}{x}_c=R_c\×\cos {\mathrm{\α}}_c\×\sin {\left(\mathrm{\β}\right)}_c\\ y_c=R_c\×\cos {\mathrm{\α}}_c\×\cos {\left(\mathrm{\β}\right)}_c\\ y_c=R_c\×\sin {\mathrm{\α}}_c\end{array}\right.---\left(12\right)$

式中，R_a为俯角平面组的激光投影点云到全方位视觉传感器的单视点O_m的距离，R_b为正交平面组激光投影点云到全方位视觉传感器的单视点O_m的距离，R_c为仰角平面组激光投影点云到全方位视觉传感器的单视点O_m的距离，α_a为俯角平面组的激光投影点云到全方位视觉传感器的单视点O_m的入射角，α_b为正交平面组激光投影点云到全方位视觉传感器的单视点O_m的入射角，α_c为仰角平面组激光投影点云到全方位视觉传感器的单视点O_m的入射角，(β)_a为俯角平面组的激光投影点云到全方位视觉传感器的单视点O_m的方位角，(β)_b为正交平面组激光投影点云到全方位视觉传感器的单视点O_m的方位角，(β)_c为仰角平面组激光投影点云到全方位视觉传感器的单视点O_m的方位角。

在StepC计算过程中遍历了全方位360°的俯角平面组、正交平面组和仰角平面组全方位面激光投射所产生的点云数据；由于本发明中采用高清成像芯片，为了与垂直扫描精度取得一致，这里采用计算步长为Δβ＝0.36来遍历整个360°的方位角，附图14为移动体激光光源在某一个高度位置上扫描结果激光偏振全景图，在激光偏振全景图上短虚线为俯角平面组全方位面激光投射所产生的点云数据，长虚线为正交平面组全方位面激光投射所产生的点云数据，点虚线为仰角平面组全方位面激光投射所产生的点云数据，下面具体说明遍历算法，

StepⅠ：设置初始方位角β＝0；

StepⅡ：采用全方位面激光信息解析模块，沿射线方向检索点云和，得到在激光偏振成像平面上与点云数据相对应的||u"||(β)_a、||u"||(β)_b和||u"||(β)_c三个点，用公式(7)计算点云的距离值R_a和入射角α_a，用公式(8)计算点云的距离值R_b和入射角α_b，用公式(9)计算点云的距离值R_c和入射角α_c；然后再用公式(10)计算点云在笛卡尔坐标系下的、用公式(11)计算点云在笛卡尔坐标系下的、用公式(12)计算点云在笛卡尔坐标系下的，在这一计算步骤中，遍历方位角β分别代入到公式(10)、(11)、(12)中的(β)_a、(β)_b、(β)_c；将上述的计算数据保存在内存单元中。

StepⅢ：β←β+Δβ，Δβ＝0.36，判断β＝360是否成立，如果成立结束计算，否则转到StepⅡ；

在StepD中，首先从内存中读取光强全景图像，根据StepC中处理结果将点云的几何信息和颜色信息进行融合；融合后的点云数据将包括该点云的几何信息和颜色信息，即用(R,α,β,r,g,b)来表达某一个点云的几何信息和颜色信息，下面具体说明融合算法，

Step①：设置初始方位角β＝0；

Step②：根据方位角β和在激光偏振全景图像上与点云数据相对应的||u"||(β)_a、||u"||(β)_b和||u"||(β)_c三个点的信息，读取光强全景图像上的相关像素点的(r,g,b)颜色数据，与从StepC中处理加工得到的相对应的(R,α,β)进行融合，得到相对应的点云几何信息和颜色信息(R,α,β,r,g,b)；

Step③：β←β+Δβ，Δβ＝0.36，判断β＝360是否成立，如果成立结束计算，将计算结果保存在存储单元中；否则转到Step②；

在StepE中根据StepD的计算结果逐步构建全景3D模型，在本发明中，移动体激光光源完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某一个高度情况下的切片点云数据，如附图12所示；将这些数据以移动体激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；根据上述的描述，本发明有向下全景3D重构和向上全景3D重构两种不同模式。

在StepF中判断移动体激光光源是否达到极限位置，即判断z_move(j)＝0或者z_move(j)＝h_LaserMD是否成立，如果成立的话转到StepG，不成立的话转到StepA；

在StepG中，主要工作是输出重构结果并为下一次重构做一些准备；具体做法是：首先设置移动体激光光源为OFF，读取光强全景图像，并将其保存在内存单元中；然后输出3D重构全景模型并保存到存储单元，由于本发明中无论是在切片点云数据产生方面还是在某一个切片上的全方位点云数据产生方面均采用了高分辨率的采集手段，在激光偏振全景图像和光强全景图像的每个像素都具备了与实际点云相对应的几何信息和颜色信息，因此也就有效地回避了在三维重构中的对应点问题、平铺问题和分支问题；最后设置移动体激光光源为ON，转到StepA，进行新的3D全景模型的重构；

通过上述处理得到了以多元输出全方位视觉传感器的单视点O_m为坐标原点的3D全景模型的点云数据；在用全景移动面激光投射光源扫描全景场景时产生了一个个扫描切片，如附图12所示。

这些扫描切片图像是在扫描过程中随着全景移动面激光投射光源的移动自然形成的，每扫描得到一张全景切片图像后就用方位角遍历整个全景切片图像提取出俯角平面组、正交平面组和仰角平面组全方位面激光投射所产生的点云数据；点云数据存储以矩阵方式存储，其中矩阵的1～700行存储俯角平面组全方位面激光投射所产生的点云数据，矩阵的701～1400行存储正交平面组全方位面激光投射所产生的点云数据，矩阵的1401～2100行存储仰角平面组全方位面激光投射所产生的点云数据，列数表示从0°～359.64°方位角扫描的数目，共1000列；因此，点云存储矩阵为2100×1000的矩阵；每个点云中包括了(x,y,z,R,G,B)6个属性，这就形成了有序点云数据集，有序数据集的优势在于，在预先了解相邻点的关系后其邻域操作能更加高效。

多源输出全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，经偏振分光棱镜分光将折射的偏振光分成两束垂直的线偏光，其中P偏光完全通过，而S偏光以45度角被反射，出射方向与P光成90度角；P偏光在摄像单元6-1中成像，S偏光在摄像单元6-2中成像。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z)；由于本发明采用了偏振分光棱镜分光设计，摄像单元6-1中成像的图像与摄像单元6-2中成像的图像具有相同的光学几何系统；

附图7中的2－双曲线面镜，6-1－第一摄像单元，6-2－第二摄像单元，9－偏振分光棱镜，12－入射光线，13－双曲面镜的实焦点Om(0,0,c)，14－双曲面镜的虚焦点，即摄像单元6-1和摄像单元6-2的中心Oc(0,0,-c)，15－反射光线，16－成像平面，17－实物图像的空间坐标A(X,Y,Z)，18－入射到双曲面镜面上的图像的空间坐标，19－反射在成像平面上的点P(x,y)。

附图7中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1当Z>0时(13)

$c=\sqrt{a^2+b^2}---\left(14\right)$

β＝tan^-1(Y/X)   (15)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ   (16)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(17\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a,b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x,y表示在成像平面上的一个点。

Claims (10)

1.一种全天候主动式全景感知装置，包括：产生三维体结构投射光源的移动体激光光源，采集移动体激光光源投影全方位图像的多元输出全方位视觉传感器，以及用于对全方位图像进行3D全景重构的微处理器；其特征在于：

所述的多元输出全方位视觉传感器内设有双曲面镜面、第一摄像单元和第二摄像单元；所述双曲面镜面的折反射光路上装有偏振分光棱镜，用于将双曲面镜面的折反射光分为含有某一个偏振成分的光和不包含有某一个偏振成分的光；所述的第一摄像单元和第二摄像单元分别位于偏振分光棱镜的反射和透射光路上，分别用于采集仅包含有偏振光信息的第一全景视频图像和包含有光强信息的第二全景视频图像；

所述的微处理器，用于将第一全景视频图像中的点云几何信息与第二全景视频图像中的颜色信息进行融合，并构建全景3D模型。

2.如权利要求1所述的全天候主动式全景感知装置，其特征在于，所述的移动体激光光源包括沿导向支撑杆上下移动的体激光光源，该体激光光源具有垂直导向支撑杆的第一线激光发生单元、与导向支撑杆的轴心线成θ_c倾斜的第二线激光发生单元以及与导向支撑杆的轴心线成θ_a倾斜的第三线激光发生单元；

三个线激光发生单元的发射光波长与偏振分光棱镜的S偏光的波长一致；

所述的第一线激光发生单元、第二线激光发生单元和第三线激光发生单元分别产生3个不同平面的激光，分别为正交平面组、仰角平面组和俯角平面组。

3.如权利要求2所述的全天候主动式全景感知装置，其特征在于，所述的偏振分光棱镜由一对直角棱镜胶合而成，其中一个直角棱镜的斜边上镀有偏振分光介质膜。

4.如权利要求3所述的全天候主动式全景感知装置，其特征在于，所述的微处理器分为标定部分和3D重构部分；

所述的标定部分包括：

多源输出全方位视觉传感器标定模块，用于确定三维空间点和摄像单元成像平面上的二维图像点之间映射关系的参数；

全方位面激光信息解析模块，用于在偏振成像的第一全景视频图像中解析出第一线激光发生单元、第二线激光发生单元和第三线激光发生单元对应的激光投影信息；

所述的3D重构部分包括：

移动体激光光源位置估计模块，用于计算体激光光源上的当前位置；

移动面的点云几何信息计算模块，用于根据所述的激光投影信息计算移动面的点云几何信息；

点云的几何信息和颜色信息融合模块，在第二全景视频图像读取点云几何信息相关像素点的颜色信息，并将点云几何信息和颜色信息进行融合；

全景3D模型构建模块，根据移动体激光光源的位置，以及融合后的点云几何信息和颜色信息，构建全景3D模型。

5.一种采用权利要求1～4任一项全天候主动式全景感知装置的3D全景建模方法，其特征在于，包括：

1)采用多元输出全方位视觉传感器拍摄移动体激光光源投射形成的全景图像，该全景图像包括包含有偏振光信息的第一全景视频图像和包含有光强信息的第二全景视频图像；

2)根据所述的第一全景视频图像，确定多元输出全方位视觉传感器的标定参数，并解析出第一线激光发生单元、第二线激光发生单元和第三线激光发生单元对应的激光投影信息；

3)根据移动体激光光源的位置，以及所述激光投影信息的相关像素坐标值，计算移动面的点云几何信息，并在第二全景视频图像中读取点云几何信息相关像素点的颜色信息，将移动面的点云几何信息和颜色信息进行融合，构建全景3D模型。

6.如权利要求5所述的3D全景建模方法，其特征在于，在步骤2)中，所述激光投影信息的解析方法如下：

通过对两个相邻位置高度所获得的偏振全景切片图像作差分运算来获得激光投射点，当移动激光面在上下扫描过程中，帧与帧之间在垂直方向，即不同的切面上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取切片偏振全景图像中的激光投射点，然后根据在偏振全景图像上出现激光投射的顺序来判定在某一方位角β上的3个不同投射角发射的激光，从而得到在切片偏振全景图像上的以偏振全景图像为极坐标中心的各激光投射点坐标值。

7.如权利要求6所述的3D全景建模方法，其特征在于，根据所述的各激光投射点坐标值和标定参数，用公式(7)、(8)、(9)计算在某一切片激光偏振全景图像上的仰角平面组、正交平面组和俯角平面组激光投射点的用高斯坐标表示的三维空间位置信息，即点云数据(R,α,β)；

$\left\{\begin{array}{c}{R}_a=\frac{h\left(z\right)\×\cos {\mathrm{\θ}}_G}{\sin ({\mathrm{\α}}_a-{\mathrm{\θ}}_G)}\\ {\mathrm{\α}}_a=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_a}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_a}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_a}^2}\right)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{R}_b=\frac{h\left(z\right)}{\sin \left({\mathrm{\α}}_b\right)}\\ {\mathrm{\α}}_b=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_b}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_b\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_b}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_b}^2}\right)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{R}_c=\frac{h\left(z\right)\×\cos {\mathrm{\θ}}_B}{\sin ({\mathrm{\α}}_c+{\mathrm{\θ}}_B)}\\ {\mathrm{\α}}_c=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_c}{f\left(\right|\left|u^{\′\′}\right|\left|{\left(\mathrm{\β}\right)}_c\right)}\right)=\arctan \left(\frac{\left|\right|u^{\′\′}\left|\right|{\left(\mathrm{\β}\right)}_c}{a_0+a_2\left|\right|u^{\′\′}\left|\right|{{\left(\mathrm{\β}\right)}_c}^2}\right)\end{array}\right.---\left(9\right)$

式中，(β)_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，(β)_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，(β)_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的方位角，θ_B为俯角平面组的激光投射线与Z轴之间的夹角，θ_G为仰角平面组激光投射线与Z轴之间的夹角，h(z)为移动体激光光源到多元输出全方位视觉传感器的单视点O_m的距离，α_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，α_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，α_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的入射角，R_a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，R_b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，R_c为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为俯角平面组的激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，||u"||(β)_b为正交平面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，||u"||(β)_c为仰角平面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，a₀、a₂为标定的多源输出全方位视觉传感器的内外参数。

8.如权利要求7所述的3D全景建模方法，其特征在于，所述的点云几何信息和颜色信息具体融合算法为：

Step①：设置初始方位角β＝0；

Step②：根据方位角β和在激光偏振全景图像上与点云数据相对应的||u"||(β)_a、||u"||(β)_b和||u"||(β)_c三个点的信息，读取光强全景图像上的相关像素点的(r,g,b)颜色数据，与相对应的(R,α,β)进行融合，得到相对应的点云几何信息和颜色信息(R,α,β,r,g,b)；

Step③：β←β+Δβ，Δβ＝0.36，判断β＝360是否成立，如果成立结束计算，否则转到Step②。

9.如权利要求8所述的3D全景建模方法，其特征在于，在构建全景3D模型时，移动体激光光源在扫描过程中每一移动步长都产生在某一个高度情况下的切片点云数据，该切片点云数据以移动体激光光源的高度值作为保存索引，按切片点云数据产生顺序进行累加，并根据仰角平面组、正交平面组和俯角平面组激光扫描形成以移动体激光光源的移动距离h_LaserMD和移动步长Δh的比行数、以遍历切片激光偏振全景图像的360°和遍历方位角步长Δβ的比为列数的3个有序规则的全景点云数据矩阵；最后对这3个有序规则的全景点云数据矩阵以仰角平面组、正交平面组和俯角平面组顺序进行叠加最终形成1个有序规则的全景点云数据矩阵。

10.如权利要求5所述的3D全景建模方法，其特征在于，所述的移动体激光光源中仰角平面组的仰角θ_c与多源输出全方位视觉传感器的最大仰角α_cmax之间差的绝对值小于阈值T＝2°。