CN104567818A - 一种便携式全天候主动全景视觉传感器 - Google Patents

Abstract

本发明公开了一种便携式全天候主动全景视觉传感器，包括兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器、全景激光光源以及用于对全方位图像进行3D全景重构的微处理器，多源输出全方位视觉传感器的中心与全景激光光源的中心配置在同一根轴心线上；微处理器具有标定和3D重构二个部分，标定部分主要包括多源输出全方位视觉传感器标定模块和联合标定模块；3D重构部分主要包括：全景激光光源的发射角的位置估计模块、全景面激光信息解析模块、全景面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以全景面的位置信息构建全景3D模型构建模块。本发明实现了便携式全天候主动式全景感知和自动化3D全景建模。

Description

一种便携式全天候主动全景视觉传感器

技术领域

本发明涉及激光光源、偏振成像、全方位视觉传感器以及计算机视觉技术在立体视觉测量及3D绘制方面的应用，尤其涉及一种便携式全天候主动全景视觉传感器。

背景技术

三维重建技术包括了三维测量与立体重构，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。针对具有高精度的几何信息和真实感的颜色信息的三维模型的重建，该技术成为了在计算机视觉、人工智能、模式识别、计算机图形学和地理信息系统等领域的一个重要研究热点。

三维模型的重建技术主要涉及到以下三个方面的内容：1)几何的准确性；2)真实感；3)重建过程的自动化。三维模型的重建所需要的数据主要包括激光扫描的深度图像数据和图像传感器采集的图像数据两个方面。

三维激光测量技术的出现和发展为空间三维信息的获取提供了全新的技术手段，为信息数字化发展提供了必要的生存条件。随着三维激光扫描测量装置在精度、速度、易操作性、轻便、抗干扰能力等性能方面的提升及价格方面的逐步下降，20世纪90年代，其在测绘领域成为研究的热点，扫描对象不断扩大，应用领域不断扩展，逐步成为快速获取空间实体三维模型的主要方式之一，许多公司都推出了不同类型的三维激光扫描测量系统。上世纪90年代中后期，三维激光扫描仪已形成了颇具规模的产业。

目前的三维激光扫描仪仍然有很多可改进之处，1)如精密的硬件构造，要求将CCD技术、激光技术、精密机械传感技术等进行高质量的整合，导致了该类仪器具有昂贵的制造成本和维护成本。2)现有的三维激光扫描技术属于面扫描成像技术，一幅扫描点云图无法获取建筑物的全貌，尤其是建筑物内部的全貌；从不同扫描站(视角)获得的点云分别采用其各自的局部坐标系，因此需要将它们配准到一个统一坐标系下。配准过程中存在着多次多个坐标系之间的转换，造成了各种误差并影响计算速度和计算资源。3)点云采集过程中会带入较多的干扰，导致了需要对点云数据进行预处理等环节。4)各厂商的三维激光扫描仪所配置的软件中点云数据缺乏统一的数据标准，难以实现数据的共享，这点将在数字城市建设中尤为突出。5)两种不同设备来获取空间物点的几何和色彩信息，不同设备之间的几何和色彩信息数据配准好坏直接影响纹理映射和纹理合成的效果。6)三维建模处理过程中需要多次人工干预，建模效率不高，这需要操作人员具有较高的专业知识，并且影响着自动化程度。

中国发明专利申请号为201210137201.7公开了一种基于主动全景视觉传感器的全方位三维建模系统，系统主要包括全方位视觉传感器、全景激光光源以及用于对全方位图像进行3D全景重构的微处理器，全景激光光源完成一次垂直方向的扫描得到了在不同高度情况下的切片点云数据，将这些数据以所述的全景激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，最终构建出带有几何信息和颜色信息的全景3D模型。但是该技术方案存在着一个问题，体激光光源所发射的发射光在室外阳光等环境光照射下会显得较弱，使得视觉传感器难以检测到激光的发射线。这是由于这种解决方案时根据光强的差别来区分激光发射线，但当强度差别不明显或目标背景很杂乱时，用强度来区分激光发射线就很困难，而用光的另一个特性—偏振特性来区别激光发射线有助于克服由于光强差太小所带来的困难。另一个问题是该发明中的全景激光光源只能进行垂直方向的扫描，因而难以实现对垂直于全景激光光源的平面进行扫描；另外，由于要对整个垂直方向进行扫描导致了全景激光光源的移动范围大，造成整个装备体积大，携带不方便。

偏振成像是一种获取目标二维空间光强分布以及偏振特性分布的新型光电成像技术。摄像成像、红外热像等传统光电成像是通过探测反射、辐射光强的二维空间分布来获得图像的，其实质是二维空间强度成像；偏振成像在传统强度成像基础上增加了偏振信息维度，不仅能获取二维空间光强分布，还能获得图像上每一点的偏振信息。在雾霾、烟尘等恶劣环境下能提高光电探测装备的目标探测识别能力。

由于主动成像不受气象条件、目标温度及背景照度影响等优势，可以进行全天候、远距离探测，而且激光发射波束窄和抗干扰性好，所以激光照明偏振成像技术更为适用于三维激光测量，尤其是激光成像偏振技术在远距离目标探测和三维测量等方面有着广泛的应用潜力。

针对现有的主动全景视觉传感器难以在任何环境条件中正常使用、传感器体积大、难以对平面物体进行扫描等问题，提出了一种用圆柱形激光光源与折反射镜面构成的全景体结构光扫描光源，在全景图像获取技术方面采用激光偏振成像技术单独处理体激光光源所发射的发射光和用透视成像技术处理环境的反射光，前者与全景激光光源配合得到在不同高度情况下的切片点云几何数据，后者直接从折反射镜面获取全景图像，然后解析出与点云几何数据相匹配颜色数据，最终构建出带有几何信息和颜色信息的全景3D模型。

发明内容

为了克服已有的主动三维立体全景视觉测量装置体积大、携带不方便、扫描不全面、容易受到环境光的干扰、难以对图像中测量目标的一些本质特性做出正确的理解等不足，本发明提供一种通过全景激光偏振成像技术直接获取空间三维点的位置几何信息、通过传统的全景摄像成像技术得到空间三维点的颜色信息，并将这两种技术处理的结果进行信息融合，最终获取全景三维空间的光强分布数据，实现对环境的快速测量与全景三维建模；

要实现上述发明内容，必须要解决几个核心问题：(1)实现一种能覆盖整个重构场景的全景激光光源；(2)实现一种能快速获得实际物体深度信息的主动式激光偏振成像全方位视觉传感器；(3)通过消偏振分光技术实现全方位视觉传感器和偏振成像全方位视觉传感器的融合，使得两者具有相一致的空间坐标关系；(4)将激光偏振扫描空间数据点的三维空间几何信息与全景图像中相应像素点的光强信息进行快速融合的方法。

本发明解决其技术问题所采用的技术方案是：

一种便携式全天候主动全景视觉传感器，包括兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器，下面简称为多源输出全方位视觉传感器、全景激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的多源输出全方位视觉传感器的中心与所述全景激光光源的中心配置在同一根轴心线上；

所述多源输出全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、第一摄像单元固定座、第二摄像单元固定座、第一摄像单元、第二摄像单元、偏振分光棱镜、连接单元和上罩；所述的双曲面镜面固定在所述的上盖的下方，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的第一摄像单元固定在所述的第一摄像单元固定座上，所述的第二摄像单元固定在所述的第二摄像单元固定座上，所述的第一摄像单元和所述的第二摄像单元成正交关系固定座固定在所述的下固定座上，所述的偏振分光棱镜固定在所述的第一摄像单元的光轴和所述的第二摄像单元的光轴相交处，所述的多源输出全方位视觉传感器中的所述的第一摄像单元的输出与所述微处理器连接，所述的多源输出全方位视觉传感器中的所述的第二摄像单元的输出与所述微处理器连接；

所述的全景激光光源用于产生全景发射光源，包括，圆圈形激光发生器、微型直线电机、一次圆锥面折反射镜面、二次抛物面折反射镜面、光源上盖、光源下固定座和支撑杆；

所述的圆圈形激光发生器，发射出的圆圈大小与工作距离成1:1关系，如附图8所示，圆圈的发射角度为

所述的一次圆锥面折反射镜面，用于将所述的圆圈形激光发生器发射出来的圆锥形光转变为圆柱形光，如附图8所示，所述的圆圈形激光发生器发射出来的圆锥形光经所述的一次圆锥面折反射镜面折反射转换成以Z轴为圆柱中心的圆柱形光，所述的一次圆锥面折反射镜面的圆锥角λ与所述的圆圈形激光发生器的圆圈的发射角度之间的关系用公式(1)表示；

式中，λ为一次圆锥面折反射镜面的圆锥角，为圆圈形激光发生器的圆圈的发射角度。

所述的二次抛物面折反射镜面，用于将以Z轴为圆柱中心的圆柱形光转变为以某一个发射中心点向360°全景方向发射的全景光，如附图8所示，经所述的一次圆锥面折反射镜面折反射转换成以Z轴为圆柱中心的圆柱形光在所述的二次抛物面折反射镜面上进行二次折反射，且折反射光线的延长线与Z轴的交点位置不变，即要求具有单发射点特征；二次折反射光线与Z轴之间的夹角为θ，由于以Z轴为圆柱中心的圆柱形光与Z轴平行，一次折反射光和二次折反射光之间的夹角也为θ，根据折反射光学原理得到公式(2)，

θ＝2ε                         (2)

式中，θ为二次折反射光线与Z轴之间的夹角，ε为在所述的二次抛物面折反射镜面上进行二次折反射时的入射角和反射角；

为了保证经所述的二次抛物面折反射镜面上进行二次折反射后的全景光都具有单发射点特征，这里用解微分方程的方式来求所述的二次抛物面折反射镜面的镜面曲线F；曲线方程F在该x点处的切线与x轴的夹角为ε，得到公式(3)、(4)；

$\mathrm{\θ}=\frac{\mathrm{\π}}{2}+{\tan }^{-1}\frac{F}{x}$             (3)

ε＝tan^-1F'                                                (4)

式中，θ为二次折反射光线与Z轴之间的夹角，ε为在所述的二次抛物面折反射镜面上进行二次折反射时的入射角和反射角，F为所求的镜面曲线方程，F'为所求的镜面曲线方程的微分；

将公式(3)、(4)代入公式(2)并对其求正切，整理得到公式(5)，

$F^{\′2}-2F\frac{F^{\′}}{x}-1=0---\left(5\right)$

式中，F为所求的镜面曲线方程，F'为所求的镜面曲线方程的微分，x为镜面曲线方程F中的变量；

解公式(5)微分方程得到公式(6),

$F=\frac{x^2}{2C_1}-\frac{C_1}{2}---\left(6\right)$

求得的镜面曲线方程为抛物线方程；为了便于计算，将公式(6)改写为抛物线的标准方程，如公式(17)所示

$z-\frac{p}{2}=x^2/2p---\left(17\right)$

对公式(17)求导，得到二次折反射光线与Z轴之间的夹角θ的正切与抛物线方程中的变量x的关系式(18)，

$\tan \mathrm{\θ}=\frac{2\mathrm{px}}{p^2-x^2}---\left(18\right)$

对公式(18)二次折反射光线与Z轴之间的夹角θ用变量x进行求导，得到公式(19)，

$\frac{\mathrm{d\θ}}{\mathrm{dx}}=\frac{2p}{p^2+x^2}---\left(19\right)$

式中，p为抛物线的焦点；

所述的微型直线电机的推杆与所述的圆圈形激光发生器固定连接，驱动所述的圆圈形激光发生器以Z轴为中心作上下移动，所述的圆圈形激光发生器在所述的一次圆锥面折反射镜面上发射的圆圈形半径大小由公式(7)计算，

式中，R_z为所述的圆圈形激光发生器发射的圆圈形激光的发射中心到所述的一次圆锥面折反射镜面上反射的圆圈形激光之间的垂直距离，为圆圈形激光发生器的圆圈的发射角度，x为所述的圆圈形激光发生器在所述的一次圆锥面折反射镜面上发射的圆圈形半径，该值又作为所述的二次抛物面折反射镜面的镜面曲线方程F中的变量。

装配时所述的圆圈形激光发生器、所述的微型直线电机、所述的一次圆锥面折反射镜面、所述的二次抛物面折反射镜面、所述的光源上盖、所述的光源下固定座保证同轴关系；首先所述的圆圈形激光发生器和所述的微型直线电机的推杆进行固定连接，然后将其固定在所述的光源下固定座上；接着所述的二次抛物面折反射镜面固定在所述的光源上盖；最后通过所述的支撑杆将固定了所述的圆圈形激光发生器和所述的微型直线电机的光源下固定座、固定了所述的二次抛物面折反射镜面固定的光源上盖、和所述的一次圆锥面折反射镜面固定在一起，构成全景激光扫描光源。

所述的二次抛物面折反射镜面的最大工作半径为R_pmax、最小工作半径为R_pmin，依此来决定所述的一次圆锥面折反射镜面的工作高度H_yz，用公式(9)进行计算，

接着，用公式(10)来决定所述的圆圈形激光发生器所移动的垂直距离，

H_l＝H_yz-2(R_pmax-R_pmin)          (10)

根据H_l来选择所述的微型直线电机的推杆工作行程；

当所述的微型直线电机驱动其推杆上下动作时带动所述的圆圈形激光发生器沿Z轴上下移动，所述的圆圈形激光发生器发射出一系列圆圈形激光，这一系列圆圈形激光经所述的一次圆锥面折反射镜面折反射形成一系列以Z轴为中心的同心圆柱形折反射光，一系列以Z轴为中心的同心圆柱形折反射光再经所述的二次抛物面折反射镜面折反射形成一系列以在Z轴上的某一点为发射点的全景激光；这样，从所述的微型直线电机的两个极限位置之间的运动完成了所述的全景激光光源最大仰角到最小俯角之间的全景扫描。

所述的多源输出全方位视觉传感器通过连接板安装在所述的全景激光光源中的所述的上固定座上，构成一个全天候主动式全方位视觉传感器；所述的多源输出全方位视觉传感器具有两种不同类型的视频输出，一种是仅包含有偏振光信息的全景视频图像，另一种是包含有光强信息的全景视频图像，两种不同类型的视频输出分别通过USB接口与所述的微处理器相连接。

所述的微处理器的应用软件中主要由标定和3D重构二个部分组成，标定部分主要包括：视频图像读取模块、多源输出全方位视觉传感器标定模块、联合标定模块；3D重构部分主要包括：视频图像读取模块、全景激光光源的直线电机的位置估计模块、全方位面激光信息解析模块、移动面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元。

所述的微处理器的应用软件中主要由标定和3D重构二个部分组成，标定部分主要包括：视频图像读取模块、多源输出全方位视觉传感器标定模块、联合标定模块；3D重构部分主要包括：视频图像读取模块、全景激光光源的发射角的位置估计模块、全景面激光信息解析模块、全景面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以全景面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元。

所述的视频图像读取模块，分别用于读取所述的多源输出全方位视觉传感器中的第一摄像单元中成像的不包含有某一个偏振成分的全景视频图像，即光强全景视频图像和读取第二摄像单元中成像的包含有某一个偏振成分的全景视频图像，即偏振全景图像，并保存在所述的存储单元中，其输出与所述的多源输出全方位视觉传感器标定模块和全景面激光信息解析模块连接。

所述的多源输出全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数；具体标定过程是将标定板绕所述的多源输出全方位视觉传感器一周，拍摄若干组全景图像，建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，计算结果如表1所示，即为本发明中使用的多源输出全方位视觉传感器的标定参数；

表1 ODVS的标定结果

所述的全景激光光源的发射角的位置估计模块，用于估算所述的全景激光光源当前的发射角位置；规定在重构开始时将全景激光光源的初始发射角位置定在所述的微型直线电机的最大行程位置H_lmax，初始步长控制值z_move(j)＝0，相邻两帧时间所述的微型直线电机的移动步长为Δz，即存在着以下关系，

z_move(j+1)＝z_move(j)+Δz              (13)

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为所述的微型直线电机的移动步长，这里规定从上极限位置H_lmax向下方向移动时，Δz＝-0.08mm；从下极限位置H_lmin向上方向移动时，Δz＝0.08mm；程序实现时通过以下关系式计算所述的圆圈形激光发生器在所述的一次圆锥面折反射镜面上发射的圆圈形半径x，

$x=\left\{\begin{array}{cc}{R}_{p\min }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)>0\\ R_{p\max }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)<0\end{array}\right.---\left(14\right)$

式中，R_pmax为所述的二次抛物面折反射镜面的最大工作半径，R_pmin为所述的二次抛物面折反射镜面的最小工作半径，λ为所述的一次圆锥面折反射镜面的圆锥角，当所述的微型直线电机的推杆移动方向发生变化时设置z_move(j)＝0。

接着用公式(14)的计算结果x值用公式(15)来估算所述的全景激光光源的发射角θ，

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{2\mathrm{px}}{p^2-x^2}\right)---\left(15\right)$

式中，x为经所述的一次圆锥面折反射镜面折反射发射到所述的二次抛物面折反射镜面的圆柱形激光半径值，同样也是所述的圆圈形激光发生器在所述的一次圆锥面折反射镜面上发射的圆圈形半径值，p为所述的二次抛物面折反射镜面的焦点值，θ为所述的全景激光光源的发射角。

所述的全景面激光信息解析模块，用于在偏振全景图像上解析出全景激光投影信息，产生点云信息；全景面激光信息解析方法是基于帧间差的激光发射点提取算法，该算法是一种通过对两个相邻发散角所发射出的全景激光投影后所获得的偏振全景切片图像作差分运算来获得激光发射点的方法，当所述的全景激光光源的发射角从大到小或者是从小到大的扫描过程中，帧与帧之间在偏振全景图像的入射角方向，即不同的圆锥形切面上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取切片偏振全景图像中的激光发射点；得到在切片偏振全景图像上的以偏振全景图像为极坐标中心的各激光发射点坐标值；各激光发射点坐标值作为输出与所述的全景面的点云几何信息的计算模块连接。

所述的联合标定，用于对全天候主动式全方位视觉传感器进行标定；由于所述的多源输出全方位视觉传感器和所述的全景激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；具体做法是：首先，将所述的全天候主动式全方位视觉传感器放置在一个直径为1000mm的空心圆柱体内，并将所述的全天候主动式全方位视觉传感器的轴心线与空心圆柱体内的轴心线重合；接着，使得所述的全景激光光源ON，发射激光，将所述的微型直线电机的推杆设置在最大行程位置H_lmax，并采集激光偏振全景图像和光强全景图像，观察在激光偏振全景图像和光强全景图像上的激光发射光圈的圆心是否与激光偏振全景图像和光强全景图像上的中心一致，检测在激光偏振全景图像和光强全景图像上的发射激光光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整所述的多源输出全方位视觉传感器和所述的全景激光光源之间的连接；进一步，将所述的微型直线电机的推杆设置在最小行程位置H_lmin，并采集激光偏振全景图像和光强全景图像，观察在激光偏振全景图像和光强全景图像上的激光发射光圈的圆心是否与激光偏振全景图像和光强全景图像上的中心一致，检测在激光偏振全景图像和光强全景图像上的发射激光光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整所述的多源输出全方位视觉传感器和所述的全景激光光源之间的连接；最后，将微型直线电机的推杆最小行程位置H_lmin、最大行程位置H_lmax、二次抛物面折反射镜面的焦点值p、二次抛物面折反射镜面的最大工作半径R_pmax，二次抛物面折反射镜面的最小工作半径R_pmin，一次圆锥面折反射镜面的圆锥角λ以及多源输出全方位视觉传感器的标定参数信息存放在联合标定数据库中，以便在三维重构时调用。

所述的全景面的点云几何信息的计算模块，用于根据所述的全景面激光信息解析模块从切片激光偏振全景图像中解析得到激光发射点在偏振全景图像上的各激光发射点坐标值，根据所述的多源输出全方位视觉传感器标定模块的标定结果，用公式(16)计算在某一切片激光偏振全景图像上的激光发射点的用高斯坐标表示的三维空间位置信息，即点云数据；

$\left\{\begin{array}{c}{R}_a=\frac{h\&times;\sin \mathrm{\&theta;}}{\cos ({\mathrm{\&alpha;}}_a+\mathrm{\&theta;})}\\ {\mathrm{\&alpha;}}_a=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{f\left(\right|\left|u^{\&prime;\&prime;}\right|\left|{\left(\mathrm{\&beta;}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{a_0+a_2\left(\right|\left|u^{\&prime;\&prime;}\right||{{\left(\mathrm{\&beta;}\right)}_a}^2}\right)\end{array}\right.---\left(16\right)$

式中，(β)_a为全景面激光投影点云到多源输出全方位视觉传感器的单视点O_m的方位角，θ为全景面激光发射线与Z轴之间的夹角，h为全景激光光源的单发射点O_L到多源输出全方位视觉传感器的单视点O_m的距离，α_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的入射角，R_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为全景面的激光投影点在切片激光偏振全景图像的成像平面上的对应点到全景成像平面中心之间的距离。

所述的点云的几何信息和颜色信息的融合模块，用于根据所述的全景面的点云几何信息的计算模块从切片激光偏振全景图像中解析计算得到的点云的几何信息(R,α,β)，根据切片激光偏振全景图像上的发射激光点位置找到在所述的光强全景视频图像上相一致的点，并从这些点得到其相对应的颜色信息(r,g,b)，然后将这些点云的几何信息和颜色信息进行融合；融合后的点云数据将包括该点云的几何信息和颜色信息，即用(R,α,β,r,g,b)来表达某一个点云的几何信息和颜色信息。

所述的以全景面的位置信息构建全景3D模型构建模块，用于构建带有几何信息和颜色信息的全景3D模型；所述的全景激光光源在扫描过程中每一移动步长都产生在某一个激光发射角情况下的切片点云数据；将这些数据以所述的全景激光光源中的所述的微型直线电机推杆的行程作为保存索引，这样就能按切片点云数据产生顺序进行累加，并根据全景激光光源激光扫描形成以所述的全景激光光源中的所述的微型直线电机推杆的移动距离(H_lmax-H_lmin)和移动步长Δz的比为行数、以遍历切片激光偏振全景图像的360°和遍历方位角步长Δβ的比为列数的有序规则的全景点云数据矩阵；

本发明的有益效果主要表现在：

1)提供了一种全新的立体视觉获取方法，利用全方位激光扫描和全方位视觉的特性使得重构后的三维模型同时具有较高的精度和较好的纹理信息；

2)能有效地减少计算机资源消耗，具有实时性好、实用性强、鲁棒性高、自动化程度高等优点，整个3D重构不需要人工介入；

3)利用全方位激光检测保证了几何的准确性，采用高分辨率的全景图像采集技术使得在全景图像上的每个像素同时拥有几何信息和颜色信息，从而保证了3D重构的真实感，整个过程自动扫描、自动解析和计算，不存在着三维重构的病态计算问题，实现了三维重建过程的自动化；实现了3D全景模型重构的几何准确性、真实感和重建过程自动化的完美统一；

4)激光偏振成像技术可以在恶劣的环境下进行远距离的图像获取操作，在抑制背景噪声、提高探测距离、细节特征获取等方面具有绝对优势，本发明提供了一种全天候的3D全景测量与3D全景模型重构的工业级解决方案；

5)实现了一种能覆盖整个重构场景的全景激光光源，并实现了小型化的设计，携带、安装及现场测绘更为方便。

附图说明

图1为全方位视觉传感器的结构图；

图2为一种偏振成像全方位视觉传感器的结构图；1-上盖、2-双曲面镜面、3-透明半圆形外罩、4-下固定座、5-摄像单元固定座、6-摄像单元、7-连接单元、8-上罩、10-滤光片；

图3为偏振分光棱镜将P偏振光和S偏振光进行分光原理图；

图4为多源输出全方位视觉传感器的结构图；1-上盖、2-双曲面镜面、3-透明半圆形外罩、4-下固定座、5-摄像单元固定座、6-1摄像单元1、6-2摄像单元2、7-连接单元、8-上罩、9-偏振分光棱镜；

图5为多源输出全方位视觉传感器的成像原理图；

图6为单视点折反射全方位视觉传感器成像模型，图6(a)透视成像过程，图6(b)传感器平面，图6(c)图像平面；

图7为全景激光光源结构简图；21-光源上盖、22-二次抛物面折反射镜面、23-支撑杆、24-一次圆锥面折反射镜面、25-圆圈形激光发生器、26-微型直线电机、27-光源下固定座；

图8为圆圈形激光发射光经一次圆锥面折反射镜面的折反射再经二次抛物面折反射镜面的折反射的光路图；

图9为一种便携式全天候主动全景视觉传感器的结构图；1-上盖、2-双曲面镜面、3-透明半圆形外罩、4-下固定座、5-摄像单元固定座、6-1摄像单元1、6-2摄像单元2、7-连接单元、8-上罩、9-偏振分光棱镜、21-光源上盖、22-二次抛物面折反射镜面、23-支撑杆、24-一次圆锥面折反射镜面、25-圆圈形激光发生器、26-微型直线电机、27-光源下固定座；

图10为基于全天候主动全景视觉传感器的全方位三维建模系统中的点云空间几何信息计算的说明图；

图11为基于全天候主动全景视觉传感器的全方位三维建模系统在获取三维点云数据时得到的切片全景图像示意图；

图12为基于便携式全天候主动全景视觉传感器的全方位三维建模系统的架构图；

图13为在激光偏振全景图像上解析点云空间几何信息计算的过程说明图。

具体实施方式

参照图1～13，一种便携式全天候主动全景视觉传感器，包括兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器，下面简称为多源输出全方位视觉传感器、全景激光光源以及用于对全方位图像进行3D全景重构的微处理器，多源输出全方位视觉传感器的中心与全景激光光源的中心配置在同一根轴心线上。

兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器，这里简称为多源输出全方位视觉传感器如附图4所示，多源输出全方位视觉传感器实质上是由全方位视觉传感器和偏振成像全方位视觉传感器所构成，通过偏振分光棱镜将经双曲面镜面折反射的光分解为P光和S光两种类型的光，如附图3所示；这两种光分别在各自的摄像单元中成像，分别构成了全方位视觉传感器和偏振成像全方位视觉传感器。

全方位视觉传感器包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，如附图1所示；双曲面镜面2固定在上盖1上，连接单元7将下固定座4和透明半圆形外罩3连接成一体，透明半圆形外罩3与上盖1以及上罩8通过螺钉固定在一起，摄像单元6用螺钉固定在摄像单元固定座5上，摄像单元固定座5用螺钉固定在下固定座4上，全方位视觉传感器中的摄像单元6的输出与微处理器连接。

偏振成像全方位视觉传感器包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8、偏振滤光片10，如附图2所示；双曲面镜面2固定在上盖1上，连接单元7将下固定座4和透明半圆形外罩3连接成一体，透明半圆形外罩3与上盖1以及上罩8通过螺钉固定在一起，摄像单元6用螺钉固定在摄像单元固定座5上，摄像单元固定座5用螺钉固定在下固定座4上，偏振滤光片10固定在摄像单元6的前方，全方位视觉传感器中的摄像单元6的输出与微处理器连接。

为了实现全方位视觉传感器和偏振成像全方位视觉传感器具有相一致的空间坐标关系，通过偏振分光技术实现全方位视觉传感器和偏振成像全方位视觉传感器的融合集成，构成兼有光强和偏振光信息输出的偏振成像与全景图像融合的全方位视觉传感器，下面简称为多源输出全方位视觉传感器，如附图4所示。通过偏振分光棱镜9的作用将双曲面镜面2折反射的光分为仅包含有某一个偏振成分的光和不包含有某一个偏振成分的光，如附图3所示。偏振分光棱镜9把入射的偏振光分成两束垂直的线偏光，其中P偏光完全通过，而S偏光以45度角被反射，出射方向与P光成90度角；偏振分光棱镜9由一对高精度直角棱镜胶合而成，其中一个棱镜的斜边上镀有偏振分光介质膜；P偏光在摄像单元6-1中成像，S偏光在摄像单元6-2中成像，这样在摄像单元6-1中成像的是不包含有某一个偏振成分的全景图像A，在摄像单元6-2中成像的是包含有某一个偏振成分的全景图像B；因此，多源输出全方位视觉传感器具有两种不同类型的视频输出，一种是仅包含有偏振光信息的全景视频图像，另一种是包含有光强信息的全景视频图像；多源输出全方位视觉传感器中的摄像单元6-1和摄像单元6-2的输出分别与微处理器连接。

全景激光光源用于产生全景发射光源，包括：圆圈形激光发生器、微型直线电机、一次圆锥面折反射镜面、二次抛物面折反射镜面、光源上盖、光源下固定座和支撑杆。

圆圈形激光发生器，发射出的圆圈大小与工作距离成1:1关系，如附图8所示，圆圈的发射角度为

一次圆锥面折反射镜面，用于将圆圈形激光发生器发射出来的圆锥形光转变为圆柱形光，如附图8所示，圆圈形激光发生器发射出来的圆锥形光经一次圆锥面折反射镜面折反射转换成以Z轴为圆柱中心的圆柱形光，一次圆锥面折反射镜面的圆锥角λ与圆圈形激光发生器的圆圈的发射角度之间的关系用公式(1)表示；

式中，λ为一次圆锥面折反射镜面的圆锥角，为圆圈形激光发生器的圆圈的发射角度；

二次抛物面折反射镜面，用于将以Z轴为圆柱中心的圆柱形光转变为以某一个发射中心点向360°全景方向发射的全景光，如附图8所示，经一次圆锥面折反射镜面折反射转换成以Z轴为圆柱中心的圆柱形光在二次抛物面折反射镜面上进行二次折反射，且折反射光线的延长线与Z轴的交点位置不变，即要求具有单发射点特征；二次折反射光线与Z轴之间的夹角为θ，由于以Z轴为圆柱中心的圆柱形光与Z轴平行，一次折反射光和二次折反射光之间的夹角也为θ，根据折反射光学原理得到公式(2)，

θ＝2ε              (2)

式中，θ为二次折反射光线与Z轴之间的夹角，ε为在二次抛物面折反射镜面上进行二次折反射时的入射角和反射角。

当微型直线电机驱动其推杆上下动作时带动圆圈形激光发生器沿Z轴上下移动，圆圈形激光发生器发射出一系列圆圈形激光，这一系列圆圈形激光经一次圆锥面折反射镜面折反射形成一系列以Z轴为中心的同心圆柱形折反射光，一系列以Z轴为中心的同心圆柱形折反射光再经二次抛物面折反射镜面折反射形成一系列以在Z轴上的某一点为发射点的全景激光；这样，从微型直线电机的两个极限位置之间的运动完成了全景激光光源最大仰角到最小俯角之间的全景扫描。

多源输出全方位视觉传感器通过连接板安装在全景激光光源中的上固定座上，如附图9所示，构成一个便携式全天候主动式全方位视觉传感器；多源输出全方位视觉传感器具有两种不同类型的视频输出，一种是仅包含有偏振光信息的全景视频图像，另一种是包含有光强信息的全景视频图像，两种不同类型的视频输出分别通过USB接口与微处理器相连接。

微处理器的应用软件中主要由标定和3D重构二个部分组成，标定部分主要包括：视频图像读取模块、多源输出全方位视觉传感器标定模块、联合标定模块；3D重构部分主要包括：视频图像读取模块、全景激光光源的发射角的位置估计模块、全景面激光信息解析模块、全景面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以全景面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元。

视频图像读取模块，分别用于读取多源输出全方位视觉传感器中的第一摄像单元中成像的不包含有某一个偏振成分的全景视频图像，即光强全景视频图像和读取第二摄像单元中成像的包含有某一个偏振成分的全景视频图像，即偏振全景图像，并保存在存储单元中，其输出与多源输出全方位视觉传感器标定模块和全景面激光信息解析模块连接。

多源输出全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数；具体标定过程是将标定板绕多源输出全方位视觉传感器一周，拍摄若干组全景图像，建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，计算结果如表1所示，即为本发明中使用的多源输出全方位视觉传感器的标定参数；

表2 ODVS的标定结果

标定出多源输出全方位视觉传感器的内外参数后，就能建立一个成像平面的像素点与入射光线，即入射角之间的对应关系，如公式(11)表示；

$\tan \mathrm{\&alpha;}=\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|}{f\left(\right|\left|u^{\&prime;\&prime;}\right|\left|\right)}=\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|}{a_0+a_1\left|\right|u^{\&prime;\&prime;}\left|\right|+a_2{\left|\right|u^{\&prime;\&prime;}\left|\right|}^2+...+a_N{\left|\right|u^{\&prime;\&prime;}\left|\right|}^N}---\left(11\right)$

式中，α表示点云的入射角，||u″||为成像平面上的点到该平面中心点的距离，a₀、a₁、a₂、a_N为标定的多源输出全方位视觉传感器的内外参数，通过公式(9)建立一张成像平面任一像素点与入射角之间的对应关系表；

对于本发明中所采用的多源输出全方位视觉传感器的标定后，成像平面上的点||u″||与点云的入射角α关系可以用下面等式来表示；

$\tan \mathrm{\&alpha;}=\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|}{-75.12+0.0027{\left|\right|u^{\&prime;\&prime;}\left|\right|}^2}---\left(12\right)$

本发明中全景激光光源的两个极限位置是由全景激光光源中的直线电机组件的最大行程以及二次抛物面折反射镜面的发射角范围所决定的，全景激光光源的单发射点O_L位置设置，发射仰角为26°、发射俯角为53°；微型直线电机的最大行程为80mm；本发明采用的多源输出全方位视觉传感器具有28°的仰视角和65°的俯视角，覆盖了整个垂直视场。

全景激光光源的发射角的位置估计模块，用于估算全景激光光源当前的发射角位置；规定在重构开始时将全景激光光源的初始发射角位置定在微型直线电机的最大行程位置H_lmax，初始步长控制值z_move(j)＝0，相邻两帧时间微型直线电机的移动步长为Δz，即存在着以下关系，

z_move(j+1)＝z_move(j)+Δz             (13)

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为微型直线电机的移动步长，这里规定从上极限位置H_lmax向下方向移动时，Δz＝-0.08mm；从下极限位置H_lmin向上方向移动时，Δz＝0.08mm；程序实现时通过以下关系式计算圆圈形激光发生器在一次圆锥面折反射镜面上发射的圆圈形半径x，

$x=\left\{\begin{array}{cc}{R}_{p\min }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)>0\\ R_{p\max }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)<0\end{array}\right.---\left(14\right)$

式中，R_pmax为二次抛物面折反射镜面的最大工作半径，R_pmin为二次抛物面折反射镜面的最小工作半径，λ为一次圆锥面折反射镜面的圆锥角，当微型直线电机的推杆移动方向发生变化时设置z_move(j)＝0；

接着用公式(14)的计算结果x值用公式(15)来估算全景激光光源的发射角θ，

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{2\mathrm{px}}{p^2-x^2}\right)---\left(15\right)$

式中，x为经一次圆锥面折反射镜面折反射发射到二次抛物面折反射镜面的圆柱形激光半径值，同样也是圆圈形激光发生器在一次圆锥面折反射镜面上发射的圆圈形半径值，p为二次抛物面折反射镜面的焦点值，θ为全景激光光源的发射角。

这里规定多源输出全方位视觉传感器中的包含有某一个偏振成分的全景视频图像的采集图像速率为15Flame/s，不包含有某一个偏振成分的全景视频图像的采集图像速率为1Flame/s，本发明中设定了微型直线电机推杆的垂直方向上的直线移动速度为1.2mm/s，两个帧间之间微型直线电机推杆的垂直方向上的直线移动距离为0.08mm，两个极限位置之间距离为80mm，因此完成一次垂直方向上扫描时间为67s，共会产生1000个全景切片图像；在一次垂直扫描过程中要处理1000帧图像，第1帧和1000帧图像就是两个极限位置的扫描全景切片图像，即最大激光发射仰角和最小激光发射俯角情况下的全景切片图像。

全景面激光信息解析模块，用于在偏振全景图像上解析出全景激光投影信息，产生点云信息；全景面激光信息解析方法是基于帧间差的激光发射点提取算法，该算法是一种通过对两个相邻发散角所发射出的全景激光投影后所获得的偏振全景切片图像作差分运算来获得激光发射点的方法，当全景激光光源的发射角从大到小或者是从小到大的扫描过程中，帧与帧之间在偏振全景图像的入射角方向，即不同的圆锥形切面上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取切片偏振全景图像中的激光发射点；得到在切片偏振全景图像上的以偏振全景图像为极坐标中心的各激光发射点坐标值；各激光发射点坐标值作为输出与全景面的点云几何信息的计算模块连接。

联合标定，用于对全天候主动式全方位视觉传感器进行标定；由于多源输出全方位视觉传感器和全景激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；具体做法是：首先，将全天候主动式全方位视觉传感器放置在一个直径为1000mm的空心圆柱体内，并将全天候主动式全方位视觉传感器的轴心线与空心圆柱体内的轴心线重合，如附图4所示；接着，使得全景激光光源ON，发射激光，将微型直线电机的推杆设置在最大行程位置H_lmax，并采集激光偏振全景图像和光强全景图像，观察在激光偏振全景图像和光强全景图像上的激光发射光圈的圆心是否与激光偏振全景图像和光强全景图像上的中心一致，检测在激光偏振全景图像和光强全景图像上的发射激光光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整多源输出全方位视觉传感器和全景激光光源之间的连接；进一步，将微型直线电机的推杆设置在最小行程位置H_lmin，并采集激光偏振全景图像和光强全景图像，观察在激光偏振全景图像和光强全景图像上的激光发射光圈的圆心是否与激光偏振全景图像和光强全景图像上的中心一致，检测在激光偏振全景图像和光强全景图像上的发射激光光圈的圆度，如果出现中心不一致或者圆度不满足要求情况需要调整多源输出全方位视觉传感器和全景激光光源之间的连接；最后，将微型直线电机的推杆最小行程位置H_lmin、最大行程位置H_lmax、二次抛物面折反射镜面的焦点值p、二次抛物面折反射镜面的最大工作半径R_pmax，二次抛物面折反射镜面的最小工作半径R_pmin，一次圆锥面折反射镜面的圆锥角λ以及多源输出全方位视觉传感器的标定参数信息存放在联合标定数据库中，以便在三维重构时调用。

全景面的点云几何信息的计算模块，用于根据全景面激光信息解析模块从切片激光偏振全景图像中解析得到激光发射点在偏振全景图像上的各激光发射点坐标值，根据多源输出全方位视觉传感器标定模块的标定结果，用公式(16)计算在某一切片激光偏振全景图像上的激光发射点的用高斯坐标表示的三维空间位置信息，即点云数据；

$\left\{\begin{array}{c}{R}_a=\frac{h\&times;\sin \mathrm{\&theta;}}{\cos ({\mathrm{\&alpha;}}_a+\mathrm{\&theta;})}\\ {\mathrm{\&alpha;}}_a=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{f\left(\right|\left|u^{\&prime;\&prime;}\right|\left|{\left(\mathrm{\&beta;}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{a_0+a_2\left(\right|\left|u^{\&prime;\&prime;}\right||{{\left(\mathrm{\&beta;}\right)}_a}^2}\right)\end{array}\right.---\left(16\right)$

式中，(β)_a为全景面激光投影点云到多源输出全方位视觉传感器的单视点O_m的方位角，θ为全景面激光发射线与Z轴之间的夹角，h为全景激光光源的单发射点O_L到多源输出全方位视觉传感器的单视点O_m的距离，α_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的入射角，R_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为全景面的激光投影点在切片激光偏振全景图像的成像平面上的对应点到全景成像平面中心之间的距离。

点云的几何信息和颜色信息的融合模块，用于根据全景面的点云几何信息的计算模块从切片激光偏振全景图像中解析计算得到的点云的几何信息(R,α,β)，根据切片激光偏振全景图像上的发射激光点位置找到在光强全景视频图像上相一致的点，并从这些点得到其相对应的颜色信息(r,g,b)，然后将这些点云的几何信息和颜色信息进行融合；融合后的点云数据将包括该点云的几何信息和颜色信息，即用(R,α,β,r,g,b)来表达某一个点云的几何信息和颜色信息。

以全景面的位置信息构建全景3D模型构建模块，用于构建带有几何信息和颜色信息的全景3D模型；全景激光光源在扫描过程中每一移动步长都产生在某一个激光发射角情况下的切片点云数据；将这些数据以全景激光光源中的微型直线电机推杆的行程作为保存索引，这样就能按切片点云数据产生顺序进行累加，并根据全景激光光源激光扫描形成以全景激光光源中的微型直线电机推杆的移动距离(H_lmax-H_lmin)和移动步长Δz的比为行数、以遍历切片激光偏振全景图像的360°和遍历方位角步长Δβ的比为列数的有序规则的全景点云数据矩阵；

对于三维重构部分，其处理流程是：

StepA：通过视频图像读取模块读取激光偏振全景图像；

StepB：根据微型直线电机的移动速度以及到达两个极限点的时间估计全景激光光源的微型直线电机推杆的位置H_l；

StepC：在激光偏振全景图像上解析出全景面激光信息，计算全景面点云几何信息；

StepD：从内存中读取光强全景图像，根据StepC中处理结果将全景面几何信息和颜色信息进行融合；

StepE：逐步构建全景3D模型；

StepF：判断是否已经到达极限点位置，如果是的话转到StepG，不成立的话转到StepA；

StepG：设置全景激光光源为OFF，读取光强全景图像，并将其保存在内存单元中，输出3D全景模型并保存到存储单元，设置全景激光光源为ON，转到StepA；

下面对三维重构的处理流程作详细说明，在StepA中专门采用一个线程读取激光偏振全景视频图像，视频图像的读取速率是15Flame/s，采集后的激光偏振全景图像保存在一个内存单元内，以便后续的处理调用；

在StepB中，主要用于估算全景激光光源的发射角θ；规定在重构开始时将全景激光光源的初始发射角位置定在微型直线电机的最大行程位置H_lmax，初始步长控制值z_move(j)＝0，相邻两帧时间微型直线电机推杆的移动步长为Δz，即存在着以下关系，

z_move(j+1)＝z_move(j)+Δz             (13)

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为微型直线电机推杆的移动步长，这里规定从上极限位置H_lmax向下方向移动时，Δz＝-0.08mm；从下极限位置H_lmin向上方向移动时，Δz＝0.08mm；程序实现时通过以下关系式计算圆圈形激光发生器在一次圆锥面折反射镜面上发射的圆圈形半径x，

$x=\left\{\begin{array}{cc}{R}_{p\min }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)>0\\ R_{p\max }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}{z}_{\mathrm{move}}\left(j\right)<0\end{array}\right.---\left(14\right)$

式中，R_pmax为二次抛物面折反射镜面的最大工作半径，R_pmin为二次抛物面折反射镜面的最小工作半径，λ为一次圆锥面折反射镜面的圆锥角，当微型直线电机的推杆移动方向发生变化时设置z_move(j)＝0。

接着用公式(14)的计算结果x值用公式(15)来估算全景激光光源的发射角θ，

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{2\mathrm{px}}{p^2-x^2}\right)---\left(15\right)$

式中，x为经一次圆锥面折反射镜面折反射发射到二次抛物面折反射镜面的圆柱形激光半径值，同样也是圆圈形激光发生器在一次圆锥面折反射镜面上发射的圆圈形半径值，p为二次抛物面折反射镜面的焦点值，θ为全景激光光源的发射角；

在StepC中，读取内存单元中的激光偏振全景图像并采用全方位面激光信息解析模块从激光偏振全景图像上解析出全方位面激光信息，接着计算全景面点云几何信息；

点云的空间位置信息用高斯坐标系来表示的话，每一个点云的空间坐标相对于多源输出全方位视觉传感器的单视点O_m为高斯坐标原点的高斯坐标用3个值来确定，即(R,α,β)，用公式(16)进行计算，

$\left\{\begin{array}{c}{R}_a=\frac{h\&times;\sin \mathrm{\&theta;}}{\cos ({\mathrm{\&alpha;}}_a+\mathrm{\&theta;})}\\ {\mathrm{\&alpha;}}_a=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{f\left(\right|\left|u^{\&prime;\&prime;}\right|\left|{\left(\mathrm{\&beta;}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{a_0+a_2\left(\right|\left|u^{\&prime;\&prime;}\right||{{\left(\mathrm{\&beta;}\right)}_a}^2}\right)\end{array}\right.---\left(16\right)$

式中，(β)_a为全景面激光投影点云到多源输出全方位视觉传感器的单视点O_m的方位角，θ为全景面激光发射线与Z轴之间的夹角，h为全景激光光源的单发射点O_L到多源输出全方位视觉传感器的单视点O_m的距离，α_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的入射角，R_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为全景面的激光投影点在切片激光偏振全景图像的成像平面上的对应点到全景成像平面中心之间的距离；

如果将点云点用笛卡尔坐标系来表示的话，参考附图10，其计算方法由公式(20)给出，

$\left\{\begin{array}{c}{x}_a=R_a\&times;\sin {\mathrm{\&alpha;}}_a\&times;\sin {\left(\mathrm{\&beta;}\right)}_a\\ y_a=R_a\&times;\sin {\mathrm{\&alpha;}}_a\&times;\cos {\left(\mathrm{\&beta;}\right)}_a\\ z_a=R_a\&times;\cos {\mathrm{\&alpha;}}_a\end{array}\right.---\left(20\right)$

式中，R_a为激光投影点云到全方位视觉传感器的单视点O_m的距离，α_a为激光投影点云到全方位视觉传感器的单视点O_m的入射角，(β)_a为激光投影点云到全方位视觉传感器的单视点O_m的方位角；

在StepC计算过程中遍历了全景360°的全景激光光源激光发射所产生的点云数据；由于本发明中采用高清成像芯片，为了与全景激光扫描精度取得一致，这里采用计算步长为Δβ＝0.36来遍历整个360°的方位角，附图13为全景激光光源在某一个发射角位置上扫描结果激光偏振全景图，在激光偏振全景图上短虚线为全景激光光源激光发射所产生的点云数据下面具体说明遍历算法，

StepⅠ：设置初始方位角β＝0；

StepⅡ：采用全景面激光信息解析模块，沿射线方向检索点云得到在激光偏振成像平面上与点云数据相对应的||u"||(β)_a点，用公式(16)计算点云的距离值R_a和入射角α_a；然后再用公式(20)计算点云在笛卡尔坐标系下的在这一计算步骤中，遍历方位角β分别代入到公式(16)中的(β)_a；将上述的计算数据保存在内存单元中；

StepⅢ：β←β+Δβ，Δβ＝0.36，判断β＝360是否成立，如果成立结束计算，否则转到StepⅡ；

在StepD中，首先从内存中读取光强全景图像，根据StepC中处理结果将点云的几何信息和颜色信息进行融合；融合后的点云数据将包括该点云的几何信息和颜色信息，即用(R,α,β,r,g,b)来表达某一个点云的几何信息和颜色信息，下面具体说明融合算法，

Step①：设置初始方位角β＝0；

Step②：根据方位角β和在激光偏振全景图像上与点云数据相对应的||u"||(β)_a点的信息，读取光强全景图像上的相关像素点的(r,g,b)颜色数据，与从StepC中处理加工得到的相对应的(R,α,β)进行融合，得到相对应的点云几何信息和颜色信息(R,α,β,r,g,b)；

Step③：β←β+Δβ，Δβ＝0.36，判断β＝360是否成立，如果成立结束计算，将计算结果保存在存储单元中；否则转到Step②；

在StepE中根据StepD的计算结果逐步构建全景3D模型，在本发明中，全景激光光源中的圆圈形激光发射器完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某激光发射角θ情况下的切片点云数据，如附图12所示；将这些数据以微型直线电机推杆的行程作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；根据上述的描述，本发明有向下全景3D重构和向上全景3D重构两种不同模式。

在StepF中判断微型直线电机推杆的行程是否达到极限位置，即判断z_move(j)＝0或者z_move(j)＝H_lmin-H_lmax是否成立，如果成立的话转到StepG，不成立的话转到StepA；

在StepG中，主要工作是输出重构结果并为下一次重构做一些准备；具体做法是：首先设置全景激光光源为OFF，读取光强全景图像，并将其保存在内存单元中；然后输出3D重构全景模型并保存到存储单元，由于本发明中无论是在切片点云数据产生方面还是在某一个切片上的全方位点云数据产生方面均采用了高分辨率的采集手段，在激光偏振全景图像和光强全景图像的每个像素都具备了与实际点云相对应的几何信息和颜色信息，因此也就有效地回避了在三维重构中的对应点问题、平铺问题和分支问题；最后设置全景激光光源为ON，转到StepA，进行新的3D全景模型的重构。

通过上述处理得到了以多源输出全方位视觉传感器的单视点O_m为坐标原点的3D全景模型的点云数据；在用全景激光发射光源扫描全景场景时产生了一个个扫描切片，如附图11所示。

多源输出全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，经偏振分光棱镜分光将折射的偏振光分成两束垂直的线偏光，其中P偏光完全通过，而S偏光以45度角被反射，出射方向与P光成90度角；P偏光在摄像单元6-1中成像，S偏光在摄像单元6-2中成像。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z)；由于本发明采用了偏振分光棱镜分光设计，摄像单元6-1中成像的图像与摄像单元6-2中成像的图像具有相同的光学几何系统。

附图5中的2－双曲线面镜，6-1－第一摄像单元，6-2－第二摄像单元，9－偏振分光棱镜，12－入射光线，13－双曲面镜的实焦点Om(0,0,c)，14－双曲面镜的虚焦点，即摄像单元6-1和摄像单元6-2的中心Oc(0,0,-c)，15－反射光线，16－成像平面，17－实物图像的空间坐标A(X,Y,Z)，18－入射到双曲面镜面上的图像的空间坐标，19－反射在成像平面上的点P(x,y)。

附图5中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1当Z>0时        (21)

$c=\sqrt{a^2+b^2}---\left(22\right)$

β＝tan^-1(Y/X)                     (23)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ            (24)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(x^2+y^2)]}---\left(25\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a,b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x,y表示在成像平面上的一个点。

Claims (10)

1.一种便携式全天候主动全景视觉传感器，包括：多源输出全方位视觉传感器、全景激光光源以及用于对全方位图像进行3D全景重构的微处理器，其特征在于：

所述的全景激光光源包括圆圈形激光发生器、一次圆锥面折反射镜面和二次抛物面折反射镜面；所述的一次圆锥面折反射镜面用于将所述圆圈形激光发生器发射出来的圆锥形光转变为圆柱形光；所述的二次抛物面折反射镜面用于将所述的圆柱形光转变为以某一个发射中心点向360°全景方向发射的全景光；

所述的多源输出全方位视觉传感器内设有双曲面镜面、第一摄像单元和第二摄像单元；所述双曲面镜面的折反射光路上装有偏振分光棱镜，用于将双曲面镜面的折反射光分为含有某一个偏振成分的光和不包含有某一个偏振成分的光；所述的第一摄像单元和第二摄像单元分别位于偏振分光棱镜的反射和透射光路上，分别用于采集仅包含有偏振光信息的第一全景视频图像和包含有光强信息的第二全景视频图像；

所述的微处理器，用于将第一全景视频图像中的点云几何信息与第二全景视频图像中的颜色信息进行融合，构建全景3D模型。

2.如权利要求1所述的便携式全天候主动全景视觉传感器，其特征在于，所述的偏振分光棱镜由一对直角棱镜胶合而成，其中一个棱镜的斜边上镀有偏振分光介质膜。

3.如权利要求1或2所述的便携式全天候主动全景视觉传感器，其特征在于，所述的全景激光光源具有设有下固定座和上固定座，所述的圆圈形激光发生器、一次圆锥面折反射镜面和二次抛物面折反射镜面由下至上依次设置在下固定座与上固定座之间；

所述的下固定座上设有驱动所述圆圈形激光发生器上下移动的电机；

所述的多源输出全方位视觉传感器通过连接板安装在所述的上固定座上，并与全景激光光源同轴布置。

4.如权利要求3所述的便携式全天候主动全景视觉传感器，其特征在于，所述的二次抛物面折反射镜面曲线用下式表示：

$z-\frac{p}{2}=x^2/2p$

式中，p为抛物线的焦点，x,z为坐标参数；用上式沿Z轴旋转一周就得到所述的二次抛物面折反射镜面的抛物面形状。

5.如权利要求3所述的便携式全天候主动全景视觉传感器，其特征在于，所述的一次圆锥面折反射镜面的圆锥角λ与圆圈形激光发生器的圆圈的发射角度之间的关系为：

式中，λ为一次圆锥面折反射镜面的圆锥角，为圆圈形激光发生器的圆圈的发射角度；

所述的一次圆锥面折反射镜面的工作高度H_yz的计算公式为：

式中，H_yz为一次圆锥面折反射镜面的工作高度，λ为一次圆锥面折反射镜面的圆锥角，为圆圈形激光发生器的圆圈的发射角，R_p max为二次抛物面折反射镜面的最大工作半径，R_p min为二次抛物面折反射镜面的最小工作半径。

6.如权利要求1所述的便携式全天候主动全景视觉传感器，其特征在于，所述的微处理器主要由标定和3D重构二个部分组成，

所述的标定部分包括多源输出全方位视觉传感器标定模块，用于确定三维空间点和摄像单元成像平面上的二维图像点之间映射关系的参数；

所述的3D重构部分包括：

全景激光光源的发射角的位置估计模块，用于估算全景激光光源当前的发射角位置；

全景面激光信息解析模块，用于在偏振全景图像上解析出全景激光投影信息，产生点云信息；

全景面的点云几何信息的计算模块，用于根据全景面激光信息解析模块从切片激光偏振全景图像中解析得到激光发射点在偏振全景图像上的各激光发射点坐标值，以及所述的多源输出全方位视觉传感器标定模块的标定结果，计算在某一切片激光偏振全景图像上的激光发射点的三维空间位置信息，即点云数据；

点云的几何信息和颜色信息的融合模块，用于根据所述的全景面的点云几何信息的计算模块从切片激光偏振全景图像中解析计算得到的点云的几何信息(R,α,β)，以及切片激光偏振全景图像上的发射激光点位置找到在光强全景视频图像上相一致的点，并从这点得到其相对应的颜色信息(r,g,b)，然后将点云的几何信息和颜色信息进行融合；

以全景面的位置信息构建全景3D模型构建模块，根据所述全景激光光源的发射角的位置估计模块得到的发射角位置，以及点云的几何信息和颜色信息，构建带有几何信息和颜色信息的全景3D模型。

7.如权利要求6所述的便携式全天候主动全景视觉传感器，其特征在于，所述的全景激光光源的发射角的位置估计模块估算全景激光光源当前的发射角位置的具体步骤如下：

将全景激光光源的初始发射角位置定在所述电机的最大行程位置H_l max，初始步长控制值z_move(j)＝0，相邻两帧时间的电机的移动步长为Δz，即存在着以下关系，

z_move(j+1)＝z_move(j)+Δz

式中，z_move(j)为第j帧时步长控制值，z_move(j+1)为第j+1帧时步长控制值，Δz为直线电机的移动步长；

并通过以下关系式计算所述的圆圈形激光发生器在一次圆锥面折反射镜面上发射的圆圈形半径x，

$x=\left\{\begin{array}{ccc}{R}_{p\min }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}& z_{\mathrm{move}}\left(j\right)>0\\ R_{p\max }+z_{\mathrm{move}}(j+1)\&times;\tan \mathrm{\&lambda;}& \mathrm{if}& z_{\mathrm{move}}\left(j\right)<0\end{array}\right.$

式中，R_p max为二次抛物面折反射镜面的最大工作半径，R_p min为二次抛物面折反射镜面的最小工作半径，λ为一次圆锥面折反射镜面的圆锥角，当直线电机的推杆移动方向发生变化时设置z_move(j)＝0；

接着用x值来估算所述的全景激光光源的发射角θ；

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{2\mathrm{px}}{p^2-x^2}\right)$

式中，x为经一次圆锥面折反射镜面折反射发射到二次抛物面折反射镜面的圆柱形激光半径值，同样也是圆圈形激光发生器在一次圆锥面折反射镜面上发射的圆圈形半径值，p为二次抛物面折反射镜面的焦点值，θ为全景激光光源的发射角。

8.如权利要求6所述的便携式全天候主动全景视觉传感器，其特征在于，在所述的全景面的点云几何信息的计算模块中，用下式计算某一切片激光偏振全景图像上的激光发射点的用高斯坐标表示的三维空间位置信息，即点云数据；

$\left\{\begin{array}{c}{R}_a=\frac{h\&times;\sin \mathrm{\&theta;}}{\cos ({\mathrm{\&alpha;}}_a+\mathrm{\&theta;})}\\ {\mathrm{\&alpha;}}_a=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{f\left(\right|\left|u^{\&prime;\&prime;}\right|\left|{\left(\mathrm{\&beta;}\right)}_a\right)}\right)=\arctan \left(\frac{\left|\right|u^{\&prime;\&prime;}\left|\right|{\left(\mathrm{\&beta;}\right)}_a}{a_0+a_2\left|\right|u^{\&prime;\&prime;}\left|\right|{{\left(\mathrm{\&beta;}\right)}_a}^2}\right)\end{array}\right.$

式中，(β)_a为全景面激光投影点云到多源输出全方位视觉传感器的单视点O_m的方位角，θ为全景面激光发射线与Z轴之间的夹角，h为全景激光光源的单发射点O_L到多源输出全方位视觉传感器的单视点O_m的距离，α_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的入射角，R_a为全景面的激光投影点云到多源输出全方位视觉传感器的单视点O_m的距离，||u"||(β)_a为全景面的激光投影点在切片激光偏振全景图像的成像平面上的对应点到全景成像平面中心之间的距离。

9.如权利要求6所述的便携式全天候主动全景视觉传感器，其特征在于，所述的全景面激光信息解析模块采用全景面激光信息解析方法是：通过对两个相邻发散角所发射出的全景激光投影后所获得的偏振全景切片图像作差分运算来获得激光发射点，当所述的全景激光光源的发射角从大到小或者是从小到大的扫描过程中，帧与帧之间在偏振全景图像的入射角方向，即不同的圆锥形切面上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取切片偏振全景图像中的激光发射点，得到在切片偏振全景图像上的以偏振全景图像为极坐标中心的各激光发射点坐标值。

10.如权利要求6所述的便携式全天候主动全景视觉传感器，其特征在于，所述的以全景面的位置信息构建全景3D模型构建模块在构建全景3D模型时，全景激光光源在扫描过程中每一移动步长都产生在某一个激光发射角情况下的切片点云数据，将该数据以直线电机推杆的行程作为保存索引，按切片点云数据产生顺序进行累加，并根据全景激光光源激光扫描形成以直线电机推杆的移动距离(H_l max-H_l min)和移动步长Δz的比为行数、以遍历切片激光偏振全景图像的360°和遍历方位角步长Δβ的比为列数的有序规则的全景点云数据矩阵。