CN101655347A - 基于激光二极管光源的主动三维立体全方位视觉传感器 - Google Patents

Abstract

一种基于激光二极管光源的主动三维立体全方位视觉传感器，包括具有固定单一视点的全方位视觉传感器、具有固定单一发射中心点的全景彩色体结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器的视点与所述全景彩色体结构光发生器的发射中心点配置在同一根轴心线上；所述全方位视觉传感器包括摄像单元和双曲面折反射单元；所述的摄像单元为宽动态CMOS成像器件；所述的全景彩色体结构光发生器包括圆形面体基板和1组具有不同发光中心波长的激光二极管；所述微处理器包括：LD光源控制单元、视频图像读取模块、空间信息计算模块和三维图像重构模块。本发明能够减少计算、快速完成测量、实时性好、实用性强。

Description

基于激光二极管光源的主动三维立体全方位视觉传感器

技术领域

本发明涉及半导体激光器、光学技术、机械以及计算机视觉技术在立体视觉测量方面的应用，尤其是一种主动三维立体全方位视觉传感器。

背景技术

基于计算机视觉的双目立体视觉三维测量与立体重构技术，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、刑侦取证、保安识别、机器人视觉、无人驾驶等许多应用领域。

针对无人驾驶一般采用计算机视觉实现道路环境的感知，采用拟人控制算法实现车辆驾驶，要实现：(1)计算机视觉系统能够自动适应环境光线变化；(2)计算机视觉系统能够实时识别车道，识别频率不低于25Hz；(3)计算机视觉系统能够实时识别前方车辆型障碍，识别频率不低于20Hz，相对距离误差小于2m；(4)在高速公路上，能实现无人驾驶自动巡航功能，车速不低于120km/h；(5)能够实时感知车辆周围的全景状态，并对危险情况及时实现报警和自动紧急制动。从上述指标来分析，用于无人驾驶的计算机视觉系统必须具备全景视觉能力、高的实时性、好的环境适应性、高的鲁棒性。虽然机器视觉从出现已有200年的历史，但其研究进展缓慢，目前已成为无人驾驶技术发展中的一个瓶颈。

实现对环境的感知立体视觉是不可缺少的，立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差、即视差，来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。

立体视觉测量中的关键是要实现同一被测物体在不同角度观测的立体匹配，所谓的立体匹配是指根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因素，如光照条件，景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都被综合成单一的图像中的灰度值。因此，要准确地对包含了如此之多不利因素的图像进行无歧义的匹配，显然是十分困难的，至今这个问题还没有得到很好的解决。立体匹配的有效性有赖于三个问题的解决，即：选择正确的匹配特征，寻找特征间的本质属性及建立能正确匹配所选择特征的稳定算法。

立体视觉测量是模仿人类利用双目线索感知距离的方法，实现对三维信息的感知，在实现上采用三角测量的方法，运用两个摄像机对同一物点从不同位置成像，并进而从视差中计算出距离。但是目前立体视觉的技术还无法达到全方位的实时感知，在摄像机标定、特征提取和立体图像匹配方面还没有得到很好的解决。

目前双目立体视觉测量系统的一个局限性是焦距固定，由于一个固定的焦距只能在一定景深范围内清晰拍摄图像，因而限制了测试区域；标定技术还没有很好解决，立体视觉测量系统在各种运动中变化参数是不可避免的，比如运输过程中的震动、工作冲击等的影响，而实际中又不可能总是放几张棋盘在“眼前”进行标定，因而限制了许多应用；双目立体视觉测量系统还没有实现小型化、微型化，使得在机器人、航模等领域的应用受到限制；计算量大，难以进行实时处理，因而限制了实时目标辨识等应用；双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。

近年发展起来的全方位视觉传感器全方位视觉传感器(OmniDirectionalVisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。全方位视觉传感器的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，全方位视觉传感器在场景中的安放位置更加自由；监视环境时全方位视觉传感器不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时也为构建双目全方位视觉传感器的立体视觉测量系统提供了一个基本要素。

中国发明专利申请号为200510045648.1公开了一种全向立体视觉成像方法及装置，该专利中将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点，相当于两个相机成像；装置包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合。这种方案的存在的问题是：1)由于一幅图像包括了的特征点“两幅”全向图像，允许的图像视差减小了一半，因此视觉系统的测量范围至少也减少了一半；2)上下两个反射镜面会出现遮挡，影响立体视觉范围；3)由于同一物体的特征点在上下两个反射镜面上经折反射后的成像点在一幅图像上离中心点的位置不同，上反射镜面的成像分辨率要比下反射镜面的成像分辨率高两倍以上；4)由于透视相机镜头存在的对焦问题，只能满足两个反射镜面中的某一个反射镜面为最佳焦距，因而必然会影响成像质量；5)两个反射镜面的焦点距离就是该系统的基线距，因而造成基线距过短，影响测量精度。

中国发明专利申请号为200810062128.5公开了一种基于双目全方位视觉传感器的立体视觉测量装置，该专利中组成立体视觉测量装置的两个全方位视觉传感器采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，能实现快速的点与点的匹配，从而达到立体视觉测量的目的。但是从完成点对点匹配到立体测量仍需要较大的计算资源，要实现实时在线的立体测量以及三维立体重构仍然存在着一些“病态”计算问题。

上述所介绍的三维立体视觉测量技术中最大难题是被动式的立体摄像测量中普遍存在的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高。通常解决该问题的一种有效的方法是采用结构光主动视觉技术，如点结构光、线结构光扫描法以及编码结构光法等。

中国发明专利申请号为02158343.9公开了一种基于主动视觉的物体三维模型快速获取方法，标定投影设备所投出的各光栅平面在参考坐标系下的光平面方程以及参考坐标系到照相机的投影变换矩阵；将物体放在系统前方，分别拍摄一幅带有光栅的物体图像和一幅只带有纹理的物体图像；将拍摄的图像输入计算机；通过自动或人机交互方式从输入图像中提取出投影在物体上的光栅的边缘并进行聚类；将提取出的每一个边缘点反投影到空间中所对应的光平面方程上，由此求出物体上所有光栅边缘点在参考坐标系下的三维坐标，得到物体的可见表面的三维模型；对所提取的物体表面上的三维点进行三角分解，并将带有纹理的物体图像的纹理信息映射到所获取的三维模型上；将物体旋转一定角度，重复以上步骤，获得物体不同侧面的三维模型，并通过数据融合获得完整的物体三维模型。

目前这些技术存在着摄像区域受限，仍需使用精密标定装置事先标定有关参数，而且它们只能适用于特定的场合，要做到在线实时标定或不标定重构三维场景，难度很大，有时甚至不可能。主动式全方位视觉需要有一种全景的彩色体结构光技术支持才能实现快速立体视觉测量。

将半导体激光器作为主动式立体全方位视觉传感器中的主动光源是一种理想的选择；半导体激光器是利用半导体晶体材料产生激光的器件，它和其他激光器一样，具有相干性好、方向性强、发散角小、亮度高等特点，并且还有着体积小、效率高、调制方便、重量轻、可靠性高、转换效率高、功耗低、驱动电源简单、能直接调制、结构简单、价格低廉、使用安全、其应用领域非常广泛。如工业探测、测试测量仪器、军事、安防、野外探测、建筑类扫平及标线类仪器等。半导体激光器的一些独特优点使之非常适合于主动视觉上的应用，由于可用普通电池驱动，使主动式立体全方位视觉传感器中配置成为可能。

目前半导体激光器作为主动式视觉测量已有应用，附图10所示的是半导体激光器作为点光源进行视觉测量的原理图；附图11所示的是半导体激光器作为线光源进行视觉测量的原理图；附图12所示的是半导体激光器作为面光源进行视觉测量的原理图；这些主动式视觉测量方法存在着测量范围小、没有固定的投射中心点，要实现实时在线的立体测量以及三维立体重构仍然存在着很大的困难，而且无法实现主动全景视觉测量。

发明内容

为了克服已有的立体视觉测量装置的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高等不足，本发明提供一种能够减少计算机资源消耗、快速完成测量、实时性好、实用性强、鲁棒性高的基于激光二极管光源的主动三维立体全方位视觉传感器。

本发明解决其技术问题所采用的技术方案是：

一种基于激光二极管光源的主动三维立体全方位视觉传感器，包括具有固定单一视点的全方位视觉传感器、具有固定单一发射中心点的全景彩色体结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器的视点与所述全景彩色体结构光发生器的发射中心点配置在同一根轴心上；

所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩钉固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的摄像单元与所述微处理器连接；所述的摄像单元是宽动态CMOS成像器件；

所述的全景彩色体结构光发生器和所述的全方位视觉传感器通过连接杆连接，连接杆的上部的法兰固定全方位视觉传感器，全景彩色体结构光发生器套在连接杆中，全景彩色体结构光发生器上的孔与连接杆之间形成转动副；将连接杆固定在底盘孔上，在底盘上装有电机，电机带动齿轮转动，所述的齿轮与所述的圆形面体基板下部的齿轮啮合；

所述微处理器包括：

LD光源控制单元，用于控制全景彩色体结构光发生器发出全彩色全景结构光，当全景彩色体结构光发生器的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；当全景彩色体结构光发生器的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在LED光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在LED光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；

空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光调制单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

三维图像重构模块，用于将在全方位视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(Φ，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm                 (8)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对LED光源的供电电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当LED光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色体结构光所照射全景视频图像；当LED光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像。

作为优选的一种方案：所述的全景彩色体结构光发生器包括圆形面体基板、1组具有不同发光中心波长的激光二极管LD和固定在圆形面体基板下部的齿轮；所述的激光二极管LD固定在所述的圆形面体基板上，所述的圆形面体基板为内部圆型中空、上下园柱形中空的圆形面体，所述的圆形面体基板的外圆形面上按照纬度方向以相隔一定角度均匀等分排列着与激光二极管LD的外直径相等的小孔；所述的1组具有不同发光中心波长的激光二极管LD依次从在所述的圆形面体基板上的最大北纬度值到最大南纬度值按顺序插入到相应的小孔内，每个激光二极管的发射光方向与所插入相应小孔的法线方向重合。

进一步，通过控制全景彩色体结构光发生器的激光二极管发光，即控制激光二极管的供电，当给激光二极管的供电时在全方位视觉传感器的成像平面上获得空间某物点的深度和方位角度信息；当让激光二极管的供电电源切断时，由于激光二极管的响应速度快，通过自然光来获得物点的色彩信息；时间信息由微处理器的时钟时间来确定。

再进一步，所述的双曲面镜面构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1       当Z＞0时              (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                           (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ                 (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点。

更进一步，所述的空间信息计算模块包括投射角αp计算单元、入射角α_o计算单元和距离计算单元；其中，

投射角αp计算单元，用于利用全景彩色体结构光发生器的投射角αp与LD器件所发射出的光波长之间具有一定的函数关系来计算的，当LED光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与投射角αp存在一一对应关系，利用该关系来得到投射角αp；

入射角α_o计算模块，用于利用全方位视觉传感器的入射角α_o与折反射角γ_o之间存在着公式(9)所示的函数关系，

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o                           (9)

折反射角γ_o与成像平面上的一个点(x，y)存在着公式(10)所示的函数关系，

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(10\right)$

通过公式(9)和(10)可得到成像平面上的一个点(x，y)与入射角α_o之间的函数关系；

距离计算单元，用于利用公式(11)～(14)分别计算空间物点与全方位视觉传感器的实焦点O_v的距离R1、空间物点与全景彩色结构光发送单元的发射中心点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\stackrel{\‾}{O_{v}A}=\frac{\cos \left({\mathrm{\α}}_o\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(11\right)$

$R2=\stackrel{\‾}{O_{p}A}=\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(12\right)$

$R=\stackrel{\‾}{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\mathrm{\α}}_p+90)}$

$=B\sqrt{{\left[\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\right]}^2+0.25+\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\sin \left({\mathrm{\α}}_p\right)}---\left(13\right)$

$\mathrm{\φ}=\arcsin \left[\frac{B}{2R}\cos \left({\mathrm{\α}}_o\right)\right]---\left(14\right)$

式中：B为基线距，α_o为入射角，α_p为投射角，R1为物点A与全方位视觉传感器的实焦点O_v的距离，R2为物点A与全景彩色体结构光发生器的发射中心点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一投射角αp之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角α_o之间存在的映射关系，投射角αp、入射角α_o计算采用查表方式实现；

首先按全方位视觉传感器的成像平面的点坐标顺序读取某一个点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角α_o，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的投射角αp；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息。

在所述的投射角αp与颜色波长λ值的关系，利用查表和插值方式得到在某一颜色波长情况下的实际投射角，如下表1为投射角αp与相应颜色波长λ值对应表：

投射角αp	北纬50°	北纬40°	北纬30°	北纬20°	北纬10°	零纬0°	南纬10°	南纬20°
									颜色	紫色	蓝紫色	蓝色	绿色	浅绿黄色	黄色	红色	橙色
中心波长λ(nm)	405	430	473	532	593	635	650	670

表1

插值计算如公式(15)所示，

${\mathrm{\α}}_p={\mathrm{\α}}_{n-1}+\frac{{\mathrm{\λ}}_{n-1}-{\mathrm{\λ}}_p}{{\mathrm{\λ}}_{n-1}-{\mathrm{\λ}}_n}({\mathrm{\α}}_n-{\mathrm{\α}}_{n-1})---\left(15\right)$

式中，λ_n-1、λ_n分别为已知某颜色波长λ_p的相邻的颜色中心波长，α_n-1、α_n分别为已知某颜色波长λ_p的相邻的投射角。

所述的宽动态CMOS成像器件采用以宽动态CMOS感光芯片技术，芯片中的核心是采用DSP电路，对明亮部分进行快门速度曝光，再对暗的部分用快门速度曝光，将多个图像进行DSP处理重新组合。

本发明的技术构思为：要完成实时、快速、准确的主动式立体视觉测量必须解决以下几个方面的问题：1)视觉测量的视点必须是固定的单一视点；2)投影光源的发射点必须是固定的单一发射中心点；3)在视觉传感器平面上的像素点必须带有空间物点的深度信息；4)视觉传感器的单一视点和投影光源的单一发射中心点必须在同一个轴心线上；5)同时能满足远、中、近距离的视觉测量；6)摄像单元、投影光源单元和被测物体都能统一在同一个坐标系内；7)视觉传感器必须是宽动态的，即使在阳光下也不会出现饱和现象。

对于问题1)，本发明中采用固定单一视点的全方位视觉传感器的设计；对于问题2)，本发明中采用球面体结构全景彩色技术，固定单一发射中心点为球体的圆心；对于问题3)，本发明中采用色彩颜色作为空间物点的深度信息；对于问题4)，我们在设计时保证全方位视觉传感器与全景彩色体结构光发生器同轴；对于问题5)，从投影光源来说，所投射的光能照射到远、中、近距离，即光源的聚光性要好，本发明中采用激光照射；从全方位视觉传感器来说，采用折反射成像技术，对远、中、近距离的物象不会存在焦距问题；对于问题6)，本发明中采用了统一的高斯球面坐标系，将摄像单元、投影光源单元和被测物体都统一在高斯球面坐标系中，从而减少在各种坐标系中的相互转换所浪费计算资源和计算时间，提高系统实时性和鲁棒性；对于问题7)，本发明中的摄像单元采用宽动态摄像技术，从而保证在任何光照条件下不会出现光饱和的现象，提高系统的自适应性。

人类的眼睛在不同的光照条件下具有自动调节功能，适用连续变化的光线，能看到最理想图像。当眼睛看到一幅包含亮光和暗光的场景时，能够减少对强光区域的敏感度，增加对黑暗物体和阴影部分的细节的敏感度。宽动态全方位视觉传感器采用一种新的CMOS传感器技术，保证了尽管前景是强光的条件下，阴影部分物体仍然清晰可见；强光区域的物体也不会消失，同时也能很好的抽取出激光照射的色彩信息，其原理图如附图15所示。

为了获得成像点的实际色彩信息，在设计的一种用于主动三维立体全景视觉的全景彩色体结构光发生器中采用分时控制技术，即通过控制全景彩色体结构光发生器的激光二极管的发光，即控制激光二极管的供电，当给激光二极管的供电时在全方位视觉传感器的成像平面上获得空间某物点的深度和方位角度信息；当让激光二极管的供电电源切断时，由于激光二极管的响应速度快，这样通过自然光来获得物点的色彩信息；时间信息由微处理器的时钟时间来确定；因此，如图8所示的任何空间物点A(R，φ，β，r，g，b，t)的深度、角度、色彩和时间等信息都可以在高斯球面坐标系中进行表达。实现了在主动立体全方位视觉传感器中所获得的立体视频信息具备与实际物体成一一对应的景物深度和色彩对应图。

图13中BA5104是发射器芯片，K1～K8是控制输入端，内接上拉电阻。当接通其中任一控制输入端时，OSC1和OSC2脚所内接的时钟电路及外接455kHz晶体、电容C1、C2组成的振荡电路起振，经内部电路分频产生38kHz载频，经达林顿管D1581放大后驱动半导体激光管LD送出调制载波脉冲激光信号。电位器W用以调节激光管的工作电流，以使其处于额定工作电流之内。LED端是发射状态显示输出端，有高电平输出时，LED发亮。图13中的LD半导体激光二极管，是光电开关发射器的关键元件。

激光二极管与普通LED的原理相同，但能产生几倍的光能，并能达到更远的检测距离，检测距离可长达数百米至数公里，半导体激光光源是一种相干性强的光源，因而方向性很强，用光学系统准直后，可很容易的把发散角限制在0.2mrad以内。激光照射的光斑大小可按下式近似计算：

d＝L×θ                                                (16)

式中，d为光斑直径(mm)；L为检测距离(m)；θ为发散角(mrad)。

若一束激光投射到500m远处，可近似得光斑直径为100mm，可见光斑并不大，在此范围内仍有较大的能量分布。因此，有时需要从检测距离来确定激光二极管的发散角，一般测量距离远需要采用小的发散角激光二极管，对于测量距离近则可以采用大的发散角激光二极管。

采用激光激光对人体，特别是人眼有严重伤害，使用时需特别小心。国际上对激光有统一的分类和统一的安全警示标志，根据激光对人体的危险度分类，在光树内观察对眼睛的MPE(maximal possible effect最大可能的影响)做基准，激光器分为四类(Class1～Class4)，一类激光器对人是安全的，二类激光器对人有较轻的伤害，三类以上的激光器对人有严重伤害，使用时需特别注意，避免对人眼直射。本发明中为了测量较远的距离采用二类激光器，即Class II级：低输出的可视激光(功率0.4mW-1mW)，人闭合眼睛的反应时间为0.25秒，用这段时间算出的曝光量不可以超过MPE值。通常1mW以下的激光，正常暴露在这种激光器的光束下不会对眼睛的视网膜造成永久性的伤害，但是会导致晕眩，本发明中采用间断式的照射，每次照射时间都为一秒以下，因此该装置对人眼来说是安全的。

本发明中采用“中央眼”视觉方式来描述空间上某一物点A的信息(R，φ，β，r，g，b，t)，所谓的中央眼是立体视觉基线距的中点，是通过全方位视觉传感器和全景彩色结构光发送器的视点之间的连线中心点来算得到，这里将中央眼的坐标作为高斯球面坐标的原点O，如图8所示；空间上某一物点A的信息(R，φ，β，r，g，b，t)中的R用公式(13)的计算结果设置，φ用公式(14)的计算结果设置，β用公式(3)的计算结果设置，r，g，b分别用当激光半导体LD光源的供电电源处于OFF状态时全方位视觉传感器的成像平面上该像素点的实际色彩分量值设置，t用微处理器的时钟进行设置；这样空间上的任何点的信息都能用(R，φ，β，r，g，b，t)7个分量值进行表达，如附图7所示。

本发明的有益效果主要表现在：

1)、提供了一种全新的立体视觉获取方法，通过主动的全景彩色结构光发生、基于双曲面镜折反射的全方位成像技术，实现了快速的全景立体摄像测量；

2)、不再需要繁琐的摄像机标定工作、特征提取、立体图像匹配等步骤，为快速全景立体摄像测量提供了一种新的手段；

3)、通过全景彩色结构光发生器所生成的全景立体图像本身具有立体感和距离感；

4)、充分利用了LD光色纯和光束集中的优点，构成全景彩色结构光发生器的每个LD都具有分立的光谱，谱线狭窄，色彩丰富，鲜艳，LD发光大部分集中会聚于中心，发散角小，为准确立体摄像测量提供了一种高分辨率的、高清晰的彩色投影装置；

5)、充分利用了LD的响应速度快和效能高的特点，通过对LD供电电源的控制，在一个成像芯片不但能获得全景范围内空间物点的深度距离信息，而且也能获得空间物点的色彩信息，同时发光效率高不需要任何散热装置；

6)、作为主动光源，LD具有小型化、轻量化、超长寿命、照射距离远和亮度衰减小等优点，在便携、可靠、使用寿命、维护成本等性能指标上具有明显的优势；

7)、采用同一极球面坐标处理手段，可利用数字几何的计算方法能容易实现三维图像重构和三维物体测量。可广泛的应用于各种工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、人体测量、动画电影、游戏、无人驾驶等许多应用领域。

8)、采用了宽动态摄像技术，使得基于激光二极管光源的主动三维立体全方位视觉传感器的环境适应性得到极大提高。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为一种全景彩色结构光发生器的结构图；

图3为一种基于激光二极管光源的主动三维立体全方位视觉传感器的原理图；

图4为一种基于激光二极管光源的主动三维立体全方位视觉传感器的立体测量范围示意图；

图5为全方位视觉传感器成像原理图；

图6为高斯球面坐标与三维直角坐标之间的关系示意图；

图7为双目视觉中的中央眼的概念图；

图8为主动三维立体全景成像过程说明图；

图9为全方位视觉传感器和全景彩色结构光发生器在同一极线平面上的说明图；

图10为点激光视觉测量示意图；

图11为线激光视觉测量示意图；

图12为面激光视觉测量示意图；

图13为激光二极管控制线路图；

图14为一种基于激光二极管光源的主动三维立体全方位视觉传感器的的立体摄像测量的原理图；

图15为宽动态范围场景成像原理图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～9、图13～15，一种基于激光二极管光源的主动三维立体全方位视觉传感器，包括具有固定单一视点的全方位视觉传感器、具有固定单一发射中心点的全景彩色体结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器的视点与所述全景彩色体结构光发生器的发射中心点配置在同一根轴心线上；

所述全方位视觉传感器包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，如附图1所示；所述的双曲面镜面2固定在所述的上盖1上，所述的连接单元7将所述的下固定座4和透明半圆形外罩3连接成一体，所述的透明半圆形外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元固定座5用螺钉固定在所述的下固定座4上，所述全方位视觉传感器中的所述的摄像单元6的输出与所述微处理器连接；所述的摄像单元6是宽动态CMOS成像器件；

宽动态CMOS成像器件与CCD成像器件不同，这主要是一个DPS平台，通过在一个优化系统内，将图像捕捉和处理结合起来，概括地说，DPS技术的核心发明是在每个像素点在捕捉图像时将光信号转换数字信号——由模拟到数字转换ADC(analog-to-digital converter)，这样使信号衰减和色度亮度串扰降到最小，使传感器为每个像素提供最佳、独立的曝光次数，一旦数据以数字形式被捕获，多种多样的数字信号处理技术被用于再现最好的图像。即使在极端照明的条件下的高动态范围场景，都能拍出还原准确低噪波的图像；在一个单独的捕获视频图像内，宽动态CMOS成像器件中的每个像素独立地无破坏性地多次取样；成像系统决定最佳取样时间和存储像素信息在像素饱和前，并不再保留额外的电荷。宽动态CMOS成像器件是由数字成像传应器和数字图像处理器两个部分组成，数字成像传应器和数字图像处理器很像人的眼睛和大脑，双向实时交互捕获可能的最高质量的图像。就像人走进了黑暗的房子，大脑指挥人的眼睛瞳孔去寻找光亮，数字图像处理器载入新的编码进入传感器不仅改变曝光时间而且改变实际图像捕捉计算方法。结果是在特别的图像特性和光亮条件下，获得最佳图像；

每个像素和一个数模转换相配套，因此强光像素降低了曝光量，低光像素相反增加曝光量。这个特点对于要获取全景视频图像的全方位视觉传感器来说具有十分重要的意义；这是因为一个CCD传感器可以调节亮景和暗景，但是不能同时对两个亮度进行调节。在原先的全方位视觉传感器中由于采用的是CCD传感器，当我们将原先的全方位视觉传感器安装在室内时，得到的曝光效果是不错的，可以比较清晰地获得室内的全景视频图像；而当我们将全方位视觉传感器移动到室内外的交界区域，全方位视觉传感器就不能很好的工作，室外的场景出现了过度曝光，不能捕捉到室外面的任何东西。在室外使用中也会出现类似的问题，比如太阳光的照射是在不断变化的，在阳光斜射到全方位视觉传感器上时全方位视觉传感器就不能很好的工作，被阳光照射的一侧出现了过度曝光，成像时表现为白茫茫的一片；另一方面，在无人驾驶方面应用时，在阳光下会产生过度曝光，因而会造成无法抽取出激光照射的色彩信息；上述的情况说明了目前的CCD成像技术在环境适应性方面的弱点。

人类的眼睛在不同的光照条件下具有自动调节功能，适用连续变化的光线，能看到最理想图像。当眼睛看到一幅包含亮光和暗光的场景时，能够减少对强光区域的敏感度，增加对黑暗物体和阴影部分的细节的敏感度。宽动态全方位视觉传感器采用一种新的CMOS传感器技术，保证了尽管前景是强光的条件下，阴影部分物体仍然清晰可见；强光区域的物体也不会消失，同时也能很好的抽取出激光照射的色彩信息，其原理图如附图15所示；

所述的全景彩色体结构光发生器包括圆形面体基板9-1、1组具有不同发光中心波长的激光二极管LD9-2和固定在圆形面体基板9-1下部的齿轮9-3，如附图2所示；所述的激光二极管LD9-2固定在所述的圆形面体基板9-1上，所述的园形面体基板为内部圆型中空、上下园柱形中空的园形面体，所述的园形面体基板的外圆形面上按照纬度方向以相隔一定角度均匀等分排列着与激光二极管LD9-2的外直径相等的小孔；所述的1组具有不同发光中心波长的激光二极管LD9-2依次从在所述的园形面体基板上的最大北纬度值到最大南纬度值按顺序插入到相应的小孔内，每个激光二极管的发射光方向与所插入相应小孔的法线方向重合；

所述的基于激光二极管光源的主动三维立体全方位视觉传感器，通过连接杆10将所述的全景彩色体结构光发生器和所述的全方位视觉传感器连接起来，如附图3所示，连接杆10的上部的法兰通过螺钉固定全方位视觉传感器，全景彩色体结构光发生器套在连接杆10中，全景彩色体结构光发生器上的孔与连接杆10之间形成转动副，这种连接方式保证了所述的全景彩色体结构光发生器的发射中心Op和所述的全方位视觉传感器的视点Ov在同一轴心线上；然后将连接杆10固定在底盘13孔上，在底盘13上装有电机12，电机12带动齿轮11转动，所述的齿轮11与所述的圆形面体基板9-1下部的齿轮9-3啮合，这样电机12的转动将带动整个全景彩色体结构光发生器围绕着连接杆10进行转动，当给全景彩色体结构光发生器中的激光二极管供电时，从视觉效果来说，只要全景彩色体结构光发生器转动速度在50rps，即每秒50转，所述的全景彩色体结构光发生器将发出球面全景彩色体结构光；

目前已开发出并投放市场的半导体激光器的波段有370nm、390nm、405nm、430nm、473nm、532nm、593nm、635nm、650nm、670nm、780nm、808nm、850nm、980nm、1310nm、1550nm等，其中1310nm、1550nm主要用于光纤通讯领域。390nm-370nm为紫外光波段，405nm-670nm为可见光波段，780nm-1550nm为红外光波段。本发明中将采用可见光波段的半导体激光器，其中心波长在405nm、430nm、473nm、532nm、593nm、635nm、650nm、670nm，每个半导体激光器LD9-2的光线发射方向与圆形面体9-1的法线方向重合，这样产生的所有彩色光均是从圆形面体9-1的中心向外发射，由于全景彩色体结构光发生器围绕着连接杆10进行转动，就在整个球面上产生了一圈圈的彩色结构光，所形成的彩色结构光与所述全景彩色体结构光发生器上某个半导体激光器LD所处的纬度值αp之间具有一定的函数关系，因此只要得到某一个光的波长就可以估算出全景彩色体结构光发生器的纬度值αp；

由于全景彩色体结构光发生器9的轴心和全方位视觉传感器的轴心相重叠，全景彩色体结构光发生器9的主动投影的经度必定是与全方位视觉传感器的方位角相一致的，从计算机视觉的角度来说，必定处在同一极平面上，如附图9所示；因此就不需要在被动立体视觉中所要进行的极线匹配的计算过程；主动视觉的范围由附图4给出，在附图4中的斜线部分就是立体全景视觉的范围；

根据上述的设计，当全景彩色体结构光发生器处于供电状态时，由于全景彩色体结构光发生器围绕着连接杆10进行转动在经度方向上形成了360°、在纬度方向上形成了呈按照角度函数关系变化的一圈圈的峰值波长的投射光，如附图8所示，当空间上的一个点A(X，Y，Z)接受到一定波长的光，按照附图3的配置方式，投射到点A(X，Y，Z)的光是蓝色光，波长为473nm，该光点A(X，Y，Z)继续向全方位视觉传感器的双曲面镜2反射，光线朝向全方位视觉传感器的双曲面镜2的实焦点，根据双曲面的镜面特性向着全方位视觉传感器的虚焦点14折反射，图5所示；反映实物图像的各具有一定波长的光点经全方位视觉传感器的双曲面镜2反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)，成像光路图如图8中的粗实线所示；

通过上述的设计，全景彩色体结构光发生器和全方位视觉传感器分别具有一个固定的发射中心点和一个固定的视点，并且这两个点处在同一对称中心轴的这两个特点；所谓的发射中心点对于全景彩色体结构光发生器来说是指全景彩色体结构光发生器的发射中心点，即圆形面体9-1的圆心，如附图8中的Op；对于全方位视觉传感器来讲是指全方位视觉传感器的折反射镜面的实焦点，如附图8中的Ov；这样的配置使得在原有立体摄像测量技术中的摄像机的标定、特征选取、图像匹配步骤进行简化，通过全景彩色体结构光发生器和全方位视觉传感器的共同作用确定了空间上的一个点A(X，Y，Z)在成像平面上点P(x，y)的投射角αp和入射角αo，即在成像平面上点P(x，y)上可以确定点A(X，Y，Z)的深度信息，如附图8(a)所示；

关于方位角，由于全景彩色体结构光发生器9的轴心和全方位视觉传感器的轴心相重叠，全景彩色体结构光发生器9的主动投影的经度必定是与全方位视觉传感器的方位角相一致，因此将全景彩色体结构光发生器9的主动投影的经度值作为全方位视觉传感器的方位角数据；

进一步，介绍全方位视觉传感器的工作原理：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图5中的2--双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点，即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)；

图5中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1         当Z＞0时               (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                               (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ                     (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点；

为了获得比较大的立体视觉范围，在所述的双曲面镜面2设计时需要尽可能加大双曲面镜面的仰角，采用减小双曲面镜的实轴a和虚轴b的比来加大双曲面镜面的仰角，设计时需根据立体视觉的范围、双曲面镜的直径大小来选择一个适当的实轴a和虚轴b的比，最大仰角极限是双曲线的渐进线与X轴的夹角；

具有某一特定波长的点将在全方位视觉传感器的成像平面上有一个对应点，即P(x，y)，根据双曲面镜的折反射成像原理可通过公式(6)计算出该点的折反射光线与Z轴的夹角γo；有了折反射角γo，就可以通过公式(7)计算得到具有某一特定波长的点的入射角αo，

${\mathrm{\γ}}_0={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(6\right)$

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o                  (7)

由于某一波长光的波长的投射角αp与入射角αo均在同一极平面上，如附图9所示，有了这两个数据就能方便地得到空间点与观察点的位置深度和角度信息，即在全方位视觉传感器成像平面上的某一个像素点的位置代表入射角αo的信息，该像素点的色彩代表投射角αp的信息；

为了获得成像点的实际色彩信息，在设计的一种用于主动三维立体全景视觉的全景彩色体结构光发生器中采用分时控制技术，即通过控制全景彩色体结构光发生器的激光二极管的发光，即控制激光二极管的供电，当给激光二极管的供电时在全方位视觉传感器的成像平面上获得空间某物点的深度和方位角度信息；当让激光二极管的供电电源切断时，由于激光二极管的响应速度快，这样通过自然光来获得物点的色彩信息；时间信息由微处理器的时钟时间来确定；因此，如图8所示的任何空间物点A(R，φ，β，r，g，b，t)的深度、角度、色彩和时间等信息都可以在高斯球面坐标系中进行表达。实现了在主动立体全方位视觉传感器中所获得的立体视频信息具备与实际物体成一一对应的景物深度和色彩对应图。

所述的微处理器中包括：LD光源控制单元、视频图像读取模块、空间信息计算模块、三维图像重构模块和存储设备；如附图14所示；

所述的LD光源控制单元，用于控制全景彩色体结构光发生器发出全彩色全景结构光，在LD光源控制单元使全景彩色体结构光发生器的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在全景彩色体结构光发生器控制单元使全景彩色体结构光发生器的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；实际LD光源的供电电源开关控制采用如附图13所示的激光二极管控制电子回路来实现，当用软件接通电子开关K1～K8中的任何一个开关，激光二极管就会发光；反之将电子开关断开，激光二极管就不发光；

图13中BA5104是发射器芯片，K1～K8是控制输入端，内接上拉电阻。当接通其中任一控制输入端时，OSC1和OSC2脚所内接的时钟电路及外接455kHz晶体、电容C1、C2组成的振荡电路起振，经内部电路分频产生38kHz载频，经达林顿管D1581放大后驱动半导体激光管LD送出调制载波脉冲激光信号。电位器W用以调节激光管的工作电流，以使其处于额定工作电流之内。LED端是发射状态显示输出端，有高电平输出时，LED发亮。图13中的LD半导体激光二极管，是光电开关发射器的关键元件。

激光二极管与普通LED的原理相同，但能产生几倍的光能，并能达到更远的检测距离，检测距离可长达数百米至数公里，半导体激光光源是一种相干性强的光源，因而方向性很强，用光学系统准直后，可很容易的把发散角限制在0.2mrad以内。激光照射的光斑大小可按下式近似计算：

d＝L×θ                                                (16)

式中，d为光斑直径(mm)；L为检测距离(m)；θ为发散角(mrad)。

若一束激光投射到500m远处，可近似得光斑直径为100mm，可见光斑并不大，在此范围内仍有较大的能量分布。因此，有时需要从检测距离来确定激光二极管的发散角，一般测量距离远需要采用小的发散角激光二极管，对于测量距离近则可以采用大的发散角激光二极管。

进一步，采用激光激光对人体，特别是人眼有严重伤害，使用时需特别小心。国际上对激光有统一的分类和统一的安全警示标志，根据激光对人体的危险度分类，在光树内观察对眼睛的MPE(maximal possible effect最大可能的影响)做基准，激光器分为四类(Class1～Class4)，一类激光器对人是安全的，二类激光器对人有较轻的伤害，三类以上的激光器对人有严重伤害，使用时需特别注意，避免对人眼直射。本发明中为了测量较远的距离采用二类激光器，即Class II级：低输出的可视激光(功率0.4mW-1mW)，人闭合眼睛的反应时间为0.25秒，用这段时间算出的曝光量不可以超过MPE值。通常1mW以下的激光，正常暴露在这种激光器的光束下不会对眼睛的视网膜造成永久性的伤害，但是会导致晕眩，本发明中采用间断式的照射，每次照射时间都为一秒以下，因此该装置对人眼来说是安全的。

所述的视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在全景彩色体结构光发生器的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在全景彩色体结构光发生器的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；如附图8所示；比如在附图8(a)中某物点的像素P(i，j)中读取的颜色为蓝色，该颜色表示全景彩色体结构光发生器的投射角αp为北纬30°，根据双曲面镜的成像原理通过公式(6)、(7)计算成像平面上的P(i，j)的入射角αo，通过投射角αp、入射角αo以及全景彩色体结构光发生器的中心点和全方位视觉传感器的实焦点Om之间的距离得到空间物点的深度信息；

所述的空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与全方位视觉传感器的实焦点Ov的距离R1、空间物点与全景彩色体结构光发生器的发射中心点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

所述的三维图像重构模块，用于将在全方位视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(φ，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm                   (8)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对全景彩色体结构光发生器的电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当全景彩色体结构光发生器的供电电源处于ON的状态时，在柱状展开图上带有全景彩色结构光所照射全景视频图像；当全景彩色体结构光发生器的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像；

作为优选的再一种方案：所述的空间信息计算单元包括投射角αp计算单元、入射角αo计算单元和距离计算单元；

投射角αp计算单元，用于利用彩色全景投影的投射角αp与彩色全景投影中某个激光半导体LD所发射出的光波长之间具有一定的函数关系来计算的，当全景彩色体结构光发生器的供电电源处于ON状态时，成像平面上的像素的色彩分量与投射角αp存在一一对应关系，利用该关系来得到投射角αp；

入射角α_o计算单元，用于利用全方位视觉传感器的入射角α_o与折反射角γ_o之间存在着公式(9)所示的函数关系，

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o    (9)

折反射角γ_o与成像平面上的一个点(x，y)存在着公式(10)所示的函数关系，

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(10\right)$

通过公式(9)和(10)可得到成像平面上的一个点(x，y)与入射角α_o之间的函数关系；

距离计算单元，用于利用公式(11)～(14)分别计算空间物点与全方位视觉传感器的实焦点O_v的距离R1、空间物点与全景彩色体结构光发生器的发射中心点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\stackrel{\‾}{O_{v}A}=\frac{\cos \left({\mathrm{\α}}_o\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(11\right)$

$R2=\stackrel{\‾}{O_{p}A}=\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(12\right)$

$R=\stackrel{\‾}{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\mathrm{\α}}_p+90)}$

$=B\sqrt{{\left[\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\right]}^2+0.25+\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\sin \left({\mathrm{\α}}_p\right)}---\left(13\right)$

$\mathrm{\φ}=\arcsin \left[\frac{B}{2R}\cos \left({\mathrm{\α}}_o\right)\right]---\left(14\right)$

式中：B为基线距，α_o为入射角，α_p为投射角，R1为物点A与全方位视觉传感器的实焦点O_v的距离，R2为物点A与全景彩色体结构光发生器的发射中心点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

再进一步，在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一投射角αp之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角αo之间存在的映射关系，投射角αp、入射角αo计算采用查表方式实现；首先在全景彩色体结构光发生器的供电电源处于ON状态时按全方位视觉传感器的成像平面的点坐标顺序读取某一个像素点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角αo，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的投射角αp；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息；

再进一步，我们可以设计一张投射角αp与颜色波长λ值的关系表，如表1所示；

表1投射角αp与相应颜色波长λ值对应表

投射角αp	北纬50°	北纬40°	北纬30°	北纬20°	北纬10°	零纬0°	南纬10°	南纬20°
									颜色	紫色	蓝紫色	蓝色	绿色	浅绿黄色	黄色	红色	橙色
中心波长λ(nm)	405	430	473	532	593	635	650	670

如果在成像平面的某个像素点上获得的色彩波长为540nm，根据查表，可以得到该颜色波长在绿色532nm和浅绿黄色593nm之间，可以通过插值计算得到在色彩波长为540nm时的投射角αp为北纬18.4°；插值计算如公式(15)所示，

${\mathrm{\α}}_p={\mathrm{\α}}_{n-1}+\frac{{\mathrm{\λ}}_{n-1}-{\mathrm{\λ}}_p}{{\mathrm{\λ}}_{n-1}-{\mathrm{\λ}}_n}({\mathrm{\α}}_n-{\mathrm{\α}}_{n-1})---\left(15\right)$

式中，λ_n-1、λ_n分别为已知某颜色波长λ_p的相邻的颜色中心波长，α_n-1、α_n分别为已知某颜色波长λ_p的相邻的投射角。

本发明中采用“中央眼”视觉方式来描述空间上某一物点A的信息(R，φ，β，r，g，b，t)，所谓的中央眼是立体视觉基线距的中点，是通过全方位视觉传感器和全景彩色结构光发送器的视点之间的连线中心点来算得到，这里将中央眼的坐标作为高斯球面坐标的原点O，如图8所示；空间上某一物点A的信息(R，φ，β，r，g，b，t)中的R用公式(13)的计算结果设置，φ用公式(14)的计算结果设置，β用公式(3)的计算结果设置，r，g，b分别用当激光半导体LD光源的供电电源处于OFF状态时全方位视觉传感器的成像平面上该像素点的实际色彩分量值设置，t用微处理器的时钟进行设置；这样空间上的任何点的信息都能用(R，φ，β，r，g，b，t)7个分量值进行表达，如附图7所示。

实施例2

参照图1～图15，本实施例的全景彩色体结构光发生器制作方面，用圆球体基板替换圆形面体基板9-1，取消电机齿轮传动部分，在圆球体基板上采用多组激光半导体LD，在同一纬度线上安装同一发光波长的激光半导体，在同一经度线上从北纬到南纬按低发光波长的激光半导体到高发光波长的激光半导体依次排列。这种方案虽然能去掉电机齿轮传动部分，但是增加了激光半导体的数量。

本实施例的其他结构和工作过程与实施例1相同。

实施例3

参照图1～图15，本实施例的激光半导体的选择方面，在一些特殊场合，如需要全景彩色结构光发生器发出的是红外光谱，因此将LD器件的光谱范围选择在700nm～2000nm。

本实施例的其他结构和工作过程与实施例1相同。

Claims (8)

1、一种基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：所述主动三维立体全方位视觉传感器包括具有固定单一视点的全方位视觉传感器、具有固定单一发射中心点的全景彩色体结构光发生器以及用于对全方位图像进行三维立体摄像测量的微处理器，所述全方位视觉传感器的视点与所述全景彩色体结构光发生器的发射中心点配置在同一根轴心上；

所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩钉固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的摄像单元与所述微处理器连接；所述的摄像单元是宽动态CMOS成像器件；所述的全景彩色体结构光发生器和所述的全方位视觉传感器通过连接杆连接，连接杆的上部的法兰固定全方位视觉传感器，全景彩色体结构光发生器套在连接杆中，全景彩色体结构光发生器上的孔与连接杆之间形成转动副；将连接杆固定在底盘孔上，在底盘上装有电机，电机带动齿轮转动，所述的齿轮与所述的圆形面体基板下部的齿轮啮合；

所述微处理器包括：

LD光源控制单元，用于控制全景彩色体结构光发生器发出全彩色全景结构光，当全景彩色体结构光发生器的供电电源处于ON状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；当全景彩色体结构光发生器的供电电源处于OFF状态时，在全方位视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在LED光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在LED光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；

空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与全方位视觉传感器的实焦点O_m的距离R1、空间物点与全景彩色结构光调制单元的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

三维图像重构模块，用于将在全方位视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(Φ，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm            (8)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对LED光源的供电电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当LED光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色体结构光所照射全景视频图像；当LED光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像。

2、如权利要求1所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：所述的全景彩色体结构光发生器包括圆形面体基板、1组具有不同发光中心波长的激光二极管LD和固定在圆形面体基板下部的齿轮；所述的激光二极管LD固定在所述的圆形面体基板上，所述的圆形面体基板为内部圆型中空、上下园柱形中空的圆形面体，所述的圆形面体基板的外圆形面上按照纬度方向以相隔一定角度均匀等分排列着与激光二极管LD的外直径相等的小孔；所述的1组具有不同发光中心波长的激光二极管LD依次从在所述的圆形面体基板上的最大北纬度值到最大南纬度值按顺序插入到相应的小孔内，每个激光二极管的发射光方向与所插入相应小孔的法线方向重合。

3、如权利要求1或2所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：通过控制全景彩色体结构光发生器的激光二极管发光，即控制激光二极管的供电，当给激光二极管的供电时在全方位视觉传感器的成像平面上获得空间某物点的深度和方位角度信息；当让激光二极管的供电电源切断时，由于激光二极管的响应速度快，通过自然光来获得物点的色彩信息；时间信息由微处理器的时钟时间来确定。

4、如权利要求1所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：所述的双曲面镜面构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1      当Z＞0时            (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                        (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ              (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y表示在成像平面上的一个点。

5、如权利要求1所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：所述的空间信息计算模块包括投射角αp计算单元、入射角α_o计算单元和距离计算单元；其中，

投射角αp计算单元，用于利用全景彩色体结构光发生器的投射角αp与LD器件所发射出的光波长之间具有一定的函数关系来计算的，当LED光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与投射角αp存在一一对应关系，利用该关系来得到投射角αp；

入射角α_o计算模块，用于利用全方位视觉传感器的入射角α_o与折反射角γ_o之间存在着公式(9)所示的函数关系，

α_o＝tan^-1[(b²+c²)sinγ_o-2bc]/(b²+c²)cosγ_o           (9)

折反射角γ_o与成像平面上的一个点(x，y)存在着公式(10)所示的函数关系，

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(10\right)$

通过公式(9)和(10)可得到成像平面上的一个点(x，y)与入射角α_o之间的函数关系；

距离计算单元，用于利用公式(11)～(14)分别计算空间物点与全方位视觉传感器的实焦点O_v的距离R1、空间物点与全景彩色结构光发送单元的发射中心点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\stackrel{\‾}{O_{v}A}=\frac{\cos \left({\mathrm{\α}}_o\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(11\right)$

$R2=\stackrel{\‾}{O_{p}A}=\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}B---\left(12\right)$

$R=\stackrel{\‾}{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\mathrm{\α}}_p+90)}$

$=B\sqrt{{\left[\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\right]}^2+0.25+\frac{\cos \left({\mathrm{\α}}_p\right)}{\sin ({\mathrm{\α}}_o+{\mathrm{\α}}_p)}\sin \left({\mathrm{\α}}_p\right)}---\left(13\right)$

$\mathrm{\φ}=\arcsin \left[\frac{B}{2R}\cos \left({\mathrm{\α}}_o\right)\right]---\left(14\right)$

式中：B为基线距，α_o为入射角，α_p为投射角，R1为物点A与全方位视觉传感器的实焦点O_v的距离，R2为物点A与全景彩色体结构光发生器的发射中心点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

6、如权利要求5所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一投射角αp之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角α_o之间存在的映射关系，投射角αp、入射角α_o计算采用查表方式实现；

首先按全方位视觉传感器的成像平面的点坐标顺序读取某一个点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角α_o，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的投射角αp；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息。

7、如权利要求5所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：在所述的投射角αp与颜色波长λ值的关系，利用查表和插值方式得到在某一颜色波长情况下的实际投射角，如下表1为投射角αp与相应颜色波长λ值对应表：

  投射角αp   北纬50°   北纬40°   北纬30°   北纬20°   北纬10°  零纬0°   南纬10°   南纬20°   颜色   紫色   蓝紫色   蓝色   绿色   浅绿黄色   黄色   红色   橙色   中心波长λ(nm)   405   430   473   532   593   635   650   670

表1

插值计算如公式(15)所示，

${\mathrm{\α}}_p={\mathrm{\α}}_{n-1}+\frac{{\mathrm{\λ}}_{n-1}-{\mathrm{\λ}}_p}{{\mathrm{\λ}}_{n-1}-{\mathrm{\λ}}_n}({\mathrm{\α}}_n-{\mathrm{\α}}_{n-1})---\left(15\right)$

式中，λ_n-1、λ_n分别为已知某颜色波长λ_p的相邻的颜色中心波长，α_n-1、α_n分别为已知某颜色波长λ_p的相邻的投射角。

8、如权利要求1所述的基于激光二极管光源的主动三维立体全方位视觉传感器，其特征在于：所述的宽动态CMOS成像器件采用以宽动态CMOS感光芯片技术，芯片中的核心是采用DSP电路，对明亮部分进行快门速度曝光，再对暗的部分用快门速度曝光，将多个图像进行DSP处理重新组合。

Images