CN101308018A - 基于双目全方位视觉传感器的立体视觉测量装置 - Google Patents

Abstract

一种基于双目全方位视觉传感器的立体视觉测量装置，组成双目立体全方位视觉传感装置的每个ODVS采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，能实现快速的点与点的匹配；从以人为视觉空间的中心的角度出发，在空间物体的数据采集、加工、描述、表达过程中始终采用一种统一的球面坐标，采用距离感、方向感和色感这些要素来表示各特征点的特性，从而达到简化计算的复杂性、省略摄像机标定工作、方便进行特征提取、容易实现立体图像匹配，最终实现高效、实时、准确的立体视觉测量目的。可广泛的应用于各种工业检测、物体识别、机器人自导引、航天、航空及军事等很多领域。

Description

基于双目全方位视觉传感器的立体视觉测量装置

技术领域

本发明属于光学技术、计算机视觉技术在立体视觉测量方面的应用。

背景技术

基于计算机视觉的双目立体视觉三维测量与立体重构技术，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。

立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差、即视差，来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。

目前要实现一个完整的立体视觉系统通常需要图像获取、摄象机标定、特征提取、立体匹配、深度确定及内插等6个大部分内容支持。利用低层图像处理技术对双目图像进行分析，选择图像对中的目标特征井求解特征间的对应关系，通过图像匹配技术得到目标视差，从而转化为主体所需的深度信息。图像获取-摄像机标定-图像分割-特征提取-立体图像匹配-距离确定已成为立体视觉系统处理的主线。

在图像获取手段方面，由于传统视觉环境感知系统视场有限，经常存在跟踪目标丢失的现象，另一方面传统视觉环境感知系统一次只能获取周围环境局部视场的信息，大部分视场信息被放弃了；在双目视觉中的成像系统模型的选择方面，目前主要双目横模型结构和双目轴模型结构这两种模型。

为了从二维图像中获得被测物体特征点的三维坐标，双目视觉测量系统至少从不同位置获取包含物体特征点的两幅图像。目前这类系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体，原理上是从不同位置或者不同角度获取同一物体特征点的图像坐标来求取该物点的三维坐标。从不同位置或者不同角度获取两幅图像可以采用两个摄像机，也可以由一个摄像机通过运动，在不同位置观测同一静止的物体，也可以由一个摄像机，加上光学成像方式来实现。

以往的双目立体视觉测量系统的结构是两个摄像机斜置于基座上，如附图14所示，中间放线路板，照明灯放在中间前部。这种设计有许多不合理的地方；由于基线距是两个摄像机头中心之间的距离，因此，实际的基线距B比视觉系统的横向宽度L要小许多，摄像机和双目立体视觉标定也比较麻烦；另一种双目立体视觉测量系统的结构是两个摄像机前面各摆放一个平面反射镜，如附图15所示，用它来调整摄像机的测量角度，这种结构实际上把两个摄像机成像在有限的空间内增大了系统基线距B的值，而系统的体积并不发生显著变化，这种改进结构有更大的基线距B，能得到更高的测量精度，而且纵向尺寸大大缩短，整个系统的体积更小，重量更轻，便于固定。

通过由一个摄像机通过运动，在不同位置观测同一静止的物体方法也可以实现双目视觉系统结构，如附图16所示；摄像机仅仅沿X方向移动，这时系统的基线距B与摄像机的移动距离有关。如果摄像机事先移动的两个位置确定下来，该系统只需要标定一次即可实现双目立体视觉测量系统，否则系统在各个移动位置必须重新标定。这种结构的特点是：采用单摄像机，能降低成本；根据摄像机的移动位置不同，很容易构成不同基线距的双目视觉测量系统，具有很大的灵活性。但是这种机构对摄像机的移动位置要求比较高，必须保证移动前后的位置准确性，因为摄像机在两个位置的固定是在测量过程中进行的，因此测量速度不可能很快。对于要在线测量的应用场合，这种机构显然不能满足要求。

将光学成像系统和单摄像机结合也能获取被测物体的立体图像，这种光学成像系统实际上是一些棱镜、平面反射镜或球面反射镜组成的具有折射兼反射功能的光学系统，我们将其称为镜像式双目视觉测量系统。这种系统的结构可以做的很小，但可以获得很大的基线距，从而能提高测量精度。通过改变两组平面镜的摆放角度，就可以改变两个虚拟摄像机之间的距离，由于两个虚拟摄像机是由同一个摄像机镜像来的，因此采集图像的两个“摄像机”的参数完全一致，具有极好的对称性。另外，对物体特征点的三维测量，只需一次采集就可以获得物体特征点的两幅图像，从而提高了测量速度。但这种结构的一个最大缺点是：由于一幅图像包括了的特征点“两幅”图像，允许的图像视差减小了一半，因此视觉系统的测量范围至少也减少了一半。同样在图像的中央是“两幅”图像的相交处，图像变得不可利用，而对一个摄像机来说，图像中央应该是成像质量最好和受镜头畸变影响最小的地方。

上述的立体视觉系统都存在着比较繁琐的标定工作，所谓的摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以便确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。摄像机标定需要确定摄像机内部几何和光学特性和相对一个世界坐标系的摄像机坐标系的三维位置和方向。在目前的立体视觉技术中摄像机标定必须解决两个问题，一个是单个摄像机参数的标定，另一个是双目摄像机参数的标定。

特征提取是为了得到匹配赖以进行的图像特征，由于目前尚没有一种普遍适用的理论可运用于图像特征的提取，从而导致了立体视觉研究中匹配特征的多样性。目前，常用的匹配特征主要有点状特征、线状特征和区域特征等。

立体匹配是指根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因素，如光照条件，景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都被综合成单一的图像中的灰度值。因此，要准确地对包含了如此之多不利因素的图像进行无歧义的匹配，显然是十分困难的，至今这个问题还没有得到很好的解决。立体匹配的有效性有赖于三个问题的解决，即：选择正确的匹配特征，寻找特征间的本质属性及建立能正确匹配所选择特征的稳定算法。

距离确定是通过特征选取、图像匹配，利用视点几何来求取目标点的距离。

立体视觉测量是模仿人类利用双目线索感知距离的方法，实现对三维信息的感知，在实现上采用三角测量的方法，运用两个摄像机对同一物点从不同位置成像，并进而从视差中计算出距离。但是目前立体视觉的技术还无法达到全方位的实时感知，在摄像机标定、特征提取和立体图像匹配方面还没有得到很好的解决。

目前双目立体视觉测量系统的一个局限性是焦距固定，由于一个固定的焦距只能在一定景深范围内清晰拍摄图像，因而限制了测试区域；标定技术还没有很好解决，立体视觉测量系统在各种运动中变化参数是不可避免的，比如运输过程中的震动、工作冲击等的影响，而实际中又不可能总是放几张棋盘在“眼前”进行标定，因而限制了许多应用；双目立体视觉测量系统还没有实现小型化、微型化，使得在机器人、航模等领域的应用受到限制；计算量大，难以进行实时处理，因而限制了实时目标辨识等应用；双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。

近年发展起来的全方位视觉传感器ODVS(OmniDirectionalVisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时也为构建双目全方位视觉传感器的立体视觉测量系统提供了一个基本要素。

中国发明专利申请号为200510045648.1公开了一种全向立体视觉成像方法及装置，该专利中将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点，相当于两个相机成像；装置包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合。这种方案的存在的问题是：1)由于一幅图像包括了的特征点“两幅”全向图像，允许的图像视差减小了一半，因此视觉系统的测量范围至少也减少了一半；2)上下两个反射镜面会出现遮挡，影响立体视觉范围；3)由于同一物体的特征点在上下两个反射镜面上经折反射后的成像点在一幅图像上离中心点的位置不同，上反射镜面的成像分辨率要比下反射镜面的成像分辨率高两倍以上；4)由于透视相机镜头存在的对焦问题，只能满足两个反射镜面中的某一个反射镜面为最佳焦距，因而必然会影响成像质量；5)两个反射镜面的焦点距离就是该系统的基线距，因而造成基线距过短，影响测量精度。

发明内容

为了克服已有全向立体视觉成像装置的测量范围小、成像质量差、测量精度低的不足，本发明提供一种增大测量范围、提高成像质量和测量精度的基于双目全方位视觉传感器的立体视觉测量装置。

本发明解决其技术问题所采用的技术方案是：

一种基于双目全方位视觉传感器的立体视觉测量装置，包括两台具有相同平均分辨率的全方位视觉传感器、连接单元和用于对两台全方位视觉传感器的图像进行三维立体视觉重建的微处理器，所述全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上，所述两台全方位视觉传感器的后侧通过连接单元连接；

所述一次折反射镜面和二次折反射镜面的曲线是按照平均角分辨率方式进行设计，具体有：

一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中， $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2\text{-}{F}_1},$ ${\tan \mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

${F_1}^{\′2}-2\mathrm{\α}{F_1}^{\′}-1=0---\left(2\right)$

${F_2}^{\′2}-2\mathrm{\β}{F_2}^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F′₂为F₂曲线的微分；

建立一种像素点P到Z轴距离与入射角φ之间的线性关系，用公式(6)来表示，

φ＝a₀*P+b₀        (6)

式中：a₀、b₀是任意参数，

将摄像单元的焦距作为f，P为像素到Z轴的距离，在二次反射镜面上的反射点(t₂，F₂)；则根据成像原理，P由公式(7)表示：

$P=f*\frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

$\mathrm{\φ}=a_0*(f*\frac{t_2}{F_2})+b_0---\left(8\right)$

根据折反射原理公式(8)用公式(9)表示：

${\tan }^{-1}\left(\frac{t_1}{F_1-s}\right)=a_0*(f*\frac{t_2}{F_2})+b_0---\left(9\right)$

利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求和F₂的F₁数字解，计算得到一次折反射镜面和二次折反射镜面的曲线；

所述的微处理器包括：视频图像读取单元，用于读取两个具有相同平均角分辨率的无死角的全方位视觉传感器的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；视频图像展开单元，用于对具有平均角分辨率的无死角的全方位视觉传感器的原始视频图像进行图像预处理，图像预处理中首先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中，其输出与物点匹配单元连接；物点匹配单元，用于找出同一时刻两个不同视点的图像中同一物点对应的两个像点，其输出与空间信息计算单元连接；空间信息计算单元，用于计算空间上的物点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与色感信息计算单元连接；色感信息计算单元，用于计算空间上物点的色感信息，采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值(R，G，B)作为“中央眼”视觉的颜色编码，其输出与三维图像重构单元连接；三维图像重构单元，用于重构出以人为视觉空间的中心的三维立体图像，采用基于等距离球表面各断层上提取的二维轮廓线构造断层间的实体表面段，由所有这些等距离各断层间的实体表面段组成对象的轮廓面，进而重建出三维图像。

作为优选的一种方案：所述的视频图像展开单元还包括方位角对齐子单元；所述的方位角对齐子单元，用于对齐上下两个ODVS的球面展开图中的方位角。

作为优选的另一种方案：在所述色感信息计算单元中，三维球面坐标系的原点就是立体视觉测量装置中心点，采用“中央眼”视觉方式来描述空间上物点的信息(r，Φ，β，R，G，B)，r为球面坐标原点O与物点之间的距离，Φ为球面坐标原点O与物点之间的连线与Z轴正向所夹的角，β为从正Z轴来看自x轴按逆时针方向转到有向线段OP的角，该角就对应着我们上面所述的方位角；这里P为点C在xoy平面上的投影，R为“中央眼”的红色分量的平均值，G为“中央眼”的绿色分量的平均值，B为“中央眼”的蓝色分量的平均值；所述的“中央眼”是双目视觉基线距的中点，是通过两个构成双目全方位视觉传感器的视点之间的连线中心点来算得到。

作为优选的再一种方案：在所述的方位角对齐子单元中，对齐上下两个ODVS的球面展开图中的方位角的过程为：对于同一个空间上的物点C在双目视觉范围内在两个ODVS的全景原图中存在着两个成像点Cdown(Φ1，β1)和Cup(Φ2，β2)，且这两个成像点的方位角相同的，即β1＝β2；则对应在球面展开图中这两个点的X坐标也必须相同，即x1＝x2；根据上述X坐标相同来对齐上下两个ODVS的球面展开图中的方位角。

进一步，在所述的空间信息计算单元中，设定在方位角对齐单元中确定了物点的方位角β，然后根据等平均角分辨率的设计，任何一个空间物点在两个ODVS上的两个成像点的所表示纬度值必定要满足以下关系式；

180°≤φ1+φ2≤2φmax          (23)

式中，Φ1为下ODVS上的成像物点的入射角，Φ2为上ODVS上的成像物点的入射角，φmax为ODVS的成像物点的最大入射角，即仰角；

根据公式(23)所确定的范围，在同一方位角内，即在附图13所示的Y方向上寻找匹配点，得到物点C在双目视觉范围内在两个ODVS上的两个成像点Cdown(Φ1，β)和Cup(Φ2，β)，接着利用三角关系式求O点与C点的距离r，

$r=\stackrel{\‾}{\mathrm{OC}}=\sqrt{{\stackrel{\‾}{\mathrm{AC}}}^2+{(c/2)}^2-2\stackrel{\‾}{\mathrm{AC}}(c/2)\cos A}$

$=\sqrt{{[\frac{c}{\sin (A+B)}*\sin B]}^2+{(c/2)}^2-\frac{c^2}{\sin (A+B)}*\sin B\cos A}$

$=\sqrt{{[\frac{c}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}*\sin \mathrm{\φ}1]}^2+{(c/2)}^2+\frac{c^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}*\sin \mathrm{\φ}1\cos \mathrm{\φ}2}---\left(22\right)$

其中，∠A＝180-Φ2，∠B＝180-Φ1，c为上下两个ODVS视点之间的距离；

通过物点到立体视觉测量装置中心点的距离、方位角信息来求物点到立体视觉测量装置中心点的入射角Φ，计算公式由公式(24)给出，

$\mathrm{\φ=arcsin}\left(\frac{c}{2r}\sin \mathrm{\φ}2\right)+\mathrm{\φ}2-180---\left(24\right)$

式中，Φ为“中央眼”观察物点的入射角，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ2为上ODVS的入射角。

作为优选的再另一种方案：在所述的色感信息计算单元中，采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值(R，G，B)作为“中央眼”视觉的颜色编码，首先读取两个ODVS上成像的目标匹配点的各颜色分量R_ODVS1、R_ODVS2、G_ODVS1、G_ODVS2、B_ODVS1和B_ODVS2的数据，然后采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值作为“中央眼”视觉的颜色编码；计算公式由公式(26)表示；

$R=\frac{R_{\mathrm{ODVS}1}+R_{\mathrm{ODVS}2}}{2}---\left(26\right)$

$G=\frac{G_{\mathrm{ODVS}1}+G_{\mathrm{ODVS}2}}{2}$

$B=\frac{B_{\mathrm{ODVS}1}+B_{\mathrm{ODVS}2}}{2}$

式中，R为“中央眼”的红色分量的平均值，R_ODVS1为全方位视觉传感器1的红色分量，R_ODVS2为全方位视觉传感器2的红色分量，G为“中央眼”的绿色分量的平均值，G_ODVS1为全方位视觉传感器1的绿色分量，G_ODVS2为全方位视觉传感器2的绿色分量，B为“中央眼”的蓝色分量的平均值，B_ODVS1为全方位视觉传感器1的蓝色分量，B_ODVS2为全方位视觉传感器2的蓝色分量；它们的取值范围均为0～255；

采用“中央眼”视觉方式来描述空间上物点的信息(r，Φ，β，R，G，B)，其中r表示物点的距离感信息，Φ和β表示物点的方向感信息，R、G、B综合表示物点的色感信息。

进一步，在所述的三维图像重构单元中，采用基于等距离球表面各断层上提取的二维轮廓线构造断层间的实体表面段，由所有这些等距离各断层间的实体表面段组成对象的轮廓面，进而重建出三维图像；具体算法是：

1)利用公式(22)求最近双目可视距离r_min，对于上下两个ODVS来说，成像物点都为最大入射角φmax时就是最近双目可视距离r_min；求“中央眼”观察物点的入射角Φ，公式(24)是利用三角函数关系并整理后得到的入射角Φ计算方法，

$\mathrm{\φ}=\arcsin \left(\frac{c}{2r}\sin \mathrm{\φ}2\right)+\mathrm{\φ}2-180---\left(24\right)$

式中，Φ为“中央眼”观察物点的入射角，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ2上ODVS的入射角；

2)在某个距离值r和方位角β的情况下，改变入射角Φ，通过公式(25)、(26)计算得到特征点在两眼上的入射角Φ1、Φ2，

$\mathrm{\φ}1=\mathrm{arccot}\left(\frac{\cos \mathrm{\φ}+\frac{c}{2r}}{\sin \mathrm{\φ}}\right)---\left(25\right)$

$\mathrm{\φ}2=\mathrm{arccot}\left(\frac{\cos \mathrm{\φ}-\frac{c}{2r}}{\sin \mathrm{\φ}}\right)---\left(26\right)$

式中，Φ为“中央眼”观察物点的入射角，入射角Φ的变化范围满足公式(23)，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ1为下ODVS的入射角，Φ2为上ODVS的入射角；

3)判断所计算的Φ1和Φ2是否超过最大入射角φmax，如果超过进行下面的计算，否则重复2)；

4)得到等距离球表面断层上的二维轮廓线，在某个距离值r的情况下，方位角β初始值选为0，改变方位角，采用等步长Δβ＝2π/l，判断方位角β是否为2π，如果大于或等于2π进行下面的计算，否则跳转到2)；

5)得到等距离球表面断层上的三维轮廓面，采用等步长Δr改变r，即在原来的r值上增加一个Δr值，判断r值是否超过某一规定值，如果小于该规定值跳转到2)，否则继续下面的计算；

6)将得到的一系列等距离球表面断层上的三维轮廓面按序列进行拼接得到三维图像。

更进一步，所述透明外罩呈碗状，包括半圆球和圆台的形体，所述半圆球的球心与全方位视觉传感器的视点重合，在半圆球部分的半径处与圆台部分过渡。

再进一步，两个全方位视觉传感器之间呈双目全方位视觉轴模型结构，双目全方位视觉轴模型结构的视点A和视点B所处的轴的位置在Z轴上，将A点和B点之间的距离为成人的两眼之间的距离。

或者是：两个全方位视觉传感器之间呈双目全方位视觉横模型结构，双目全方位视觉横模型结构的视点A和视点B所处的轴的位置在Y轴上，将A点和B点之间的距离为成人的两眼之间的距离的。

本发明的有益效果主要表现在：1、获取实时的360°*360°全方位立体视频图像，并通过几何计算得到整个监控球面的全景图像，跟踪的监控物体不会出现丢失；2、采用了平均角分辨率的ODVS设计，使得整个监控球面的图像无形变，解决了折反射ODVS的图像失真，为实现对大空间内的快速移动目标对象的实时跟踪提供了完整的理论体系和模型；3、提供了一种全新的全方位双眼视功能，在两个合成的ODVS视觉重叠区域，双目立体全方位视觉传感装置具有同时知觉、融合力和立体感；4、由于对组成双目立体全方位视觉传感装置的每个ODVS采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，在球面坐标的情况下获取实时视频图像，能实现快速的点与点的匹配，为后续的立体图像处理提供了极大的方便；5、不在需要繁琐的摄像机标定工作、特征提取十分方便、能实现快速的立体图像匹配；6、由于ODVS的设计采用的是折反射技术，因而不存在固定的焦距的问题，在任何区域范围内图像的清晰度是一样的；7、采用了二次折反射成像技术，容易实现小型化、微型化；8、在图像的获取手段立体匹配、三维图像重构等上采用了同一极球面坐标处理手段，可利用数字几何的计算方法能容易实现三维图像重构和三维物体测量。可广泛的应用于各种工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、人体测量、动画电影、游戏等许多应用领域。

附图说明

图1为一种视场范围360°*240°的全方位视觉传感器的结构图；

图2为采用消除了死角的全方位视觉传感器所拍摄的图像；

图3为摄像部件镜头与广角镜头进行组合的光学原理图；

图4为基于双目全方位视觉传感器的立体视觉测量装置的横模型结构图；

图5为基于双目全方位视觉传感器的立体视觉测量装置的纵模型结构图；

图6按二次折反射原理以及平均角分辨率来设计的ODVS说明图；

图7为利用4阶Runge-Kutta算法求和F₂的数字解的折反射镜面曲线图；

图8为ODVS的透视投影图；

图9为基于双目全方位视觉传感器的立体视觉测量装置的处理结构框图；

图10为立体视觉测量装置测量物点的示意图；

图11为基于双目全方位视觉传感器的立体视觉测量装置中的下ODVS所抓拍的全景图像以及展开图；

图12为基于双目全方位视觉传感器的立体视觉测量装置中的上ODVS所抓拍的全景图像以及展开图；

图13为基于双目全方位视觉传感器的立体视觉测量装置中的上下ODVS的展开图；

图14为传统双目视觉传感器的结构图；

图15为通过改进的传统双目视觉传感器的结构图；

图16为运动式单摄像机双目视觉测量系统的结构图；

图17为基于双目全方位视觉传感器的立体视觉测量装置中的客观视觉与主观视觉的关系示意图；

图18为双目视觉中的中央眼的概念图；

图19为在立体视觉测量装置中对空间物体的数据采集、加工、描述、表达过程中采用的一种统一的球面坐标。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～13，一种基于双目全方位视觉传感器的立体视觉测量装置，是由两台具有相同平均角分辨率的无死角的全方位视觉传感器进行背靠背组装合成的；具有平均角分辨率的无死角的全方位视觉传感器(ODVS)的结构如图1所示，将两台具有相同平均角分辨率的无死角全方位视觉传感器用一连接件进行连接，摄像机的视频线与电源线通过连接件中的孔引出，如附图9所示；每个ODVS的摄像机的视频线分别接入视频图像读取单元，由于每个ODVS的摄像机的视频获取信息能达到360°*240°视场范围，并且在垂直(入射角)方向上具有平均角分辨率，因此能容易实现两个ODVS之间的图像信息融合；视频图像读取单元分别读取每个ODVS的摄像机的视频信息并暂时保存在每个ODVS相对应的存储空间内(ODVStmp1、ODVStmp2)；视频图像展开单元不断地读取存储空间(ODVStmp1、ODVStmp2)内的原始视频信息，通过展开算法对每个ODVS的摄像机所获取的视频信息进行展开运算，每个ODVS展开前后的图像如附图11、附图12所示；在展开图中横坐标表示方位角，纵坐标表示入射角；然后并将各自的展开计算结果暂时保存在相对应的存储空间内；物点匹配单元首先对每个ODVS的展开计算结果进行拼接，拼接的原则是对齐上下两个ODVS的方位角，使得空间上的同一物点在拼接图中在一条垂直线上，如附图13所示；然后进行成像物点之间的匹配；物点距离计算单元，用于计算空间物点的距离从而得到该物点的深度信息，根据物点匹配单元中找到相应匹配点后，通过所获得的两个入射角数据和两个ODVS视点之间的距离求得以计算得到空间物点的实际距离；立体图像匹配单元，用于将空间图像上边缘上的所有点进行匹配，为三维重建及三维识别打好基础，在立体图像匹配单元中所采用的算法是利用边缘约束来实现边缘上的点与点的快速匹配；三维图像重构单元，采用三维面绘制手段，本发明中采用基于各断层上提取的二维轮廓线构造断层间的实体表面段，由所有这些各断层间的实体表面段组成对象的轮廓面，进而重建出三维图像。整个处理流程如附图9所示；

要实现两个ODVS的展开图进行拼接，其关键点是要实现两个ODVS之间的图像信息融合，从方位角和入射角上能实现方便运算，引入一个经纬度的概念，将图4所示的双目ODVS的视场用球面来考虑，对应入射角Φ的是纬度值，对应方位角β的是经度值；如果在设计时将两个ODVS的经度进行对齐，那么在结构上就实现了极线约束条件，在结构上满足极线约束条件后，原来要从整个平面上检索对应点的问题就简化为在一条垂直线上检索对应点的问题，从而为点与点之间的快速匹配提供了基础；从纬度角度考虑，如果所设计的ODVS的入射角与成像平面上的像素点满足一定的线性关系，所组合后的两个ODVS入射角之间又是可以方便计算的，又可以将即在在一条垂直线上检索对应点的问题再简化为在一条垂直线上的某个区间内检索对应点的问题；因此考虑某一个拼接方向上(入射角)具有相同的平均角分辨率；所以设计具有平均角分辨率的ODVS是本发明的首要任务，要进行平均角分辨率设计，可以归结于折反射镜面曲线的设计，如附图6所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ ${\tan \mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ ${\tan \mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

${F_1}^{\′2}-2\mathrm{\α}{F_1}^{\′}-1=0---\left(2\right)$

${F_2}^{\′2}-2\mathrm{\β}{F_2}^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与入射角之间的关系来说具有某种线性关系，就是要建立一种像素点P到Z轴距离与入射角φ之间的线性关系，用公式(6)来表示，

φ＝a₀*P+b₀    (6)

式中：a₀、b₀是任意参数，

将摄像单元的焦距作为f，P为像素到Z轴的距离，在二次反射镜面上的反射点(t₂，F₂)。则根据成像原理，P可以由公式(7)表示：

$P=f*\frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

$\mathrm{\φ}=a_0*(f*\frac{t_2}{F_2})+b_0---\left(8\right)$

满足公式(8)的镜面曲线设计符合平均角分辨率要求；

进一步，根据折反射原理公式(8)可以用公式(9)表示，

${\tan }^{-1}\left(\frac{t_1}{F_1-s}\right)=a_0*(f*\frac{t_2}{F_2})+b_0---\left(9\right)$

利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现平均角分辨率；图7是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

上述的ODVS的设计虽然能达到平均角分辨率要求，但是从ODVS的视点来看，由于被二次折反射镜面所遮挡二次折反射镜面后面的视频信息是不可见的；为了获取二次折反射镜面后面的视频信息，本发明中在二次折反射镜面的中心部位开设了一个圆孔，在该圆孔内嵌入了一个广角镜头，该广角镜头与摄像部件镜头组合成一个组合镜头；因此设计广角镜头以及确定广角镜头的位置是本发明的另一个任务。图3是摄像部件镜头与广角镜头的位置关系图。在图3中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3    (12)

要使公式(12)成立的话，也就是将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

对于图3中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图2所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像部件安置在第一折反射镜面后部的视点位置上，如附图6所示；

通过上述的设计每个ODVS的视场范围可以达到240°*360°，并且具有相同的平均角分辨率，因此只要将两个ODVS背靠背的方式用连接件进行固定，并保证两个ODVS的轴心线重叠，那么组合后的无死角的双目立体全方位视觉传感装置的视场范围可以达到360°*360°，两个ODVS中的摄像机的视频线与电源线通过连接件中的孔引出，分别接入到视频图像接入单元中；如果所设计的ODVS的视场范围是240°*360°，那么就存在着两个ODVS同时能获取图像的重叠视场范围，该重叠视场范围为60°，如附图4中所示；

所述的视频图像展开单元，用于将视频图像接入单元中读取的原始视频信息进行图像预处理，展开成人们习惯容易观察的图像，对于一个球面的观察我们可以用类似于世界地图一样的展开方式，具体做法是：视频图像展开单元不断地读取存储空间(ODVS_tmp1、ODVS_tmp2)内的原始视频信息，通过展开算法对每个ODVS的摄像机所获取的视频信息进行展开运算，并将各自的展开计算结果暂时保存在相对应的存储空间内；

每个ODVS通过摄像部件镜头与广角镜头的组合方式所拍摄到的图像位于拍摄图像的中间，在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，全方位图像展开根据实际使用的需要选择某一种展开方式，一种展开方式是先进行透视图展开接着进行展开透视图拼接的方式；

为了对透视图有一个较好的理解，如附图6所示，这里我们从ODVS的视点S到透视投影坐标原点G引一条距离为D的直线S-G，与这条S-G相垂直的平面作为透视投影平面，因此透视投影平面是与S-G连接线相垂直的平面，将G点作为原点的平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和S-G轴直角相交的纵轴，将从透视投影平面到ODVS的视点S的距离作为D，定义透视投影平面的横幅为W，纵幅为H。由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是S-G连接线与Z轴的夹角，也就是入射角Φ；

这里我们将S-G作为变换中心轴，点G作为变换中心点，用β(入射光线在XY平面上的夹角-方位角)、Φ以及距离D来表示变换中心轴，β角度在0°～360°范围内，β可以用式(16)来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)    (16)

一般来说，距离D越长景物越小，距离D越短景物越大；

通过透视投影平面的坐标点P(i，j)求空间三坐标中的P(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(17)来表示：

X＝R*cosβ-i*sinβ    (17)

Y＝R*sinβ+i*cosβ

Z＝D*cosφ-j*sinφ

(R＝D*sinφ+j*cosφ)

式中：D为透视投影平面到ODVS视点的距离，β角度是入射光线在XY平面上投影的夹角，Φ角度是入射光线与Z轴的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和S-G轴直角相交的纵轴，i轴与j轴的方向由图6所示；

由于ODVS的设计采用了平均角分辨率的设计，因此在成像平面上的P(x，y)点可以通过公式(18)来计算得到，

x＝k*φ*cosβ    (18)

y＝k*φ*sinβ

式中，K是比例系数，可以通过标定来得到；Φ是入射角；β是入射光线在XY平面上投影的夹角；

将上述用公式(17)求得的P(X，Y，Z)点代入公式(18)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点。这样就可以通过在成像平面上得到的图像信息求得全方位透视投影图，也就是说建立了成像平面上的坐标系与透视投影平面的坐标系的对应关系。有了这样的对应关系，我们就能从成像平面上得到的某个点的图像信息；通过两个坐标系的对应关系，将该点的图像信息正确地显示在透视投影平面相对应的位置上；按照上述透视展开可以得到若干个透视投影平面，其个数是由透视投影平面的窗口横幅为W，纵幅为H来确定的，透视投影平面的窗口W和H的像素值取得大可分割的透视投影平面就少，透视投影平面的窗口边缘变形会大些；反之，透视投影平面的窗口W和H的像素值取得小可分割的透视投影平面就多，透视投影平面的窗口边缘变形会小些；组合后的无死角的双目立体全方位视觉传感装置的视场范围是360°*360°，因此展开时可以将其看成如同一张地球的展开图一样处理，如世界地图类似，用多个小透视投影平面拼合成一张球体的展开平面图；

另一种展开方式：是将图6中的视点S为原点建立三维坐标系，与上述透视投影展开一样，β角度是入射光线在XY平面上投影的夹角，即方位角；Φ角度是入射光线与Z轴的夹角，即入射角；设以S为球心的球形成像面的半径为r，则物点C在球面的坐标为C(r，β，Φ)，β角可以由公式(16)计算得到，Φ角可以利用平均角分辨率的设计公式(6)从像素点P到Z轴距离来得到，这样即已求得了物点相对于观察中心S的方位坐标，只是距离R还需要进一步确定；这里设展开的图像尺寸为m*1(长*宽，单位像素)，则展开算法中水平方向的计算步长为，Δβ＝2π/1；垂直方向的计算步长为Δm＝φ_max-φ_min/m；式中，φ_max为全景原图最大有效半径Rmax对应的场景光线入射角，φ_min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点C(Φ，β)对应的球面展开方式中的C点坐标分别为：

x＝β/Δβ；y＝φ-φ_min/Δm    (19)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，φ全景原图有效半径R对应的场景光线入射角，φ_min为全景原图最小有效半径Rmin对应的场景光线入射角；

由于本实施例中将两个具有同一平均角分辨率的ODVS上下背靠背的方式用连接件进行固定，如图4所示，我们将下面的ODVS标识为ODVS_down，将上面的ODVS标识为ODVS_up，附图11所示的物点C在下面的ODVS_down的全景原图中的成像点Cdown(Φ1，β1)如附图11(a)所示，对应全景原图中的成像点Cdown(Φ1，β1)在球面展开图中的物点Cdown(x1，y1)，如附图11(b)所示，在图11(b)所示的展开图中，Φdown-max表示ODVS_down的入射角为最大仰角时的值，Φdown-90表示ODVS_down的入射角为90°时的值，Φdown-min表示ODVS_down的入射角为最小俯角时的值；附图12所示的物点C在上面的ODVS_up的全景原图中的成像点Cup(Φ2，β2)如附图12(a)所示，对应全景原图中的成像点Cup(Φ2，β2)在球面展开图中的物点Cup(x2，y2)如附图12(b)所示，在图12(b)所示的展开图中，Φup-max表示ODVS_up的入射角为最大仰角时的值，Φup-90表示ODVS_up的入射角为90°时的值，Φup-min表示ODVS_up的入射角为最小俯角时的值；

本实施例中将ODVS的入射角φ_max设计为大于90°，我们将大于90°的入射角部分称为仰角，将小于90°的入射角部分称为俯角，因此按照这样的设计必定存在着上下两个ODVS都能捕捉到的领域，如图4中的斜线部分，我们将该斜线部分称为双目视觉范围；对于同一个空间上的物点C在双目视觉范围内在两个ODVS的全景原图中必定存在着两个成像点Cdown(Φ1，β1)和Cup(Φ2，β2)，且这两个成像点的方位角β也必定是相同的，即β1＝β2；因此对应在球面展开图中这两个点的X坐标也必须相同，即x1＝x2；根据这个原理来对齐上下两个ODVS的球面展开图中的方位角，如附图13所示，图13其实是图11(b)和图12(b)的合成，在合成图中可以非常方便的实现对齐上下两个ODVS的球面展开图中的方位角；

需要求空间物点C的位置距离，本发明中求物点的位置原理是：成像时，找出同一时刻两个不同视点的图像中同一物点对应的两个像点，然后采用已知像点来确定反射光线的方向向量方法得出两条入射光线，这两条入射光线在空间的交点就是物点的位置。

接着，两个ODVS的视点分别为A点、B点，两个视点之间的距离为c，c相当于双目立体视觉中的基线距，如图12所示。根据正弦定理，在一个三角形中，各边和它所对角的正弦比相等，即在ΔABC中有下述关系成立，

$\frac{\stackrel{\‾}{\mathrm{BC}}}{\sin A}=\frac{\stackrel{\‾}{\mathrm{AC}}}{\sin B}=\frac{\stackrel{\‾}{\mathrm{AB}}}{\sin C}=2R---\left(20\right)$

式中，R为ΔABC外接圆半径，公式(20)对任意三角形均成立。

通过公式(20)利用正弦定理可以解决已知三角形的两角和任一边，求三角形的其它边与角的问题。我们在ODVS设计时保证了像素点P到Z轴距离与入射角φ之间的线性关系，换句话说，在成像平面上的一个P点就能通过公式(6)计算出相对应的入射角φ。这里角A为180°-φ2，角B为180°-φ1。如果求得了AC或者BC后，物点C到360°*360°全景立体ODVS的中心点O的距离OC就非常容易求的；

AB＝c，根据公式(20)可以得到以下关系式，

$\stackrel{\‾}{\mathrm{AC}}=\frac{\stackrel{\‾}{\mathrm{AB}}}{\sin C}*\sin B=\frac{\stackrel{\‾}{\mathrm{AB}}}{\sin (A+B)}*\sin B=\frac{c}{\sin (A+B)}*\sin B---\left(21\right)$

然后利用三角关系式求O点与C点的距离，

$r=\stackrel{\‾}{\mathrm{OC}}=\sqrt{{\stackrel{\‾}{\mathrm{AC}}}^2+{(c/2)}^2-2\stackrel{\‾}{\mathrm{AC}}(c/2)\cos A}$

$=\sqrt{{[\frac{c}{\sin (A+B)}*\sin B]}^2+{(c/2)}^2-\frac{c^2}{\sin (A+B)}*\sin B\cos A}---\left(22\right)$

$=\sqrt{{[\frac{c}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}*\sin \mathrm{\φ}1]}^2+{(c/2)}^2+\frac{c^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}*\sin \mathrm{\φ}1\cos \mathrm{\φ}2}$

其中，∠A＝180-Φ2，∠B＝180-Φ1，c为上下两个ODVS视点之间的距离；附图16中同一空间物点C在两个球面展开图上对应的两个像点上的y1和y2两个值就是φ₁和φ₂，通过这些数据就能计算出空间物点C到ODVS的视点距离以及到360°*360°全景立体ODVS中心点的距离。

附图5所示的是一种双目全方位视觉横模型结构，这种结构类似于生物式双目视觉结构，除了能实时捕捉到360°*360°全景外，沿纵向经度中间一圈约60°的视场范围是双目视觉范围；

附图4所示的是一种双目全方位视觉轴模型结构，这种结构也类似于旋转了90°角的生物式双目视觉结构，除了能实时捕捉到360°*360°全景外，沿横向纬度中间一圈约60°的视场范围是双目视觉范围；

在双目立体视觉测量中，图像匹配的目的是给定在一幅图像上的已知点后，在另一幅图像上寻找与之相对应的目标匹配点。对在一幅图像中的一个特征点，在另一幅图像中可能存在好几个相似的候选匹配，为了能得到唯一准确的匹配，需要采用一些约束，目前通常采用的约束方法有，1)极线约束：在此约束下，匹配点一定位于两幅图像中相应的极线上；2)唯一性约束：两幅图像中的对应的匹配点应该有且有一个；3)视差连续性约束：除了遮挡区域和视差不连续区域外，视差的变化应该都是平滑的；4)顺序一致性约束：位于一幅图像上的极线上的系列点，在另一幅图像中的极线上具有相同的顺序。

为了方便的实现在双目视觉范围的立体匹配，选择正确的匹配特征、寻找特征间的本质属性及建立能正确匹配所选择特征的稳定算法是解决立体匹配的关键，由于我们在设计ODVS时将成像平面上的点与入射角之间的关系设计成线性关系，如公式(6)所示；这里我们引入一个经纬度的概念，将图4所示的双目ODVS的视场用球面来考虑，对应入射角Φ的是纬度，对应方位角β的是经度；对于同一个空间上的物点C在双目视觉范围内在两个ODVS的全景原图中必定存在着两个成像点Cdown(Φ1，β1)和Cup(Φ2，β2)，且这两个成像点的方位角β也必定是相同的，也就是它们的经度必定是相等的，即β1＝β2；因此对应在球面展开图中这两个点的X坐标也必须相同，即x1＝x2；根据这个原理来对齐上下两个ODVS的球面展开图中的方位角；同时从这两个成像点的所表示纬度值也必定要满足以下关系式；

180°≤φ1+φ2≤2φmax      (23)

式中，Φ1为下ODVS上的成像物点的入射角，Φ2为上ODVS上的成像物点的入射角，φmax为ODVS的成像物点的最大入射角，即仰角；

根据上述的约束关系以及本发明中ODVS的特殊设计，将原来给定在一幅图像上的已知点后在另一幅图像上寻找与之相对应的目标匹配点的问题进行了简化，通过方位角相等以及公式(23)的约束条件，检索范围将简化为到某一条线的一段区间内，如图13所示，要实现这种匹配算法非常简单，而且匹配精度高，然后结合特征匹配与区域匹配，采用基于区域匹配方式对特征点附近的子图像窗口的图像纹理信息或者边缘轮廓进行相关运算，并进行相似度比较和对称性测试。将最后的匹配对应点作为正确的匹配特征点参加视差运算。关于图像纹理信息或者边缘轮廓的运算方法可参考张广军著的“视觉测量”书的第6章的6、6节基于角点引导的边缘匹配章节。

如果以双目视觉基线距的中点作为观察者中心的话，类似于实际中当观察者将双眼的视力聚焦到一个较近的物点时，两眼视线轴间有一定的角度，也就是类似于双目立体视觉中的两个视点角度，如附图10中的∠A＝180-Φ2和∠B＝180-Φ1所示；但双眼在看物点时通过复合而朝向一个共同的视觉方向，并且得到的映像是单一的，好像是被一只眼所看到的。如果从主观感觉的角度来看，我们可以将两只眼睛看作一个单一器官，可以用一个理论上假想的处于两眼正中的单一眼睛来代表这个器官，称为中央眼，这里我们也将双目视觉基线距的中点，即图10中的O点作为中央眼；中央眼是我们人类在处理空间知觉时很有用的一个概念，当人对物体进行空间定向的时候，把自己作为视觉空间的中心，两眼视网膜上的每一对应点都有共同的视觉方向同时也产生距离感，如附图18所示；当物点在正前方C处时，它分别作用于左、右眼各自的中央凹C_L和C_R上；当C_L和C_R被假想重叠后，C点目标的定位是在中央眼的中央凹F_C上，物点C的方向在中央眼的正中，即主观视觉的正前方；当物点在S处时，物点S分别作用于左右眼的S_L和S_R处，对于中央眼目标定位在F_S处；主观视觉方向与作用在视网膜上任何一对相应点处刺激物的实际位置可能不一致，换句话说，客观视觉空间与主观视觉空间会有差别。这里视网膜上的相应点指的是在两个视网膜上感受刺激时产生同一视觉方向的那些单元，也就是说，两个视网膜上具有共同视觉方向的视网膜单元叫视网膜相应点。实际上，人类两眼的中央凹就是两眼视网膜上的相应点，中央凹的视觉方向就是主要视觉方向，人类依靠中央眼的主观视觉方向和距离感来确定物点在空间的位置；

人类在通过视觉方式来表达物体时通常用到了距离感、方向感和色感这些要素，除了通过“中央眼”来感知立体空间位置以外，色感对人类视觉来说是非常重要的。

立体空间知觉被称为“中央眼”视觉，因此在以人为视觉空间的中心实现三维图像重构时，采用“中央眼”视觉方式更符合人类的立体空间知觉，对于空间上的某个物点通过公式(22)求得该物点的深度距离，这里引入球面坐标来表示立体空间，如附图19所示，空间上的物点C可用三个有次序的数r，Φ，β来确定，其中r为原点O与点C间的距离，Φ为有向线段OC与Z轴正向所夹的角，该角就对应着我们上面所述的入射角β；β为从正Z轴来看自x轴按逆时针方向转到有向线段OP的角，该角就对应着我们上面所述的方位角；这里P为点C在xoy平面上的投影；如果我们以垂直于XOY平面并经过原点O和物点C作一个平面的话，相当于将YOZ平面围绕的z轴旋转了一个β方位角，成为Y’OZ平面，Y’OZ平面就是我们在立体视觉中所说的极平面，在Y’OZ平面上利用三角关系式求O点和C点的连线OC距离，就是所求的距离就是r；附图17中的O点和C点的连线OC和O点和A点的连线OA之间的夹角∠COA，由于就是O点和A点都在Z轴上，因此夹角∠COA就是所求的入射角Φ；

上述的分析是针对附图4所示的双目全方位视觉轴模型结构来进行的，而对于附图5所示的双目全方位视觉横模型结构与上述分析方法类同，首先也需要同样采用“中央眼”视觉方式，上述两种不同结构主要不同点是双目系统的A点和B点所处的轴的位置，前者是在Z轴上，后者是在Y轴上，分析与计算方法完全相同；如果我们将A点和B点之间的距离设计成人的两眼之间同样距离的话，即一般为65mm，所获得的立体图像最符合人类的立体空间知觉；

所述的三维图像重构单元，用于重建出三维图像，采用基于等距离球表面各断层上提取的二维轮廓线构造断层间的实体表面段，由所有这些等距离各断层间的实体表面段组成对象的轮廓面，进而重建出三维图像；具体算法是：

1)利用公式(22)求最近双目可视距离r_min，对于上下两个ODVS来说，成像物点都为最大入射角φmax时就是最近双目可视距离r_min；求“中央眼”观察物点的入射角Φ，参见附图17，公式(24)是利用三角函数关系并整理后得到的入射角Φ计算方法，

$\mathrm{\φ}=\arcsin \left(\frac{c}{2r}\sin \mathrm{\φ}2\right)+\mathrm{\φ}2-180---\left(24\right)$

式中，Φ为“中央眼”观察物点的入射角，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ2上ODVS的入射角；

2)在某个距离值r和方位角β的情况下，改变入射角Φ，通过公式(25)、(26)计算得到特征点在两眼上的入射角Φ1、Φ2，

$\mathrm{\φ}1=\mathrm{arccot}\left(\frac{\cos \mathrm{\φ}+\frac{c}{2r}}{\sin \mathrm{\φ}}\right)---\left(25\right)$

$\mathrm{\φ}2=\mathrm{arccot}\left(\frac{\cos \mathrm{\φ}-\frac{c}{2r}}{\sin \mathrm{\φ}}\right)$

式中，Φ为“中央眼”观察物点的入射角，入射角Φ的变化范围满足公式(23)，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ1为下ODVS的入射角，Φ2为上ODVS的入射角；

3)判断所计算的Φ1和Φ2是否超过最大入射角φmax，如果超过进行下面的计算，否则重复2)；

4)得到等距离球表面断层上的二维轮廓线，在某个距离值r的情况下，方位角β初始值选为0，改变方位角，采用等步长Δβ＝2π/l，判断方位角β是否为2π，如果大于或等于2π进行下面的计算，否则跳转到2)；

5)得到等距离球表面断层上的三维轮廓面，采用等步长Δr改变r，即在原来的r值上增加一个Δr值，判断r值是否超过某一规定值，如果小于该规定值跳转到2)，否则继续下面的计算；

6)将得到的一系列等距离球表面断层上的三维轮廓面按序列进行拼接得到三维图像；

色感对人类视觉来说是非常重要的，颜色信息能带来很多方便，因为它在图像像素上提供多个测度值，常常能够使分类变得更加简单而不需要做复杂的空间决策，颜色与明暗效果对于计算机视觉算法中的场景解释是非常重要的；空间上的一个物点，除了方位信息与距离信息以外，颜色信息也是非常重要的信息；

本实施例中在上面所述的物点的方位信息与距离信息(r，Φ，β)基础上再增加颜色信息，采用“中央眼”视觉方式来描述空间上物点的信息(r，Φ，β，R，G，B)，这里我们采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值作为“中央眼”视觉的颜色编码；计算公式由公式(26)表示；

$R=\frac{R_{\mathrm{ODVS}1}+R_{\mathrm{ODVS}2}}{2}---\left(26\right)$

$G=\frac{G_{\mathrm{ODVS}1}+G_{\mathrm{ODVS}2}}{2}$

$B=\frac{B_{\mathrm{ODVS}1}+B_{\mathrm{ODVS}2}}{2}$

式中，R为“中央眼”的红色分量的平均值，R_ODVS1为全方位视觉传感器1的红色分量，R_ODVS2为全方位视觉传感器2的红色分量，G为“中央眼”的绿色分量的平均值，G_ODVS1为全方位视觉传感器1的绿色分量，G_ODVS2为全方位视觉传感器2的绿色分量，B为“中央眼”的蓝色分量的平均值，B_ODVS1为全方位视觉传感器1的蓝色分量，B_ODVS2为全方位视觉传感器2的蓝色分量；它们的取值范围均为0～255；

整个基于双目全方位视觉传感器的立体视觉测量装置的处理流程如下：

1)以球面坐标的方式获取双目视觉图像；

2)在球面坐标上的同一个方位角上某一个入射角范围内进行特征点匹配，选定方位角β，找特征点在两眼上的入射角Φ1、Φ2；

3)求各特征点到“中央眼”中心O的距离r以及入射角Φ；

4)采用球面坐标并用“中央眼“为原点标识所有特征点的三维坐标(r，Φ，β)，并计算该特征点的三维颜色属性值，同时采用方位、距离、颜色信息(r，Φ，β，R，G，B)来表达物点的视觉特征；

5)利用球面坐标进行三维图像重构，采用各种成熟软件，比如AUTOCAD，Matlab等各种商业软件以及源代码开放的开源软件，实现不同需求的三维图像的表达。

根据任一被测物体的三维信息都是该物体表面的离散点坐标，如果将这些离散点坐标用球面坐标的形式来表示的话，通过曲面生成技术来恢复被测物体的曲面信息在以人为视觉球面空间的中心来实现三维图像重构时，以不同的深度距离为半径做球面剖面各断层，然后在各断层上提取的二维轮廓面，二维轮廓面上的的特征点都采用(r，Φ，β，R，G，B)数据格式进行表示；在空间物体的数据采集、加工、描述、表达过程中始终采用一种统一的球面坐标，采用距离感、方向感和色感这些要素来表示各特征点的特性，通过这些特征点之间的几何运算就能非常方便的获得物体的几何全貌，从而达到简化计算的复杂性、省略摄像机标定工作、方便进行特征提取、容易实现立体图像匹配，最终实现高效、实时、准确的立体视觉测量目的。

Claims (10)

1、一种基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：所述立体视觉测量装置包括两台具有相同角平均分辨率的全方位视觉传感器、连接单元和用于对两台全方位视觉传感器的图像进行三维立体视觉重建的微处理器，所述全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述的透明外罩，用于保护以及支撑一次折反射镜面和二次折反射镜面，透明外罩的外形设计要满足曲线可微分条件以减少干扰光对折反射成像的影响，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上，所述两台全方位视觉传感器的后侧通过连接单元连接；

所述一次折反射镜面和二次折反射镜面的曲线是按照平均角分辨率方式进行设计，具体有：

一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中， $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

F₁′²-2αF₁′-1＝0                        (2)

F₂′²-2βF₂′-1＝0                        (3)

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

建立一种像素点P到Z轴距离与入射角φ之间的线性关系，用公式(6)来表示，

φ＝a₀*P+b₀                    (6)

式中：a₀、b₀是任意参数，

将摄像单元的焦距作为f，P为像素到Z轴的距离，在二次反射镜面上的反射点(t₂，F₂)；则根据成像原理，P由公式(7)表示：

$P=f*\frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

$\mathrm{\φ}=a_0*(f*\frac{t_2}{F_2})+b_0---\left(8\right)$

根据折反射原理公式(8)用公式(9)表示：

${\tan }^{-1}\left(\frac{t_1}{F_1-s}\right)=a_0*(f*\frac{t_2}{F_2})+b_0---\left(9\right)$

利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求和F₂的F₁数字解，计算得到一次折反射镜面和二次折反射镜面的曲线；

所述的微处理器包括：

视频图像读取单元，用于读取两个具有相同平均角分辨率的无死角的全方位视觉传感器的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；

视频图像展开单元，用于对具有平均角分辨率的无死角的全方位视觉传感器的原始视频图像进行图像预处理，图像预处理中首先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中，其输出与物点匹配单元连接；

物点匹配单元，用于找出同一时刻两个不同视点的图像中同一物点对应的两个像点，其输出与空间信息计算单元连接；

空间信息计算单元，用于计算空间上的物点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与色感信息计算单元连接；

色感信息计算单元，用于计算空间上物点的色感信息，采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值(R，G，B)作为“中央眼”视觉的颜色编码，其输出与三维图像重构单元连接；

三维图像重构单元，用于重构出以人为视觉空间的中心的三维立体图像，采用基于等距离球表面各断层上提取的二维轮廓线构造断层间的实体表面段，由所有这些等距离各断层间的实体表面段组成对象的轮廓面，进而重建出三维图像。

2、如权利要求1所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：所述的视频图像展开单元还包括方位角对齐子单元；所述的方位角对齐子单元，用于对齐上下两个ODVS的球面展开图中的方位角。

3、如权利要求1或2所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：在所述空间信息计算单元和色感信息计算单元中，三维球面坐标系的原点就是立体视觉测量装置中心点，采用“中央眼”视觉方式来描述空间上物点的信息(r，Φ，β，R，G，B)，r为球面坐标原点O与物点之间的距离，Φ为球面坐标原点O与物点之间的连线与Z轴正向所夹的角，β为从正Z轴来看自x轴按逆时针方向转到有向线段OP的角，该角就对应着我们上面所述的方位角；这里P为点C在xoy平面上的投影，R为“中央眼”的红色分量的平均值，G为“中央眼”的绿色分量的平均值，B为“中央眼”的蓝色分量的平均值；所述的“中央眼”是双目视觉基线距的中点，是通过两个构成双目全方位视觉传感器的视点之间的连线中心点来算得到。

4、如权利要求2所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：在所述的方位角对齐子单元中，对齐上下两个ODVS的球面展开图中的方位角的过程为：对于同一个空间上的物点C在双目视觉范围内在两个ODVS的全景原图中存在着两个成像点Cdown(Φ1，β1)和Cup(Φ2，β2)，且这两个成像点的方位角相同的，即β1＝β2；则对应在球面展开图中这两个点的X坐标也必须相同，即x1＝x2；根据上述X坐标相同来对齐上下两个ODVS的球面展开图中的方位角。

5、如权利要求3所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：在所述的空间信息计算单元中，设定在方位角对齐单元中确定了物点的方位角β，然后根据等平均角分辨率的设计，任何一个空间物点在两个ODVS上的两个成像点的所表示纬度值必定要满足以下关系式；

180°≤φ1+φ2≤2φmax    (23)

式中，Φ1为下ODVS上的成像物点的入射角，Φ2为上ODVS上的成像物点的入射角，φmax为ODVS的成像物点的最大入射角，即仰角；

根据公式(23)所确定的范围，在同一方位角内，即在附图13所示的Y方向上寻找匹配点，得到物点C在双目视觉范围内在两个ODVS上的两个成像点Cdown(Φ1，β)和Cup(Φ2，β)，接着利用三角关系式求O点与C点的距离r，

$r=\stackrel{\‾}{\mathrm{OC}}=\sqrt{{\stackrel{\‾}{\mathrm{AC}}}^2+{(c/2)}^2-2\stackrel{\‾}{\mathrm{AC}}(c/2)\cos A}$

$=\sqrt{{[\frac{c}{\sin (A+B)}*\sin B]}^2+{(c/2)}^2-\frac{c^2}{\sin (A+B)}*\sin B\cos A}$

$=\sqrt{{[\frac{c}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}*\sin \mathrm{\φ}1]}^2+{(c/2)}^2+\frac{c^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}*\sin \mathrm{\φ}1\cos \mathrm{\φ}2}---\left(22\right)$

其中，∠A＝180-Φ2，∠B＝180-Φ1，c为上下两个ODVS视点之间的距离；通过物点到立体视觉测量装置中心点的距离、方位角信息来求物点到立体视觉测量装置中心点的入射角Φ，计算公式由公式(24)给出，

$\mathrm{\φ}=\arcsin \left(\frac{c}{2r}\sin \mathrm{\φ}2\right)+\mathrm{\φ}2-180---\left(24\right)$

式中，Φ为“中央眼”观察物点的入射角，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ2为上ODVS的入射角。

6、如权利要求3所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：在所述的色感信息计算单元中，采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值(R，G，B)作为“中央眼”视觉的颜色编码，首先读取两个ODVS上成像的目标匹配点的各颜色分量R_ODVS1、R_ODVS2、G_ODVS1、G_ODVS2、B_ODVS1和B_ODVS2的数据，然后采用在两个ODVS上成像的目标匹配点的各颜色分量的平均值作为“中央眼”视觉的颜色编码；计算公式由公式(26)表示；

$R=\frac{R_{\mathrm{ODVS}1}+R_{\mathrm{ODVS}2}}{2}$

(26)

$G=\frac{G_{\mathrm{ODVS}1}+G_{\mathrm{ODVS}2}}{2}$

$B=\frac{B_{\mathrm{ODVS}1}+B_{\mathrm{ODVS}2}}{2}$

式中，R为“中央眼”的红色分量的平均值，R_ODVS1为全方位视觉传感器1的红色分量，R_ODVS2为全方位视觉传感器2的红色分量，G为“中央眼”的绿色分量的平均值，G_ODVS1为全方位视觉传感器1的绿色分量，G_ODVS2为全方位视觉传感器2的绿色分量，B为“中央眼”的蓝色分量的平均值，B_ODVS1为全方位视觉传感器1的蓝色分量，B_ODVS2为全方位视觉传感器2的蓝色分量；它们的取值范围均为0～255；

采用“中央眼”视觉方式来描述空间上物点的信息(r，Φ，β，R，G，B)，其中r表示物点的距离感信息，Φ和β表示物点的方向感信息，R、G、B综合表示物点的色感信息。

7、如权利要求3所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：在所述的三维图像重构单元中，采用基于等距离球表面各断层上提取的二维轮廓线构造断层间的实体表面段，由所有这些等距离各断层间的实体表面段组成对象的轮廓面，进而重建出三维图像；具体算法是：

1)利用公式(22)求最近双目可视距离r_min，对于上下两个ODVS来说，成像物点都为最大入射角φmax时就是最近双目可视距离r_min；求“中央眼”观察物点的入射角Φ，公式(24)是利用三角函数关系并整理后得到的入射角Φ计算方法，

$\mathrm{\φ}=\arcsin \left(\frac{c}{2r}\sin \mathrm{\φ}2\right)+\mathrm{\φ}2-180---\left(24\right)$

式中，Φ为“中央眼”观察物点的入射角，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ2上ODVS的入射角；

2)在某个距离值r和方位角β的情况下，改变入射角Φ，通过公式(25)、(26)计算得到特征点在两眼上的入射角Φ1、Φ2，

$\mathrm{\φ}1=\mathrm{arccot}\left(\frac{\cos \mathrm{\φ}+\frac{c}{2r}}{\sin \mathrm{\φ}}\right)---\left(25\right)$

$\mathrm{\φ}2=\mathrm{arccot}\left(\frac{\cos \mathrm{\φ}-\frac{c}{2r}}{\sin \mathrm{\φ}}\right)---\left(26\right)$

式中，Φ为“中央眼”观察物点的入射角，入射角Φ的变化范围满足公式(23)，c为双目系统的A点和B点之间的距离，r为特征点到“中央眼”的距离，Φ1为下ODVS的入射角，Φ2为上ODVS的入射角；

3)判断所计算的Φ1和Φ2是否超过最大入射角φmax，如果超过进行下面的计算，否则重复2)；

4)得到等距离球表面断层上的二维轮廓线，在某个距离值r的情况下，方位角β初始值选为0，改变方位角，采用等步长Δβ＝2π/l，判断方位角β是否为2π，如果大于或等于2π进行下面的计算，否则跳转到2)；

5)得到等距离球表面断层上的三维轮廓面，采用等步长Δr改变r，即在原来的r值上增加一个Δr值，判断r值是否超过某一规定值，如果小于该规定值跳转到2)，否则继续下面的计算；

6)将得到的一系列等距离球表面断层上的三维轮廓面按序列进行拼接得到三维图像。

8、如权利要求3所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：所述的透明外罩的外形设计满足曲线可微分条件以减少干扰光对折反射成像的影响，将透明外罩设计成半球状，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料。

9、如权利要求8所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：两个全方位视觉传感器之间呈双目全方位视觉轴模型结构，双目全方位视觉轴模型结构的视点A和视点B所处的轴的位置在Z轴上，将A点和B点之间的距离为成人的两眼之间的距离。

10、如权利要求8所述的基于双目全方位视觉传感器的立体视觉测量装置，其特征在于：两个全方位视觉传感器之间呈双目全方位视觉横模型结构，双目全方位视觉横模型结构的视点A和视点B所处的轴的位置在Y轴上，将A点和B点之间的距离为成人的两眼之间的距离的。

Images