CN102980513A - 以物为中心的单目全景立体视觉传感器 - Google Patents

Abstract

一种以物为中心的单目全景立体视觉传感器，包括用于拍摄被重构物体的视觉检测箱，用于对被重构物体进行图像处理、三维重构和重构结果输出的微处理器；微处理器包括图像读取模块，传感器标定模块，图像处理模块，用于从一幅图像中分割出直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像，对从椭球镜面反射的被重构物体图像进行透视投影转换处理，得到水平投影面的俯视图以及主视图、左视图、右视图和后视图四种基本视图；三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形；结果输出模块。本发明实用性好、计算资源消耗低、硬件简单可靠、实时处理能力强、便于维护和使用。

Description

以物为中心的单目全景立体视觉传感器

技术领域

本发明属于光学技术、计算机视觉技术在立体视觉测量方面的应用。

背景技术

基于计算机视觉的双目立体视觉三维测量与立体重构技术，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。

立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差、即视差，来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。

目前要实现一个完整的立体视觉系统通常需要图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插等6个大部分内容支持。利用低层图像处理技术对双目图像进行分析，选择图像对中的目标特征并求解特征间的对应关系，通过图像匹配技术得到目标视差，从而转化为主体所需的深度信息。图像获取-摄像机标定-图像分割-特征提取-立体图像匹配-距离确定已成为立体视觉系统处理的主线。

立体视觉的图像获取是由不同位置的多台（包括两台）或者一台摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。

对立体视觉而言，摄像机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离和视角受到限制，一般都需要至少6个以上的已知世界坐标点，才能得到比较满意的参数矩阵，所以实际测量过程不但复杂，而且效果并不一定理想，大大地限制了其应用范围。此外双摄像机标定还需考虑镜头的非线性校正、测量范围和精度的问题。

立体像对中需要匹配的特征点应满足以下要求：与传感器类型及抽取特征所用技术等相适应；具有足够的鲁棒性和一致性。在进行特征点像的坐标提取前，由于存在一系列的噪声源，需要对获取的图像进行预处理。通过预处理可显著改进图像质量。

立体匹配是双目立体视觉中最关系、困难的一步。与普通的图像配准不同，立体像对之间的差异是由摄像时观察点的不同引起的；根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大类。无论是哪一种匹配算法都需要耗费很多的计算资源。

三维重构是在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下进行空间点的重建。通过建立以该点的世界坐标为未知数的4个线性方程，用最小二乘法求解得该点的世界坐标。实际重建通常采用外极线结束法。空间点、两摄像机的光心这三点组成的平面分别与两个成像平面的交线称为该空间点在这两个成像平面中的极线。一旦两摄像机的内外参数确定，就可通过两个成像平面上的极线的约束关系建立对应点之间的关系，并由此联立方程，求得图像点的世界坐标值。对图像的全像素的三维重建目前仅能针对某一具体目标，计算量大且效果不明显。

全景视觉从观察者和观察物两个不同观察角度来分，可以分为以观察者为中心的全景视觉和以观察物为中心的全景视觉这两者技术，以观察者为中心的全景视觉技术是以观察者为中心获取周边360°环境的全景图像，即在观察者位置不变化情况下周视360°全方位的周边环境的图像获取技术；以观察物为中心的全景视觉是回绕着观察对象获取观察对象的外观全景图像，即在观察物位置不变化的情况下环视观察物360°全方位的图像获取技术；目前已有很多专利披露了以观察者为中心的单目全景视觉技术，但是在以观察物为中心的单目全景视觉技术方面的相关专利和论文则十分鲜见；基本上是采用多台摄像机从不同视角同时拍摄观察对象或者是一台摄像机从不同视角分别拍摄观察对象；从不同视角下进行拍摄观察对象进行三维测量与立体重构存在着很多问题，首先是在摄像机的内外参数和颜色系统方面很难保持一致性；其次是在特征提取和立体图像匹配上要花费很多计算资源，实时性欠缺；最后是立体视觉系统的软件复杂度很高，对维护和使用要求非常高，不利于产业推广和实际应用。

一种理想的全景立体视觉系统希望拍摄硬件装置简单可靠，进行图像分割、特征提取、立体图像匹配和三维重构等处理的软件算法实现极其简单、实时性好、计算量小；系统能一次成像就快速的实现三维重构。

发明内容

为了克服已有的三维重构技术存在的实用性差、计算复杂度高、硬件成本高、维护和使用困难等不足,本发明提供一种实用性好、计算资源消耗低、硬件简单可靠、实时处理能力强、便于维护和使用的以物为中心的单目全景立体视觉传感器。

本发明解决其技术问题所采用的技术方案是：

一种以物为中心的单目全景立体视觉传感器，包括用于拍摄被重构物体的视觉检测箱，用于对被重构物体进行图像处理、三维重构和重构结果输出的微处理器；所述的微处理器包括：

图像读取模块，用于从所述的摄像机读取包含有从摄像机直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；传感器标定模块，用于对摄像机的标定、镜头的畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；图像处理模块，用于从一幅图像中分割出直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像，这里采用了全局Ostu算法来进行图像分割，然后根据知识库中保存的传感器的标定结果对从椭球镜面反射的被重构物体图像进行透视投影转换处理，得到水平投影面的俯视图以及主视图、左视图、右视图和后视图四种基本视图；三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形，得到被重构物体外形表面任何点的坐标值；结果输出模块，用于根据三维重构模块中所得到的重构数据将三维重构后的被重构物体用三维的方式输出。

进一步，所述的视觉检测箱包括：用于从不同视角反射被重构物体外形的椭球镜面，用于固定摄像机和LED光源以及与所述的椭球镜面构成封闭的检测空间的上盖，用于支撑被重构物体的支撑杆，用于拍摄被重构物体外形的摄像机和用于为视觉检测箱提供照明的LED光源；所述的上盖的上部中心处嵌入有所述的摄像机，所述的上盖的上部中心附近处嵌入有所述的LED光源，所述的LED光源倾斜2°角度对准所述的椭球镜面的焦点F₁，所述的上盖与所述的椭球镜面结合处有一个子口以保证这两者之间的尺寸配合，同时也保证了所述的摄像机的针孔处于椭球镜面的另一个共轭焦点F₂，所述的支撑杆支撑着被重构物体使得被重构物体的中心基本上处于所述的椭球镜面的焦点F₁；

所述的椭球镜面，其内部的形状为椭球，用塑料模具压制而成，对其内表面进行镀膜加工；所述的椭球镜面的沿椭球的长轴方向上开有一个孔，孔的直径大小略大于重构物体外形的最大外径尺寸D_max，与孔相配合的有所述的支撑杆，所述的支撑杆能在孔中沿椭球的长轴方向上进行上下移动；椭球的短轴b的长度满足以下关系；

b≥4D_max    （2）

式中，b为椭球镜面的短轴，D_max为被重构的物体的最大外径尺寸；

所述的摄像机的镜头选择采用微焦距，使得被重构的物体成像最清晰同时满足以下关系；

D_m=(2.5~2.8)D_d    （3）

式中，D_m为在成像平面上通过椭球镜面折反射成像的图像部分的直径，D_d为在成像平面上所述的摄像机直接获取的图像部分的直径，如附图4所示；

根据上述公式（3）基本上确定了椭球镜面的焦距c，利用公式（4）可以求得椭球镜面的长轴和离心率；

$\left\{\begin{array}{c}2a=c+b\\ e=\frac{c}{a}=\frac{\sin (\mathrm{\φ}+\mathrm{\σ})}{(\sin \mathrm{\φ}+\sin \mathrm{\σ})}\end{array}\right.---\left(4\right)$

式中，c为椭球镜面的焦距，a为椭球镜面的长轴，b为椭球镜面的短轴，φ为被重构的物体上某一点的光的投射角，σ为被重构的物体上某一点的光经椭球镜面的反射角；

所述的椭球镜面的深度值h略小于椭球镜面的长轴，即满足h≤a的关系；所述的椭球镜面与所述的上盖结合处开有雌子口。

再进一步，所述的上盖的外形为中空圆柱形，中空的孔径与所述的椭球镜面的孔径一致，外径与所述的椭球镜面的外径一致，所述的上盖与所述的椭球镜面的结合处开有雄子口；所述的上盖的高度取决于当所述的上盖与所述的椭球镜面合在一起时所述的摄像机的镜头处于共轭焦点F₂处，该共轭焦点F₂就是以物为中心的单目全景立体视觉传感器的单视点，焦点F₁就是被重构物体的中心点，也是坐标系的原点。

更进一步，所述的传感器标定模块中，传感器的内部参数的标定包括摄像机镜头投影模型参数、镜头半径方向和切线方向畸变参数、摄像机的焦点距离和图像主点位置参数；通过摄像机的标定方法和相应的算法计算出所有标定变量(ζ,k1,k2,k3,k4,k5,fu,fv,u0,v0)，其中ζ是关联于单位投影平面的位置，k1,k2,k3,k4,k5是镜头畸变参数，fu,fv,u0,v0是镜头焦距和图像主点位置；关于摄像机的标定算法请参见机器视觉或者计算机视觉相关书籍中的摄像机标定章节；标定物采用类似于魔方的正六方体，标定时将标定物安置在椭球镜面的焦点处。

所述的图像处理模块中，在从图像获取模块中得到的图像中包含了被重构物体以及支撑杆，本发明中对支撑杆的颜色进行了特别规定，使得被重构物体能非常容易地从背景中完整的分割出来，这里首先对原始图像采用了全局Ostu算法来进行图像分割，得到只包含直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；接着，将直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像进行分割，分别得到两张直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；然后根据知识库中保存的传感器的标定结果对从椭球镜面反射的被重构物体图像进行透视投影图像转换处理，得到主视图、左视图、右视图和后视图四种基本视图，根据知识库中保存的传感器的标定结果对直接拍摄的被重构物体图像进行变化处理，得到水平投影面的俯视图；

所述的透视投影图像转换处理，主要是为了对从椭球镜面反射的被重构物体图像通过透视投影图像转换处理得到主视图、左视图、右视图和后视图四种基本视图以及向视图；

透视投影图像转换处理算法原理如下：从焦点F₁到透视投影坐标原点G引一条距离为D的直线F₁-G，与这条F₁-G相垂直的平面作为透视投影平面，因此透视投影平面是与F₁-G连接线相垂直的平面，将G点作为原点的平面坐标系ｉ，ｊ，其中ｉ轴是与XY平面平行的横轴，ｊ轴是与ｉ轴和F₁-G轴直角相交的纵轴，将从透视投影平面到单目全景立体视觉传感器的焦点F₁的距离作为D，定义透视投影平面的横幅为W，纵幅为H，为了与俯视图的图像尺寸保持一致，透视投影平面的横幅W和纵幅H的确定要根据实体摄像机的标定结果，即每像素代表真实物理空间上多少毫米值，即mm/pixcl，使得透视展开得到的各基本视图与直接拍摄的被重构物体图像进行变化处理后俯视图具有相同的比例关系；由于ｉ轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面上旋转一个角度，该角度就是F₁-G连接线与Z轴的夹角，也就是投射角φ，对于主视图、左视图、右视图和后视图四种基本视图的ｉ轴的投射角φ=0；四种基本视图的ｊ轴的方位角β均相间隔90°；实际上主视图、左视图、右视图和后视图的坐标原点均是椭球镜面过焦点中心轴线在相隔90°切面的椭圆焦点直角三角形的点；

将F₁-G作为变换中心轴，点G点作为变换中心点，用β（投射光线在XY平面上的投影线与X轴的夹角－方位角）、φ以及距离D来表示变换中心轴，β方位角在0°~360°范围内，β方位角用式（6）来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)    （6）

一般来说，距离D越长景物越小，距离D越短景物越大；为了与俯视图的图像尺寸保持一致，距离D的确定要根据实体摄像机的标定结果，使得基本视图之间保持“长对正、高平齐、宽相等”的对应关系；

通过透视投影平面的坐标点P(i,j)求空间三坐标中的P(x,y,z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式（7）来表示：

X＝R*cosβ-i*sinβ    （7）

Y=R*sinβ+i*cosβ

Z＝D*cosφ-j*sinφ

R=D*sinφ+j*cosφ

式中：D为透视投影平面到单目全景立体视觉传感器的焦点F₁的距离，β角是投射光线的方位角，φ角度是投射光线的投射角，i轴是与XY平面平行的横轴，j轴是与i轴和F₁-G轴直角相交的纵轴。

所述的透视投影图像转换处理过程为：首先根据传感器的标定结果得到的俯视图的尺寸，然后以俯视图的尺寸为基准确定透视投影平面到单目全景立体视觉传感器的焦点F₁距离D；通过这样的距离D进行透视展开所得到的主视图、左视图、右视图和后视图与直接拍摄的被重构物体图像经图像变换后得到的俯视图的尺寸具有较好的一致性；这个距离D作为展开重要参数保存在所述的知识库中。

所述的三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形，得到被重构物体外形表面任何点的坐标值；在成像平面上，被重构的物体上某一点P_v的光经椭球镜面的反射角σ与成像平面上的半径值r1成函数关系，通过对摄像机的标定可以建立反射角σ与成像平面上的半径值r1的对应关系，即通过成像平面上的半径值r1可以计算得到反射角σ，然后利用公式（4）计算得到被重构的物体上某一点的光的投射角φ；关于被重构的物体上某一点的光的方位角β从成像平面上直接获得；

在实体摄像机直接获取的图像部分，相当于被重构的物体的顶视图，反映了被重构的物体上某一点在XY平面上的投影，只要对摄像机进行标定，就能直接得到被重构的物体上某一点的XY坐标值，然后根据被重构的物体上某一点的光的投射角φ用公式（5）计算被重构的物体上某一点在Z轴上的投影值，

$Z_P=\sqrt{X_p^2+Y_P^2}\×\tan \mathrm{\φ}---\left(5\right)$

式中，Z_P为被重构的物体上某一点在Z轴上的投影值，X_P为被重构的物体上某一点在X轴上的投影值，Y_P为被重构的物体上某一点在Y轴上的投影值，φ为被重构的物体上某一点的光的投射角。

所述的结果输出模块中，根据三维重构模块中所得到的重构数据将三维重构后的被重构物体用三维的方式在显示器上表达出来，使用者根据自己的需要通过人机交互模块选择一种被重构物体三维的表达方式；被重构物体三维的表达方式有：1）以主视图、俯视图和左视图为主的表达方式，用户在人机界面上通过拖动的方式选择在被重构物体的某一个方位角β₁作为透视展开主视图的j轴，透视展开左视图的j轴的方位角β₂=β₁-90°，透视展开主视图和透视展开左视图的i轴对应着被重构物体的投射角φ=0处；如果用户还需要右视图、后视图和向视图的输出，通过人机界面上的选择按键，在显示器或者其他输出设备上输出相应视图，当选择向视图输出时，用户需要确定方位角和投射角，通过公式（7）计算得到向视图；2）直接的三维输出，通过三维重构模块得到了被重构物体外形的点云数据，获取的3D点云数据以STL、PLY、VRML和ASC等格式存储，各种常见的CAD/CAM软件都可以处理和显示这些数据；3）不断的变换视角的输出，通过用循环程序不断地改变公式（7）中的方位角β，达到被重构物体沿着中心线旋转输出。

所述的人机交互模块，用于将传感器的标定结果输入到摄像机的内外参数表中，用于选择所述的结果输出模块的输出方式，用于设定所述的图像处理模块中各种阈值，用于调整所述的透视投影图像转换处理中的各种参数。

本发明的以物为中心的单目全景立体视觉传感器与多摄像机环绕被重构的物体进行拍摄、图像分割、特征提取、立体图像匹配和三维重构技术方案相比较，本发明具有性价比高，并且所有“摄像机”具有严格一致的内部参数和颜色系统，具有固定的单视点，因此更有利于特征匹配，实现快速、高精度三维重构。

附图说明

图1为一种以物为中心的单目全景立体视觉传感器的成像原理图；

图2为使用单目全景立体视觉传感器对脚进行三维重构的示意图，其中，1为椭圆型折反射镜面，2为成像平面；

图3为单目全景立体视觉传感器的透视投影展开说明图；

图4为单目全景立体视觉传感器的成像平面图，其中，3为实体摄像机直接成像部分，4为椭球镜面折反射成像部分；

图5为单目全景立体视觉传感器及三维重构方法的软件结构框图；

图6为一种以物为中心的单目全景立体视觉传感器的视觉检测箱结构，其中，5为上盖，6为LED，2为成像平面，7为保证配合的子口，8为摄像机，9为被重构物体，10为椭球折反射镜面，11为支撑杆。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图6，一种以物为中心的单目全景立体视觉传感器，包括用于拍摄被重构物体的视觉检测箱，用于对被重构物体进行图像处理、三维重构和重构结果输出的微处理器；

所述的视觉检测箱包括：用于从不同视角反射被重构物体外形的椭球镜面，用于固定摄像机和LED光源以及与所述的椭球镜面构成封闭的检测空间的上盖，用于支撑被重构物体的支撑杆，用于拍摄被重构物体外形的摄像机，用于为视觉检测箱提供照明的LED光源；所述的上盖的上部中心处嵌入有所述的摄像机，所述的上盖的上部中心附近处嵌入有所述的LED光源，所述的LED光源倾斜2°角度对准所述的椭球镜面的焦点F₁，所述的上盖与所述的椭球镜面结合处有一个子口以保证这两者之间的尺寸配合，同时也保证了所述的摄像机的针孔处于椭球镜面的另一个共轭焦点F₂，所述的支撑杆支撑着被重构物体使得被重构物体的中心基本上处于所述的椭球镜面的焦点F₁附近；

所述的椭球镜面的形状如附图1中的斜线部分所示，其内部的形状为椭球，用塑料模具压制而成，然后对其内表面进行镀膜加工；所述的椭球镜面的沿椭球的长轴方向上开有一个孔，孔的直径大小略大于重构物体外形的最大外径尺寸D_max，与孔相配合的有所述的支撑杆，所述的支撑杆能在孔中沿椭球的长轴方向上进行上下移动；椭球的短轴b的长度满足以下关系；

b≥4D_max      （2）

式中，b为椭球镜面的短轴，D_max为被重构的物体的最大外径尺寸；

所述的摄像机的镜头选择采用微焦距成像，使得被重构的物体成像最清晰同时满足以下关系；

D_m=(2.5~2.8)D_d    （3)

式中，D_m为在成像平面上通过椭球镜面折反射成像的图像部分的直径，D_d为在成像平面上所述的摄像机直接获取的图像部分的直径，如附图4所示；

根据上述公式（3）基本上确定了椭球镜面的焦距c，利用公式（4）可以求得椭球镜面的长轴和离心率；

$\left\{\begin{array}{c}2a=c+b\\ e=\frac{c}{a}=\frac{\sin (\mathrm{\φ}+\mathrm{\σ})}{(\sin \mathrm{\φ}+\sin \mathrm{\σ})}\end{array}\right.---\left(4\right)$

式中，c为椭球镜面的焦距，a为椭球镜面的长轴，b为椭球镜面的短轴，φ为被重构的物体上某一点的光的投射角，如附图1中的∠F₂F₁P，σ为被重构的物体上某一点的光经椭球镜面的反射角，如附图1中的∠F₁F₂P；

所述的椭球镜面的深度值h略小于椭球镜面的长轴，即满足h≤a的关系；所述的椭球镜面与所述的上盖结合处开有雌子口；

所述的上盖的外形为中空圆柱形，中空的孔径与所述的椭球镜面的孔径一致，外径与所述的椭球镜面的外径一致，所述的上盖与所述的椭球镜面的结合处开有雄子口；所述的上盖的高度取决于当所述的上盖与所述的椭球镜面合在一起时所述的摄像机的镜头处于共轭焦点F₂处，该共轭焦点F₂就是以物为中心的单目全景立体视觉传感器的单视点，焦点F₁就是被重构物体的中心点，也是坐标系的原点；

上述的设计利用了椭圆的光学特性，从椭圆的一个焦点发出的光线在经过椭圆周上反射，经椭圆周上的反射光都投射到椭圆的另一个焦点；单目全景立体视觉传感器的原理如附图1所示，过点P做椭圆的切线l，焦点F₁关于l的对称点F₁′，则反射光线与F₁′P在同一直线上；且有F₁′P=F₁P和F₁′P+F₂P=2a的关系；椭圆的两个共轭焦点F₁和F₂，从焦点F₁反射的光线必然通过共轭焦点F₂，这里将摄像机的镜头安置在共轭焦点F₂处，以构成单视点的全景成像；所谓的单视点就是共轭焦点F₂，这时共轭焦点F₂成为了实体摄像机的视点，F₁成为了虚拟摄像机的视点；构成全景立体视觉的实体摄像机的视点和虚拟摄像机的视点之间的距离始终为椭圆长轴的两倍，即2a；实体摄像机的视点的位置是固定的，而虚拟摄像机的视点根据椭圆上点P的位置变化而变化，并且都在以共轭焦点F₂为中心的半径为椭圆长轴两倍的圆球面上；椭圆的两个共轭焦点F₁和F₂以及椭圆镜面上的点P构成了椭圆的焦点三角形；在以物为中心的单目全景立体视觉传感器中实体摄像机的视点和每个虚拟摄像机的视点都构成了双目立体视觉，并且两个不同的虚拟摄像机的视点也能构成双目立体视觉；

为了减少所述的支撑杆对检测结果的干扰，所述的支撑杆的表面采用黑色无镜面反射材料制作；为了提高三维重构的精度，被重构物体的最大直径不能超过所述的支撑杆的直径，因此，根据被重构物体的大小需要选择不同大小的视觉检测箱；被重构物体置放在所述的视觉检测箱内主要由以下两种方法：1）打开所述的上盖，将被重构物体放置在所述的支撑杆上，调整所述的支撑杆的伸出高度以便被重构物体的中心基本上在所述的椭球镜面的焦点F₁处，然后合上所述的上盖；2）拉出所述的支撑杆，将被重构物体放置在所述的支撑杆上，然后将所述的支撑杆插入到所述的椭球镜面的孔内，调整所述的支撑杆的伸出高度以便被重构物体的中心基本上在所述的椭球镜面的焦点F₁处；对于一些特别的物体进行三维重构时，比如对人的脚部进行三维重构，将所述的视觉检测箱进行倒置，然后将脚伸进所述的视觉检测箱中，如附图2所示；对于某些可以悬挂的物体进行三维重构时，将悬挂的被重构物体通过所述的椭球镜面的孔，并将其中心基本上保持在与所述的椭球镜面的焦点F₁附近，如附图3所示；

所述的微处理器还包括：

图像读取模块，用于从所述的摄像机读取包含有从摄像机直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；传感器标定模块，用于对摄像机的标定、镜头的畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；图像处理模块，用于从一幅图像中分割出直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像，本发明采用了全局Ostu算法来进行图像分割，然后根据知识库中保存的传感器的标定结果对从椭球镜面反射的被重构物体图像进行透视投影转换处理，得到水平投影面的俯视图以及主视图、左视图、右视图和后视图四种基本视图；三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形，得到被重构物体外形表面任何点的坐标值；结果输出模块，用于根据三维重构模块中所得到的重构数据将三维重构后的被重构物体用三维的方式在显示器上表达出来，使用者根据自己的需要通过人机交互模块选择一种被重构物体三维的表达方式；

所述的传感器标定模块，用于对摄像机的标定、镜头的畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；传感器的内部参数的标定包括摄像机镜头投影模型参数、镜头半径方向和切线方向畸变参数、摄像机的焦点距离和图像主点（即光轴与投影面的交点）位置参数；通过摄像机的标定方法和相应的算法计算出所有标定变量(ζ,k1,k2,k3,k4,k5,fu,fv,u0,v0)，其中ζ是关联于单位投影平面的位置，k1,k2,k3,k4,k5是镜头畸变参数，fu,fv,u0,v0是镜头焦距和图像主点位置；关于摄像机的标定算法请参见机器视觉或者计算机视觉相关书籍中的摄像机标定章节；标定物采用类似于魔方的正六方体，标定时将标定物安置在椭球镜面的焦点处；

图像处理模块，用于从一幅图像中分割出直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；在从图像获取模块中得到的图像中包含了被重构物体以及支撑杆，本发明中对支撑杆的颜色进行了特别规定，使得被重构物体能非常容易地从背景中完整的分割出来，这里首先对原始图像采用了全局Ostu算法来进行图像分割，得到只包含直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；接着，将直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像进行分割，分别得到两张直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；然后根据知识库中保存的传感器的标定结果对从椭球镜面反射的被重构物体图像进行透视投影图像转换处理，得到主视图、左视图、右视图和后视图四种基本视图，根据知识库中保存的传感器的标定结果对直接拍摄的被重构物体图像进行变化处理，得到水平投影面的俯视图；

所述的透视投影图像转换处理，主要是为了对从椭球镜面反射的被重构物体图像通过透视投影图像转换处理得到主视图、左视图、右视图和后视图四种基本视图以及向视图；本发明中将单目全景立体视觉传感器的焦点F₁定义为坐标的原点，焦点F₁就是被重构物体的中心点；为了对椭球镜面折反射成像的图像进行透视展开有一个较好的理解，如附图3所示，从焦点F₁到透视投影坐标原点G引一条距离为D的直线F₁-G，与这条F₁-G相垂直的平面作为透视投影平面，因此透视投影平面是与F₁-G连接线相垂直的平面，将G点作为原点的平面坐标系ｉ，ｊ，其中ｉ轴是与XY平面平行的横轴，ｊ轴是与ｉ轴和F₁-G轴直角相交的纵轴，将从透视投影平面到单目全景立体视觉传感器的焦点F₁的距离作为D，定义透视投影平面的横幅为W，纵幅为H，为了与俯视图的图像尺寸保持一致，透视投影平面的横幅W和纵幅H的确定要根据实体摄像机的标定结果，即每像素代表真实物理空间上多少毫米值(mm/pixcl)，使得透视展开得到的各基本视图与直接拍摄的被重构物体图像进行变化处理后俯视图具有相同的比例关系；由于ｉ轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面（水平面）上旋转一个角度，该角度就是F₁-G连接线与Z轴的夹角，也就是投射角φ，对于主视图、左视图、右视图和后视图四种基本视图的ｉ轴的投射角φ=0；四种基本视图的ｊ轴的方位角β均相间隔90°；实际上主视图、左视图、右视图和后视图的坐标原点均是椭球镜面过焦点中心轴线在相隔90°切面的椭圆焦点直角三角形的点；

这里我们将F₁-G作为变换中心轴，点G点作为变换中心点，用β（投射光线在XY平面上的投影线与X轴的夹角－方位角）、φ以及距离D来表示变换中心轴，β方位角在0°~360°范围内，β方位角用式（6）来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)    （6）

一般来说，距离D越长景物越小，距离D越短景物越大；为了与俯视图的图像尺寸保持一致，距离D的确定要根据实体摄像机的标定结果，使得基本视图之间保持“长对正、高平齐、宽相等”的对应关系；

通过透视投影平面的坐标点P(i,j)求空间三坐标中的P(x,y,z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式（7）来表示：

X＝R*cosβ-i*sinβ    （7）

Y＝R*sinβ+i*cosβ

Z＝D*cosφ-j*sinφ

(R=D*sinφ+j*cosφ)

式中：D为透视投影平面到单目全景立体视觉传感器的焦点F₁的距离，β角是投射光线的方位角，φ角度是投射光线的投射角，i轴是与XY平面平行的横轴，j轴是与i轴和F₁-G轴直角相交的纵轴，i轴与j轴的方向由图3所示；

为了将透视展开所得到的主视图、左视图、右视图和后视图与直接拍摄的被重构物体图像经图像变换后得到的俯视图的尺寸大小一致，以便在三维重构模块中实现“长对正、高平齐、宽相等”的算法，本发明中首先根据传感器的标定结果得到的俯视图的尺寸，然后以俯视图的尺寸为基准确定透视投影平面到单目全景立体视觉传感器的焦点F₁的距离D；通过这样的距离D进行透视展开所得到的主视图、左视图、右视图和后视图与直接拍摄的被重构物体图像经图像变换后得到的俯视图的尺寸具有较好的一致性；这个距离D作为展开重要参数保存在所述的知识库中；

所述的三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形，得到被重构物体外形表面任何点的坐标值；在附图4所示的成像平面上，被重构的物体上某一点P_v的光经椭球镜面的反射角σ与成像平面上的半径值r1成函数关系，通过对摄像机的标定可以建立反射角σ与成像平面上的半径值r1的对应关系，即通过成像平面上的半径值r1可以计算得到反射角σ，然后利用公式（4）计算得到被重构的物体上某一点的光的投射角φ；关于被重构的物体上某一点的光的方位角β可以从附图4上直接获得；

在实体摄像机直接获取的图像部分，如附图4中的点状圆内部分，相当于被重构的物体的顶视图，反映了被重构的物体上某一点在XY平面上的投影，只要对摄像机进行标定，就能直接得到被重构的物体上某一点的XY坐标值，然后根据被重构的物体上某一点的光的投射角φ用公式（5）计算被重构的物体上某一点在Z轴上的投影值，

$Z_P=\sqrt{X_p^2+Y_P^2}\×\tan \mathrm{\φ}---\left(5\right)$

式中，Z_P为被重构的物体上某一点在Z轴上的投影值，X_P为被重构的物体上某一点在X轴上的投影值，Y_P为被重构的物体上某一点在Y轴上的投影值，φ为被重构的物体上某一点的光的投射角；

结果输出模块，用于根据三维重构模块中所得到的重构数据将三维重构后的被重构物体用三维的方式在显示器上表达出来，使用者根据自己的需要通过人机交互模块选择一种被重构物体三维的表达方式；被重构物体三维的表达方式有：1）以主视图、俯视图和左视图为主的表达方式，用户在人机界面上通过拖动的方式选择在被重构物体的某一个方位角β₁作为透视展开主视图的j轴，透视展开左视图的j轴的方位角β₂=β₁-90°，透视展开主视图和透视展开左视图的i轴对应着被重构物体的投射角φ=0处；如果用户还需要右视图、后视图和向视图的输出，通过人机界面上的选择按键，在显示器或者其他输出设备上输出相应视图，当选择向视图输出时，用户需要确定方位角和投射角，通过公式（7）计算得到向视图；2）直接的三维输出，通过三维重构模块得到了被重构物体外形的点云数据，获取的3D点云数据以STL、PLY、VRML和ASC等格式存储，各种常见的CAD/CAM软件都可以处理和显示这些数据；3）不断的变换视角的输出，通过用循环程序不断地改变公式（7）中的方位角β，达到被重构物体沿着中心线旋转输出；

所述的人机交互模块，用于将传感器的标定结果输入到摄像机的内外参数表中，用于选择所述的结果输出模块的输出方式，用于设定所述的图像处理模块中各种阈值，用于调整所述的透视投影图像转换处理中的各种参数。

单目全景立体视觉传感器在使用前必须进行标定，传感器的内部参数的标定包括摄像机镜头投影模型参数、镜头半径方向和切线方向畸变参数、摄像机的焦点距离和图像主点（即光轴与投影面的交点）位置参数；通过摄像机的标定方法和相应的算法计算出所有标定变量(ζ,k1,k2,k3,k4,k5,fu,fv,u0,v0)，其中ζ是关联于单位投影平面的位置，k1,k2,k3,k4,k5是镜头畸变参数，fu,fv,u0,v0是镜头焦距和图像主点位置；关于摄像机的标定算法请参见机器视觉或者计算机视觉中的摄像机标定相关章节；标定物采用类似于魔方的正六方体。

所述的摄像机采用高清CCD成像芯片或者CMOS成像芯片，建议采用500万像素或者以上的成像芯片；

为了避免周围环境光对被重构的物体在三维重构时的干扰，单目全景立体视觉传感器设计成相对封闭形式，如附图6所示，在单目全景立体视觉传感器的摄像机附近配置LED光源，为被重构的物体提供适当的照明光源。

Claims (9)

1.一种以物为中心的单目全景立体视觉传感器，其特征在于：包括用于拍摄被重构物体的视觉检测箱，用于对被重构物体进行图像处理、三维重构和重构结果输出的微处理器；所述的微处理器包括：

图像读取模块，用于从所述的摄像机读取包含有从摄像机直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；传感器标定模块，用于对摄像机的标定、镜头的畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；图像处理模块，用于从一幅图像中分割出直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像，这里采用了全局Ostu算法来进行图像分割，然后根据知识库中保存的传感器的标定结果对从椭球镜面反射的被重构物体图像进行透视投影转换处理，得到水平投影面的俯视图以及主视图、左视图、右视图和后视图四种基本视图；三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形，得到被重构物体外形表面任何点的坐标值；结果输出模块，用于根据三维重构模块中所得到的重构数据将三维重构后的被重构物体用三维的方式输出。

2.如权利要求1所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的视觉检测箱包括：用于从不同视角反射被重构物体外形的椭球镜面，用于固定摄像机和LED光源以及与所述的椭球镜面构成封闭的检测空间的上盖，用于支撑被重构物体的支撑杆，用于拍摄被重构物体外形的摄像机和用于为视觉检测箱提供照明的LED光源；所述的上盖的上部中心处嵌入有所述的摄像机，所述的上盖的上部中心附近处嵌入有所述的LED光源，所述的LED光源倾斜2°角度对准所述的椭球镜面的焦点F₁，所述的上盖与所述的椭球镜面结合处有一个子口以保证这两者之间的尺寸配合，同时也保证了所述的摄像机的针孔处于椭球镜面的另一个共轭焦点F₂，所述的支撑杆支撑着被重构物体使得被重构物体的中心基本上处于所述的椭球镜面的焦点F₁；

所述的椭球镜面，其内部的形状为椭球，用塑料模具压制而成，对其内表面进行镀膜加工；所述的椭球镜面的沿椭球的长轴方向上开有一个孔，孔的直径大小略大于重构物体外形的最大外径尺寸D_max，与孔相配合的有所述的支撑杆，所述的支撑杆能在孔中沿椭球的长轴方向上进行上下移动；椭球的短轴b的长度满足以下关系；

b≥4D_max    （2）

式中，b为椭球镜面的短轴，D_max为被重构的物体的最大外径尺寸；

所述的摄像机的镜头选择采用微焦距，使得被重构的物体成像最清晰同时满足以下关系；

D_m＝(2.5~2.8)D_d    （3）

式中，D_m为在成像平面上通过椭球镜面折反射成像的图像部分的直径，D_d为在成像平面上所述的摄像机直接获取的图像部分的直径，如附图4所示；

根据上述公式（3）基本上确定了椭球镜面的焦距c，利用公式（4）可以求得椭球镜面的长轴和离心率；

$\left\{\begin{array}{c}2a=c+b\\ e=\frac{c}{a}=\frac{\sin (\mathrm{\φ}+\mathrm{\σ})}{(\sin \mathrm{\φ}+\sin \mathrm{\σ})}\end{array}\right.---\left(4\right)$

式中，c为椭球镜面的焦距，a为椭球镜面的长轴，b为椭球镜面的短轴，φ为被重构的物体上某一点的光的投射角，σ为被重构的物体上某一点的光经椭球镜面的反射角；

所述的椭球镜面的深度值h略小于椭球镜面的长轴，即满足h≤a的关系；所述的椭球镜面与所述的上盖结合处开有雌子口。

3.如权利要求1或2所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的上盖的外形为中空圆柱形，中空的孔径与所述的椭球镜面的孔径一致，外径与所述的椭球镜面的外径一致，所述的上盖与所述的椭球镜面的结合处开有雄子口；所述的上盖的高度取决于当所述的上盖与所述的椭球镜面合在一起时所述的摄像机的镜头处于共轭焦点F₂处，该共轭焦点F₂就是以物为中心的单目全景立体视觉传感器的单视点，焦点F₁就是被重构物体的中心点，也是坐标系的原点。

4.如权利要求1或2所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的传感器标定模块中，传感器的内部参数的标定包括摄像机镜头投影模型参数、镜头半径方向和切线方向畸变参数、摄像机的焦点距离和图像主点位置参数；通过摄像机的标定方法和相应的算法计算出所有标定变量(ζ,k1,k2,k3,k4,k5,fu,fv,u0,v0)，其中ζ是关联于单位投影平面的位置，k1,k2,k3,k4,k5是镜头畸变参数，fu,fv,u0,v0是镜头焦距和图像主点位置；关于摄像机的标定算法请参见机器视觉或者计算机视觉相关书籍中的摄像机标定章节；标定物采用类似于魔方的正六方体，标定时将标定物安置在椭球镜面的焦点处。

5.如权利要求1或2所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的图像处理模块中，在从图像获取模块中得到的图像中包含了被重构物体以及支撑杆，本发明中对支撑杆的颜色进行了特别规定，使得被重构物体能非常容易地从背景中完整的分割出来，这里首先对原始图像采用了全局Ostu算法来进行图像分割，得到只包含直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；接着，将直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像进行分割，分别得到两张直接拍摄的被重构物体图像和从椭球镜面反射的被重构物体图像；然后根据知识库中保存的传感器的标定结果对从椭球镜面反射的被重构物体图像进行透视投影图像转换处理，得到主视图、左视图、右视图和后视图四种基本视图，根据知识库中保存的传感器的标定结果对直接拍摄的被重构物体图像进行变化处理，得到水平投影面的俯视图；

所述的透视投影图像转换处理，主要是为了对从椭球镜面反射的被重构物体图像通过透视投影图像转换处理得到主视图、左视图、右视图和后视图四种基本视图以及向视图；

透视投影图像转换处理算法原理如下：从焦点F₁到透视投影坐标原点G引一条距离为D的直线F₁-G，与这条F₁-G相垂直的平面作为透视投影平面，因此透视投影平面是与F₁-G连接线相垂直的平面，将G点作为原点的平面坐标系ｉ，ｊ，其中ｉ轴是与XY平面平行的横轴，ｊ轴是与ｉ轴和F₁-G轴直角相交的纵轴，将从透视投影平面到单目全景立体视觉传感器的焦点F₁的距离作为D，定义透视投影平面的横幅为W，纵幅为H，为了与俯视图的图像尺寸保持一致，透视投影平面的横幅W和纵幅H的确定要根据实体摄像机的标定结果，即每像素代表真实物理空间上多少毫米值，即mm/pixcl，使得透视展开得到的各基本视图与直接拍摄的被重构物体图像进行变化处理后俯视图具有相同的比例关系；由于ｉ轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面上旋转一个角度，该角度就是F₁-G连接线与Z轴的夹角，也就是投射角φ，对于主视图、左视图、右视图和后视图四种基本视图的ｉ轴的投射角φ=0；四种基本视图的ｊ轴的方位角β均相间隔90°；实际上主视图、左视图、右视图和后视图的坐标原点均是椭球镜面过焦点中心轴线在相隔90°切面的椭圆焦点直角三角形的点；

将F₁-G作为变换中心轴，点G点作为变换中心点，用β（投射光线在XY平面上的投影线与X轴的夹角－方位角）、φ以及距离D来表示变换中心轴，β方位角在0°~360°范围内，β方位角用式（6）来表示：

（6）

β=tan^-1(Y/X)=tan^-1(y/x)

透视投影平面到单目全景立体视觉传感器的焦点F₁的距离D越长景物越小，距离D越短景物越大；为了与俯视图的图像尺寸保持一致，距离D的确定要根据实体摄像机的标定结果，使得基本视图之间保持“长对正、高平齐、宽相等”的对应关系；

通过透视投影平面的坐标点P(i,j)求空间三坐标中的P(x,y,z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式（7）来表示：

X=R*cosβ-i*sinβ          （7）

Y=R*sinβ+i*cosβ

Z=D*cosφ-j*sinφ

R=D*sinφ+j*cosφ

式中：D为透视投影平面到单目全景立体视觉传感器的焦点F₁的距离，β角是投射光线的方位角，φ角度是投射光线的投射角，i轴是与XY平面平行的横轴，j轴是与i轴和F₁-G轴直角相交的纵轴。

6.如权利要求或所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的透视投影图像转换处理过程为：首先根据传感器的标定结果得到的俯视图的尺寸，然后以俯视图的尺寸为基准确定透视投影平面到单目全景立体视觉传感器的焦点F₁的距离D；通过这样的距离D进行透视展开所得到的主视图、左视图、右视图和后视图与直接拍摄的被重构物体图像经图像变换后得到的俯视图的尺寸具有较好的一致性；这个距离D作为展开重要参数保存在所述的知识库中。

7.如权利要求1或2所述的以物为中心的单目全景立体视觉传感器及三维重构方法，其特征在于：所述的三维重构模块，用于依据基本视图之间的“长对正、高平齐、宽相等”的对应关系重构出被重构物体的真实外形，得到被重构物体外形表面任何点的坐标值；在成像平面上，被重构的物体上某一点P_v的光经椭球镜面的反射角σ与成像平面上的半径值r1成函数关系，通过对摄像机的标定可以建立反射角σ与成像平面上的半径值r1的对应关系，即通过成像平面上的半径值r1可以计算得到反射角σ，然后利用公式（4）计算得到被重构的物体上某一点的光的投射角φ；关于被重构的物体上某一点的光的方位角β从成像平面上直接获得；

在实体摄像机直接获取的图像部分，相当于被重构的物体的顶视图，反映了被重构的物体上某一点在XY平面上的投影，只要对摄像机进行标定，就能直接得到被重构的物体上某一点的XY坐标值，然后根据被重构的物体上某一点的光的投射角φ用公式（5）计算被重构的物体上某一点在Z轴上的投影值，

$Z_P=\sqrt{X_p^2+Y_P^2}\×\tan \mathrm{\φ}---\left(5\right)$

式中，Z_P为被重构的物体上某一点在Z轴上的投影值，X_P为被重构的物体上某一点在X轴上的投影值，Y_P为被重构的物体上某一点在Y轴上的投影值，φ为被重构的物体上某一点的光的投射角。

8.如权利要求1或2所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的结果输出模块中，根据三维重构模块中所得到的重构数据将三维重构后的被重构物体用三维的方式在显示器上表达出来，使用者根据自己的需要通过人机交互模块选择一种被重构物体三维的表达方式；被重构物体三维的表达方式有：1）以主视图、俯视图和左视图为主的表达方式，用户在人机界面上通过拖动的方式选择在被重构物体的某一个方位角β₁作为透视展开主视图的j轴，透视展开左视图的j轴的方位角β₂=β₁-90°，透视展开主视图和透视展开左视图的i轴对应着被重构物体的投射角φ=0处；如果用户还需要右视图、后视图和向视图的输出，通过人机界面上的选择按键，在显示器或者其他输出设备上输出相应视图，当选择向视图输出时，用户需要确定方位角和投射角，通过公式（7）计算得到向视图；2）直接的三维输出，通过三维重构模块得到了被重构物体外形的点云数据，获取的3D点云数据以STL、PLY、VRML和ASC等格式存储，各种常见的CAD/CAM软件都可以处理和显示这些数据；3）不断的变换视角的输出，通过用循环程序不断地改变公式（7）中的方位角β，达到被重构物体沿着中心线旋转输出。

9.如权利要求1或2所述的以物为中心的单目全景立体视觉传感器，其特征在于：所述的人机交互模块，用于将传感器的标定结果输入到摄像机的内外参数表中，用于选择所述的结果输出模块的输出方式，用于设定所述的图像处理模块中各种阈值，用于调整所述的透视投影图像转换处理中的各种参数。

Images