CN103971404B - 一种高性价比的3d实景复制装置 - Google Patents

Abstract

高性价比的3D实景复制装置，包括用于拍摄被重构物体的单目多视角立体视觉传感器，用于对被重构物体进行图像处理和3D实景复制的微处理器；单目多视角立体视觉传感器包括：斗型镜腔、外壳、载物台、高清摄像机和半球形LED光源；所述的微处理器包括：用于读取包含5个不同视角的被重构物体图像的图像读取模块，用于从5个不同视角的图像中分割出被重构物体前景并利用传感器的标定结果对不同视角图像进行旋转变换及畸变校正的图像处理模块，用于将各视图中被重构物体的图像亮度均匀化的图像增强模块，用于提取被重构物体表面点的真实三维坐标值及颜色值的三维点云获取模块，用于将点云数据进行三维重构的点云重构模块。

Description

一种高性价比的3D实景复制装置

（一）技术领域

本发明属于立体成像技术、光学技术和计算机视觉技术在三维重构方面的应用。

（二）背景技术

基于计算机视觉的空间三维信息获取与立体重构技术，是一门极具发展潜力和实用价值的应用技术。随着信息技术研究的深入及数字地球、数字城市、虚拟现实等概念的出现，反向工程技术、实景复制技术的发展推动着测绘技术由二维平面向三维立体，由模拟测绘向数字测绘的演进。尤其是3D打印机的出现，迫切需要一种与其配套的3D实景复制技术。3D实景复制技术的核心是对被重构物体的三维重建。三维重建是要研究三维空间位置与二维图像对应点的坐标间的定量关系。实景复制技术是从复杂实体或实景中重建目标的全景三维数据及模型的一种三维重建技术，它可以被广泛的应用于工业、医学、安防、考古及游戏等领域。

三维重建技术包括了三维测量与立体重构。就目前而言，三维测量技术被分为两大类：接触式测量与非接触式测量。接触式测量的原理是利用探针接触被重构物体表面来获取其三维坐标数据，典型的代表有坐标测量机、接触式影像测量仪等等，这种测量技术虽然对被重构物体表面三维坐标测量精度很高，但本身存在着很多缺点：1.由于收到扫描速度与机械运动的限制，其测量速度慢且测量前需要进行路径规划；2.对软质材料测量效果不好，对一些边缘、尖角等区域也无法测量；3.测量仪器复杂，对环境要求高，必须防震，防尘，恒温等；4.价格昂贵。

作为非接触式三维测量技术，又可以分成光学式与非光学式两大类。随着计算机视觉与数字图像检测这一新兴学科的兴起与发展，近年来对物体表面的三维测量技术的研究集中于非接触式的光学三维测量方面。其中，研究最多、应用最广的便是双目立体视觉的三维测量与立体重构技术。双目立体视觉的测量原理是：从两个视点观察同一景物，获取被重构物体在不同视角下的图像，通过三角测量的方法将匹配点的视差信息转换为深度信息。一般的，基于双目立体视觉的三维重建分为以下几个步骤：

1）图像的获取，由不同位置的多台(包括两台)摄像机或者一台摄像机移动或旋转拍摄同一景物，获得立体图像对。

2）摄像机标定，通常先对单摄像机进行标定，分别获得每台摄像机的内外参数；再通过同一世界坐标系中的一组或多组标定点来建立两个摄像机之间的位置关系。

3）特征提取与匹配，提取图像对中被重构物体表面的特征点并对其进行匹配，一般的，特征点的选取需要满足以下要求：具有足够的鲁棒性和一致性，不会因为视角、光线等外界因素的变化而改变；具有足够明显的特征可以被摄像机检测到。

4）立体图像匹配，根据匹配基元的不同，可以分为区域匹配、特征匹配和相位匹配，通过立体图像匹配可以计算出视差图。

5）三维重建，利用视差计算点的深度值，获得图像对中所有前景的深度点云，对点云进行插值或网格化就可以得到物体的三维模型。

从上面这五个步骤依次分析整个三维重建过程的实现难度：首先是图像获取，图像获取的方式有两种，一是采用多台摄像机拍摄同一景物获得图像对；二是采用单个摄像机平移或旋转拍摄同一景物获得图像对。前者需要保证多台摄像机具有相同的角距和内部参数，且光轴互相平行，后者则需摄像机每次旋转角度或平移的距离能保持一致。在一般情况下，上述条件都很难严格满足，因而这也制约了三维重建的精度。其次是摄像机标定，在多摄像机标定中，需要得到精确的外部参数。由于结构配置上的误差，多台摄像机的距离和视角受到限制，一般需要6个以上的已知世界坐标点才能得到比较满意的参数矩阵。因此，整个标定过程不但复杂，而且标定结果并不一定理想。此外，多摄像机的标定还需考虑镜头的非线性校正、测量范围等问题。然后是特征提取与立体图像匹配，关于图像对的特征匹配主要存在以下两个问题：一是对于一些形状规则，表面纹理均匀的被重构物体很难提取理想的特征点；二是无论那种匹配算法都需要耗费很多的计算资源。最后是三维重建，对被测景物表面的任意点，它的世界坐标是通过该点在两幅图像中的对应坐标和两摄像机的参数矩阵联合计算得到的，其计算量大且受标定误差与匹配误差影响较大。

一种理想的立体视觉系统希望拍摄的硬件装置简单可靠、成本低廉，进行三维重构的软件算法准确率高、实时性强和计算量小。

（三）发明内容

为了克服已有三维重构技术中存在的实时性差、计算复杂度高、硬件成本高、维护和使用困难等不足，本发明提供一种实时性好、计算简单、硬件成本低廉、便于维护和使用的3D实景复制技术。

本发明解决其技术问题所采用的技术方案是：

一种高性价比的3D实景复制技术，其核心是能高效、快速、准确、简单地重构出被重构物体的三维立体大小、形状及纹理。本发明首先利用了机械制图中视图中长对正，高平齐，宽相等的几何投影原理，利用这种几何关系作为实现对被重构物体的三维测量与重构时的几何约束条件；但是这里要注意到利用长对正，高平齐，宽相等的几何投影原理只是在投影视图情况下才能满足三维几何约束条件，而在非投影视图情况下只能提供二维几何约束条件。

因此，如何简单高效准确地获得从不同视角方向的视图是本发明的一个关键技术。首先本发明提出了一种以物为中心的单目多视角立体视觉传感器来获取被重构物体的俯视图、主视图、左视图、后视图以及右视图，如附图1所示；所述的单目多视角立体视觉传感器由1个高清摄像机和1个平面镜斗型腔构成，通过高清摄像机的一次成像来获取被重构物体在5个不同视角上的图像。所述的平面镜斗型腔由尺寸相同的4面等腰梯形镜面组成，镜腔呈上大下小且镜面朝向腔体内侧，同时，腔体的中轴线重合于摄像机的主光轴。高清摄像机放置于平面镜腔正上方，镜头的入射光线由腔体内的直射光线和镜面反射光线组成。其中，通过腔体的直射光线投射在摄像机成像平面的中央区域，通过镜面反射的光线投射在摄像机成像平面的周边区域，根据镜面的折反射原理就可以得到被重构物体多个视角的影像。所述的单目多视角立体视觉传感器中共有5个不同的透视投影点，分别为真实摄像机的透视投影点以及4个平面镜中虚拟摄像机的透视投影点，成像的图像分别对应于俯视图、主视图、左视图、后视图以及右视图。因此，从成像的效果来说，所述的单目多视角立体视觉传感器相当于配置了5台内部参数和颜色系统严格一致的高清摄像机。各个摄像机，包括真实摄像机和4个虚拟摄像机，它们坐标系之间的空间位置保持固定不变，并且两两之间成90°关系。

在从不同视角分别获得俯视图、主视图、左视图、后视图以及右视图后，下一步工作是如何从各视图中分割出被重构物体图像；由于主视图、左视图、后视图以及右视图是通过折反射原理最终在真实摄像机成像的，与俯视图不同是直接透视成像的。因此，首先要对主视图、左视图、后视图以及右视图进行180°的旋转变换，旋转变换后的各视图符合透视成像原理；接着对旋转变换后的各视图进行阈值分割，分割出从不同特定视角情况下获得的被重构物体表面形状；最后要对不同特定视角情况下获得的被重构物体表面形状进行三维测量；要强调的是这里所述的不同特定视角是指俯视图、主视图、左视图、后视图以及右视图；

本发明中将世界坐标系的坐标原点设置在5个摄像机的光轴线的交点处，本发明将世界坐标系的Z轴与真实摄像机的光轴重合，X轴和Y轴与4个虚拟摄像机中的2个虚拟摄像机的光轴重合；通过这样的设置就决定了被重构物体在俯视图、主视图、左视图、后视图以及右视图的成像范围；为了准确地对被重构物体表面形状进行三维测量及三维重构，需要对所述的单目多视角立体视觉传感器进行标定；

进一步，下面的问题是如何准确地从各不同特定视角的视图中分割出被重构物体边缘形状，图像进行分割和边界轮廓线的提取是三维重建的基础，它将直接影响到三维重建后模型的精确性；这里采用了全局Ostu算法对5幅图像进行分割，在提取被重构物体前景后，还需要对所有视角的被重构物体图像进行归一化处理。由于真实摄像机与虚拟摄像机拍摄距离不同，俯视图与其它视角的图像会存在大小上的差别，因此需要调整各不同特定视角的视图中的被重构物体的大小、位置及方向，使其满足基本视图之间长对正、高平齐、宽相等的对应关系；

由于左、主、右、后视图中的被重构物体是通过折反射成像的，被重构物体的图像的亮度受到镜面反射率的影响会有一些衰减，另外照明光源在俯视图中的照射强度要大于其他视图中的照射强；因此，需要调整左、主、右、后视图中被重构物体图像的亮度，使得调整后的亮度与直接成像的俯视图一致；采用彩色图像增强的方式对左、主、右、后视图的图像分别进行处理；首先，用公式（1）将左、主、右、后视图的图像转换到HSI颜色空间上，

式中，R,G,B分别为左、主、右、后视图的图像在RGB颜色空间上的分量，H、S、I分别为左、主、右、后视图的图像在HSI颜色空间上的分量，然后，根据镜面制造商提供的镜面反射率并考虑照明光源在不同视角上的照明强度，用公式（2）对亮度分量进行调整，

I'=I×ΔI （2）

式中，ΔI为大于1的亮度调整系数，I'为亮度调整后的亮度分量；然后用公式（3）将亮度增强后的左、主、右、后视图的图像再变换到RGB颜色空间上，使得各视图上的被重构物体图像具有相同的颜色纹理特性；

公式（3）计算出来的r、g、b是归一化的RGB颜色空间的颜色分量，要转换成标准的RGB颜色空间还需要对r、g、b的值乘上255，得到亮度增强后R',G',B'值；

近年来，基于采样点元的表面几何建模与绘制的方法，在计算机图形学领域内受到越来越多的关注；基于点的几何表达和处理无需维护其表面的全局一致的拓扑结构，而显得特别灵活和简单；鉴于上述因素，本发明采用采样点元的表面几何建模方式对被重构物体进行三维重建；具体做法是根据5个不同视角，即从俯视图、主视图、左视图、后视图以及右视图中读取被重构物体上各物点的空间信息，利用各视图之间满足长对正，高平齐，宽相等的空间约束条件来限定被重构物体上的表面体素几何位置；

由于被重构物体在一个视图上的投影只反映它的二维信息，故在一个视图中无法完整确定被重构的物体形状。而被重构物体在两个互相垂直的视图上的投影已能反映它的三维信息，一般情况下也可以确定被重构物体的三维形状。但若被重构物体的某一面与这两视图平面均垂直则会导致遮挡现象发生，在这种情况下通常需要补充第三个视图投影才能完整反映被重构物体的三维形状。在机械制图中常用三个互相垂直的平面组成物体的投影体系；

在机械制图中视图分为基本视图、向视图、局部视图和斜视图。物体向六个基本投影面投影所得到的视图称为基本视图，分别为主视图、俯视图、左视图、右视图、仰视图、后视图。自前方投射得到的投影为主视图，主视图中包含了正前方视角中物体外观的长度和高度信息；自上方投射得到的投影为俯视图，俯视图中包含了物体外观的长度和宽度信息；自左侧投射得到的投影为左视图，左视图中包含了左侧视角中物体外观的长度和高度信息；自右侧投射得到的投影为右视图，右视图中包含了右侧视角中物体外观的长度和高度信息；自下方投射得到的投影为仰视图，仰视图中包含了仰视视角中物体外观的长度和宽度信息；自后方投射得到的投影为后视图，后视图中包含了后方视角中物体外观的长度和高度信息；基本视图之间保持长对正、高平齐、宽相等的对应关系，这是本发明中获取被重构物体表面物点信息，即点云数据，并以此进行三维重建的基本前提；

被重构物体表面所有物点带有色彩信息的点云数据用高斯球面坐标来表达的话，为(α,β,r,R,G,B)，高斯球面坐标系的原点设置在5个摄像机的光轴线的交点处为O，世界坐标系的Z轴与真实摄像机的光轴重合，X轴和Y轴与4个虚拟摄像机中的2个虚拟摄像机的光轴重合；某物点A在笛卡尔坐标系的空间坐标为(x,y,z)，A点到坐标原点O的距离为r，A点到坐标原点O的连线与Z轴之间的夹角为入射角β，A点到坐标原点O的连线在XY平面上的投影线与X轴之间的夹角为方位角α，R,G,B分别为物点A在RGB颜色空间上的分量值，这里用公式（3）中计算得到的R',G',B'进行赋值；

进一步，说明被重构物体表面上所有点的云数据的获取方法。假设被重构物体表面某一物点A的空间坐标为(x,y,z)，如附图3所示；那么空间点A在XOY平面上的投影点A1必然是俯视图中的坐标点(x,y)，如附图4所示；在XOZ平面上的投影点A2必然是主视图中的坐标点(x,z)，如附图5所示；在YOZ平面上的投影点A3必然是侧视图中的坐标点(y,z)，如附图6所示；根据上述约束条件，通过高斯球面坐标情况下遍历的方式，以入射角β、方位角α和距离r为变量遍历整个被重构物体的表面，获得被重构物体的表面各物点的点云数据；

遍历整个被重构物体表面时，首先要建立高斯坐标系，坐标系的原点设定在5个摄像机的光轴线的交点处，主视图和后视图中为XOZ平面，左视图和右视图中为YOZ平面，俯视图中为XOY平面，以XOZ平面和YOZ平面将被重构物体切分为四个体，即以方位角α相隔90°进行切分；进行这样切分后得到在不同方位角α情况下遍历视图的范围，如表1所示；

表1方位角α的范围与遍历的视图范围的关系

在各视图上被重构物体表面的某些边缘信息是直接通过边缘检测算法得到的，如方位角α在0°、90°、180°和270°特殊情况下能直接计算得到被重构物体表面的边缘信息；但是在除上述角度之外的情况下是不能直接获得某一方位角情况下的边缘信息，这就需要在遍历整个被重构物体的表面过程中实现一个非特殊情况下查找表面体素的算法；在实现查找表面体素的算法时为了说明更简洁，这里将根据空间上的一个点与被重构物体关系分为三种情况，内部点表示空间上的一个点在被重构物体的内部，外部点表示空间上的一个点不在被重构物体的内部和边缘，边缘点表示空间上的一个点正好在被重构物体的表面；这些点我们将其称为体素，我们的目标是在遍历方位角和入射角时求出在该方位角和入射角情况下待重建物体表面穿过的体素，如附图8所示；

本发明中使用离散的体素来表示被重构物体的几何信息，通过对方位角和入射角均匀切割使得整个被重构物体被均匀地剖分为一系列的小立方体空间，根据长对正、高平齐、宽相等的原则限定了待重建物体表面体素的二维几何范围，在估算出某入射角β和某方位角α情况下的最长估算距离R_e-out和最短估算距离R_e-in后形成一个可视化外壳的小立方体空间，这里将其称为最小包围盒。最小包围盒的大小为Δβ×Δα×(R_e-out-R_e-in)，这时唯一需要确定是在最长估算距离R_e-out和最短估算距离R_e-in之间待重建物体表面穿过的体素。因此，问题的关键是在最长估算距离R_e-out和最短估算距离R_e-in之间的范围内如何高效准确地检测出待重建物体表面穿过的体素，这里采用了空间雕刻算法，其核心在于颜色一致性这个评价参数。颜色一致性约束是大多数体素着色算法中极为关键的一步，颜色一致性原则认为若一个体素属于被重构物体表面，则该体素在所有对其可见图像投影内的像素颜色应是相同的。

颜色一致性通过比较体素投影像素集的颜色方差和阈值来进行判断，设Pro(v)为体素v反投影在K幅相关视图上的像素集，Con(v)为Pro(v)的颜色一致性函数，λ为给定的阈值；设v在视图m上投影像素的RGB三通道分别表示为（R_m,G_m,B_m），m∈{1,2,...,K}；颜色方差用公式（9）进行计算；

用公式（10）计算体素v的颜色一致性；

Con(v)=σ-λ （10）

如果Con(v)<0，则判断为投影像素集满足颜色一致性，该体素为被重构物体表面体素；

遍历算法的具体步骤如下：

STEP1：建立高斯坐标系，用表1所示的方法对被重构物体进行切分；

STEP2：对入射角β、方位角α进行初始化；设置方位角α=0;入射角β=-90；Δα=0.1；Δβ=0.1；

STEP3：根据方位角α用表1确定遍历的视图范围；

STEP4：用公式（4）和公式（5）分别估算出在某入射角β和某方位角α情况下的最长估算距离R_e-out和最短估算距离R_e-in；

式中，x_e、y_e、z_e是由表1确定遍历的视图范围中的图像通过边缘检测所得到的在遍历值入射角β和方位角α情况下坐标值；得到被重构物体表面体素的包围盒Δβ×Δα×(R_e-out-R_e-in)；

STEP5：从最短估算距离R_e-in开始遍历查找被重构物体表面体素ve，被重构物体表面体素v_e的判断方式由公式（10）进行颜色一致性检测，若通过颜色一致性检测，则将其作为被重构物体表面的体素v_e；若遍历过程中包围盒内所有体素都没有满足公式（10）进行颜色一致性检测，将公式（10）中计算的最小值作为被重构物体表面体素v_e候补；将计算公式（9）时像素集的颜色平均值赋于该体素，同时得到该体素到坐标原点的距离值r；

STEP6：用公式（6）计算在r下的(x,y,z)值；

计算得到该物点的点云数据，保存该点云数据；

STEP7：计算β←β+Δβ，判断β>90，如果满足跳转到STEP4；

STEP8：计算α←α+Δα，判断α<360，如果满足，β=-90;跳转到STEP3；

STEP9：结束。

上述遍历的过程属于海量的点采样，目前基于点模式的三维重构技术的代表技术是PCL点云库；为了对点云数据进行高效建模和输出，这里采用了PCL点云库来对获取的点云数据进行处理和建模；PCL点云库中实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等；由于本发明中产生的点云数据是通过遍历方式获得的数据，属于有序点云数据；这里以PCL点云库的PCD文件格式要求组织、整理和存储遍历过程中产生的有序点云数据；下面的文档是PCD文件的一个片段；

#.PCD v.7-Point Cloud Data file format

VERSION.7 #版本v.7

FIELDS x y z rgb #指定了点带有XYZ+colors

SIZE4444 #用4bytes表示每一个维度的大小

TYPE FFFF #表示浮点类型

COUNT1111 #每一个维度包含的元素数目（默认情况）

WIDTH1000 #每行有1000个点

HEIGHT80 #每列有80个点

VIEWPOINT #0001000默认值

POINTS80000 #这样该数据集中共有80×1000=80000个点

DATA ascii #数据类型ascii

0.937730.3376304.2108e+06 #第一个点云数据的x y z rgb的值

0.908050.3564104.2108e+06 #第二个点云数据的x y z rgb的值

……

为了让规则化的点云数据能快速实现三维全景重构，最简单的方法是让输出点云的尺寸大小与规则化的点云间隔大小相吻合，即通过控制点云的显示大小能填补斜角相邻点云间的空隙；点云的颜色由其自身的RGB颜色进行设定；最后利用PCL中的visualization模块将处理后的点云显示。

本发明的有益效果主要表现在：1)采用一个高清摄像头以及4个平面反射镜同时获取来自5个不同视角的被重构物体图像，不仅降低了三维重建的成本，同时也解决了多摄像机共同拍摄时内部参数不统一的问题，5个不同视角的被重构物体图像都具有严格一致的颜色系统，为基于颜色一致性的重构提供了坚实的硬件基础；2)利用基本视图之间的严格几何关系，增加了被重构物体的侧影轮廓的约束，极大地简化了三维重建的复杂度；3）采用了基于点模式的三维重构技术，为3D实景的快速复制提供了一种新的解决方案。

（四）附图说明

图1为一种以物为中心的单目多视角立体视觉传感器的设计原理图，其中1为装置外壳，2为半球形白色LED光源，3为真实高清摄像机，4为真实高清摄像机的投影区域，5为虚拟摄像机Ⅰ的投影点，6为镜面Ⅰ，7为被重构物体，8为镜面Ⅱ，9为虚拟摄像机Ⅱ的投影点；

图2为以物为中心的单目多视角立体视觉传感器中折反射镜面的设计原理图，其中3为真实高清摄像机，11为等腰梯形镜面，12为虚拟摄像机，13为载物台，14为被重构物体；

图3为被重构物体在世界坐标系中的位置示意图；

图4为被重构物体的俯视图；

图5为被重构物体的主视图；

图6为被重构物体的右视图；

图7为3D实景复制处理流程；

图8为被重构物体的表面体素与内部和外部体素间的关系说明。

（五）具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～7，一种高性价比的3D实景复制装置，包括用于拍摄被重构物体的单目多视角立体视觉传感器，用于对被重构物体进行图像处理和3D复制的微处理器。

所述的单目多视角立体视觉传感器包括：用于从不同视角反射被重构物体外形的斗型镜腔，用于固定摄像机和LED光源以及密闭整个检测空间的装置外壳，用于放置被重构物体的载物台，用于拍摄被重构物体外形的高清摄像机，用于为装置提供照明的白色半球形LED光源；所述的斗型镜腔由4面尺寸相同的等腰梯形镜面构成，镜腔呈上大下小且镜面朝向腔体内侧，同时，腔体的中轴线重合于摄像机的主光轴；所述的装置外壳上部中心处用于固定所述高清摄像机与LED光源，底部用于固定所述斗型镜腔；所述的白色半球形LED光源由环状LED点光源和粗糙半球形内壁构成，从LED点光源发出的光线经过半球形内壁反射后照射到被重构物体表面，从而保证了被重构物体表面均匀的受光；

所述的单目多视角立体视觉传感器的设计如图1所示，由于高清摄像机放置于平面镜腔正上方，镜头的入射光线由腔体内的直射光线和镜面反射光线组成；其中，通过腔体的直射光线投射在摄像机成像平面的中央区域，通过镜面反射的光线投射在摄像机成像平面的周边区域，根据镜面的折反射原理就可以得到被重构物体多个视角的影像；所述的传感器中存在5个不同的透视投影点，分别为真实摄像机的透视投影点以及4个折反射平面镜中虚拟摄像机的透视投影点；因此，所述的传感器相当于配置了5台内部参数和颜色系统严格一致的高清摄像机，且各个摄像机之间的空间相对位置保持固定不变；

所述斗型镜腔的设计原理如附图2所示，为了保证能同时在一个高清摄像机中准确获得被重构物体的主视图、左视图、后视图及右视图，所述单目多视角立体视觉传感器中4个虚拟摄像机的透视投影点位置都必须保持水平一致，而虚拟摄像机的透视投影点位置主要跟斗型镜腔的敞角有关；通过对附图2的成像过程作进一步分析，得到斗型镜腔的设计原则；首先在附图2中定义以下几个参数：真实高清摄像机的中心点为C，虚拟摄像机的中心点为D，被重构物体中心为E，直线DE与镜面的交点为F，直线CD与镜面延长线的交点为G，∠CFE为γ，∠CFG为η，∠GFD为θ，线段CE，即物距的长为h，线段EF的长为l；根据镜面的折反射原理，真实高清摄像机到镜面的距离与虚拟摄像机到镜面的距离相等，即直线FG为线段CD的中垂线，因此有η=θ；当虚拟摄像机位于水平位置拍摄时，有直线DE垂直于直线CE，因此可以得到公式（7）的关系式：

tanγ=h/l(7)

利用式(7)与前面得到的η=θ进而可以求出：

从附图2的几何关系可以知道，θ即为镜面的敞角；设计时当高清摄像机拍摄的物距和被重构物体到平面镜的距离确定后，根据式(8)来设计斗型镜腔的敞角；

为了减少外界环境对被重构物体前景提取的干扰，所述的载物台表面及装置外壳的内壁均采用黑色无镜面反射材料制作；在三维重构物体时将被重构物体放置在载物台上，真实高清摄像机抓拍图像，在该抓拍的图像中包括了高清摄像机直接透视成像俯视图，同时也包括了从四周通过虚拟摄像机折反射成像的主视图、左视图、后视图及右视图；根据高清摄像机拍摄范围，被重构物体的最大直径不能超过所述载物台的直径，这样能保证在各个视图中被重构物体的图像完整性；

所述的微处理器包括：

图像读取模块，用于从所述的高清摄像机中读取包含5个不同视角的被重构物体图像；传感器标定模块，用于对高清摄像机进行标定以及镜头的畸变校正；图像处理模块，用于从5个不同视角的图像中分割出被重构物体前景并利用传感器的标定结果对不同视角图像进行旋转变换及畸变校正，得到被重构物体的俯视图、主视图、左视图、后视图及右视图五种基本视图；图像增强模块，用于对主视图、左视图、后视图及右视图中由于折反射成像及照明不充分的像素进行亮度分量进行调整，使得各视图中被重构物体的图像亮度均匀化；三维点云获取模块，依据基本视图之间的长对正、高平齐、宽相等原则对被重构物体表面点的区域进行几何约束，然后以颜色一致性准则判定被重构物体表面的体素，并以该体素的真实三维坐标值及颜色值按照3D重构的数据格式要求保存点云数据；点云重构模块，用于将在所述的三维点云获取模块中获取的点云数据进行三维重构，实现被重构物体的三维实景复制；

下面用附图7中所示的流程图来说明被重构物体的三维实景复制处理流程；

首先将被重构物体放置入载物台上，接着开始进行三维重构，所述的微处理器从所述的微处理器中存储单元中读取所述的单目多视角立体视觉传感器的标定结果参数，接着利用图像读取模块读取所述的高清摄像机所抓拍的图像；

然后，利用图像处理模块中的全局Ostu算法对5幅从不同视角的图像进行分割，在提取被重构物体前景后，利用标定结果参数对所有视角的被重构物体图像进行归一化处理，归一化处理中采用了大小变换、平移变换、旋转变换及畸变校正算法，使得5幅从不同视角的图像符合基本视图之间的长对正、高平齐、宽相等原则；

进一步，利用图像增强模块调整左、主、右、后视图中被重构物体图像的亮度，使得调整后的亮度与直接成像的俯视图一致，具体采用彩色图像增强的方式用公式（1）、公式（2）和公式（3）对左、主、右、后视图的图像分别进行处理，使得各视图中被重构物体的图像亮度均匀化；

更进一步，为了遍历整个被重构物体的表面，首先建立高斯坐标系，坐标系的原点设定在5个摄像机的光轴线的交点处，主视图和后视图中为XOZ平面，左视图和右视图中为YOZ平面，俯视图中为XOY平面，以XOZ平面和YOZ平面将被重构物体切分为四个体，即以方位角α相隔90°进行切分；进行这样切分后得到在不同方位角α情况下遍历视图的范围，如表1所示；

表1方位角α的范围与遍历的视图范围的关系

在建立高斯坐标系后，每个视图中的被重构物体的边缘点是在XOY平面、YOZ平面和XOZ平面上的投影点，是方位角α在0°、90°、180°和270°特殊情况下直接用边缘检测可以计算得到被重构物体表面的边缘信息；但是在除上述方位角α角度之外的情况下是不能直接获得某一方位角情况下的边缘信息，这就需要在遍历整个被重构物体的表面过程中实现一个非特殊情况下查找被重构物体的表面体素的算法；在实现查找表面体素的算法时为了说明更简洁，这里将根据空间上的一个点与被重构物体关系分为三种情况，内部点表示空间上的一个点在被重构物体的内部，外部点表示空间上的一个点不在被重构物体的内部和边缘，边缘点表示空间上的一个点正好在被重构物体的表面；这些点这里将其称为体素，我们的目标是在遍历方位角和入射角时求出在该方位角和入射角情况下待重建物体表面穿过的体素，如附图8所示；

本发明中使用离散的体素来表示被重构物体的几何信息，通过对方位角和入射角均匀切割使得整个被重构物体被均匀地剖分为一系列的小立方体空间，根据长对正、高平齐、宽相等的原则限定了待重建物体表面体素的二维几何范围，在估算出在某入射角β和某方位角α情况下的最长估算距离R_e-out和最短估算距离R_e-in这样就形成一个可视化外壳法的小立方体空间，这里将其称为最小包围盒；最小包围盒的大小为Δβ×Δα×(R_e-out-R_e-in)，这时唯一需要确定是在最长估算距离R_e-out和最短估算距离R_e-in之间待重建物体表面穿过的体素；因此，问题的关键是在最长估算距离R_e-out和最短估算距离R_e-in之间如何高效准确地检测出待重建物体表面穿过的体素；这里采用了空间雕刻算法，其核心在于颜色一致性这个评价参数，颜色一致性约束是大多数体素着色算法中极为关键的一步，颜色一致性原则认为若一个体素属于被重构物体表面，则该体素在所有对其可见图像投影内的像素颜色应是相同的；

颜色一致性通过比较体素投影像素集的颜色方差和阈值来进行判断，设Pro(v)为体素v反投影在K幅相关视图上的像素集，Con(v)为Pro(v)的颜色性一致性函数，λ为给定的阈值；设v在视图m上投影像素的RGB三通道分别表示为（R_m,G_m,B_m），m∈{1,2,...,K}；颜色方差用公式（9）进行计算；

用公式（10）计算体素v的颜色一致性；

Con(v)=σ-λ （10）

如果Con(v)<0，则判断为投影像素集满足颜色一致性，该体素为被重构物体表面体素；

遍历算法的具体步骤如下：

STEP1：建立高斯坐标系，用表1所示的方法对被重构物体进行切分；

STEP2：对入射角β、方位角α进行初始化；设置方位角α=0;入射角β=-90；Δα=0.1；Δβ=0.1；

STEP3：根据方位角α用表1确定遍历的视图范围；

STEP4：用公式（4）和公式（5）分别估算出在某入射角β和某方位角α情况下的最长估算距离R_e-out和最短估算距离R_e-in；

式中，x_e、y_e、z_e是由表1确定遍历的视图范围中的图像通过边缘检测所得到的在遍历值入射角β和方位角α情况下坐标值；得到被重构物体表面体素的包围盒Δβ×Δα×(R_e-out-R_e-in)；

STEP5：从最短估算距离R_e-in开始遍历查找被重构物体表面体素v_e，被重构物体表面体素v_e的判断方式由公式（10）进行颜色一致性检测，若通过颜色一致性检测；若遍历过程中包围盒内所有体素都没有满足公式（10）进行颜色一致性检测，将公式（10）中计算的最小值作为被重构物体表面体素v_e候补；将计算公式（9）时像素集的颜色平均值赋于该体素，同时得到该体素到坐标原点的距离值r；

STEP6：用公式（6）计算在r下的(x,y,z)值；

计算得到该物点的点云数据，保存该点云数据；

STEP7：计算β←β+Δβ，判断β>90，如果满足跳转到STEP4；

STEP8：计算α←α+Δα，判断α<360，如果满足，β=-90;跳转到STEP3；

STEP9：结束。

本发明中采用逐步改变入射角β和方位角α的方式来遍历整个被重构物体的表面，在遍历前对入射角β和方位角α进行初始化，入射角β遍历范围从-90°～90°，方位角α遍历范围从0°～360°；最长估算距离R_e-out和最短估算距离R_e-in是从相应视图中的边缘信息x_e、y_e、z_e1算得到的，如附图4、附图5和附图6所示；

接着，判断是否已经遍历了所有的入射角β和方位角α，如果全部遍历整个被重构物体的表面，程序根据上述处理得到的一系列点云数据及PCD头文件格式要求自动生成一个PCD文件，该PCD文件在PCL点云库中有详细的规定；

更进一步，所述的点云重构模块，用于将在所述的三维点云获取模块中获取的点云数据进行三维重构，实现被重构物体的三维实景复制；具体做法是通过调用PCL中的visualization模块将处理后的点云数据进行显示或者根据三维打印输出设备输出的数据要求输出相应数据。

Claims (6)

1.一种高性价比的3D实景复制装置，其特征在于：包括用于拍摄被重构物体的单目多视角立体视觉传感器，用于对被重构物体进行图像处理和3D复制的微处理器；所述的微处理器还包括：

图像读取模块，用于从所述的视觉传感器中读取包含5个不同视角的被重构物体图像；传感器标定模块，用于对高清摄像机进行标定以及镜头的畸变校正；图像处理模块，用于从5个不同视角的图像中分割出被重构物体前景并利用传感器的标定结果对不同视角图像进行旋转变换及畸变校正，得到被重构物体的俯视图、主视图、左视图、后视图及右视图五种基本视图；图像增强模块，用于对主视图、左视图、后视图及右视图中由于折反射成像及照明不充分的像素进行亮度分量进行调整，使得各视图中被重构物体的图像亮度均匀化；三维点云获取模块，依据基本视图之间的长对正、高平齐、宽相等原则对被重构物体表面点的区域进行几何约束，然后以颜色一致性准则判定被重构物体表面的体素，并以该体素的真实三维坐标值及颜色值按照3D重构的数据格式要求保存点云数据；点云重构模块，用于将在所述的三维点云获取模块中获取的点云数据进行三维重构，实现被重构物体的三维实景复制；

所述的单目多视角立体视觉传感器包括：用于从不同视角反射被重构物体外形的斗型镜腔，用于固定摄像机和LED光源以及密闭整个检测空间的装置外壳，用于放置被重构物体的载物台，用于拍摄被重构物体外形的高清摄像机，用于为装置提供照明的白色半球形LED光源；所述的斗型镜腔由4面尺寸相同的等腰梯形镜面构成，镜腔呈上大下小且镜面朝向腔体内侧，同时，腔体的中轴线重合于摄像机的主光轴；所述的装置外壳上部中心处用于固定所述高清摄像机与LED光源，底部用于固定所述斗型镜腔；所述的白色半球形LED光源由环状LED点光源和粗糙半球形内壁构成，从LED点光源发出的光线经过半球形内壁反射后照射到被重构物体表面，从而保证了被重构物体表面均匀的受光；

所述的图像读取模块，用于从所述的高清摄像机中读取包含5个不同视角的被重构物体图像；

所述的图像处理模块用于从5个不同视角的图像中分割出被重构物体前景并利用传感器的标定结果对不同视角图像进行旋转变换及畸变校正，得到被重构物体的俯视图、主视图、左视图、后视图及右视图五种基本视图；具体做法是用所述的图像处理模块中的全局Ostu算法对5幅从不同视角的图像进行分割，在提取被重构物体前景后，利用标定结果参数对所有视角的被重构物体图像进行归一化处理，归一化处理中采用了大小变换、平移变换、旋转变换及畸变校正算法，使得5幅从不同视角的图像符合基本视图之间的长对正、高平齐、宽相等原则；

所述的图像增强模块，用于对主视图、左视图、后视图及右视图中由于折反射成像及照明不充分的像素进行亮度分量进行调整，使得各视图中被重构物体的图像亮度均匀化；具体做法是：首先，用公式(1)将左、主、右、后视图的图像转换到HSI颜色空间上，

$\{\begin{array}{c}H=ar\cos \left\{\frac{\&lsqb;(R-G)+(R-B)\&rsqb;/2}{{\&lsqb;{(R-G)}^2+(R-B)(G-B)\&rsqb;}^{\frac{1}{2}}}\right\}\\ S=1-\frac{3}{R+G+B}\&lsqb;\min (R,G,B)\&rsqb;\\ I=\frac{1}{3}(R+G+B)\end{array}---\left(1\right)$

式中，R,G,B分别为左、主、右、后视图的图像在RGB颜色空间上的分量，H、S、I分别为左、主、右、后视图的图像在HSI颜色空间上的分量，然后，根据镜面制造商提供的镜面反射率并考虑照明光源在不同视角上的照明强度，用公式(2)对亮度分量进行调整，

I'＝I×ΔI (2)

式中，ΔI为大于1的亮度调整系数，I'为亮度调整后的亮度分量；然后用公式(3)将亮度增强后的左、主、右、后视图的图像再变换到RGB颜色空间上，使得各视图上的被重构物体图像具有相同的颜色纹理特性；

$\left\{\begin{array}{c}h=H\&times;\mathrm{\&pi;}/180;s=S/100;i=I^{\&prime;}/255\\ x=i\&times;(1-s)\\ y=i\&times;\&lsqb;1+\frac{s\&times;cos\left(h\right)}{cos(\mathrm{\&pi;}/3-h)}\&rsqb;\\ z=3i-(x+y)\\ r=y;g=z;b=xwhenh<2\mathrm{\&pi;}/3\\ r=x;g=y;b=zwhen2\mathrm{\&pi;}/3\&le;h<4\mathrm{\&pi;}/3,h=h-2\mathrm{\&pi;}/3\\ r=z;g=x;b=ywhen4\mathrm{\&pi;}/3\&le;h<2\mathrm{\&pi;},h=h-4\mathrm{\&pi;}/3\end{array}\right.---\left(3\right)$

公式(3)计算出来的r、g、b是归一化的RGB颜色空间的颜色分量，要转换成标准的RGB颜色空间还需要对r、g、b的值乘上255，得到亮度增强后R',G',B'值。

2.如权利要求1所述的高性价比的3D实景复制装置，其特征在于：所述的三维点云获取模块，依据基本视图之间的长对正、高平齐、宽相等原则提取出被重构物体表面点的真实三维坐标值及颜色值，并按照3D重构的数据格式要求保存点云数据；首先建立高斯坐标系，坐标系的原点设定在5个摄像机的光轴线的交点处，主视图和后视图中为XOZ平面，左视图和右视图中为YOZ平面，俯视图中为XOY平面，以XOZ平面和YOZ平面将被重构物体切分为四个体，即以方位角α相隔90°进行切分；进行这样切分后得到在不同方位角α情况下遍历视图的范围，如表1所示；

表1显示了方位角α的范围与遍历的视图范围的关系，这里使用离散的体素来表示被重构物体的几何信息，通过对方位角和入射角均匀切割使得整个被重构物体被均匀地剖分为一系列的小立方体空间，根据长对正、高平齐、宽相等的原则限定了待重建物体表面体素的二维几何范围，在估算出在某入射角β和某方位角α情况下的最长估算距离R_e-out和最短估算距离R_e-in这样就形成一个可视化外壳法的小立方体空间，这里将其称为最小包围盒；最小包围盒的大小为Δβ×Δα×(R_e-out-R_e-in)；这里采用空间雕刻算法检测最小包围盒中的待重建物体表面穿过的体素；

颜色一致性通过比较体素投影像素集的颜色方差和阈值来进行判断，设Pro(v)为体素v反投影在K幅相关视图上的像素集，Con(v)为Pro(v)的颜色性一致性函数，λ为给定的阈值；设v在视图m上投影像素的RGB三通道分别表示为(R_m,G_m,B_m)，m∈{1,2,…,K}；颜色方差用公式(9)进行计算；

$\left\{\begin{array}{c}{\mathrm{\&sigma;}}_x^2=\frac{1}{K-1}(\underset{m=1}{\overset{K}{\&Sigma;}}{X}_m^2-\frac{1}{K}{\left(\underset{m=1}{\overset{K}{\&Sigma;}}{X}_m\right)}^2);X\&Element;(R,G,B)\\ \mathrm{\&sigma;}=\frac{1}{3}\sqrt{{\mathrm{\&sigma;}}_R^2+{\mathrm{\&sigma;}}_G^2+{\mathrm{\&sigma;}}_B^2}\end{array}\right.---\left(9\right)$

用公式(10)计算体素v的颜色一致性；

Con(v)＝σ-λ (10)

如果Con(v)＜0，则判断为投影像素集满足颜色一致性，该体素为被重构物体表面体素。

3.如权利要求2所述的高性价比的3D实景复制装置，其特征在于：用空间雕刻算法遍历整个被重构物体表面的计算流程步骤如下：

STEP1：建立高斯坐标系，用表1所示的方法对被重构物体进行切分；

STEP2：对入射角β、方位角α进行初始化；设置方位角α＝0；入射角β＝-90；Δα＝0.1；Δβ＝0.1；

STEP3：根据方位角α用表1确定遍历的视图范围；

STEP4：用公式(4)和公式(5)分别估算出在某入射角β和某方位角α情况下的最长估算距离R_e-out和最短估算距离R_e-in；

$R_{e-out}=\sqrt{x_e^2+y_e^2+z_e^2}---\left(4\right)$

$R_{e-in}=min(\sqrt{x_e^2+y_e^2},\sqrt{x_e^2+z_e^2},\sqrt{z_e^2+y_e^2})---\left(5\right)$

式中，x_e、y_e、z_e是由表1确定遍历的视图范围中的图像通过边缘检测所得到的在遍历值入射角β和方位角α情况下坐标值；得到被重构物体表面体素的包围盒Δβ×Δα×(R_e-out-R_e-in)；

STEP5：从最短估算距离R_e-in开始遍历查找被重构物体表面体素v_e，被重构物体表面体素v_e的判断方式由公式(10)进行颜色一致性检测，若通过颜色一致性检测；若遍历过程中包围盒内所有体素都没有满足公式(10)进行颜色一致性检测，将公式(10)中计算的最小值作为被重构物体表面体素v_e候补；将计算公式(9)时像素集的颜色平均值赋于该体素，同时得到该体素到坐标原点的距离值r；

STEP6：用公式(6)计算在r下的(x,y,z)值；

$\left\{\begin{array}{c}x=r\&times;cos\mathrm{\&beta;}\&times;cos\mathrm{\&alpha;}\\ y=r\&times;cos\mathrm{\&beta;}\&times;sin\mathrm{\&alpha;}\\ z=r\&times;sin\mathrm{\&beta;}\end{array}\right.---\left(6\right)$

计算得到该物体的点云数据保存该点云数据；

STEP7：计算β←β+Δβ，判断β>90，如果满足跳转到STEP4；

STEP8：计算α←α+Δα，判断α＜360，如果满足，β＝-90；跳转到STEP3；

STEP9：结束。

4.如权利要求3所述的高性价比的3D实景复制装置，其特征在于：所述的点云重构模块，用于将在所述的三维点云获取模块中获取的点云数据进行三维重构，实现被重构物体的三维实景复制；具体做法是通过调用PCL中的visualization模块将处理后的点云数据进行显示或者根据三维打印输出设备输出的数据要求输出相应数据。

5.如权利要求3所述的高性价比的3D实景复制装置，其特征在于：所述单目多视角立体视觉传感器中4个虚拟摄像机的透视投影点位置都必须保持水平一致，而虚拟摄像机的透视投影点位置主要跟斗型镜腔的敞角有关；通过单目多视角的成像机理作进一步分析，得到斗型镜腔的设计原则；首先在单目多视角的成像过程中定义以下几个参数：真实高清摄像机的中心点为C，虚拟摄像机的中心点为D，被重构物体中心为E，直线DE与镜面的交点为F，直线CD与镜面延长线的交点为G，∠CFE为γ，∠CFG为η，∠GFD为θ，线段CE，即物距的长为h，线段EF的长为l；根据镜面的折反射原理，真实高清摄像机到镜面的距离与虚拟摄像机到镜面的距离相等，即直线FG为线段CD的中垂线，因此有η＝θ；当虚拟摄像机位于水平位置拍摄时，有直线DE垂直于直线CE，因此可以得到公式(7)的关系式：

tanγ＝h/l (7)

利用式(7)与前面得到的η＝θ进而可以求出：

从单目多视角的成像机理的几何关系可以知道，θ即为镜面的敞角；设计时当高清摄像机拍摄的物距和被重构物体到平面镜的距离确定后，根据式(8)来设计斗型镜腔的敞角。

6.如权利要求5所述的高性价比的3D实景复制装置，其特征在于：载物台表面及3D实景复制装置外壳的内壁均采用黑色无镜面反射材料制作；在三维重构物体时将被重构物体放置在载物台上；根据高清摄像机拍摄范围，被重构物体的最大直径不能超过所述载物台的直径，这样能保证在各个视图中被重构物体的图像完整性。