CN110288642A - 基于相机阵列的三维物体快速重建方法 - Google Patents

Abstract

本发明公开的基于相机阵列的三维物体快速重建方法，旨在提出一种采集精度高，可以快速重建被测对象三维点云的快速重建方法。本发明通过下述技术方案予以实现：在结构光投影及摄像机阵列采集中，首先进行数字投影仪和摄像机阵列标定，利用摄像机阵列对被测三维场景进行采集，获取投影结果光条纹和摄像机阵列拍摄光条纹图像，建立空间中同一点在不同图像上的对应关系；然后根据确定的拍摄中心深度平面，计算每幅变形条纹的偏移量；再根据变形条纹中心深度平面调节进行三维点云调制度重建，计算变形条纹图像对应深度距离和不同聚焦深度变形条纹图像的调制度；配准重建三维点云，迭代最近点算法求解坐标变换，得到完整的被测三维场景重建模型。

Description

基于相机阵列的三维物体快速重建方法

技术领域

本发明涉及一种通过图像来恢复现实世界模型的三维重建技术，特别涉及一种基于相机阵列的三维物体快速重建方法。

背景技术

三维重建是一种通过接触或非接触测量获取被测物体三维坐标和纹理数据的技术和方法。它在物体识别、机器人导航、虚拟现实、医学图像重建、地形勘测和工业检测等领域都有着广泛的应用。在工业上,可以用来生产装配、检验产品的质量；在医疗方面,可以用来对骨骼定位和胸透等。此外，还可以让人们更好地控制光照和纹理。其缺点在于，首先人们必须充分掌握场景数据，如场景中物体的大小比例，相对位置等等，缺乏这些信息就难以建模。在三维重建技术中，三维信息的获取和分析是一个复杂的过程,它的好坏决定了最后重建结果的优劣。结构光三维重建技术包括相位测量轮廓术在内的多种结构光三维测量方法，大多是基于三角测量原理，且解相位过程需要邻域像素的参与，对遮挡或陡变的物体鲁棒性不高。基于调制度的结构光测量方法，需要在不同时刻投影多帧不同聚焦位置的条纹，因此该方法难以实现对三维被测对象的快速实时测量，这就大大地限制了结构光三维测量在动态场景中的应用。

三维物体的重建是指通过一定的方法,建立物体几何表面的点云,这些点可以通过插补的方法形成物体的表面形状,点云越密集所建立的模型越精确。三维模型重建是从一些数据(点云、图片、三维轮廓线等)重建出物体的三维逼真的三维模型，在其重建的过程中针对不同数据的三维重建会有不同的处理算法，如针对点云数据的三维重建有很多种重建方法。在三维图形处理过程中通常需要大量的矩阵运算，其中需要用到大量的三维图形学知识(从简单的画点画线算法到复杂的体绘制算法，以及光照计算，材质映射等)。三维物体的造型过程、真实感图形生成过程都需要在一个操作方便、易学易用的用户界面下工作，包括：图元及造型方法的交互选择；形体、模型的交互操作；观察点、观察方向的交互设置；光照模型参数的交互选取；色彩的交互设定等。近年来迅速发展的虚拟现实技术，是与造型技术、真实感图形生成技术及人机交互技术密切相关的。快捷方便的造型技术、实时动态的图形生成以及易学易用的交互技术是构造虚拟环境的基本和必要条件。

物体的重建方式可以根据所用仪器的类型分为接触式与非接触式两类。接触式重建方式需要实际触碰物体的表面,如使用测径器、尺子等,其中比较典型的仪器，如坐标测量机，虽然可以精确地获得重建物体的数据,但由于必须接触物体,有可能对待测物造成污染、变形或损坏。而尺子和测径器是教学中常用仪器,使用范围有限。非接触式重建方式又可以分为被动式和主动式两种。被动式包括可见光辐射线的方法获取图像,再通过辅助方法实现还原。被动方法对硬件的要求不高,实施起来相对容易。其还原方法可分为边界提取法，且简单形状的物体,如点、直线、曲线、圆和柱形。通过拉普拉斯和高斯滤波等提取物体的边界信息以还原图像,在该法中利用到了物体的尺度不变性和仿射不变性算法；纹理识别法,是通过物体表面纹理的梯度、扭曲、二阶矩和平面方向等信息对物体进行识别,主要还是依赖于人类心理因素对纹理的感知。立体光学法是在同一个相机、同一场景下，采用不同的照明条件拍摄多张待测物的照片，通过处理得到物体表面的梯度向量，然后再经过向量场的积分得到三维模型。传统立体视觉法(Stereoscopic)的立体成像系统使用两个放在一起的摄影机，平行注视待重建之物体。此方法在概念上，类似人类借由双眼感知的图像相叠推算深度，若已知两个摄影机的彼此间距与焦距长度，而截取的左右两张图片又能成功叠合，则深度信息可迅速推得。此法须仰赖有效的图片像素匹配分析，一般使用区块比对(blockmatching)或对极几何(epipolargeometry)算法达成。当相机和场景目标间有相对运动时，所观察到的亮度模式运动称为光流。光流可以表达图像中的变化，它既包含了被观察物体运动的信息，也包含了与其有关的结构信息。通过对光流的分析可以达到确定场景三维结构和观察者与运动物体之间的相对运动的目的。通过求解光流方程，可以求出景物表面方向，重建景物三维表面。这种方法的缺点是运算量比较大。被动还原的各种方法相似，是以立体视觉法为基础的。但立体视觉法的缺陷是,在还原过程中不能确定两幅图像中的对应点是否来自空间中的同一点，即由于遮挡或取景超出范围，三维物体的某些点不能在两张照片上同时出现，这就是所谓的像素匹配问题，给还原增加了难度。立体匹配是指根据对所选特征的计算，建立特征间的对应关系。立体匹配是立体视觉方法中最重要、最困难的步骤。当空间中的三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大的不同，而且场景中的很多变化因素，如光照条件的变化、噪声干扰、景物几何形状的变化和摄像机的特性等等，都被综合到单一的图像灰度值中。要仅由这一灰度值确定以上的诸多因素是十分困难的，至今这个问题也没能得到很好的解决。目前，无论是哪种匹配方法都不可能恢复出所有图像点的视差。主动还原重建方式是将额外的辐射能量投射至物体上，借助反射能量所得到额外信息计算出待测物体的深度信息。常使用的辐射能量有可见光、高能光束与激光。

发明内容

本发明的目的是针对现有技术存在的不足之处，旨在提出一种采集精度高，可以快速重建被测对象三维点云，具备高精度、可实时、无接触且每点的计算相互独立的三维物体快速重建方法。

本发明的上述目的可以通过以下措施来得到，一种基于相机阵列的三维物体快速重建方法，基于三维物体快速重建系统相机阵列重建装置，利用摄像机阵列1和数字投影仪2，将数字投影仪2放置于摄像机阵列1所处平面，且处于摄像机阵列1中心位置，数字投影仪2镜头光轴经过摄像机光轴会聚点；在结构光投影及摄像机阵列1采集中，首先进行数字投影仪2和摄像机阵列1标定，利用摄像机阵列1对被测三维场景3进行采集，获取投影结果光条纹和摄像机阵列1拍摄光条纹图像，建立空间中同一点在不同图像上的对应关系；然后对变形条纹中心深度平面8进行调节，在变形条纹中心深度平面8调节中，根据确定的拍摄中心深度平面8，计算每幅变形条纹的偏移量，合成不同聚焦深度的变形条纹图像；根据摄像机阵列1标定参数，对获取的变形条纹聚焦中心深度平面8进行调节，再根据变形条纹中心深度平面8调节进行三维点云调制度重建，计算变形条纹图像对应深度距离和不同聚焦深度变形条纹图像的調制度，将深度距离变换至数字投影仪2标定坐标系；最后利用三维点云拼接方法，对快速调制度重建三维点云进行配准，确定初始对应点集和错误对应，迭代最近点算法求解坐标变换，得到完整的被测三维场景3重建模型。

本发明相比于现有技术具有如下有益效果。

本发明利用摄像机阵列1和数字投影仪2，根据摄像机阵列1标定参数，对获取的变形条纹聚焦中心深度平面8进行调节，利用调制度重建方法，重建被测场景部分三维点云，最后利用三维点云拼接方法，得到完整的被测三维场景重建模型，可以快速重建被测对象三维点云。本发明可以快速重建被测对象三维点云，避免了被动式三维测量中立体匹配的耗时操作，同时也避免了传统调制度方法需要连续、多次、不同深度拍摄的复杂操作，本发明所提方法具备高精度、可实时、无接触且每点的计算相互独立等优点。

附图说明

图1是本发明基于相机阵列的三维物体快速重建系统示意图。

图2是本发明基于相机阵列的三维物体快速重建方法的流程图。

图3是图1快速结构光投影及摄像机阵列1采集标定流程图。

图4为变形条纹中心深度平面8调节算法示意图。

图5为不同聚焦深度像素点的调制度条纹及其包络示意图。

图中：1摄像机阵列，2数字投影仪，3被测三维场景，4棋盘格图像，5矩阵棋盘格，6前景区域，7校正后的棋盘格图像，8中心深度平面，9调节中心深度平面。

应该理解上述附图只是示意性的，并没有按比例绘制。

下面详细说明本发明的一种基于相机阵列的三维物体快速重建方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

具体实施方式

参阅图1、图2。根据本发明，采用结构光投影及摄像机阵列1采集、变形条纹中心深度平面调节、三维点云调制度重建和完整三维场景模型拼接四个过程。其中，基于相机阵列的三维物体快速重建系统包括：由M×N个摄像机组成的摄像机阵列1，摄像机之间的间隔距离为d_cc，摄像机的光轴会聚于距离L处。数字投影仪2放置于摄像机阵列1所处平面，且处于摄像机阵列1中心位置，数字投影仪2镜头光轴经过摄像机光轴会聚点。常取数字投影仪2的光轴为Z轴，以数字投影仪2为中心建立摄像机坐标系。以像素为单位建立图像坐标系。把摄像机像平面上平行并且方向相同点的中心深度平面8，经焦点作中心对称映射到上述虚拟平面上，使平面上点的二维坐标与三维点的摄像机坐标系坐标同样满足投影模型。

在结构光投影及摄像机阵列1采集中，首先进行数字投影仪2和摄像机阵列1标定，利用摄像机阵列1对被测三维场景3进行采集，获取投影结构光条纹，建立空间中同一点在不同图像上的对应关系；对变形条纹中心深度平面8进行调节，在变形条纹中心深度平面8调节中，根据确定的拍摄中心深度平面8，计算每幅变形条纹的偏移量，合成不同聚焦深度的变形条纹图像；根据摄像机阵列1标定参数，对获取的变形条纹聚焦中心深度平面8进行调节，再根据变形条纹中心深度平面8调节进行三维点云调制度重建，计算变形条纹图像对应深度距离和不同聚焦深度变形条纹图像的调制度，将深度距离变换至数字投影仪2标定坐标系；最后利用三维点云拼接方法，对快速调制度重建三维点云进行采集，确定初始对应点集和错误对应，迭代最近点算法求解坐标变换，对三维点云配准拼接，从图像提取一些鲁棒的特征进行匹配，得到完整的被测三维场景3重建模型。

参阅图3。在可选的实施例中，由M×N＝4×4个摄像机组成的摄像机阵列1，其摄像机之间的间隔为d_cc＝10cm，数字投影仪2设置在棋盘格图像4所处平面的中心，摄像机阵列1相距棋盘格图像4所处平面距离为L的空间垂直平面上的中心深度平面8，数字投影仪2光轴汇聚于棋盘格图像4所处平面距离L＝120cm垂直平面处的摄像机阵列1。在快速结构光投影及摄像机阵列1采集过中，首先进行数字投影仪2和摄像机阵列1标定，在与数字投影仪2和摄像机阵列1距离为L处放置平行于摄像机阵列1平面的平面白板，白板平面上设有棋盘格图像4。摄像机阵列1拍摄投影在白板上的棋盘格图像4，并检测其中的棋盘格角点像素坐标，利用最近线性变换算法，计算得到每个摄像机相对于中心摄像机的相对旋转矩阵R和相对平移矢量t，以及每个摄像机获取图像和数字投影仪2图像之间的单应性变换矩阵H_ij，然后利用数字投影仪2投影正弦明暗分布的结构光条纹P(x,y)，结构光条纹P(x,y)满足：

同时利用摄像机阵列1对被测三维场景3进行采集，获得反射的变形条纹图像I_ij(x,y)满足：

I_ij(x,y)＝R_ij(x,y){A_ij(x,y)+B_ij(x,y)P(x,y)} (2)

其中，i，j为每个摄像机对应的索引编号，取值范围为i＝0,1,...,M-1的正整数，j＝0,1,...,N-1的正整数，x，y为摄像机获取图像的像素坐标，R_ij(x,y)为三维场景表面不均匀的反射率，A_ij(x,y)为背景强度，B_ij(x,y)/A_ij(x,y)为条纹对比度，为结构光条纹的相位函数，σ为结构光条纹的数字相移，随时间保持线性增长。接着利用计算得到的单应性变换矩阵H_ij对每个摄像机获取得到的变形条纹图像I_ij(x,y)进行校正，校正后的变形条纹图像表示为I'_ij(x',y')，其满足：I_ij′(x′,y′)＝I_ij(x,y)(3)

其中：

参阅图4。数字投影仪2调节棋盘格图像4所处平面L上聚于中心深度平面8变形条纹，变形条纹图像I'_ij(x',y')存在像素偏移ΔS_ij(Δh_ij,Δv_ij)其中x轴方向的像素偏移为Δh_ij，y轴方向的像素偏移为Δv_ij。

对变形条纹图像进行校正。在中心深度平面8调节过程，校正后的变形条纹图像I'_ij(x',y')会聚于中心深度平面8，将中心深度平面8调节至L'处，形成新的调节中心深度平面9，则校正后的变形条纹图像坐标I'_ij(x',y')由L处传播到L'处，中心深度平面8调节后的距离L'的范围覆盖[L₁,L₂]，x轴方向的像素偏移Δh_ij和y轴方向的像素偏移Δv_ij分别满足：

其中，d_cc为摄像机之间的间隔距离，i，j为每个摄像机对应的索引编号，取值范围为i＝0,1,...，M-1的正整数，j＝0,1,...,N-1的正整数，M为摄像机阵列水平方向数量，N为摄像机阵列竖直方向数量，H_res为校正后的变形条纹图像I'_ij(x',y')的横向分辨率与纵向分辨率V_res。则传播到L'处的偏移图像坐标可以表示为I”_ij(x”,y”,L')，并且I'_ij(x',y')和I”_ij(x”,y”,L')满足：

I″_ij(x″,y″,L′)＝I_i′_j(x′,y′) (7)，

优选地，当根据公式(7)和(8)计算出的x”值小于0，或y”值小于0时，则舍弃该像素；当计算出来的x”值大于H_res-1，或y”值大于V_res-1时，则令I”_ij(x”,y”,L')＝0，以避免溢出信息。此过程中，摄像机阵列聚焦深度为L'的变形条纹图像表示为I_L'(x”,y”)，其可以由L'处的偏移图像I”_ij(x”,y”,L')融合生成：

重复此步骤，使L'以固定步长ΔL遍历[L₁,L₂]，则得到合成的不同聚焦深度的变形条纹图像。

参阅图5。三维点云调制度重建过程是利用不同聚焦深度的变形条纹图像计算对应的图像调制度，进而计算变形条纹图像的对应深度距离。不同聚焦深度的变形条纹图像中，只有在聚焦平面处，也即是结构光条纹清晰成像的位置的调制度值最大。经过L'以固定步长ΔL遍历[L₁,L₂]，每个像素都可以得到一组条纹，本实施例利用傅里叶变换滤波方法提取每个像素坐标(x”,y”)的调制度包络线，像素坐标(x”,y”)的条纹表示为：

F(L′)_(x″,y″)＝I_L′(x″,y″),L′∈[L₁,L₂] (10)

对公式(9)进行傅里叶变换，并取其基频分量进行傅里叶逆变换，可以得到像素坐标(x”,y”)随聚焦深度L'变换的函数关系，对其进行曲线拟合，便得到调制度包络线E(L')_(x”,y”)。对函数E(L')_(x”,y”)取其最大值，得到像素坐标为(x”,y”)的点对应的调制度包络线的最大值max{E(L')_(x”,y”)}以及对应的聚焦深度L'_{Max(x”,y”)}。

利用数字投影仪2标定的查找表，得到每个像素坐标(x”,y”)对应的聚焦深度与真实物理深度的对应关系：D(x″,y″)＝LUT(L′_{Max(x″,y″)}) (11)

其中，LUT(*)实现由聚焦深度L'_{Max(x”,y”)}向真实物理深度的查表映射。

所述完整三维场景模型拼接过程，将上述过程从不同角度得到的三维点云合并到统一的坐标系下，形成一个完整的点云。首先，选择两个相邻的三维点云，并从两个三维点云集合中按照相同的关键点选取标准提取关键点。本发明遍历每个三维点云坐标，通过在近邻区域有坐标突变的位置进行边缘检测，根据近邻区域的表面变化决定表面变化系数和变化主方向。根据找到的主方向计算兴趣值，来表征该方向与其他方向的不同，以及该处表面的变化的稳定情况。经过对兴趣值的平滑过滤和无最大值压缩，找到最终的关键点。然后，计算关键点对应的特征描述子。本发明利用PCL(PointCloudLibrary)点云库提供的基于临近的局部描述子函数计算所有关键点特征描述子，结合特征描述子在两个数据集中的坐标位置，以二者之间特征和位置的相似度为基础，去除对匹配有影响的错误的对应点，估算它们的刚体变化关系，完成配准；最后，重复上述步骤，实现所有的不同角度得到的三维点云全部配准为一个统一坐标系下的完整点云。

以上结合附图对本发明进行了详细描述，但需要指出的是，上述实例所描述的是仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于相机阵列的三维物体快速重建方法，具有如下技术特征：基于三维物体快速重建系统，利用摄像机阵列(1)和数字投影仪(2)，将数字投影仪(2)放置于摄像机阵列(1)所处平面，且处于摄像机阵列(1)中心位置，数字投影仪(2)镜头光轴经过摄像机光轴会聚点；在结构光投影及摄像机阵列(1)采集中，首先进行数字投影仪(2)和摄像机阵列(1)标定，利用摄像机阵列(1)对被测三维场景(3)进行采集，获取投影结果光条纹和摄像机阵列(1)拍摄光条纹图像，建立空间中同一点在不同图像上的对应关系；然后对变形条纹中心深度平面(8)进行调节，在变形条纹中心深度平面(8)调节中，根据确定的拍摄中心深度平面(8)，计算每幅变形条纹的偏移量，合成不同聚焦深度的变形条纹图像；根据摄像机阵列(1)标定参数，对获取的变形条纹聚焦中心深度平面(8)进行调节，再根据变形条纹中心深度平面(8)调节进行三维点云调制度重建，计算变形条纹图像对应深度距离和不同聚焦深度变形条纹图像的調制度，将深度距离变换至数字投影仪(2)标定坐标系；最后利用三维点云拼接方法，对快速调制度重建三维点云进行配准，确定初始对应点集和错误对应，迭代最近点算法求解坐标变换，得到完整的被测三维场景(3)重建模型。

2.如权利要求1所述的基于相机阵列的三维物体快速重建方法，其特征在于：采用结构光投影及摄像机阵列(1)采集、变形条纹中心深度平面调节、三维点云调制度重建和完整三维场景模型拼接四个过程。

3.如权利要求1所述的基于相机阵列的三维物体快速重建方法，其特征在于：基于相机阵列的三维物体快速重建系统包括：由M×N个摄像机组成的摄像机阵列(1)，摄像机之间的间隔距离为d_cc，摄像机的光轴会聚于距离L处；数字投影仪(2)放置于摄像机阵列(1)所处平面，且处于摄像机阵列(1)中心位置，数字投影仪(2)镜头光轴经过摄像机光轴会聚点。

4.如权利要求1所述的基于相机阵列的三维物体快速重建方法，其特征在于：取数字投影仪(2)的光轴为Z轴，以数字投影仪(2)为中心建立摄像机坐标系，以像素为单位建立图像坐标系；把摄像机像平面上平行并且方向相同点的中心深度平面(8)，经焦点作中心对称映射到上述虚拟平面上，使平面上点的二维坐标与三维点的摄像机坐标系坐标同样满足投影模型。

5.如权利要求1所述的基于相机阵列的三维物体快速重建方法，其特征在于：摄像机阵列(1)由M×N＝4×4个摄像机组成，其摄像机之间的间隔为d_cc＝10cm，数字投影仪(2)设置在棋盘格图像(4)所处平面的中心，摄像机阵列(1)相距棋盘格图像(4)所处平面距离为L的空间垂直平面上的中心深度平面(8)，数字投影仪(2)光轴汇聚于棋盘格图像(4)所处平面距离L＝120cm垂直平面处的摄像机阵列(1)。

6.如权利要求1所述的基于相机阵列的三维物体快速重建方法，其特征在于：在光投影及摄像机阵列(1)采集过中，首先进行数字投影仪(2)和摄像机阵列(1)标定，在与数字投影仪(2)和摄像机阵列(1)距离为L处放置平行于摄像机阵列(1)平面的平面白板，白板平面上设有棋盘格图像(4)。

7.如权利要求6所述的基于相机阵列的三维物体快速重建方法，其特征在于：摄像机阵列(1)拍摄投影在白板上的棋盘格图像(4)，并检测其中的棋盘格角点像素坐标，利用最近线性变换算法，计算得到每个摄像机相对于中心摄像机的相对旋转矩阵R和相对平移矢量t，以及每个摄像机获取图像和数字投影仪(2)图像之间的单应性变换矩阵H_ij，然后利用数字投影仪(2)投影正弦明暗分布的结构光条纹P(x,y)，并且结构光条纹P(x,y)满足：

同时利用摄像机阵列1对被测三维场景3进行采集，获得反射的变形条纹图像I_ij(x,y)满足：

I_ij(x,y)＝R_ij(x,y){A_ij(x,y)+B_ij(x,y)P(x,y)} (2)

其中，i，j为每个摄像机对应的索引编号，取值范围为i＝0,1,...,M-1的正整数，j＝0,1,...,N-1的正整数，x，y为摄像机获取图像的像素坐标，R_ij(x,y)为三维场景表面不均匀的反射率，A_ij(x,y)为背景强度，B_ij(x,y)/A_ij(x,y)为条纹对比度，为结构光条纹的相位函数，σ为结构光条纹的数字相移，随时间保持线性增长。

8.如权利要求1所述的基于相机阵列的三维物体快速重建方法，其特征在于：利用计算得到的单应性变换矩阵H_ij对每个摄像机获取得到的变形条纹图像I_ij(x,y)进行校正，校正后的变形条纹图像表示为I'_ij(x',y')，其满足：I′_ij(x′,y′)＝I_ij(x,y) (3)

其中：

9.如权利要求7所述的基于相机阵列的三维物体快速重建方法，其特征在于：数字投影仪(2)调节棋盘格图像(4)所处平面L上聚于中心深度平面(8)变形条纹，变形条纹图像I'_ij(x',y')存在像素偏移ΔS_ij(Δh_ij,Δv_ij)其中x轴方向的像素偏移为Δh_ij，y轴方向的像素偏移为Δv_ij。

10.如权利要求9所述的基于相机阵列的三维物体快速重建方法，其特征在于：在中心深度平面(8)调节过程，校正后的变形条纹图像I'_ij(x',y')会聚于中心深度平面(8)，将中心深度平面(8)调节至L'处，形成新的调节中心深度平面(9)，则校正后的变形条纹图像坐标I'_ij(x',y')由L处传播到L'处，中心深度平面(8)调节后的距离L'的范围覆盖[L₁,L₂]，x轴方向的像素偏移Δh_ij和y轴方向的像素偏移Δv_ij分别满足：

其中，d_cc为摄像机之间的间隔距离，i，j为每个摄像机对应的索引编号，取值范围为i＝0,1,...，M-1的正整数，j＝0,1,...,N-1的正整数，M为摄像机阵列水平方向数量，N为摄像机阵列竖直方向数量，H_res为校正后的变形条纹图像I'_ij(x',y')的横向分辨率与纵向分辨率V_res。