CN207600405U - 一种基于单目立体视觉相机的三维重建系统 - Google Patents

Abstract

本实用新型公开一种基于单目立体视觉相机的三维重建系统，该系统包括成像系统、机械臂、位姿反馈系统以及光源系统，其中，机械臂为三轴可旋转式机械臂，包括分别与成像系统连接的同心轴、与光源系统连接的第一转轴，以及用于自转的第二转轴，机械臂用于将光源系统移动到可移动范围内的任意点，所述位姿反馈系统与机械臂和光源系统连接，通过读取机械臂的三个轴的旋转信息，得到光源系统的光源和成像系统的相对位置关系，本实用新型能够用同一个光源模拟实现了多光源的效果，极大的提高光度三维重建的精度，另外，还具有极高的便携性，为光度立体视觉打下了工程基础。

Description

一种基于单目立体视觉相机的三维重建系统

技术领域

本实用新型涉及一种单目立体视觉中的光度三维重建领域，特别涉及一种基于单目立体视觉相机的三维重建系统。

背景技术

二维图像是由三维场景投影得到的，其中包含着各种三维信息，如亮度、纹理、阴影、轮廓等。由图像的不同信息恢复物体三维形状的方法被统称为Shape From X问题。

理论上，如果场景中物体与物体之间或物体各个部分之间的相互反射可以忽略的话，那么曲面上一个小曲面块所反射的光强就只与光照强度、相机拍摄角度、物体表面法向和物体表面反射率有关。如果把这些参数之间的关系用一个重构函数来表示，就可以从图像的像素亮度获得表面法向，通过表面法向就可以得到物体的三维数据。如果材料的物理参数已知(如：材料的反射率)，重构函数可以根据所对应的材料和光照条件假设一个合适的光照模型来获得，否则，也可以通过一个和被测物体材料相同且形状已知的标准参照物来获得。

光度立体视觉技术(The Photometric Stereo，简称PMS)最早是由R.J.Woodham提出的，其假设了一个已知的重构函数，即理想的朗伯体反射模型。采用一个相机和几个发光强度相同的光源，保持相机和所拍摄的物体不动，通过改变光源的方向，同时拍摄物体在不同光源照射条件下的一组图像，然后根据这些图像计算出物体的表面法向，由计算出的表面法向求解出物体表面的三维形状。实验表明，利用两幅具有不同光照几何特性的灰度图像来获得表面法向，利用三幅图像就可以获得一个漫反射表面的表面法向和反射率。

经典的PMS技术是通过对目标物体加不同的光照变化，并记录光照参数来计算目标物体的表面高度。一般而言，相机拍摄到的样本的表面灰度值取决于样本表面的朝向，相机的视角方向和光源的照射方向。对于朗伯表面，样本的表面灰度值可描述为：

i＝ρκcosθ_i (1)

其中i为样本的灰度值；ρ代表从物体表面反射的光源的反照率；κ代表光源强度；θ_i为相对于物体表面的光源入射角的。

公式(1)可进一步表达为：

i＝ρκl^Tn＝(κl)^T(ρn)＝s^Tb (2)

其中i为样本的灰度值，n为样本表面单位法向量；b＝ρn是带乘数因子的表面法向量；s＝κl为带乘数因子的光照向量；l为光照向量；带乘数因子的表面法向量b和光照向量l是朗伯光度立体的基本实体。传统的光照立体技术是基于转换后的朗伯反射模型，如对于朗伯反射表面，变换光源位置，即可获得光照向量s₁,s₂,s₃作用下拍摄到的物体表面不同方向光源的样本灰度值i₁,i₂,i₃，进一步得到存储着灰度值向量的灰度值向量矩阵I：

I＝[i₁,i₂,i₃]^T＝[s₁,s₂,s₃]^Tb＝S^Tb (3)

其中，矩阵S存储着带乘数因子的光照向量。如果光照矩阵S可逆，就可以计算出带乘数因子的表面法向量b：

b＝S^-TI (4)

物体表面的反照率ρ可以通过求法向量b的模得到，同时物体表面的法向量可通过反照率ρ对b进行归一化得到。

经过总结，经典光度立体视觉技术大致可以分为四个步骤：

第一、根据物体的材料建立一个合适的光照模型。

第二、计算光源方向，并在保持光源方向不变的条件下拍摄被测物体的图像。

第三、根据图像中的亮度信息计算物体表面的法向场。

第四、根据计算出来的表面法向求解物体三维数据。

在近几年的光度立体视觉发展中，无论是弱约束的单目光度立体视觉，还是光度立体技术精细化的研究，都说明了在目前阶段：光源的数目和光源方位的精度一直是影响三维重建精度的重要因素。

目前大部分的光度图像都采取有限的光源数目进行实验。对于朗伯体反射模型的目标物体，有良好的重建效果；而对于存在镜面反射区域的目标物体，三维重建效果则会产生畸变。目前解决镜面反射的方法效果比较好的是多光源的检测或者是基于建立特殊反射模型的非线性优化方法。

较为传统的光源标定有漫反射球标定法、平面镜标定法、特征点检测法等方法，以及后来提出的以镜面为标定靶的基于镜面反射的光源标定法等改进方法。所有的方法中，都是未知光源位置，用不同方法来确定光源位置，会存在或多或少的误差。

发明内容

本实用新型提供了一种基于单目立体视觉相机的三维重建系统，采用一个光源即可实现三维重建。

本实用新型采用以下技术方案：

一种基于单目立体视觉相机的三维重建系统，包括成像系统、机械臂、位姿反馈系统以及光源系统，其中，机械臂为三轴可旋转式机械臂，包括分别与成像系统连接的同心轴、与光源系统连接的第一转轴，以及用于自转的第二转轴，机械臂用于将光源系统移动到可移动范围内的任意点，所述位姿反馈系统与机械臂和光源系统连接，通过读取机械臂的三个轴的旋转信息，得到光源系统的光源和成像系统的相对位置关系。

所述机械臂的同心轴与成像系统的主轴同心连接，同心轴能够围绕成像系统的主轴进行360°旋转。

所述机械臂上设置有锁紧按钮，当机械臂调整完姿态后，通过锁紧按钮能够锁定机械臂的位置。

所述机械臂的各个轴均设置有电机，电机用于控制机械臂的旋转。

所述成像系统为单目相机。

所述光源系统的光源为LED点光源。

与现有技术相比，本实用新型至少具有以下有益效果：

本实用新型的基于单目立体视觉相机的三维重建系统通过机械臂将成像系统和光源系统连接，因此使得光源系统能够移动到可移动范围内的任意点，并满足成像系统的取光需求，本实用新型还通过设置位姿反馈系统来读取机械臂的三个轴的旋转信息，得到光源系统的光源和成像系统的相对位置关系，通过采集的相对位置关系信息用于三维重建，综上，本实用新型采用一个光源即可实现三维重建，光源的位置信息可直接准确测量，因此解决了现有技术中，由于采用未知光源位置，在确定光源位置时会存在或多或少的误差，导致三维重建结果不准确的问题。

附图说明

图1为光度立体视觉原理图。

图2为本实用新型的基于单目立体视觉相机的三维重建系统的结构示意图。

其中，1-机械臂，1-1-同心轴，1-2-第一转轴，1-3-第二转轴，2-光源系统，3-成像系统，4-目标物体。

具体实施方式

下面结合附图来对本实用新型作进一步的说明。

如图2所示，本实用新型的基于单目立体视觉相机的三维重建系统采用光度立体技术进行图像采集和三维重建。主要包括以下几个系统：成像系统3、机械臂1、位姿反馈系统和光源系统2。其中，成像系统3为单目相机，用于采集不同光照下的图像；机械臂1同相机镜头主轴采用同心轴1-1相连，同心轴1-1能够围绕主轴进行360°旋转；光源系统2同机械臂1另一端相连，机械臂1使得光源系统2能够在单目相机周围自由移动。机械臂1将光源和单目相机连接起来，提高了视觉相机的便携性；利用机械臂1的姿态可调整特性，能够使光源系统2的位置自由调整。

机械臂1为三轴可旋转式机械臂，能够在系统的指令下，不断调整姿态，将光源系统2移动到可移动范围内的任意点；位姿反馈系统能够读取机械臂1的三个转轴的旋转信息，得到光源系统2的光源和单目相机的相对位置关系，使得本实用新型的三维重建系统具有高精度，智能化的优点，配合光源系统，能够产生多光源光度立体重建的效果；本实用新型的光源系统2的光源为点光源，用于照射目标物体，以采集光度图像，能够在系统指令下，调节亮度。

更具体地说，机械臂1包括与单目相机相连的同心轴1-1，中部的第二转轴1-3，同光源系统2相连的第一转轴1-2，同心轴1-1与第二转轴1-3固定连接，第二转轴1-3与第一转轴1-2铰接，第一转轴1-2与光源系统2铰接。另外，机械臂1上还设置有锁紧按钮，锁紧按钮用于控制各个轴的转动。当按下锁紧按钮时，可以手动自由调整机械臂1的姿态，当松开锁紧按钮时，机械臂1姿态固定。机械臂1有较高硬度，不易变形。机械臂1可以自由方便地调整自身的姿态，进而调整光源系统的位置；三轴可旋转式机械臂可以使光源系统2在有效范围内进行任意的移动并且对准任意的方向；机械臂1的转轴采用高硬度的材料能够在求取光源位置时有极高的精度。

位姿反馈系统能够获取机械臂1各个轴角度信息，并通过电信号的形式输出至相机生成以镜头为坐标系的光源所在三维坐标。其有益效果是：通过读取各个轴的角度信息，可以高精度得到机械臂的姿态信息，从而反馈得到光源镜头的位置信息。

机械臂1有主动和被动两种调节方式，被动调节方式为利用松紧按钮，将机械臂转轴内部的齿轮进行松合控制，手动调整机械臂的姿态，对准目标物体，再次利用松紧按钮，将机械臂的姿态固定，相机可以通过此时的转轴的角度信息计算出机械臂姿态，通过转换矩阵计算出光源的位置信息，即光源在镜头坐标系的三维信息；主动调节为，输入光源位置信息，利用转换矩阵求出对应光源位置时的机械臂姿态信息，即获得了机械臂转轴的角度信息，可以利用机械臂转轴处的电机将机械臂调整到相关姿态。

光源采用LED点光源，光源亮度高，输出稳定。LED点光源亮度较高可以适用距离相对较远的模型，并且光源辐照强度稳定。

成像系统采用单目相机，相机的自动对焦功能可以实现对于对准的目标物体进行自动对焦，即可读取出相机距离目标的距离，可以计算出目标物体现对镜头的三位坐标。单目相机具有精度较高的对焦性能，能够求取以镜头为坐标系的目标物体三维坐标。本实用新型建立以镜头为坐标的三维坐标系，得到目标模型在此坐标系的三维坐标，可以求出同光源相对位置关系。

在进行图像采集时，相机会将采集到的图像打上光源位置的标签，并通过电脑读取出来，通过重复调整机械臂姿态和采集图像的过程，即可得到多幅不同光源下的目标物体光度图像，此时光源的信息都是已知的，那么可以通过已有的光度三维重建的算法实现目标物体的光度三维重建。

理论上，利用两幅具有不同光照几何特性的灰度图像来获得表面法向，利用三幅图像就可以获得一个漫反射表面的表面法向和反射率，进而可以求出目标物体的三维模型。如果采用的光源越多，三维重建的效果越精确。

本实用新型中，单目相机利用机械臂可自由调整姿态且精度高，同光源系统相结合，解决了光源数目问题，光源方位精度问题和不同光源亮度不同的问题。如果不断调整机械臂姿态就可以改变光源位置，采集大量的光度图像，并利用位姿反馈系统可以智能的、高精度反馈出光源的位置信息，同时解决了光源数目和光源方位的问题。相机将机械臂、光源和相机进行组合，实现了便携式的目的，实现了许多各类环境下的三维重建问题。

本实用新型的基于单目立体视觉相机的三维重建系统原理为利用光源位置的变化，采集多幅光度图像，进行三维重建。在传统的光度三维重建中，光源位置的精度、光源的数目和不同光源的亮度，对于重建精度有极大的影响。光源位置的标定是一直以来的难题，光源数目的要求也是限制光度立体视觉技术发展的障碍。本实用新型利用机械臂同相机相结合，通过读取机械臂的姿态信息，反馈得出高精度的光源位置，同时利用机械臂的姿态调整，本实用新型用同一个光源模拟实现了多光源的效果，完美解决了之上的问题，极大的提高光度三维重建的精度。另外，相机极高的便携性，为光度立体视觉打下了工程基础。

本实用新型的基于单目立体视觉相机的三维重建系统进行三维重建时的流程为(如图1)：

1、固定单目相机并对准目标物体4；

2、单目相机自动对焦系统确定目标物的距离和位置；

3、机械臂1分析目标物位置信息指令，对光源系统2的光照方向进行调整，使光源照射目标物体4，并记录光源位置；

4、机械臂1再进行姿态调整，不断带动光源在单目相机周围各个位置进行照射，并记录光源位置；

5、单目相机采集到的光度图像同光源方向相结合求出目标物体4表面法向量，进行三维重建。

Claims (6)

1.一种基于单目立体视觉相机的三维重建系统，其特征在于，包括成像系统(3)、机械臂(1)、位姿反馈系统以及光源系统(2)，其中，机械臂(1)为三轴可旋转式机械臂，包括分别与成像系统(3)连接的同心轴(1-1)、与光源系统(2)连接的第一转轴(1-2)，以及用于自转的第二转轴(1-3)，机械臂(1)用于将光源系统(2)移动到可移动范围内的任意点，所述位姿反馈系统与机械臂(1)和光源系统(2)连接，通过读取机械臂(1)的三个轴的旋转信息，得到光源系统(2)的光源和成像系统(3)的相对位置关系。

2.根据权利要求1所述的一种基于单目立体视觉相机的三维重建系统，其特征在于，所述机械臂(1)的同心轴(1-1)与成像系统(3)的主轴同心连接，同心轴(1-1)能够围绕成像系统(3)的主轴进行360°旋转。

3.根据权利要求1所述的一种基于单目立体视觉相机的三维重建系统，其特征在于，所述机械臂(1)上设置有锁紧按钮，当机械臂(1)调整完姿态后，通过锁紧按钮能够锁定机械臂(1)的位置。

4.根据权利要求1所述的一种基于单目立体视觉相机的三维重建系统，其特征在于，所述机械臂(1)的各个轴均设置有电机，电机用于控制机械臂的旋转。

5.根据权利要求1所述的一种基于单目立体视觉相机的三维重建系统，其特征在于，所述成像系统(3)为单目相机。

6.根据权利要求1所述的一种基于单目立体视觉相机的三维重建系统，其特征在于，所述光源系统(2)的光源为LED点光源。