CN107147891A

CN107147891A - 光轴可调节式三目深度获取摄像机

Info

Publication number: CN107147891A
Application number: CN201710350912.5A
Authority: CN
Inventors: 王宣银; 蒋雪松; 向可
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2017-05-17
Filing date: 2017-05-17
Publication date: 2017-09-08
Anticipated expiration: 2037-05-17
Also published as: CN107147891B

Abstract

本发明公开了一种光轴可调节式三目深度获取摄像机，左右设置有两个独立的相机模块，上方有主动式深度相机，主动式深度相机可以调整俯仰角和旋转角，可通过舵机带动同步旋转，并自动输出角度。左右两个相机通过一根螺纹杆轴孔配合，另有一个码盘用于表明两光轴之间的夹角。本发明将非平行光轴用于深度信息计算中，通过设置成可调光轴的形式，使深度信息获取中视角成为可以根据实际情况调整的值。并通过添加主动式深度相机，将双目测距信息与主动式深度相机测距信息相结合，使得最终的深度数据能够更好体现。

Description

光轴可调节式三目深度获取摄像机

技术领域

本发明深度相机领域，涉及一种光轴可调节式三目深度获取摄像机。

背景技术

当前深度相机领域中，分为主动深度相机和被动深度相机两种。被动深度相机领域，现有的双目或多目深度相机常以平行光轴的方式工作，并利用平行光轴进行平面几何计算。此种通过平行光轴的方式存在着缺陷，由于一些场景下对双目相机的视角广度有要求，而平行光轴只能固定光轴的视角，使得对于视角的要求达不到。

另外，平行光轴在识别圆柱形物体时，所获得的信息少于可调节(调至锐角)光轴，也少于三个及以上的相机所获得的信息，最终影响成像和测距质量。同时，基于对极几何的双目相机限制了相机个数，要找出办法利用额外的相机。TOF测距相机可以直接获取距离信息云图，但其缺点在于分辨率过低。

发明内容

为了克服现有技术中视角受限，信息较少等缺陷，本发明提供一种光轴可调节式三目深度获取摄像机，通过设置转轴使双目相机两相机光轴可调节，达到改变光轴夹角用于测距的功能，并附加第三个相机位，用于补充和附加应用，使用区别于双目的TOF测距相机，直接获取低分辨率的距离信息。

本发明解决其技术问题所采用的技术方案是：一种光轴可调节式三目深度获取摄像机，包括由左相机和右相机组成的双目相机，左相机和右相机之间通过螺纹杆轴孔配合，通过码盘和螺母在下端紧定，使双目相机固定，通过冠齿轮组配合转动；双目相机上端设置主动式深度相机。左相机、右相机之间的夹角可调整，并通过码盘直接标明，通过舵机与冠齿轮配合实现同步转动；上端主动式深度相机可调节俯仰角和旋转角，通过设置主动式深度相机给深度信息提取提供另一个信息源；通过双目相机获取的距离信息与上端主动式深度相机获取的距离信息进行深度计算，输出深度信息，具体为：

设p为投影坐标系坐标，P_TOF和P_RGB为相机坐标系坐标，P为世界坐标系坐标，H为内参矩阵，用TOF表示主动式深度相机，RGB表示普通相机，将TOF相机坐标系下的坐标P_TOF转换到普通相机的坐标系P_RGB下，如下公式：

P_RGB＝R·P_TOF+T

其中旋转矩阵R和平移矩阵T是联系起双目相机和TOF相机的坐标转移矩阵。

RGB相机的内参矩阵H_RGB通过张正友标定法进行测量；

TOF摄像头可以直接获取灰度图，与双目相机使用同样的标定方式；

由投影坐标和相机坐标之间的关系：

世界坐标系与相机坐标系的关系：

最终有：

在已知信息为p_TOF、p_RGB，也就是已知两张有深度信息的照片，其中参数p＝(x,y,d)^T，其中x,y为投影的坐标，d为该坐标的深度信息。把p_TOF的信息和p_RGB的信息对应起来。由转换关系P_RGB′＝RP_TOF+T代入H_RGBP_RGB′＝p_RGB′得到：

得到的p_RGB′与p_RGB之间可以建立对应关系，p_RGB中的x，y坐标此时已经与p_RGB一致，其深度信息和RGB色彩信息已经可以共享。

进一步地，上端主动式深度相机通过上盘支座与主体相连，上盘支座本身可以调节旋转角，且上盘支座为上端主动式深度相机提供转轴，供其调节俯仰角。

进一步地，冠齿轮组配合转动，实现左相机和右相机之间的夹角自动调节，并输出夹角大小。

本发明的有益效果是，本发明中的双目相机采用可调节光轴的设计，提高双目测距的效率。可调的光轴可以把相机设置为场景所需要的相机夹角，根据场景环境的复杂度和种类，尤其是场景的范围，设置光轴的夹角，增加或减少特征点，使深度测量的效果得到保障。同时，第三个相机提供主动式测距，直接获得的距离信息，但由于其精度不高，无法单独使用，使其与双目测距信息数据处理，再输出最终的距离信息，提高测量精度。在SLAM(即时定位与地图构建)应用方面，本发明可以发挥其精度与广度的特点，可广泛应用于自动化领域，如扫地机器人，搜救机器人等。

附图说明

图1为本发明整体结构示意图；

图2为一个角度结构示意图；

图3为另一个角度结构示意图；

图4为码盘放大示意图；

图5为螺纹杆放大示意图；

图6为冠齿轮配合放大示意图；

图7为深度信息计算原理图；

图8为深度测量流程图；

图9为数据修正原理流程图；

图10为三目信息坐标示意图；

图中，左相机1、右相机2、上主动式相机3、码盘4、螺钉5、上盘支座6、螺母7、螺纹杆8、冠齿轮组9、舵机10。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

【实施例1】

光轴可调节式三目深度获取摄像机包括左相机1、右相机2和上主动式相机3。如图1、2、3所示，左相机1和右相机2通过螺纹杆8轴孔配合，再用螺母7进行紧定以固定双目相机的角度，而角度可以用码盘4来读出。上主动式相机3的俯仰角和旋转角也可以通过相应的码盘读出。左右相机为普通的成像相机，不具有主动深度获取功能，其深度测量是通过数字图像处理技术得到的。上相机采用主动式深度相机，如TOF相机，直接获取精度不高的深度云图。各个相机分别连接上位机。

如图5所示，螺纹杆8上端采用摩擦设计，方面拆装。如图4所示，码盘4上具有规则的标度，标度的范围从锐角到钝角均包括，以方便调节使用。如图3所示，舵机10通过与冠齿轮组9配合，自动实现双目相机的同步旋转。

上主动式相机3通过上盘支座6连接到主体上，在上盘支座6上也留有刻度码盘，用以调节第三个TOF相机的俯仰角。各个相机通过螺钉5固定外壳，内部相机元件可以根据情况选用不同焦距，像素等参数。

【实施例2】

根据图8所示的流程图，通过调整角度S11，拍摄获取S12，立体匹配S13和深度计算S14过程来进行深度信息的获取。其中，立体匹配算法标记左相机1和右相机2相互匹配的像素点(块)，可选择局部立体匹配算法，具体为：

1.构造一个小窗口，类似于卷积核。

2.用窗口覆盖左边的图像，选择出窗口覆盖区域内的所有像素点。

3.同样用窗口覆盖右边的图像并选择出覆盖区域的像素点。

4.左边覆盖区域减去右边覆盖区域，并求出所有像素点差的绝对值的和。

5.移动右边图像的窗口，重复步骤3，4的动作。(这里有个搜索范围，超过这个范围跳出)。

6.找到这个范围内规定值最符合窗口，即找到了左边图像的最佳匹配的像素块。

对于实时性要求不高的系统，可以选择全局立体匹配算法，如BP算法。

步骤11即通过码盘调节光轴的角度，步骤12和步骤13为标准过程，步骤14的深度计算区别于平行光轴的双目相机，需要通过本发明的方法来进行计算。

【实施例3】

如图7所示，为不平行光轴的原理图。

根据对极几何的相关原理，待测点P到原点O的垂直距离可以通过平面几何的方式求得。如图建立坐标系，可以得到两条入射光线的方程：

其中为左右两相机与世界坐标正对方向的夹角，本实施例中T为相机主光轴到旋转点的距离，f为左右相机的焦距，x为左右相机图像坐标系的坐标。x_L为左相机图像坐标系的坐标，x_R为右相机图像坐标系的坐标。

联立可以求得距离Z的值为：

由此获得单个像素的距离Z，对每个像素进行相同的操作获得点阵图。

【实施例4】

如图1，图2所示，通过上盘支座6调整上主动式相机3的俯仰角。可通过上主动式相机3主动深度获取得到深度点云，可以将这一组数据与双目获取的深度数据进行对比，如图9所示，对比通过数据处理的方式进行修正，比如加权，卡尔曼滤波等方式。

某时刻获得的深度信息有两个值：双目测量的深度信息和TOF相机(主动式相机3)获得的深度信息。由于两者分辨率有差异，我们先对双目相机进行降低分辨率处理，然后两种途径获得的方式进行比较，同时标定TOF相机和双目相机，修正双目测距出现的偏差，并获得最终的测距结果。

【实施例5】

如图1，图6所示，双目相机部分的主光轴夹角通过冠齿轮组9配合完成。冠齿轮机构的配合可以保证左相机1和右相机2之间同步旋转。如图6所示，当舵机10朝图示方向旋转时，上下两冠齿轮朝相反的方向同角度旋转，带动左相机1和右相机2同步旋转。

【实施例6】

如图10所示，设p为投影坐标系坐标，P_TOF和P_RGB为相机坐标系坐标，P为世界坐标系坐标，H为内参矩阵，用TOF表示TOF相机，RGB表示普通相机，将TOF相机坐标系下的坐标P_TOF转换到普通相机的坐标系P_RGB下，如下公式：

P_RGB＝R·P_TOF+T

其中旋转矩阵R和平移矩阵T就是联系起双目相机和TOF相机的坐标转移矩阵。

对于RGB相机的内参矩阵H_RGB，我们可以通过张正友标定法进行测量，就是通过黑白相间的标定板来进行，具体如下：

1、打印一张模板并贴在一个平面上；

2、从不同角度拍摄若干张模板图像；

3、检测出图像中的特征点；

4、求出摄像机的内参数和外参数；

5、求出畸变系数；

6、优化求精。

TOF摄像头可以直接获取灰度图，则与双目相机使用同样的标定方式。

由投影坐标和相机坐标之间的关系：

世界坐标系与相机坐标系的关系：

最终有：

在已知信息为p_TOF、p_RGB，也就是已知两张有深度信息的照片，其中参数p＝(x,y,d)^T，其中x,y为投影的坐标，d为该坐标的深度信息。现在把p_TOF的信息和p_RGB的信息对应起来。

由刚刚得到的转换关系：

P_RGB′＝RP_TOF+T

代入H_RGBP_RGB′＝p_RGB′得到：

得到的p_RGB′与p_RGB之间可以建立对应关系，p_RGB′其中的x，y坐标这时候已经与p_RGB一致，其深度信息和RGB色彩信息已经可以共享。

Claims

1.一种光轴可调节式三目深度获取摄像机，其特征在于，包括由左相机和右相机组成的双目相机，左相机和右相机之间通过螺纹杆轴孔配合，通过码盘和螺母在下端紧定，使双目相机固定，通过冠齿轮组配合转动；双目相机上端设置主动式深度相机。左相机、右相机之间的夹角可调整，并通过码盘直接标明，通过舵机与冠齿轮配合实现同步转动；上端主动式深度相机可调节俯仰角和旋转角，通过设置主动式深度相机给深度信息提取提供另一个信息源；通过双目相机获取的距离信息与上端主动式深度相机获取的距离信息进行深度计算，输出深度信息，具体为：

P_RGB＝R·P_TOF+T

RGB相机的内参矩阵H_RGB通过张正友标定法进行测量；

由投影坐标和相机坐标之间的关系：

世界坐标系与相机坐标系的关系：

最终有：

<mrow> <msup> <msub> <mi>p</mi> <mrow> <mi>R</mi> <mi>G</mi> <mi>B</mi> </mrow> </msub> <mo>&prime;</mo> </msup> <mo>=</mo> <msub> <mi>H</mi> <mrow> <mi>R</mi> <mi>G</mi> <mi>B</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>RH</mi> <mrow> <mi>T</mi> <mi>O</mi> <mi>F</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>p</mi> <mrow> <mi>T</mi> <mi>O</mi> <mi>F</mi> </mrow> </msub> <mo>+</mo> <mi>T</mi> <mo>)</mo> </mrow> </mrow>

得到的p_RGB′与p_RGB之间可以建立对应关系，p_RGB′中的x，y坐标此时已经与p_RGB一致，其深度信息和RGB色彩信息已经可以共享。

2.根据权利要求1所述的光轴可调节式三目深度获取摄像机，其特征在于，上端主动式深度相机通过上盘支座与主体相连，上盘支座本身可以调节旋转角，且上盘支座为上端主动式深度相机提供转轴，供其调节俯仰角。

3.根据权利要求1所述的光轴可调节式三目深度获取摄像机，其特征在于，冠齿轮组配合转动，实现左相机和右相机之间的夹角自动调节，并输出夹角大小。