一种双目立体相机的标定方法及装置
技术领域
本申请涉及双目立体视觉技术领域,特别涉及一种双目立体相机的标定方法及装置。
背景技术
图1为现有技术中利用双目立体相机根据对应点的视差计算深度信息的示意图,图2为对图1中的对应点的对应过程简化后的利用双目立体相机根据对应点的视差计算深度信息的示意图,如图1和图2所示,双目立体视觉的基本原理是根据双目立体相机的视差恢复立体信息的。在实际工程中,相机焦距、镜头畸变、基线长度、两相机光轴的平行度、光轴与基线的垂直度以及感光元件基于光轴的旋转等,都会影响共极性匹配和深度的计算。因此,在双目立体相机使用前,需要对双目立体相机进行标定,以确定上述参数。
目前双目立体相机的标定方案主要包括:打印棋盘格图像作为标定板,双目立体相机从多个角度获取含有标定板的视图,利用双目立体相机中的两个摄像头分别获取的视图之间单应性关系,求解特定的齐次线性系统来完成双目立体相机的标定。
现有的双目立体相机的标定方案使用打印机制作棋盘格,由于走纸精度存在误差,很难做到黑白格的等间距,尤其是当需制作的棋盘格面积很大时,几乎在实际中做不到等间距;另外,棋盘格需要是一个平坦的表面,在现实中也很难做到,因此,会严重影响双目立体相机标定的准确性,且打印的棋盘格标定板只能用于相应的规格配置的双目立体相机,通用性不佳。
发明内容
本申请实施例提出了一种双目立体相机的标定方法及装置,用以克服现有的双目立体相机的标定方案的不足。
本申请实施例提供了一种双目立体相机的标定方法,包括如下步骤:
根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;
驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;
根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。
本申请实施例提供了一种双目立体相机的标定装置,包括:
确定单元,用于根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;
驱动单元,用于驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;
标定单元,用于根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。
本申请有益效果如下:
本申请实施例提供了一种双目立体相机的标定方法及装置,根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。从而能够根据待标定的双目立体相机的标称参数准确控制棋盘格图像的显示,具有较佳的通用性,且可有效提高双目立体相机标定的有效性及效率。
附图说明
下面将参照附图描述本申请的具体实施例。
图1为现有技术中利用双目立体相机根据对应点的视差计算深度信息的示意图;
图2为对图1中的对应点的对应过程简化后的利用双目立体相机根据对应点的视差计算深度信息的示意图;
图3为本申请实施例中双目立体相机的标定方法的流程示意图;
图4为本申请实施例中双目立体相机的标定方法实施例二的系统示意图;
图5为本申请实施例中双目立体相机的标定装置的结构示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本说明书中的实施例及实施例中的特征可以互相结合。
在实现本申请的过程中,发明人发现:现有的双目立体相机的标定方案主要使用打印棋盘格图像作为标定板,双目立体相机从多个角度获取含有标定板的视图,利用双目立体相机中的两个摄像头分别获取的视图之间单应性关系,求解特定的齐次线性系统来完成双目立体相机的标定。而使用打印机打印的棋盘格,由于走纸精度存在误差,很难做到黑白格的等间距,尤其是当需制作的棋盘格面积很大时,几乎在实际中做不到等间距;另外,棋盘格需要是一个平坦的表面,在现实中也很难做到,因此,会严重影响双目立体相机标定的准确性,且打印的棋盘格标定板只能用于相应的规格配置的双目立体相机,通用性不佳。
针对上述问题,本申请实施例中提供了一种双目立体相机的标定方法及装置,可以采用平板显示器来显示用于标定双目立体相机的棋盘格图像,具体的,所示棋盘格图像的尺寸可以根据待标定双目立体相机的标称参数来确定,只要保证所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸,就可以根据不同双目立体相机的标称参数在平板显示器显示合适尺寸的棋盘格图像进行双目立体相机的标定,不但能够根据待标定的双目立体相机的标称参数准确控制棋盘格图像的显示,具有较佳的通用性,且可有效提高双目立体相机标定的有效性及效率。
本申请实施例中的方案可以应用于任意双目立体相机的标定。
实施例一
图3为本申请实施例中双目立体相机的标定方法的流程示意图,如图3所示,该双目立体相机的标定方法可以包括如下步骤:
步骤301:根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;
步骤302:驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;
步骤303:根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。
具体实施中,可以选择采用液晶、等离子体、电致发光、真空荧光、平板型阴极射线管和发光二极管等技术的平板显示器作为本申请实施例中的平板显示器。
平板显示器的显示平面几乎是理想的平面,可以有效克服现有打印的棋盘格平面很难保证是平坦的不足。同时,采用平板显示器根据双目立体相机的标称参数进行用于双目立体相机标定的棋盘格图像,只要选用有效显示尺寸够大平板显示器,不仅可以保证棋盘格图像显示平面的平坦度,还可以针对不同规格(标称参数不同)的双目立体相机灵活调整棋盘格图像的显示,具有较佳的通用性。
具体的,所述双目立体相机的标称参数可以包括:图像传感器单个像素尺寸边长(Spixel,单位为微米)、图像传感器的分辨率(包括:横向分辨率Xres和纵向分辨率Yres)、镜头标称焦距(f,单位为毫米)、镜头的光圈系数或双目基线标称长度(B,单位为米)。其中,镜头的光圈大小用光圈系数表示,光圈系数=镜头焦距/光孔直径。因此,对同一焦距的镜头来说,光圈系数越小,表示光孔越大;相反,光圈系数越大,表示光孔越小。
具体的,可以采用电机或机械齿轮、传送带结构等方式实现对双目立体相机的驱动位于不同的位置或朝向,例如,可以将待标定的双目立体相机连接至由电机控制的具有水平和俯仰两个自由度的云台的方式,实现双目立体相机的驱动。双目立体相机的具体驱动方式,这里不做具体限定。一般现有的双目立体相机标定过程,基本都是手动标定,而手动标定过程会带来抖动使捕捉的图像出现模糊,造成误差。本申请实施例中采用电机驱动双目立体相机进行标定过程,在减少了标定时间的同时,还可以避免手动标定引起的误差,提高标定的稳定性。
在双目立体相机视野内,一定距离(具体距离可以根据实际情况的需要来去顶)处(即,为所述双目立体相机与所述平板显示器之间的距离Lμ,单位为米)放置平板显示器,平板显示器的有效显示尺寸为Wd×Hd。将双目立体相机的中心正好或几乎与平板显示器的中心对齐时的位置,称为双目立体相机的初始位置。
驱动所述双目立体相机从多个不同位置获取所述棋盘格图像。当从水平旋转角度和/或俯仰旋转角度两个维度驱动双目立体相机移动时,水平旋转的角度范围,可以如下:
其中,WSV为所述双目立体相机视野横向重合尺寸、Wt为所述棋盘格图像的横向尺寸、Xres为所述双目立体相机图像传感器的横向分辨率、Spixel为所述双目立体相机图像传感器单个像素尺寸边长、f为所述双目立体相机镜头标称焦距、Lμ为所述双目立体相机与所述平板显示器之间的距离,上述参数的具体计算请参照下面相应的说明。
俯仰旋转的角度范围,可以如下:
其中,HSV为所述双目立体相机视野纵向重合尺寸、Ht为所述棋盘格图像的纵向尺寸、Yres为所述双目立体相机图像传感器的纵向分辨率,上述参数的具体计算请参照下面相应的说明。
当选择从13不同的位置获取所述棋盘格图像,实现所述双目立体相机的参数的标定时,这13个位置的角度具体可以如下:(0,0)、 (θpan,-θtilt)、(θpan,0)、(θpan,θtilt)、(0,θtilt)、(-θpan,θtilt)、(-θpan,0)、(-θpan,-θtilt)、(0,-θtilt)。
可以基于最大似然估计算法估算双目立体相机的内参矩阵,将问题转化为非线性最小二乘拟合。一般在给定初值的情况下,收敛计算最优解。但是,如果在一定的样本数据下,给出不合适的初值,可能只能局部收敛,无法达到全局最优解。按照一般的参数配置,θpan和θtilt通常在10°左右或更小。双目立体相机的小角度旋转会导致棋盘格视图的缺陷。根据概率统计学模型,所有偏离的点都是有噪声的。一个点偏离越远说明噪声越大,这个点出现的概率也越小。那么偏离程度x与出现概率f(x)满足正态分布或高斯分布。如果θ较小(接近平行),则无法与采样观测噪声相区别,就不能提供求解双目立体相机内外参数足够的约束,与实际值偏差很大的内参矩阵的初始值,很可能会使计算陷入局部收敛,得到错误的参数。于是我们可以将双目立体相机内外参数的初始值设置为双目立体相机的标称值。这样,计算时就会快速局部收敛,快速得到期望的结果。
本领域技术人员也可以根据实际情况从其他的维度对双目立体相机进行驱动,这里不做具体限定。
由于平行(或接近平行)的两张照片,其内外参的约束是相关的,因此,增加平行照片不会增加约束,所以,为了保证双目立体相机标定结果的精准度,需要使双目立体相机在多个不同的位置拍摄多张不同朝向的棋盘格图像,以提供足够的约束求解双目立体相机的内外参数,准确完成对双目立体相机的标定。
具体的,确定根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸的步骤301可以不必在每次双目立体相机标定的过程都执行,若待标定的多个双目立体相机的标称参数都相同,则只需执行一次步骤301。若每次标定的双目立体相机的标称参数均不相同,则步骤301需要在每次双目立体相机的标定过程都执行。具体实施中,
本申请实施例提供了一种双目立体相机的标定方法,根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。从而能够根据待标定的双目立体相机的标称参数准确控制棋盘格图像的显示,具有较佳的通用性,且可有效提高双目立体相机标定的有效性及效率。
实施中,所述双目立体相机图像传感器中的单元棋盘格边长的像素数Pt可以由如下公式确定:
且Pt≥Pmin,其中,所述棋盘格图像包括N*M个单元棋盘格,XSV为所述双目立体相机图像传感器中横向的成像分辨率,YSV为所述双目立体相机图像传感器中纵向的成像分辨率,K为所述双目立体相机图像传感器的图像缩放系数,Pmin为所述双目立体相机图像传感器中的单元棋盘格边长的最小像素数。
具体实施中,K可以是一个人为设定的系数,K的数值越大,棋盘格覆盖的视野就越大,越有利于标定计算。但K的数值过大,则会造成显示尺寸过大超出平板显示器的尺寸。设所述棋盘格图像包括N*M个单元棋盘格,棋盘格检测算法要求的图像传感器中的最小棋盘格单元边长像素数为Pmin,Pmin是标定算法需要的采样棋盘格单元格的最小像素数,与图像传感器无关。Pt除了满足还必须不小于Pmin。
实施中,所述双目立体相机图像传感器中横、纵向的成像分辨率XSV、YSV可以由如下公式确定,
其中,WSV为所述双目立体相机视野横向重合尺寸,B为所述双目立体相机的双目基线标称长度,Xres为所述双目立体相机图像传感器的横向分辨率;
YSV=Yres,其中,Yres为所述双目立体相机图像传感器的纵向分辨率。
实施中,所述双目立体相机视野横、纵向重合尺寸WSV、HSV可以由如下公式确定:
其中,Spixel为所述双目立体相机图像传感器单个像素尺寸边长,Lμ为所述双目立体相机与所述平板显示器之间的距离,f为所述双目立体相机镜头标称焦距;
具体实施中,根据针孔相机模型和双目立体相机的几何关系,可以确定所述双目立体相机视野横、纵向重合尺寸WSV、HSV。
实施中,所述棋盘格图像的横向尺寸为Wt,Wt可以由如下公式确定:
其中,WSV为所述双目立体相机视野横向重合尺寸;
所述棋盘格图像的纵向尺寸为Yt,Yt由如下公式确定:
其中,HSV为所述双目立体相机视野纵向重合尺寸。
具体实施中,所述棋盘格图像的横向尺寸为Wt必须不大于所述平板显示器的横向尺寸Wd,同理,所述棋盘格图像的纵向尺寸为Yt必须不大于所述平板显示器的横向尺寸Hd。
根据平板显示器的物理尺寸(Wp×HP,单位为米)和分辨率(包括:横向分辨率Xp和纵向分辨率Yp),可以计算出所述单元棋盘格的单位像素数,具体如下:
具体的WSV、HSV、XSV、YSV及pt的定义及计算上面已经进行了说明,这里不再赘述。
实施中,根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数,可以具体包括:
根据双目立体相机获取的所述棋盘格图像,确定所述棋盘格图像中的交叉点;
根据所述交叉点在双目立体相机中的像素坐标差,标定所述双目立体相机的参数。
具体实施中,根据双目立体相机获取的所述棋盘格图像,确定所述棋盘格图像中黑白颜色的交叉点,再根据所述交叉点在双目立体相机中的像素坐标差对双目立体相机内外参数形成的约束,求解所述双目立体相机的内外参数。
实施例二
实施例一中对监控装置控制的方法的实施进行了说明,现在结合具体场景对监控装置控制的方法的实施进行描述。
图4为本申请实施例中双目立体相机的标定方法实施例二的系统示意图,如图4所示,双目立体相机标定系统的构成,包括:标定用PC、显示控制PC、平板显示器、电机驱动控制设备、电机及双目立体相机。基于双目立体相机标定系统,实施本申请提供的双目立体相机的标定方法,可以如下:
步骤401:将双目立体相机的标称参数输入至标定用PC,标定用PC根据双目立体相机的标称参数计算出应在平板显示器显示棋盘格像素尺寸并将发送应在平板显示器显示棋盘格像素尺寸至显示控制PC。
具体的,标定用PC可以通过与双目立体相机的通信接口获取双目立体相机的标称参数。
步骤402:显示控制PC根据应在平板显示器显示棋盘格像素尺寸控制平板显示器显示棋盘格图像;
步骤403:标定用PC计算双目立体相机获取棋盘格图像的期望的13个不同位置所对应的两个自由度的角度(即,水平旋转角度和俯仰旋转角度)并发送至电机驱动控制设备;
步骤404:开启双目立体相机的自动标定;
具体的,电机驱动控制设备控制电机从初始位置到达步骤403中计算的各个位置并获取含有棋盘格图像的照片。
步骤405:标定用PC基于双目立体相机获得照片中检测到的棋盘格图像的黑白交叉点的像素坐标值,计算出双目立体相机的内外参数。
具体的,标定用PC可以通过有线或无线的形式接收双目立体相机获取的含有棋盘格图像的照片。
上述步骤并不是严格地依时间顺序执行,例如,步骤403也可以在步骤401或步骤402之前执行。
本申请实施例提供了一种双目立体相机的标定方法,根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。从而能够根据待标定的双目立体相机的标称参数准确控制棋盘格图像的显示,具有较佳的通用性,且可有效提高双目立体相机标定的有效性及效率。
基于同一申请构思,本申请实施例中还提供了一种双目立体相机的标定装置,由于该装置解决问题的原理与一种双目立体相机的标定方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
图5为本申请实施例中双目立体相机的标定装置的结构示意图,如图5所示,该双目立体相机的标定装置可以包括:
确定单元501,用于根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;
驱动单元502,用于驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;
标定单元503,用于根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。
实施中,所述双目立体相机的标称参数包括:图像传感器单个像素尺寸边长、图像传感器的分辨率、镜头标称焦距、镜头的光圈系数或双目基线标称长度。
实施中,所述双目立体相机图像传感器中的单元棋盘格边长的像素数Pt由如下公式确定:
且Pt≥Pmin,其中,所述棋盘格图像包括N*M个单元棋盘格,XSV为所述双目立体相机图像传感器中横向的成像分辨率,YSV为所述双目立体相机图像传感器中纵向的成像分辨率,K为所述双目立体相机图像传感器的图像缩放系数,Pmin为所述双目立体相机图像传感器中的单元棋盘格边长的最小像素数。
实施中,所述双目立体相机图像传感器中横、纵向的成像分辨率XSV、YSV由如下公式确定,
其中,WSV为所述双目立体相机视野横向重合尺寸,B为所述双目立体相机的双目基线标称长度,Xres为所述双目立体相机图像传感器的横向分辨率;
YSV=Yres,其中,Yres为所述双目立体相机图像传感器的纵向分辨率。
实施中,所述双目立体相机视野横、纵向重合尺寸WSV、HSV由如下公式确定:
其中,Spixel为所述双目立体相机图像传感器单个像素尺寸边长,Lμ为所述双目立体相机与所述平板显示器之间的距离,f为所述双目立体相机镜头标称焦距;
实施中,所述棋盘格图像的横、纵向尺寸为Wt、Yt由如下公式确定:
其中,WSV为所述双目立体相机视野横向重合尺寸;
其中,HSV为所述双目立体相机视野纵向重合尺寸。
实施中,所述标定单元具体用于根据双目立体相机获取的所述棋盘格图像,确定所述棋盘格图像中的交叉点;根据所述交叉点在双目立体相机中的像素坐标差,标定所述双目立体相机的参数。
本申请实施例提供了一种双目立体相机的标定装置,根据双目立体相机的标称参数确定平板显示器显示的棋盘格图像的尺寸,所述平板显示器的有效显示尺寸不小于所述棋盘格图像的尺寸;驱动所述双目立体相机从多个不同位置获取所述棋盘格图像;根据双目立体相机获取的所述棋盘格图像,标定所述双目立体相机的参数。从而能够根据待标定的双目立体相机的标称参数准确控制棋盘格图像的显示,具有较佳的通用性,且可有效提高双目立体相机标定的有效性及效率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。