CN113744342A - 一种单目相机外参标定系统及方法 - Google Patents

Abstract

本发明公开了一种单目相机外参标定系统及方法，属于智能车辆领域。一种单目相机外参标定系统，包括包括标靶，数量为至少六个，相机，全站仪，计算单元，计算单元分析在相机的成像平面上各个标靶的真实像素位置，得出各个标靶在世界坐标系中位置，得出目标车辆在世界坐标系中的位置，将各个标靶投影至假想位置的相机的成像平面上，并得出各个标靶在假想成像平面上的假想像素位置，对比各个标靶的假想像素位置和真实像素位置，求解相机在车辆坐标系中的位姿，它可以实现对目标车辆的标定中心精准判断，摆脱了标定板和场地的束缚，对目标车辆的停驶位置、角度约束进行解放，快速分析相机与目标车辆的相对位置和角度，提高检测的灵敏度和精准度。

Description

一种单目相机外参标定系统及方法

技术领域

本发明属于智能车辆领域，更具体地说，涉及一种单目相机外参标定系统及方法。

背景技术

传统相机外参标定方案，一般是用一块象棋格标定板放在相机前。再利用一些开源软件，计算出象棋格和相机之间的位置关系。从而推算出相机的空间位置和安装角度。这种方法在车辆相机外参标定上运用非常广泛。无论是前视相机还是环视相机，都可以用此方法标定。从而得出相机相对于标定板的位置和角度关系。再根据标定板和车辆的位置关系，从而推算出相机和车辆的位置关系。

目前汽车生产线上需要标定前视和环视相机。而且要在几分钟之内完成标定作业。标定板需要够大才能覆盖一定的相机投影面。如果标定板太大不利于车辆进出。另外，为了保证车体的位置停靠精确。还有些车厂会在地面安装一些机械包夹装置来夹住车轮。这种方案难度较大，有可能会影响四轮定位，也不能保证精度很高。

现有的方案具备不限于以下三点的缺点：

1.车辆和标定板之间的位置关系，不太好测量。一般车辆坐标系的坐标原点位于车辆的后桥中心点，不太好测量。一般是知道车辆的尺寸，然后将车开到一个指定的位置，但是也很难保证车辆能够停得很准，有角度偏差也很难观测到。所以即使通过一些开源软件得出了相机和标定板之间的精确位置和角度关系，但是在通过标定板和车辆位置和角度关系推算相机和车辆的角度关系时还是会产生较大的误差，导致测量结果超差，不合格品率居高不下。

2.太依赖于标定板。由于场地限制，在狭小的室内标定板太大不太好放。假如客户需要标定前视相机，标定板要放在相机正前方，也就是车辆正前方，标定板要覆盖一定的相机投影平面。所以，标定板必须非常大，一般有3米高和3米宽以上。对于环视相机(安装在反光镜向下看)，标定板也必须非常大才能达到好的标定效果。对场地的限制太大，部分企业无法通过标定板来完成作业。

3.标定板必须平整。网上出现了一些供应商专门提供平整度非常高的标定板。背面是用钢化玻璃镜子来保证平整度。表面用氧化铝处理从而保证表面的精确度，制作工艺复杂，且成本非常高，使用寿命也很短。

发明内容

本发明要解决的技术问题在于提供一种单目相机外参标定系统及方法，它可以实现对目标车辆的标定中心精准判断，摆脱了标定板和场地的束缚，对目标车辆的停驶位置、角度约束进行解放，快速分析相机与目标车辆的相对位置和角度，提高检测的灵敏度和精准度。

本发明的一种单目相机外参标定系统，包括

标靶，数量为六个或至少六个。

相机，位于目标车辆上，用于拍摄标靶的图像。

全站仪，用于测量标靶位置和目标车辆的位姿。

计算单元，用于获取相机的图像和全站仪的测量结果。

计算单元分析在相机的成像平面上各个标靶的真实像素位置，并建立以目标车辆的后桥中心为原点的车辆坐标系，求解相机的六自由度的位置和角度。

计算单元以全站仪自身为原点建立世界坐标系，得出各个标靶在世界坐标系中位置，得出目标车辆在世界坐标系中的位置。

计算单元设置有相机在车辆坐标系中的假想位置、角度，利用相机的内参、各个标靶在世界坐标系中位置、目标车辆在世界坐标系中的位置，将各个标靶投影至假想位置的相机的成像平面上，并得出各个标靶在假想成像平面上的假想像素位置。

计算单元对比各个标靶的假想像素位置和真实像素位置。计算单元记录有投影方程，经过重复迭代相机在车辆坐标系中的假想位置，求解相机在车辆坐标系中的位姿。

作为本发明的进一步改进，每个标靶均包括反光部和角特征。角特征为相机便于识别的结构。所有的角特征均始终位于相机的成像平面内。所有的角特征均始终位于全站仪的成像平面内。所有的标靶在世界坐标系中所在的平面数量为至少六个。所有的标靶在世界坐标系中至少存在六个不同的角度。

作为本发明的进一步改进，反光部为反光贴纸，反光贴纸的表面由反光材料制成。反光贴纸覆盖角特征。

作为本发明的进一步改进，全站仪测量的目标车辆的图像中包括至少三个关键点。至少一个关键点位于后桥的轴心所在的目标车辆外壳上。至少一对关键点在目标车辆外壳上处于对称位置。

作为本发明的进一步改进，全站仪测量的目标车辆的图像中包括至少三个关键点。至少一个关键点位于后桥的轴心所在的目标车辆外壳上。至少一对关键点在目标车辆外壳上处于对称位置。已有的三个关键点可以测量出车辆的位置和车辆左右倾斜度。如果地面有坡度，还需要再多加一个关键点来测量坡度。

作为本发明的进一步改进，车辆坐标系的设定方式为：位于后桥的轴心的关键点为Y轴所在的点。在目标车辆外壳上处于对称位置的两个关键点为相对X轴对称的点。与X轴和Y轴均垂直的直线为Z轴。X、Y和Z轴的相交点为原点。

作为本发明的进一步改进，重复迭代相机在车辆坐标系中的假想位置的过程包括：将各个标靶的假想像素位置和真实像素位置的对比结果，根据投影方程的偏导，对相机的六自由度的旋转和平移进行调整，形成相机在车辆坐标系中新的假想位置，并得出各个标靶在新的假想成像平面上的新的假想像素位置。对比新的假想像素位置和真实像素位置的对比结果重新迭代，直至假想像素位置和真实像素位置一致。

作为本发明的进一步改进，全站仪测量标靶的顺序规律按照标靶的摆放规律。

作为本发明的进一步改进，相机为前视相机或环视相机。相机的拍摄方向为车辆坐标系或世界坐标系中的任一方向。

作为本发明的进一步改进，相机在车辆坐标系中的位姿包括：相机焦点在车辆坐标系中的具体坐标和相机与车辆坐标系形成的横摆角、俯仰角、自旋角。

本发明的另一目的在于提供一种单目相机外参标定的方法，基于使用单目相机外参标定系统，包括以下步骤：

S1.全站仪测量所有的标靶的图像，计算单元记录映射在世界坐标系上的坐标位置。

S2.全站仪测量目标车辆的图像，计算单元根据关键点在世界坐标系中的坐标位置，建立车辆坐标系。

S3.相机拍摄所有的标靶的图像，计算单元记录在相机的成像平面上的真实像素位置。

S4.计算单元初步设定相机在车辆坐标系中的假想坐标和角度，并建立假想的成像平面。

S5.计算单元将所有的标靶投影至假想的成像平面上，获取假想像素位置。

S6.对比假想像素位置和真实像素位置重合程度是否符合要求，若不符合要求则进行S7，若符合要求则将此时的相机的假想位姿作为真实位姿输出。

S7.计算单元对相机的六自由度的旋转和平移进行调整，获取新的假想像素位置。

S8.对比新的假想像素位置和真实像素位置是否重合，若不重合则返回进行S7，若重合则将此时的相机的假想位姿作为真实位姿输出。

相比于现有技术，本发明的有益效果在于：

1.本发明通过先使用全站仪标定各个标靶的位置，全站仪再标定目标车辆的位置，最后相机标定标靶的位置，计算单元可根据全站仪的数据分析标靶与目标车辆的位置关系，对比相机与标靶的关系，计算出相机与目标车辆的关系，摆脱了标定板的限制，可适用于室内空间较小的实验室，且有效避免目标车辆未停驶在目标区域内、目标车辆停驶角度超差、标定板尺寸过大不好放置、标定板表面不平整等因素带来的测量结果不准确的问题发生，降低了计算难度和检测难度，提高了实时测算的速度，有效保证了测量结果的准确性，且适用的范围广。

2.本发明使用全站仪对目标车辆进行标定，无需对目标车辆施加外力和添加结构，有效避免对目标车辆造成物性损害。

3.本发明标靶数量至少六个，可通过全站仪的数据和相机的数据，准确分析出相机在车辆坐标系中的6自由度的位置和角度，有效提高测量结果的准确性。

4.本发明通过全站仪对目标车辆车身上三个关键点的标定，计算出目标车辆在世界坐标系中的位置，并设定车辆坐标系，车辆坐标系的原点位于后桥的中心，其中一个关键点位于车辆坐标系的Y轴上，另外两个关键点相对车辆坐标系的X轴对称，使车辆坐标系的原点位置准确，有效提高测量结果的准确性。

5.本发明通过将标靶在相机的成像平面上的真实像素位置，与假想的相机的成像平面上的假想像素位置，进行对比，并不断进行迭代，直至真实像素位置与假想像素位置重合，计算出相机相对目标车辆的位置和角度，有效提高测量结果的准确性。

6.本发明标靶包括角特征和反光贴纸，反光贴纸覆盖角特征，角特征始终在全站仪的取景范围内，提高角特征被获取时的感光度，增加获取标靶信息的灵敏度，提高计算速度和检测速度。

7.本发明可适用前视相机和环视相机，相机的取景方向可以是任何方向，适用范围广。

8.本发明相机在车辆坐标系中的位姿包括相机焦点在车辆坐标系中的具体坐标和相机与车辆坐标系形成的横摆角、俯仰角、自旋角，在保证相机位姿计算的准确度上，为增加惯性导航元件对相机姿态做姿态补偿提供基础。

附图说明

图1为本发明的具体实施例一的全站仪标定标靶时的示意图；

图2为本发明的具体实施例一的目标车辆与相机的位置示意图；

图3为本发明的具体实施例一的全站仪标定目标车辆时的示意图；

图4为本发明的具体实施例一的相机标定标靶时的示意图；

图5为本发明的具体实施例一的相机、全站仪和计算单元的连接示意图；

图6为本发明的具体实施例一的相机在车辆坐标系中的位置示意图；

图7为本发明的具体实施例一的相机坐标系的示意图；

图8为本发明的具体实施例一的相机在车辆坐标系中横摆角的位置示意图；

图9为本发明的具体实施例一的相机在车辆坐标系中俯仰角的位置示意图；

图10为本发明的具体实施例一的相机在车辆坐标系中自旋角的位置示意图；

图11为本发明的具体实施例二的方法流程示意图；

图12为本发明的具体实施例三的相机标定标靶时的示意图。

图13为具体实施例八的相机、全站仪和作为计算单元的通用计算机的连接示意图。

图14为具体实施例八的通用计算机工作时的部分界面。

图15为具体实施例十的方法流程示意图。

图中标号说明：

标靶1、相机2、全站仪3、计算单元4、目标车辆5。

具体实施方式

具体实施例一：请参阅图1-10的一种单目相机外参标定系统，包括标靶1、相机2、全站仪3和计算单元4.

标靶1共有六个，每个标靶1结构均一致。每个标靶1均包括反光贴纸和角特征。反光贴纸的表面由反光材料制成，反光贴纸覆盖角特征。角特征为相机2便于识别的结构。所有的标靶1在世界坐标系中所在的平面均不同。所有的标靶1在世界坐标系中存在的角度均不同。六个标靶1分别可求解相机2的6自由度位置和角度。

相机2为前视相机，拍摄方向为正前方，相机2固定设置在目标车辆5上，用于拍摄标靶1的图像。所有的角特征均始终位于相机2的成像平面内。

全站仪3独立于目标车辆5和标靶1，全站仪3用于测量标靶1和目标车辆5的图像。所有的角特征均始终位于全站仪3的成像平面内。

计算单元4可获取相机2和全站仪3测量的图像。

计算单元4以全站仪3自身为原点建立世界坐标系OABC。

计算单元4根据全站仪3反馈的标靶1的图像，得出各个标靶1在世界坐标系中位置。

计算单元4根据全站仪3反馈的目标车辆5的图像，得出目标车辆5在世界坐标系中的位置。全站仪3测量的目标车辆5的图像中包括三个关键点。其中一个关键点位于后桥的轴心所在的目标车辆5外壳上。另外两个关键点在目标车辆5外壳上处于对称位置。

计算单元4根据全站仪3反馈的目标车辆5的图像，设定车辆坐标系OXYZ，车辆坐标系的设定方式为：位于后桥的轴心的关键点为Y轴所在的点。在目标车辆5外壳上处于对称位置的两个关键点为相对X轴对称的点。与X轴和Y轴均垂直的直线为Z轴。X、Y和Z轴的相交点为原点。原点位于目标车辆5后桥的中心。全车只有这个点的运动轨迹和目标车辆5航向相切，且在目标车辆5中心。

计算单元4根据相机2反馈的各个标靶1在相机2的成像平面上的图像，分析在相机2的成像平面上各个标靶1的真实像素位置。

计算单元4手动设置输入有相机2在车辆坐标系中的假想位置、角度，包括相机2的焦点坐标在车辆坐标系中坐标以及相机2在车辆坐标系中的横摆角α、俯仰角β、自旋角γ。

计算单元4根据相机2的假想位置，建立假想相机2的相机坐标系omnp，相机坐标系的原点位于焦点位置。

其中，横摆角α是指相机2的中轴线m与车辆坐标系X轴在相机坐标系中穿过焦点的平行线所构成的夹角。

俯仰角β是指相机2的中轴线m与中轴线m在车辆坐标系XY平面上的投影轴线m1所构成的夹角。

自旋角是指相机2侧向线与测向线在车辆坐标系中XY平面上的投影轴线n1所构成的夹角。

在本实施例中，设定相机2的焦点坐标在车辆坐标系中位置为:a＝1米、b＝0米、c＝1米、横摆角α＝0°、俯仰角β＝0°、自旋角γ＝0°。

计算单元4利用相机2的内参、各个标靶1在世界坐标系中位置、目标车辆5在世界坐标系中的位置，模拟将各个标靶1投影至假想位置的相机2的成像平面上，并得出各个标靶1在假想成像平面上的假想像素位置。

计算单元4对比各个标靶1的假想像素位置和真实像素位置。计算单元4记录有投影方程，经过重复迭代相机2在车辆坐标系中的假想位置，直至假想像素位置和真实像素位置重合，以此来求解相机2在车辆坐标系中的位姿，准确分析出相机2在车辆坐标系中的6自由度的位置和角度。

重复迭代相机2在车辆坐标系中的假想位置的过程包括：将各个标靶1的假想像素位置和真实像素位置的对比结果，根据投影方程的偏导，对相机2的六自由度的旋转和平移进行调整，形成相机2在车辆坐标系中新的假想位置，并得出各个标靶1在新的假想成像平面上的新的假想像素位置。对比新的假想像素位置和真实像素位置的对比结果重新迭代，直至假想像素位置和真实像素位置一致。

具体实施例二,在具体实施例一的基础上，请参阅图11的一种单目相机外参标定方法，基于使用单目相机外参标定系统，包括以下步骤：

S1.全站仪3测量六个标靶1的图像，计算单元4记录映射在世界坐标系上的坐标位置。

S2.全站仪3测量目标车辆5的图像，计算单元4根据三个关键点在世界坐标系中的坐标位置，建立车辆坐标系。

S3.相机2拍摄所有的标靶1的图像，计算单元4记录在相机2的成像平面上的真实像素位置。

S4.计算单元4初步设定相机2在车辆坐标系中的假想坐标和角度，并建立假想的成像平面。

S5.计算单元4将所有的标靶1投影至假想的成像平面上，获取假想像素位置。

S6.对比假想像素位置和真实像素位置是否重合，若不重合则进行S7，若重合则将此时的相机2的假想位姿作为真实位姿输出。

S7.计算单元4对相机2的六自由度的旋转和平移进行调整，获取新的假想像素位置,进入S5。

S8.对比假想像素位置和真实像素位置重合程度是否符合设定的要求(可接受的误差范围由工程师按照项目要求进行设定)，若不符合要求则进行S7，若符合要求则将此时的相机2的假想位姿作为真实位姿输出。

具体实施例三：与具体实施例一不同的是，一种单目相机外参标定系统，相机2为前视相机，相机2的拍摄方向为侧向，即拍摄目标车辆5驾驶侧方向。六个标靶1放置于目标车辆5的驾驶侧的地面上，相机2可拍摄六个标靶1的图像,全站仪3均可完整测量六个标靶1。

具体实施例四，与具体实施例一不同的是，相机2为环视相机。相机2的拍摄方向目标车辆5的全周侧。六个标靶1放置于目标车辆5周身的任一位置，相机2可拍摄六个标靶1的图像,全站仪3均可完整测量六个标靶1。

具体实施例五：与具体实施例一至四不同的是，全站仪3测量标靶1的顺序规律按照标靶1的摆放规律。

具体实施例六：在具体实施例五的基础上，六个标靶1的摆设于目标车辆5的前侧方向，其中在车辆坐标系的X轴方向上，六个标靶1的X轴坐标为从前至后依次降低，六个标靶1的Y轴坐标为从右至左依次增大，六个标靶1的Z轴坐标为从下至上依次降低。全站仪3测量标靶1的顺序为X轴坐标从大至小或Y轴坐标从大至小或Z轴坐标从大至小任一种。

具体实施例七：在具体实施例一的基础上，计算单元4对相机2的六自由度的旋转和平移进行重复调整次数为十次。十次后将此时设定的相机2的假想位姿作为相机2的真实位姿输出。

具体实施例八：如图13、14所示,在具体实施例一的基础上，计算单元4具有硬件和软件，硬件为电脑，操作系统为Linux或windows。

具体实施例九：在具体实施例七的基础上,硬件为通用计算机具体的为笔记本电脑。

具体实施例十：在具体实施例一的基础上，请参阅图15的一种单目相机外参标定方法，基于使用单目相机外参标定系统，包括以下步骤：

K1.全站仪3测量六个标靶1的图像，计算单元4记录映射在世界坐标系上的坐标位置。

K2.全站仪3测量目标车辆5的图像，计算单元4根据三个关键点在世界坐标系中的坐标位置，建立车辆坐标系。

K3.相机2拍摄所有的标靶1的图像，计算单元4记录在相机2的成像平面上的真实像素位置。

K4.计算单元4初步设定相机2在车辆坐标系中的假想坐标和角度，并建立假想的成像平面。

K5.计算单元4将所有的标靶1投影至假想的成像平面上，获取假想像素位置。

K6.对比假象像素位置与真实像素位置，并设置对比次数上限。

K7.比较对比次数是否达到上限；如果比较结果为是,则进入K8；如果比较结果为否,则进入K8。

K8.判断假象像素位置与真实像素位置的平均误差是否小于预设值a且方差小于预设值b；如果判断结果为是,则进入K10；如果判断结果为否则进入K9。

K9.计算单元4对相机2的六自由度的旋转和平移进行调整，获取新的假想像素位置,进入K5。

K10.将此时的相机2的假想位姿作为真实位姿输出。

具体实施例十一：在具体实施例十的基础上，预设值a等于1.5(个像素距离)预设值b等于2.34(个像素距离)。

具体实施例十二：在具体实施例十的基础上，步骤K6所述的对比次数上限取值为2、3、4、5、6、7、8、9或10。

Claims (10)

1.一种单目相机外参标定系统，其特征在于：包括

标靶(1)，数量为至少六个；

相机(2)，位于目标车辆(5)上，用于拍摄标靶(1)的图像；

全站仪(3)，用于测量标靶(1)和目标车辆(5)的位姿；

计算单元(4)，用于获取相机(2)拍摄的图像和全站仪(3)测量的位姿；

计算单元(4)分析在相机(2)的成像平面上各个标靶(1)的真实像素位置，并建立以目标车辆(5)的后桥中心为原点的车辆坐标系，求解相机(2)的六自由度的位置和角度；

计算单元(4)以全站仪(3)自身为原点建立世界坐标系，得出各个标靶(1)在世界坐标系中位置，得出目标车辆(5)在世界坐标系中的位置；

计算单元(4)设置有相机(2)在车辆坐标系中的假想位置、角度，利用相机(2)的内参、各个标靶(1)在世界坐标系中位置、目标车辆(5)在世界坐标系中的位置，将各个标靶(1)投影至假想位置的相机(2)的成像平面上，并得出各个标靶(1)在假想成像平面上的假想像素位置；

计算单元(4)对比各个标靶(1)的假想像素位置和真实像素位置；计算单元(4)记录有投影方程，经过重复迭代相机(2)在车辆坐标系中的假想位置，求解相机(2)在车辆坐标系中的位姿。

2.根据权利要求1所述的一种单目相机外参标定系统，其特征在于：每个标靶(1)均包括反光部和角特征；角特征为相机(2)便于识别的结构；所有的角特征均始终位于相机(2)的成像平面内；所有的角特征均始终位于全站仪(3)的成像平面内；所有的标靶(1)在世界坐标系中所在的平面数量为至少六个；所有的标靶(1)在世界坐标系中至少存在六个不同的角度。

3.根据权利要求2所述的一种单目相机外参标定系统，其特征在于：反光部为反光贴纸，反光贴纸的表面由反光材料制成；反光贴纸覆盖角特征。

4.根据权利要求1所述的一种单目相机外参标定系统，其特征在于：全站仪(3)测量的目标车辆(5)的图像中包括至少三个关键点；至少一个关键点位于后桥的轴心所在的目标车辆(5)外壳上；至少一对关键点在目标车辆(5)外壳上处于对称位置。

5.根据权利要求4所述的一种单目相机外参标定系统，其特征在于：车辆坐标系的设定方式为：位于后桥的轴心的关键点为Y轴所在的点；在目标车辆(5)外壳上处于对称位置的两个关键点为相对X轴对称的点；与X轴和Y轴均垂直的直线为Z轴；X、Y和Z轴的相交点为原点。

6.根据权利要求1所述的一种单目相机外参标定系统，其特征在于：重复迭代相机(2)在车辆坐标系中的假想位置的过程包括：将各个标靶(1)的假想像素位置和真实像素位置的对比结果，根据投影方程的偏导，对相机(2)的六自由度的旋转和平移进行调整，形成相机(2)在车辆坐标系中新的假想位置，并得出各个标靶(1)在新的假想成像平面上的新的假想像素位置；对比新的假想像素位置和真实像素位置的对比结果重新迭代，直至假想像素位置和真实像素位置一致。

7.根据权利要求1所述的一种单目相机外参标定系统，其特征在于：全站仪(3)测量标靶(1)的顺序规律按照标靶(1)的摆放规律。

8.根据权利要求2所述的一种单目相机外参标定系统，其特征在于：相机(2)为前视相机或环视相机；相机(2)的拍摄方向为车辆坐标系或世界坐标系中的任一方向。

9.根据权利要求1所述的一种单目相机外参标定系统，其特征在于：相机(2)在车辆坐标系中的位姿包括：相机(2)焦点在车辆坐标系中的具体坐标和相机(2)与车辆坐标系形成的横摆角、俯仰角、自旋角。

10.一种单目相机外参标定方法，基于使用权利要求1-9任一所述的一种单目相机外参标定系统，其特征在于：包括以下步骤：

S1.全站仪(3)测量所有的标靶(1)的位置，计算单元(4)记录映射在世界坐标系上的坐标位置；

S2.全站仪(3)测量目标车辆(5)的关键点位置，计算单元(4)根据关键点在世界坐标系中的坐标位置，建立车辆坐标系；

S3.相机(2)拍摄所有的标靶(1)的图像，计算单元(4)记录在相机(2)的成像平面上的真实像素位置；

S4.计算单元(4)初步设定相机(2)在车辆坐标系中的假想坐标和角度，并建立假想的成像平面；

S5.计算单元(4)将所有的标靶(1)投影至假想的成像平面上，获取假想像素位置；

S6.对比假想像素位置和真实像素位置重合程度是否符合要求，若不符合要求则进行S7，若符合要求则将此时的相机(2)的假想位姿作为真实位姿输出；

S7.计算单元(4)对相机(2)的六自由度的旋转和平移进行调整，获取新的假想像素位置；

S8.对比新的假想像素位置和真实像素位置是否重合，若不重合则返回进行S7，若重合则将此时的相机(2)的假想位姿作为真实位姿输出。

Images