CN115018935A - 相机与车辆的标定方法、装置、电子设备及存储介质 - Google Patents

相机与车辆的标定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115018935A
CN115018935A CN202210946717.XA CN202210946717A CN115018935A CN 115018935 A CN115018935 A CN 115018935A CN 202210946717 A CN202210946717 A CN 202210946717A CN 115018935 A CN115018935 A CN 115018935A
Authority
CN
China
Prior art keywords
vehicle
data
camera
calibration
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210946717.XA
Other languages
English (en)
Other versions
CN115018935B (zh
Inventor
魏晟
温志庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202210946717.XA priority Critical patent/CN115018935B/zh
Publication of CN115018935A publication Critical patent/CN115018935A/zh
Application granted granted Critical
Publication of CN115018935B publication Critical patent/CN115018935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及自动导航标定技术领域,提供了一种相机与车辆的标定方法、装置、电子设备及存储介质,方法包括:使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;最终将符合预设标准的第一标准方差和第二标准方差对应的第三位姿数据作为相机相对车辆的位姿标定结果。本发明具有标定流程简单和标定精度高的有益效果。

Description

相机与车辆的标定方法、装置、电子设备及存储介质
技术领域
本申请涉及自动导航标定技术领域,具体而言,涉及一种相机与车辆的标定方法、装置、电子设备及存储介质。
背景技术
现有的自动导航标定技术一般是通过标定模型获得相机与车辆的相对位置关系。这种标定方法在车辆的加工精度或者装配精度有误差的情况下,如果相机的拍摄角度与标定模型存在误差,会导致视觉算法识别出来的物体与车辆的相对位置关系产生偏移,影响标定的精度。
还有另外一种标定方法是采用标定工具如Autoware软件,先在激光雷达获取的点云数据中手动标识出标定物和车辆的相对位置关系,再通过PnP算法(PnP (Perspective-n-Point)是一种位姿确定的方法)算出标定物在相机中的位姿去标定激光雷达与相机之间的关系,最后获得相机与车辆的相对位置关系。这种标定方式的步骤繁琐,并且自动化程度低,不适合量产自动驾驶车辆或者是服务型移动机器人的标定。
基于上述问题,目前尚未有有效的解决方法。
发明内容
本申请的目的在于提供一种相机与车辆的标定方法、装置、电子设备及存储介质,能够提高标定的精度和效率。
第一方面,本申请提供了一种相机与车辆的标定方法,应用于车辆标定系统,所述车辆标定系统包括车辆、设置在所述车辆上的相机、固定设置的标定物和固定设置的激光跟踪仪,其中,包括以下步骤:
S1.使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取所述标定物相对所述相机的第一位姿数据和所述车辆相对所述激光跟踪仪的第二位姿数据;
S2.根据所述第二位姿数据和所述第一位姿数据计算所述相机相对所述车辆的第三位姿数据;
S3.根据所述第三位姿数据、所述第一位姿数据和所述第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;
S4.计算所述第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;
S5.根据所述第一标准方差和所述第二标准方差,剔除其所述旋转向量模长超过预设第一倍数的所述第一标准方差和/或其所述平移向量模长超过预设第二倍数的所述第二标准方差的所述第四位姿数据对应的所述第三位姿数据、所述第一位姿数据和所述第二位姿数据,并返回步骤S2,直至所述第一标准方差小于第一预设阈值和所述第二标准方差小于第二预设阈值;
S6.提取最后计算得到的所述第三位姿数据作为相机相对车辆的位姿标定结果。
本申请的相机与车辆的标定方法,通过使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并重新计算第四位姿数据,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
可选地,步骤S1中,使车辆依次移动至多个车辆位姿处的步骤包括:
S101.使车辆朝任意方向移动两次,分别获取第一次移动后所述标定物相对所述相机的第五位姿数据和所述车辆相对所述激光跟踪仪的第六位姿数据,以及第二次移动后所述标定物相对所述相机的第七位姿数据和所述车辆相对所述激光跟踪仪的第八位姿数据;
S102.根据所述第五位姿数据、所述第六位姿数据、所述第七位姿数据和所述第八位姿数据计算相机相对车辆的初始位置关系;
S103.根据所述初始位置关系使车辆依次移动至多个车辆位姿处,以令所述车辆在各所述车辆位姿处时所述相机均能拍摄到所述标定物。
在实际应用中,由于相机自身存在畸变的误差和图像分辨率有限等问题,初步求得的相机相对车辆的初始位置关系会存在较大的误差,但是这个初始位置关系可以为接下来的车辆移动做指导,让车辆可以自动移动到相机可以获取标定物图像的位姿上,方便后续标定。
可选地,所述第一位姿数据的获取步骤包括:
A1.获取每次车辆移动后的第一图像;
A2.根据所述第一图像计算Brenner参数和Tenengrad参数;
A3.将所述Brenner参数低于第三预设阈值且所述Tenengrad参数低于第四预设阈值对应的第一图像作为第二图像;
A4.根据所述第二图像获取所述第一位姿数据。
通过这种方式,可以将清晰度值小于预设阈值的图像剔除,有利于提高图像的清晰度值,方便后续根据图像获取位姿数据。
可选地,步骤A3之后,步骤A4之前包括:
使用模糊掩膜算法对所述第二图像进行处理,以提高所述第二图像的清晰度。
通过这种方式,可以进一步提高图像的质量和清晰度。
可选地,所述第二位姿数据的获取步骤包括:
S301.获取所述激光跟踪仪采集的所述车辆上的三个标记点的位置,分别记为第一点位、第二点位和第三点位;
S302.根据所述第一点位和所述第二点位计算第一向量;
根据所述第一点位和所述第三点位计算第二向量;
S303.根据所述第一向量和所述第二向量计算垂直向量;
S304.根据所述第一点位、所述第一向量、所述第二向量和所述垂直向量获取所述第二位姿数据。
可选地,步骤S4包括:
S401.根据每个所述第四位姿数据获取对应的旋转矩阵和平移矩阵;
S402.根据所述旋转矩阵计算所述旋转向量模长,根据所述平移矩阵计算所述平移向量模长;
S403.根据每个所述第四位姿数据对应的所述旋转向量模长计算所述第一标准方差;
根据每个所述第四位姿数据对应的所述平移向量模长计算所述第二标准方差。
本申请提供的相机与车辆的标定方法,通过使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并重新计算第四位姿数据,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
第二方面,本申请提供一种相机与车辆的标定装置,应用于车辆标定系统,所述车辆标定系统包括车辆、设置在所述车辆上的相机、固定设置的标定物和固定设置的激光跟踪仪,其中,包括以下模块:
第一获取模块:用于使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取所述标定物相对所述相机的第一位姿数据和所述车辆相对所述激光跟踪仪的第二位姿数据;
第一计算模块:用于根据所述第二位姿数据和所述第一位姿数据计算所述相机相对所述车辆的第三位姿数据;
第二计算模块:用于根据所述第三位姿数据、所述第一位姿数据和所述第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;
第三计算模块:用于计算所述第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;
剔除模块:用于根据所述第一标准方差和所述第二标准方差,剔除其所述旋转向量模长超过预设第一倍数的所述第一标准方差和/或其所述平移向量模长超过预设第二倍数的所述第二标准方差的所述第四位姿数据对应的所述第三位姿数据、所述第一位姿数据和所述第二位姿数据,并使第一计算模块、第二计算模块和第三计算模块再次执行其功能操作,直至所述第一标准方差小于第一预设阈值和所述第二标准方差小于第二预设阈值;
提取模块:用于提取最后计算得到的所述第三位姿数据作为相机相对车辆的位姿标定结果。
可选地,第一获取模块在使车辆依次移动至多个车辆位姿处的时候,具体执行以下步骤:
S101.使车辆朝任意方向移动两次,分别获取第一次移动后所述标定物相对所述相机的第五位姿数据和所述车辆相对所述激光跟踪仪的第六位姿数据,以及第二次移动后所述标定物相对所述相机的第七位姿数据和所述车辆相对所述激光跟踪仪的第八位姿数据;
S102.根据所述第五位姿数据、所述第六位姿数据、所述第七位姿数据和所述第八位姿数据计算相机相对车辆的初始位置关系;
S103.根据所述初始位置关系使车辆依次移动至多个车辆位姿处,以令所述车辆在各所述车辆位姿处时所述相机均能拍摄到所述标定物。
本申请提供的基于相机与车辆的标定装置,通过第一获取模块使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;第一计算模块根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;第二计算模块根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;第三计算模块计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;剔除模块根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并使第一计算模块、第二计算模块和第三计算模块再次执行其功能操作,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取模块提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
第三方面,本申请提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
综上,本申请的相机与车辆的标定方法、装置、电子设备及存储介质,通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
附图说明
图1为本申请提供的相机与车辆的标定方法的一种流程图。
图2为本申请提供的相机与车辆的标定装置的一种结构示意图。
图3为本申请提供的电子设备的结构示意图。
标号说明:
201、第一获取模块;202、第一计算模块;203、第二计算模块;204、第三计算模块;205、剔除模块;206、提取模块;301、处理器;302、存储器;303、通信总线。
具体实施方式
下面将结合本申请实施方式中附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部的实施方式。通常在此处附图中描述和示出的本申请实施方式的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施方式。基于本申请的实施方式,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1是本申请一些实施方式中的相机与车辆的标定方法的流程图,应用于车辆标定系统,车辆标定系统包括车辆、设置在车辆上的相机、固定设置的标定物和固定设置的激光跟踪仪,其中,包括以下步骤:
S1.使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;
S2.根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;
S3.根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;
S4.计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;
S5.根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并返回步骤S2,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;
S6.提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。
其中,本申请的车辆标定系统中,标定物可以是棋盘格、对称圆点或者非对称圆点等,在此本申请不做具体限定;激光跟踪仪可以自动跟踪和捕获标定物和车辆上的标志点,标志点为人为在车辆上进行标记的点位;相机可以采用现有的深度相机。
步骤S1中,使车辆依次移动至多个车辆位姿处可以是使车辆朝任意方向进行移动;也可以是使车辆以均匀分布的随机分布方式(现有技术)选取50-60个不同的位置,然后根据该变换矩阵值和标定物的位置(为已知量)计算在各个位置处的方向角度以使标定物在相机的拍摄范围内,从而得到50-60个不同的位姿,此时激光跟踪仪会在车辆每次移动后捕获记录车辆上标志点的位置,同时车辆上的相机会获取对应的标定物图像。
步骤S2中,由于获取了多组第二位姿数据和第一位姿数据,可以采用现有的Levenberg-Marquardt算法(列文伯格-马夸尔特算法)求解第三位姿数据。
步骤S3中,根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据的计算公式如下:
Figure 706677DEST_PATH_IMAGE001
其中,LS代表激光跟踪仪(Laser Scanner);Car代表车辆;Cam代表相机(Camera);T代表标定物(Target);
Figure 154976DEST_PATH_IMAGE003
代表标定物相对激光跟踪仪的第四位姿数据;
Figure 465871DEST_PATH_IMAGE005
代表车辆相对激光跟踪仪的第二位姿数据;
Figure 142971DEST_PATH_IMAGE007
代表相机相对车辆的第三位姿数据;
Figure 488502DEST_PATH_IMAGE009
代表标定物相对相机的第一位姿数据。
本申请的相机与车辆的标定方法,通过使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并重新计算第四位姿数据,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
在一些实施方式中,使车辆依次移动至多个车辆位姿处可以是预先设定一个变换矩阵值,该变换矩阵值为相机和车身的位置关系,随后车辆每次移动时都是根据该相机和车身的位置关系进行移动。
在一些优选的实施方式中,步骤S1中,使车辆依次移动至多个车辆位姿处的步骤包括:
S101.使车辆朝任意方向移动两次,分别获取第一次移动后标定物相对相机的第五位姿数据和车辆相对激光跟踪仪的第六位姿数据,以及第二次移动后标定物相对相机的第七位姿数据和车辆相对激光跟踪仪的第八位姿数据;
S102.根据第五位姿数据、第六位姿数据、第七位姿数据和第八位姿数据计算相机相对车辆的初始位置关系;
S103.根据初始位置关系使车辆依次移动至多个车辆位姿处,以令车辆在各车辆位姿处时相机均能拍摄到标定物。
步骤S102中,可以根据以下公式进行计算相机相对车辆的初始位置关系:
Figure 842123DEST_PATH_IMAGE010
其中,
Figure 640315DEST_PATH_IMAGE012
代表第一次移动后车辆相对激光跟踪仪的第六位姿数据;
Figure 121106DEST_PATH_IMAGE014
代表第一次移动后标定物相对相机的第五位姿数据;
Figure 321143DEST_PATH_IMAGE016
代表第二次移动后车辆相对激光跟踪仪的第八位姿数据;
Figure 845665DEST_PATH_IMAGE018
代表第二次移动后标定物相对相机的第七位姿数据;X代表相机相对车辆的初始位置关系。
其中,X可以采用现有的求解旋转和平移的算法进行计算,在此本申请不再赘述。
通过设置相机和车身的初始位置关系,可以为接下来的车辆移动做指导,让车辆可以自动移动到相机可以获取标定物图像的位姿(包括位置和方向角度)上,方便后续标定。
在实际应用中,由于相机自身存在畸变的误差和图像分辨率有限等问题,初步求得的相机相对车辆的初始位置关系会存在较大的误差,但是这个初始位置关系可以为接下来的车辆移动做指导,让车辆可以自动移动到相机可以获取图像的位置上,方便后续标定。
在一些实施方式中,第一位姿数据的获取步骤包括:
A1.获取每次车辆移动后的第一图像;
A2.根据第一图像计算Brenner参数和Tenengrad参数;
A3.将Brenner参数低于第三预设阈值且Tenengrad参数低于第四预设阈值对应的第一图像作为第二图像;
A4.根据第二图像获取第一位姿数据。
其中,Brenner参数是由Brenner梯度评价函数(布雷纳梯度评价函数)计算所得的图像清晰度值;Tenengrad参数是由Tenengrad函数(特宁格勒函数)计算所得的图像清晰度值。其中,Brenner梯度评价函数和Tenengrad函数均为现有技术,在此不再赘述。其中,第三预设阈值和第四预设阈值可以根据实际情况进行设定。通过这种方式,可以将清晰度值低于预设阈值的图像剔除,有利于提高图像的清晰度值,方便后续根据图像获取位姿数据。
在进一步的实施方式中,步骤A3之后,步骤A4之前包括:
使用模糊掩膜算法对第二图像进行处理,以提高第二图像的清晰度。
其中,模糊掩膜算法可以采用现有的USM-Unsharp Mask算法,即图像锐化算法,通过这种方式,可以进一步提高图像的质量和清晰度。
在一些实施方式中,第二位姿数据的获取步骤包括:
S301.获取激光跟踪仪采集的车辆上的三个标记点的位置,分别记为第一点位、第二点位和第三点位;
S302.根据第一点位和第二点位计算第一向量;
根据第一点位和第三点位计算第二向量;
S303.根据第一向量和第二向量计算垂直向量;
S304.根据第一点位、第一向量、第二向量和垂直向量获取第二位姿数据。
在实际应用中,第一点位、第二点位和第三点位可以通过激光跟踪仪直接获取;三个标记点可以在车辆上提前进行标记。
其中,步骤S302-步骤S304的计算公式如下:
Figure 131153DEST_PATH_IMAGE019
Figure 147126DEST_PATH_IMAGE020
Figure 201670DEST_PATH_IMAGE021
Figure 162672DEST_PATH_IMAGE022
Figure 935456DEST_PATH_IMAGE024
代表第一向量;
Figure 492471DEST_PATH_IMAGE026
代表第二点位;
Figure 667100DEST_PATH_IMAGE028
代表第一点位;
Figure 330163DEST_PATH_IMAGE030
代表第三点位;
Figure 340975DEST_PATH_IMAGE032
代表第二向量;
Figure 950948DEST_PATH_IMAGE034
代表垂直向量;
Figure 980084DEST_PATH_IMAGE036
代表第一向量的x轴坐标值;
Figure 17310DEST_PATH_IMAGE038
代表第一向量的y轴坐标值;
Figure 263221DEST_PATH_IMAGE040
代表第一向量的z轴坐标值;
Figure 411306DEST_PATH_IMAGE042
代表第二向量的x轴坐标值;
Figure 91686DEST_PATH_IMAGE044
代表第二向量的y轴坐标值;
Figure 50546DEST_PATH_IMAGE046
代表第二向量的z轴坐标值;
Figure 19639DEST_PATH_IMAGE048
代表垂直向量的x轴坐标值;
Figure 971414DEST_PATH_IMAGE050
代表垂直向量的y轴坐标值;
Figure 975142DEST_PATH_IMAGE052
代表垂直向量的z轴坐标值;
Figure 370483DEST_PATH_IMAGE054
代表第一点位的x轴坐标值;
Figure 826872DEST_PATH_IMAGE056
代表第一点位的y轴坐标值;
Figure 582338DEST_PATH_IMAGE058
代表第一点位的z轴坐标值;H为第二位姿数据。
通过这种计算方式,可以计算出车辆相对激光跟踪仪的第二位姿数据。
在一些实施方式中,步骤S4包括:
S401.根据每个第四位姿数据获取对应的旋转矩阵和平移矩阵;
S402.根据旋转矩阵计算旋转向量模长,根据平移矩阵计算平移向量模长;
S403.根据每个第四位姿数据对应的旋转向量模长计算第一标准方差;
根据每个第四位姿数据对应的平移向量模长计算第二标准方差。
步骤S401中, 第四位姿数据对应的旋转矩阵和平移矩阵的获取方式如下:
其中,
Figure 174994DEST_PATH_IMAGE060
为齐次矩阵(即标定物相对激光跟踪仪的第四位姿数据),其表达方式如下:
Figure 535043DEST_PATH_IMAGE061
其中,其中R为3x3的旋转矩阵,T为3x1的平移矩阵。平移方向位置的拆解容易实现,将平移矩阵,即T=(x, y, z)提取出来,即T=(x, y, z)为平移向量。为了更容易统计旋转的误差,可以将旋转矩阵转变为旋转向量。通过旋转矩阵获取旋转向量可以通过以下计算方式求得:
Figure 478729DEST_PATH_IMAGE062
Figure DEST_PATH_IMAGE063
其中,
Figure DEST_PATH_IMAGE065
代表旋转向量的角度;(
Figure DEST_PATH_IMAGE067
Figure DEST_PATH_IMAGE069
Figure DEST_PATH_IMAGE071
)代表旋转向量的单位方向向量;
Figure DEST_PATH_IMAGE073
为旋转矩阵R的迹;
Figure DEST_PATH_IMAGE075
为旋转矩阵R的转置。
旋转向量的计算公式如下:
Figure 257460DEST_PATH_IMAGE076
其中,
Figure 970201DEST_PATH_IMAGE078
代表旋转向量。
步骤S402中,每一组旋转向量模长的计算公式如下:
Figure DEST_PATH_IMAGE079
其中,
Figure DEST_PATH_IMAGE081
代表旋转向量模长;
Figure DEST_PATH_IMAGE083
代表第
Figure DEST_PATH_IMAGE085
组旋转向量的x轴坐标值;
Figure DEST_PATH_IMAGE087
代表第
Figure 868797DEST_PATH_IMAGE085
组旋转向量的y轴坐标值;
Figure DEST_PATH_IMAGE089
代表第
Figure 830937DEST_PATH_IMAGE085
组旋转向量的z轴坐标值。
同理,每一组平移向量模长的计算公式如下:
Figure 678938DEST_PATH_IMAGE090
其中,
Figure 511765DEST_PATH_IMAGE092
代表平移向量模长;
Figure 403498DEST_PATH_IMAGE094
代表第
Figure 321775DEST_PATH_IMAGE085
组平移向量的x轴坐标值;
Figure 973468DEST_PATH_IMAGE096
代表第
Figure 395222DEST_PATH_IMAGE085
组平移向量的y轴坐标值;
Figure 723435DEST_PATH_IMAGE098
代表第
Figure 863429DEST_PATH_IMAGE085
组平移向量的z轴坐标值。
步骤S403中,在获得旋转向量模长和平移向量模长之后,第一标准方差和第二标准方差的计算公式如下:
Figure DEST_PATH_IMAGE099
Figure 584392DEST_PATH_IMAGE100
其中,
Figure 391811DEST_PATH_IMAGE102
代表第一标准方差;
Figure 890925DEST_PATH_IMAGE104
代表旋转向量模长的平均值;
Figure 439DEST_PATH_IMAGE106
代表第二标准方差;
Figure 243201DEST_PATH_IMAGE108
代表平移向量模长的平均值;n代表旋转向量或平移向量的组数。
通过上述计算,可以获得每个第四位姿数据对应的旋转向量模长的第一标准方差和平移向量模长的第二标准方差。
步骤S5中,预设第一倍数和预设第二倍数可以根据实际需要进行设置;同样,第一预设阈值和第二预设阈值也可以根据实际需要进行设置。
在实际应用中,在计算得到每个第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差之后,一般是将旋转向量模长超过2倍(预设第一倍数)第一标准方差和/或平移向量模长超过2倍(预设第二倍数)第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据剔除,再采用剩余的第一位姿数据和第二位姿数据重新计算第三位姿数据,再根据新的第三位姿数据和剩余的第一位姿数据和第二位姿数据重新计算第四位姿数据,然后计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差,如此循环,直到第一标准方差小于0.01弧度(第一预设阈值),第二标准方差小于0.1mm(第二预设阈值)时,输出此时的第三位姿数据,作为相机相对车辆的位姿标定结果,即准确的相机相对车辆的准确位置关系。通过这种计算方式,可以满足多数在自动驾驶和自动行走应用的定位导航精度。
由上可知,本申请的相机与车辆的标定方法,通过使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并重新计算第四位姿数据,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
请参照图2,图2是本申请一些实施方式中的相机与车辆的标定装置,应用于车辆标定系统,车辆标定系统包括车辆、设置在车辆上的相机、固定设置的标定物和固定设置的激光跟踪仪,其中,包括以下模块:
第一获取模块201:用于使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;
第一计算模块202:用于根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;
第二计算模块203:用于根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;
第三计算模块204:用于计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;
剔除模块205:用于根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并使第一计算模块202、第二计算模块203和第三计算模块204再次执行其功能操作,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;
提取模块206:用于提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。
其中,本申请的车辆标定系统中,标定物可以是棋盘格、对称圆点或者非对称圆点等,在此本申请不做具体限定;激光跟踪仪可以自动跟踪和捕获标定物和车辆上的标志点;相机可以采用现有的深度相机。
第一获取模块201中,使车辆依次移动至多个车辆位姿处可以是使车辆朝任意方向进行移动;也可以是使车辆以均匀分布的随机分布方式选取50-60个不同的位置,然后根据该变换矩阵值和标定物的位置(为已知量)计算在各个位置处的方向角度以使标定物在相机的拍摄范围内,从而得到50-60个不同的位姿,此时激光跟踪仪会在车辆每次移动后捕获记录车辆上标志点的位置,同时车辆上的相机会获取对应的标定物图像。
第一计算模块202中,由于获取了多组第二位姿数据和第一位姿数据,可以采用现有的Levenberg-Marquardt算法(列文伯格-马夸尔特算法)求解第三位姿数据。
第二计算模块203中,根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据的计算公式如下:
Figure 639548DEST_PATH_IMAGE001
其中,LS代表激光跟踪仪(Laser Scanner);Car代表车辆;Cam代表相机(Camera);T代表标定物(Target);
Figure 309564DEST_PATH_IMAGE110
代表标定物相对激光跟踪仪的第四位姿数据;
Figure 174882DEST_PATH_IMAGE112
代表车辆相对激光跟踪仪的第二位姿数据;
Figure 955757DEST_PATH_IMAGE114
代表相机相对车辆的第三位姿数据;
Figure 472189DEST_PATH_IMAGE116
代表标定物相对相机的第一位姿数据。
本申请的相机与车辆的标定装置,通过第一获取模块201使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;第一计算模块202根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;第二计算模块203根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;第三计算模块204计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;剔除模块205根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并使第一计算模块202、第二计算模块203和第三计算模块204再次执行其功能操作,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取模块206提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。通过结合多组标定物姿态和车辆姿态,以及计算标准方差的方式,将一些偏差较大的相机相对车辆的位置关系剔除,最终输出一个精确的相机和车身的位置关系,提高了标定的精度;另外,本申请的标定流程简单,可以大批量地对多台车辆与相机进行标定,提高了标定效率。
在一些实施方式中,使车辆依次移动至多个车辆位姿处可以是预先设定一个变换矩阵值,该变换矩阵值为相机和车身的位置关系,随后车辆每次移动时都是根据该相机和车身的位置关系进行移动。
在一些优选的实施方式中,第一获取模块201在使车辆依次移动至多个车辆位姿处的时候,执行以下步骤:
S101.使车辆朝任意方向移动两次,分别获取第一次移动后标定物相对相机的第五位姿数据和车辆相对激光跟踪仪的第六位姿数据,以及第二次移动后标定物相对相机的第七位姿数据和车辆相对激光跟踪仪的第八位姿数据;
S102.根据第五位姿数据、第六位姿数据、第七位姿数据和第八位姿数据计算相机相对车辆的初始位置关系;
S103.根据初始位置关系使车辆依次移动至多个车辆位姿处,以令车辆在各车辆位姿处时相机均能拍摄到标定物。
步骤S102中,可以根据以下公式进行计算相机相对车辆的初始位置关系:
Figure 313106DEST_PATH_IMAGE010
其中,
Figure 665721DEST_PATH_IMAGE012
代表第一次移动后车辆相对激光跟踪仪的第六位姿数据;
Figure 250286DEST_PATH_IMAGE118
代表第一次移动后标定物相对相机的第五位姿数据;
Figure 621224DEST_PATH_IMAGE120
代表第二次移动后车辆相对激光跟踪仪的第八位姿数据;
Figure 633043DEST_PATH_IMAGE122
代表第二次移动后标定物相对相机的第七位姿数据;X代表相机相对车辆的初始位置关系。
通过设置相机和车身的初始位置关系,可以为接下来的车辆移动做指导,让车辆可以自动移动到相机可以获取标定物图像的位姿(包括位置和方向角度)上,方便后续标定。
在实际应用中,由于相机自身存在畸变的误差和图像分辨率有限等问题,初步求得的相机相对车辆的初始位置关系会存在较大的误差,但是这个初始位置关系可以为接下来的车辆移动做指导,让车辆可以自动移动到相机可以获取图像的位置上,方便后续标定。
在一些实施方式中,第一获取模块201在获取第一位姿数据的时候,具体执行以下步骤:
A1.获取每次车辆移动后的第一图像;
A2.根据第一图像计算Brenner参数和Tenengrad参数;
A3.将Brenner参数低于第三预设阈值且Tenengrad参数低于第四预设阈值对应的第一图像作为第二图像;
A4.根据第二图像获取第一位姿数据。
其中,Brenner参数是由Brenner梯度评价函数(布雷纳梯度评价函数)计算所得的图像清晰度值;Tenengrad参数是由Tenengrad函数(特宁格勒函数)计算所得的图像清晰度值。其中,Brenner梯度评价函数和Tenengrad函数均为现有技术,在此不再赘述。其中,第三预设阈值和第四预设阈值可以根据实际情况进行设定。通过这种方式,可以将清晰度值低于预设阈值的图像剔除,有利于提高图像的清晰度值,方便后续根据图像获取位姿数据。
在进一步的实施方式中,步骤A3之后,步骤A4之前包括:
使用模糊掩膜算法对第二图像进行处理,以提高第二图像的清晰度。
其中,模糊掩膜算法可以采用现有的USM-Unsharp Mask算法,即图像锐化算法,通过这种方式,可以进一步提高图像的质量和清晰度。
在一些实施方式中,第一获取模块201在获取第二位姿数据的时候,具体执行以下步骤:
S301.获取激光跟踪仪采集的车辆上的三个标记点的位置,分别记为第一点位、第二点位和第三点位;
S302.根据第一点位和第二点位计算第一向量;
根据第一点位和第三点位计算第二向量;
S303.根据第一向量和第二向量计算垂直向量;
S304.根据第一点位、第一向量、第二向量和垂直向量获取第二位姿数据。
在实际应用中,第一点位、第二点位和第三点位可以通过激光跟踪仪直接获取;三个标记点可以在车辆上提前进行标记。
其中,步骤S302-步骤S304的计算公式如下:
Figure DEST_PATH_IMAGE123
Figure 738533DEST_PATH_IMAGE020
Figure 126789DEST_PATH_IMAGE021
Figure 352234DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE125
代表第一向量;
Figure DEST_PATH_IMAGE127
代表第二点位;
Figure DEST_PATH_IMAGE129
代表第一点位;
Figure DEST_PATH_IMAGE131
代表第三点位;
Figure DEST_PATH_IMAGE133
代表第二向量;
Figure DEST_PATH_IMAGE135
代表垂直向量;
Figure DEST_PATH_IMAGE137
代表第一向量的x轴坐标值;
Figure DEST_PATH_IMAGE139
代表第一向量的y轴坐标值;
Figure DEST_PATH_IMAGE141
代表第一向量的z轴坐标值;
Figure DEST_PATH_IMAGE143
代表第二向量的x轴坐标值;
Figure DEST_PATH_IMAGE145
代表第二向量的y轴坐标值;
Figure DEST_PATH_IMAGE147
代表第二向量的z轴坐标值;
Figure DEST_PATH_IMAGE149
代表垂直向量的x轴坐标值;
Figure DEST_PATH_IMAGE151
代表垂直向量的y轴坐标值;
Figure DEST_PATH_IMAGE153
代表垂直向量的z轴坐标值;
Figure DEST_PATH_IMAGE155
代表第一点位的x轴坐标值;
Figure DEST_PATH_IMAGE157
代表第一点位的y轴坐标值;
Figure DEST_PATH_IMAGE159
代表第一点位的z轴坐标值;H为第二位姿数据。
通过这种计算方式,可以计算出车辆相对激光跟踪仪的第二位姿数据。
在一些实施方式中,第三计算模块204在计算所述第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差的时候,执行以下步骤:
S401.根据每个第四位姿数据获取对应的旋转矩阵和平移矩阵;
S402.根据旋转矩阵计算旋转向量模长,根据平移矩阵计算平移向量模长;
S403.根据每个第四位姿数据对应的旋转向量模长计算第一标准方差;
根据每个第四位姿数据对应的平移向量模长计算第二标准方差。
步骤S401中, 第四位姿数据对应的旋转矩阵和平移矩阵的获取方式如下:
其中,
Figure DEST_PATH_IMAGE161
为齐次矩阵(即标定物相对激光跟踪仪的第四位姿数据),其表达方式如下:
Figure 374767DEST_PATH_IMAGE061
其中,其中R为3x3的旋转矩阵,T为3x1的平移矩阵。平移方向位置的拆解容易实现,将平移矩阵,即T=(x, y, z)提取出来,即T=(x, y, z)为平移向量。为了更容易统计旋转的误差,可以将旋转矩阵转变为旋转向量。通过旋转矩阵获取旋转向量可以通过以下计算方式求得:
Figure 701974DEST_PATH_IMAGE062
Figure 628342DEST_PATH_IMAGE063
其中,
Figure DEST_PATH_IMAGE162
代表旋转向量的角度;(
Figure DEST_PATH_IMAGE164
Figure DEST_PATH_IMAGE166
Figure DEST_PATH_IMAGE168
)代表旋转向量的单位方向向量;
Figure DEST_PATH_IMAGE170
为旋转矩阵R的迹;
Figure DEST_PATH_IMAGE172
为旋转矩阵R的转置。
旋转向量的计算公式如下:
Figure 193447DEST_PATH_IMAGE076
其中,
Figure DEST_PATH_IMAGE174
代表旋转向量。
步骤S402中,每一组旋转向量模长的计算公式如下:
Figure 343805DEST_PATH_IMAGE079
其中,
Figure DEST_PATH_IMAGE176
代表旋转向量模长;
Figure DEST_PATH_IMAGE178
代表第
Figure DEST_PATH_IMAGE180
组旋转向量的x轴坐标值;
Figure DEST_PATH_IMAGE182
代表第
Figure DEST_PATH_IMAGE184
组旋转向量的y轴坐标值;
Figure DEST_PATH_IMAGE186
代表第
Figure DEST_PATH_IMAGE188
组旋转向量的z轴坐标值。
同理,每一组平移向量模长的计算公式如下:
Figure 358641DEST_PATH_IMAGE090
其中,
Figure DEST_PATH_IMAGE190
代表平移向量模长;
Figure DEST_PATH_IMAGE192
代表第
Figure DEST_PATH_IMAGE194
组平移向量的x轴坐标值;
Figure DEST_PATH_IMAGE196
代表第
Figure DEST_PATH_IMAGE198
组平移向量的y轴坐标值;
Figure DEST_PATH_IMAGE200
代表第
Figure DEST_PATH_IMAGE202
组平移向量的z轴坐标值。
步骤S403中,在获得旋转向量模长和平移向量模长之后,第一标准方差和第二标准方差的计算公式如下:
Figure 308274DEST_PATH_IMAGE099
Figure 990534DEST_PATH_IMAGE100
其中,
Figure DEST_PATH_IMAGE204
代表第一标准方差;
Figure DEST_PATH_IMAGE206
代表旋转向量模长的平均值;
Figure DEST_PATH_IMAGE208
代表第二标准方差;
Figure DEST_PATH_IMAGE210
代表平移向量模长的平均值。
通过上述计算,可以获得每个第四位姿数据对应的旋转向量模长的第一标准方差和平移向量模长的第二标准方差。
剔除模块205中,预设第一倍数和预设第二倍数可以根据实际需要进行设置;同样,第一预设阈值和第二预设阈值也可以根据实际需要进行设置。
在实际应用中,在计算得到每个第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差之后,一般是将旋转向量模长超过2倍(预设第一倍数)第一标准方差和/或平移向量模长超过2倍(预设第二倍数)第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据剔除,再采用剩余的第一位姿数据和第二位姿数据重新计算第三位姿数据,再根据新的第三位姿数据和剩余的第一位姿数据和第二位姿数据重新计算第四位姿数据,然后计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差,如此循环,直到第一标准方差小于0.01弧度(第一预设阈值),第二标准方差小于0.1mm(第二预设阈值)时,输出此时的第三位姿数据,作为相机相对车辆的位姿标定结果,即准确的相机相对车辆的准确位置关系。通过这种计算方式,可以满足多数在自动驾驶和自动行走应用的定位导航精度。
请参照图3,图3为本申请实施方式提供的一种电子设备的结构示意图,本申请提供一种电子设备,包括:处理器301和存储器302,处理器301和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯,存储器302存储有处理器301可执行的计算机程序,当计算设备运行时,处理器301执行该计算机程序,以在执行时执行上述实施方式的任一可选的实现方式中的方法,以实现以下功能:使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并重新计算第四位姿数据,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。
本申请实施方式提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,执行上述实施方式的任一可选的实现方式中的方法,以实现以下功能:使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取标定物相对相机的第一位姿数据和车辆相对激光跟踪仪的第二位姿数据;根据第二位姿数据和第一位姿数据计算相机相对车辆的第三位姿数据;根据第三位姿数据、第一位姿数据和第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;计算第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;根据第一标准方差和第二标准方差,剔除其旋转向量模长超过预设第一倍数的第一标准方差和/或其平移向量模长超过预设第二倍数的第二标准方差的第四位姿数据对应的第三位姿数据、第一位姿数据和第二位姿数据,并重新计算第四位姿数据,直至第一标准方差小于第一预设阈值和第二标准方差小于第二预设阈值;提取最后计算得到的第三位姿数据作为相机相对车辆的位姿标定结果。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-Only Memory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请所提供的实施方式中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施方式仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
再者,在本申请各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施方式而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种相机与车辆的标定方法,应用于车辆标定系统,所述车辆标定系统包括车辆、设置在所述车辆上的相机、固定设置的标定物和固定设置的激光跟踪仪,其特征在于,包括以下步骤:
S1.使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取所述标定物相对所述相机的第一位姿数据和所述车辆相对所述激光跟踪仪的第二位姿数据;
S2.根据所述第二位姿数据和所述第一位姿数据计算所述相机相对所述车辆的第三位姿数据;
S3.根据所述第三位姿数据、所述第一位姿数据和所述第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;
S4.计算所述第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;
S5.根据所述第一标准方差和所述第二标准方差,剔除其所述旋转向量模长超过预设第一倍数的所述第一标准方差和/或其所述平移向量模长超过预设第二倍数的所述第二标准方差的所述第四位姿数据对应的所述第三位姿数据、所述第一位姿数据和所述第二位姿数据,并返回步骤S2,直至所述第一标准方差小于第一预设阈值和所述第二标准方差小于第二预设阈值;
S6.提取最后计算得到的所述第三位姿数据作为相机相对车辆的位姿标定结果。
2.根据权利要求1所述的相机与车辆的标定方法,其特征在于,步骤S1中,使车辆依次移动至多个车辆位姿处的步骤包括:
S101.使车辆朝任意方向移动两次,分别获取第一次移动后所述标定物相对所述相机的第五位姿数据和所述车辆相对所述激光跟踪仪的第六位姿数据,以及第二次移动后所述标定物相对所述相机的第七位姿数据和所述车辆相对所述激光跟踪仪的第八位姿数据;
S102.根据所述第五位姿数据、所述第六位姿数据、所述第七位姿数据和所述第八位姿数据计算相机相对车辆的初始位置关系;
S103.根据所述初始位置关系使车辆依次移动至多个车辆位姿处,以令所述车辆在各所述车辆位姿处时所述相机均能拍摄到所述标定物。
3.根据权利要求1所述的相机与车辆的标定方法,其特征在于,所述第一位姿数据的获取步骤包括:
A1.获取每次车辆移动后的第一图像;
A2.根据所述第一图像计算Brenner参数和Tenengrad参数;
A3.将所述Brenner参数低于第三预设阈值且所述Tenengrad参数低于第四预设阈值对应的第一图像作为第二图像;
A4.根据所述第二图像获取所述第一位姿数据。
4.根据权利要求3所述的相机与车辆的标定方法,其特征在于,步骤A3之后,步骤A4之前包括:
使用模糊掩膜算法对所述第二图像进行处理,以提高所述第二图像的清晰度。
5.根据权利要求1所述的相机与车辆的标定方法,其特征在于,所述第二位姿数据的获取步骤包括:
S301.获取所述激光跟踪仪采集的所述车辆上的三个标记点的位置,分别记为第一点位、第二点位和第三点位;
S302.根据所述第一点位和所述第二点位计算第一向量;
根据所述第一点位和所述第三点位计算第二向量;
S303.根据所述第一向量和所述第二向量计算垂直向量;
S304.根据所述第一点位、所述第一向量、所述第二向量和所述垂直向量获取所述第二位姿数据。
6.根据权利要求1所述的相机与车辆的标定方法,其特征在于,步骤S4包括:
S401.根据每个所述第四位姿数据获取对应的旋转矩阵和平移矩阵;
S402.根据所述旋转矩阵计算所述旋转向量模长,根据所述平移矩阵计算所述平移向量模长;
S403.根据每个所述第四位姿数据对应的所述旋转向量模长计算所述第一标准方差;
根据每个所述第四位姿数据对应的所述平移向量模长计算所述第二标准方差。
7.一种相机与车辆的标定装置,应用于车辆标定系统,所述车辆标定系统包括车辆、设置在所述车辆上的相机、固定设置的标定物和固定设置的激光跟踪仪,其特征在于,包括以下模块:
第一获取模块:用于使车辆依次移动至多个车辆位姿处,并在每次车辆移动后,获取所述标定物相对所述相机的第一位姿数据和所述车辆相对所述激光跟踪仪的第二位姿数据;
第一计算模块:用于根据所述第二位姿数据和所述第一位姿数据计算所述相机相对所述车辆的第三位姿数据;
第二计算模块:用于根据所述第三位姿数据、所述第一位姿数据和所述第二位姿数据计算每次车辆移动后标定物相对激光跟踪仪的第四位姿数据;
第三计算模块:用于计算所述第四位姿数据的旋转向量模长的第一标准方差和平移向量模长的第二标准方差;
剔除模块:用于根据所述第一标准方差和所述第二标准方差,剔除其所述旋转向量模长超过预设第一倍数的所述第一标准方差和/或其所述平移向量模长超过预设第二倍数的所述第二标准方差的所述第四位姿数据对应的所述第三位姿数据、所述第一位姿数据和所述第二位姿数据,并使第一计算模块、第二计算模块和第三计算模块再次执行其功能操作,直至所述第一标准方差小于第一预设阈值和所述第二标准方差小于第二预设阈值;
提取模块:用于提取最后计算得到的所述第三位姿数据作为相机相对车辆的位姿标定结果。
8.根据权利要求7所述的相机与车辆的标定装置,其特征在于,第一获取模块在使车辆依次移动至多个车辆位姿处的时候,具体执行以下步骤:
S101.使车辆朝任意方向移动两次,分别获取第一次移动后所述标定物相对所述相机的第五位姿数据和所述车辆相对所述激光跟踪仪的第六位姿数据,以及第二次移动后所述标定物相对所述相机的第七位姿数据和所述车辆相对所述激光跟踪仪的第八位姿数据;
S102.根据所述第五位姿数据、所述第六位姿数据、所述第七位姿数据和所述第八位姿数据计算相机相对车辆的初始位置关系;
S103.根据所述初始位置关系使车辆依次移动至多个车辆位姿处,以令所述车辆在各所述车辆位姿处时所述相机均能拍摄到所述标定物。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-6任一项所述相机与车辆的标定方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-6任一项所述相机与车辆的标定方法中的步骤。
CN202210946717.XA 2022-08-09 2022-08-09 相机与车辆的标定方法、装置、电子设备及存储介质 Active CN115018935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210946717.XA CN115018935B (zh) 2022-08-09 2022-08-09 相机与车辆的标定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210946717.XA CN115018935B (zh) 2022-08-09 2022-08-09 相机与车辆的标定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115018935A true CN115018935A (zh) 2022-09-06
CN115018935B CN115018935B (zh) 2022-10-18

Family

ID=83065261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210946717.XA Active CN115018935B (zh) 2022-08-09 2022-08-09 相机与车辆的标定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115018935B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN110827358A (zh) * 2019-10-15 2020-02-21 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
US20200193171A1 (en) * 2018-12-17 2020-06-18 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for camera calibration processing, device for vehicle control and storage medium
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112598756A (zh) * 2021-03-03 2021-04-02 中智行科技有限公司 路边传感器标定方法、装置和电子设备
CN113759347A (zh) * 2020-10-30 2021-12-07 北京京东乾石科技有限公司 坐标关系的标定方法、装置、设备及介质
CN114419563A (zh) * 2021-12-15 2022-04-29 福瑞泰克智能系统有限公司 一种数据处理方法、装置、系统、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
US20200193171A1 (en) * 2018-12-17 2020-06-18 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for camera calibration processing, device for vehicle control and storage medium
CN110827358A (zh) * 2019-10-15 2020-02-21 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN113759347A (zh) * 2020-10-30 2021-12-07 北京京东乾石科技有限公司 坐标关系的标定方法、装置、设备及介质
CN112598756A (zh) * 2021-03-03 2021-04-02 中智行科技有限公司 路边传感器标定方法、装置和电子设备
CN114419563A (zh) * 2021-12-15 2022-04-29 福瑞泰克智能系统有限公司 一种数据处理方法、装置、系统、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武非凡 等: "交通监控场景下的相机标定与车辆速度测量", 《计算机应用研究》 *

Also Published As

Publication number Publication date
CN115018935B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
CN110411476B (zh) 视觉惯性里程计标定适配及评价方法和系统
JP4976756B2 (ja) 情報処理方法および装置
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN110774319B (zh) 一种机器人及其定位方法和装置
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN111862180A (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN113029128A (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN110243339A (zh) 一种单目摄像头定位方法、装置、可读存储介质及电子终端
CN114900609B (zh) 一种无人机的自动化拍摄控制方法和系统
CN113814987B (zh) 多相机机器人手眼标定方法、装置、电子设备及存储介质
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
CN113256728B (zh) Imu设备参数的标定方法及装置、存储介质、电子装置
CN113554712A (zh) 自动驾驶车辆的配准方法、装置、电子设备和车辆
CN113252066B (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置
CN115018935B (zh) 相机与车辆的标定方法、装置、电子设备及存储介质
JP5726024B2 (ja) 情報処理方法および装置
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
JP2015118101A (ja) 情報処理装置および方法、プログラム
CN113223163A (zh) 点云地图构建方法及装置、设备、存储介质
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质
CN115493589B (zh) 视线角解算方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant