CN114241062A - 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 - Google Patents

自动驾驶的相机外参确定方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN114241062A
CN114241062A CN202111610069.2A CN202111610069A CN114241062A CN 114241062 A CN114241062 A CN 114241062A CN 202111610069 A CN202111610069 A CN 202111610069A CN 114241062 A CN114241062 A CN 114241062A
Authority
CN
China
Prior art keywords
camera
image
unmanned vehicle
coordinate system
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111610069.2A
Other languages
English (en)
Inventor
单国航
贾双成
朱磊
李成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202111610069.2A priority Critical patent/CN114241062A/zh
Publication of CN114241062A publication Critical patent/CN114241062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种自动驾驶的相机外参确定方法、装置和计算机可读存储介质。该方法包括:通过无人车搭载的相机获取无人车当前行驶路面的图像;根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标;根据无人车当前行驶路面的图像上任意点在道路坐标系下的坐标,求取相机的外参修正值;使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参。本申请提供的方案能够以较小的计算资源消耗对外参进行实时校正。

Description

自动驾驶的相机外参确定方法、装置和计算机可读存储介质
技术领域
本申请涉及自动驾驶技术领域,尤其涉及自动驾驶的相机外参确定方法、装置和计算机可读存储介质。
背景技术
在自动驾驶领域,对车道线的宽度的估计至关重要,因为宽度估计不准确,可能导致无人车的偏航,这会引发严重的交通事故。车道线宽度的估计,需要依赖无人车上搭载的相机采集路面图像,而无人车在崎岖不平的道路上行驶时,相机的外参将会发生变化,因此,需要对其进行修正。相关技术中,是通过激光SLAM建立行驶区域中的3D地图,而后识别、分割出地图中的路面,进而得到相机的当前外参。然而,激光SLAM需要依赖激光雷达大量采集点云数据,而且算法复杂、计算量大,这必然带来系统资源的巨大消耗。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种自动驾驶的相机外参确定方法、装置和计算机可读存储介质,以较小的计算资源消耗对外参进行实时校正。
本申请第一方面提供一种自动驾驶的相机外参确定方法,包括:
通过无人车搭载的相机获取所述无人车当前行驶路面的图像;
根据所述无人车当前行驶路面的图像,计算所述图像上任意点在道路坐标系下的坐标;
根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值;
使用所述相机的外参修正值对所述相机的外参进行修正,得到所述相机的实时外参。
本申请第二方面提供一种自动驾驶的相机外参确定装置,包括:
获取模块,用于通过无人车搭载的相机获取所述无人车当前行驶路面的图像;
计算模块,用于根据所述无人车当前行驶路面的图像,计算所述图像上任意点在道路坐标系下的坐标;
确定模块,用于根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值;
修正模块,用于使用所述相机的外参修正值对所述相机的外参进行修正,得到所述相机的实时外参。
本申请第三方面提供一种电子设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果:无论是相机拍摄的无人车当前行驶路面的图像本身,还是根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标,相比于激光SLAM需要依赖激光雷达大量采集点云数据所导致的算法复杂、计算量大,本申请在经过相对较少的计算量,获得图像上任意点在道路坐标系下的坐标之后,求取相机的外参修正值和使用相机的外参修正值对相机的外参进行修正需要的计算量更少,因此,本申请的技术方案总体计算量小,对无人车的系统资源消耗小,从而实时性强,实现对相机外参的实时修正。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的自动驾驶的相机外参确定方法的流程示意图;
图2是本申请另一实施例示出的自动驾驶的相机外参确定方法的流程示意图;
图3是本申请实施例示出的相机对无人车当前行驶路面拍摄的图像示意图;
图4是本申请实施例示出的从图3中提取出的平行车道线的示意图;
图5是本申请另一实施例示出的自动驾驶的相机外参确定方法的流程示意图;
图6是本申请另一实施例示出的自动驾驶的相机外参确定方法的流程示意图;
图7是本申请实施例示出的自动驾驶的相机外参确定装置的结构示意图;
图8是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在自动驾驶领域,对车道线的宽度的估计至关重要,因为宽度估计不准确,可能导致无人车的偏航,这会引发严重的交通事故。车道线宽度的估计,需要依赖无人车上搭载的相机采集路面图像,而无人车在崎岖不平的道路上行驶时,由于无人车车身的抖动,导致事先标定好的相机外参容易发生变化,因此,需要对其进行修正。相关技术中,是通过激光SLAM建立行驶区域中的3D地图,而后识别、分割出地图中的路面,进而得到相机的当前外参。然而,激光SLAM需要依赖激光雷达采集大量点云数据,而且算法复杂、计算量大,这必然带来系统资源的巨大消耗,因而实际上不能实现对相机外参的实时修正。
针对上述问题,本申请实施例提供一种自动驾驶的相机外参确定方法,可以较小的计算资源消耗对外参进行实时校正。
以下结合附图详细描述本申请实施例的技术方案。
参见图1,是本申请实施例示出的自动驾驶的相机外参确定方法的流程示意图,主要包括步骤S101至步骤S104,说明如下:
步骤S101:通过无人车搭载的相机获取无人车当前行驶路面的图像。
在本申请实施例中,无人车搭载的相机可以是单目相机、双目相机或深度相机等视觉设备,无人车当前行驶路面的图像可以是无人车行驶时周围环境的图像。
步骤S102:根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标。
此处,道路坐标系是基于路面建立的坐标系,其与图像所在的像素坐标系为两套不同的坐标系。可以根据无人车当前行驶路面的图像上任意点在像素坐标系下的坐标、相机的内参和相机的准确外参(例如,通过特定方式标定的相机外参)等,计算图像上任意点在道路坐标系下的坐标。
步骤S103:根据图像上任意点在道路坐标系下的坐标,求取相机的外参修正值。
在本申请实施例中,相机的外参修正值本质上是用于对由于各种因素导致的相机外参失实进行某种程度上的补偿,使之重新回到准确的外参。
步骤S104:使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参。
在本申请实施例中,使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参可以是将相机的外参修正值与相机的外参做基本运算,从而得到相机的实时外参。
从上述图1示例的自动驾驶的相机外参确定方法可知,无论是相机拍摄的无人车当前行驶路面的图像本身,还是根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标,相比于激光SLAM需要依赖激光雷达大量采集点云数据所导致的算法复杂、计算量大,本申请在经过相对较少的计算量,获得图像上任意点在道路坐标系下的坐标之后,求取相机的外参修正值和使用相机的外参修正值对相机的外参进行修正需要的计算量更少,因此,本申请的技术方案总体计算量小,对无人车的系统资源消耗小,从而实时性强,实现对相机外参的实时修正。
参见图2,是本申请另一实施例示出的自动驾驶的相机外参确定方法的流程示意图,主要包括步骤S201至步骤S204,说明如下:
步骤S201:通过相机获取无人车当前行驶路面至少两条平行车道线的图像。
如图3所示,由于车道线是道路上比较常见、恒定、具有明显特征的标识物,因此,通过对无人车当前行驶路面图像的拍摄,从中单独识别或提取车道线是相对比较容易的行为,计算量亦比较小。如图4所示,是从图3拍摄的无人车当前行驶路面图像中提取4条平行车道线的示意。
步骤S202:根据无人车当前行驶路面至少两条平行车道线的图像,计算至少两条平行车道线上任意点在道路坐标系下的坐标。
以至少两条平行车道线上任意一点p为例,假设其在道路坐标系下的坐标为(px,py,pz)。由于p点是在道路的路面上,因此,其在道路坐标系坐标的y轴分量即py=h,此处,h为相机相对于道路路面的安装高度,是一个已知量。作为本申请一个实施例,根据无人车当前行驶路面至少两条平行车道线的图像,计算至少两条平行车道线上任意点在道路坐标系下的坐标可以是:根据无人车当前行驶路面至少两条平行车道线的图像,获取至少两条平行车道线上任意p点在像素坐标系下的坐标;按照公式
Figure BDA0003435102080000061
计算至少两条平行车道线上任意p点在道路坐标系下的坐标。上述实施例中,K为相机的内参矩阵,d为车道线之间的宽度,CamRRoad为相机预先标定的外参,K、d和CamRRoad均为已知量。需要说明的是,由于CamRRoad为相机预先标定的外参,意味着至少在无人车上路或者在平坦的路面上行驶时,CamRRoad的值是准确的。然而,随着无人车进入崎岖不平或者坑坑洼洼的路面,由于无人车的抖动,导致CamRRoad的值不再准确,与预先标定的值存在一定的误差,因此,需要对其进行修正。
由于当无人车当前行驶路面至少两条平行车道线的图像确定后,两条平行车道线上任意p点在像素坐标系下的坐标(u,v)亦随之确定,而
Figure BDA0003435102080000062
中的py为已知量,因此,公式
Figure BDA0003435102080000063
实际是一个二元一次方程组,其中只有px和pz即任意p点在道路坐标系下坐标的x和z轴分量这两个未知量,根据这个二元一次方程组,不难解算出px和pz
步骤S203:根据至少两条平行车道线的图像上任意点在道路坐标系下的坐标,求取相机的外参修正值。
具体地,作为本申请一个实施例,根据至少两条平行车道线的图像上任意点在道路坐标系下的坐标,求取相机的外参修正值可以是:将任意点在道路坐标系下x轴分量px和z轴分量pz分别作为至少两条平行车道线对应直线方程的未知量x和未知量z代入至少两条平行车道线对应直线方程;采用最小二乘法求取任意点在直线方程的误差值之和,取误差值之和最小时无人车的姿态角对应的相关值作为相机的外参修正值。需要说明的是,无人车的姿态角原本包括翻滚角(roll)、俯仰角(pitch)和偏航角(yaw),然而,由于偏航角被RTK定位数据中的heading代替,因此,本申请实施例中,无人车的姿态角可以只包含roll和pitch这两个数据。记无人车的姿态角(roll和pitch)的相关值为R。理想状态下,由于第i条和第i+1条车道线平行,因此,当将第i条车道线上任意点p在道路坐标系下x轴分量和z轴分量代入第i条车道线对应的直线方程,以及将第i条车道线上任意点p在道路坐标系下x轴分量和z轴分量代入第i+1条车道线对应的直线方程,两者的和应该为0。然而,由于路面不平,无人车发生了抖动,导致第i条车道线和第i+1条车道线在相机看来不再是平行的,两者的和不再为0,即产生了误差。在这种情况下,可以设立如下的损失函数:
Figure BDA0003435102080000071
上述损失函数中,m表示车道线的条数,n表示车道线上的点的个数。记第i条车道线对应直线方程为x+bz+ci=0,第i条车道线上第j个点(记为pij)在道路坐标系下的坐标为(xij,yij,zij),其中,yij为已知量,而xij和zij可以按照上述实施例的方法求取。将pij点在道路坐标系下x轴分量即xij和z轴分量即zij分别作为该至少两条平行车道线对应直线方程的未知量x和未知量z代入该至少两条平行车道线对应直线方程x+bz+c1=0、x+bz+c2=0...、x+bz+ci=0、...和x+bz+cm=0,采用最小二乘法求取pij点在上述m个直线方程的误差值之和E0
Figure BDA0003435102080000072
取该误差值之和最小时智能车辆的姿态角对应的相关值R作为相机的外参修正值。
步骤S204:使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参。
如前所述,在得到外参修正值之后,可以将相机的外参修正值与相机的外参做基本运算,从而得到相机的实时外参。具体地,记无人车未发生抖动时相机的外参或者预先标定的外参为CamRRoad,相机的外参修正值为R,则使用相机的外参修正值对相机的外参进行修正具体可以是CamRRoad′=R×CamRRoad,计算得到的CamRRoad′为相机的实时外参。
参见图5,是本申请另一实施例示出的自动驾驶的相机外参确定方法的流程示意图,主要包括步骤S501至步骤S506,说明如下:
步骤S501:通过无人车搭载的相机获取无人车当前行驶路面的图像。
步骤S501的实现与前述实施例的步骤S101的实现方案相同,其中的术语、特征、解释等可参阅前述实施例的相关说明,此处不做赘述。
步骤S502:根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标。
步骤S502的实现与前述实施例的步骤S102的实现方案相同,其中的术语、特征、解释等可参阅前述实施例的相关说明,此处不做赘述。
步骤S503:将无人车当前行驶路面的图像转化为鸟瞰图。
具体可以根据相机的内参和预先标定的外参,对无人车当前行驶路面的图像中任意点进行反透视变换,以获取变换任意点集合;以及使至少两条曲线拟合上述变换任意点集合中的变换任意点,以获取无人车当前行驶路面的图像转化后的鸟瞰图。
步骤S504:确定任意点在鸟瞰图像中位置与在道路坐标系下位置的差值。
由于道路坐标系下本身并不会发生变化,任意点在在道路坐标系下的位置相对而言为准确值,因此,任意点在鸟瞰图像中位置与在道路坐标系下位置的存在一个差值。
步骤S505:以调整相机的外参后上述差值最小为约束方向对相机的外参进行调整,直至得到位置差值最小时对应的外参修正值。
以调整相机的外参后,任意点在鸟瞰图像中位置与在道路坐标系下位置的差值逐渐缩小,说明约束方向为相机的外参正确调整方向,反之,则该约束方向不正确,需要调整,最后,以调整相机的外参后上述差值最小为约束方向对相机的外参进行调整,当上述差值最小时,将得到一个对应的外参修正值。
步骤S506:使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参。
步骤S506的实现与前述实施例的步骤S104或步骤S204的实现方案相同,其中的术语、特征、解释等可参阅前述实施例的相关说明,此处不做赘述。
参见图6,是本申请另一实施例示出的自动驾驶的相机外参确定方法的流程示意图,主要包括步骤S601至步骤S605,说明如下:
步骤S601:通过无人车搭载的相机获取无人车当前行驶路面的图像。
步骤S601的实现与前述实施例的步骤S501的实现方案相同,其中的术语、特征、解释等可参阅前述实施例的相关说明,此处不做赘述。
步骤S602:根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标。
步骤S602的实现与前述实施例的步骤S502的实现方案相同,其中的术语、特征、解释等可参阅前述实施例的相关说明,此处不做赘述。
步骤S603:根据无人车当前行驶路面的图像上至少两个标识的特征点在道路坐标系下的坐标和相机的内参,确定相机在拍摄无人车当前行驶路面的图像时的位姿信息。
由于车道线是道路上比较常见、恒定、具有明显特征的标识物,因此,根据车道线的图像上至少两个标识的特征点在道路坐标系下的坐标和相机的内参,确定相机在拍摄无人车当前行驶路面的图像时的位姿信息是相对比较容易的行为,计算量亦比较小。
步骤S604:根据至少两个标识的特征点的重投影误差,对相机在拍摄无人车当前行驶路面的图像时的位姿信息对应的外参进行调整,以得到相机的外参修正值。
具体地,步骤S604的实现可以是:从无人车处于不同位置时确定相机的目标外参;通过对确定的目标外参进行迭代调整,以使特征点的重投影误差之和达到最小,其中,重投影误差是特征点在相机所拍摄的图像中的坐标与该特征点通过相机的位姿信息、相机的外参以及相机的内参投影至无人车当前行驶路面的图像中所形成的投影坐标之间的误差。
步骤S605:使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参。
步骤S605的实现与前述实施例的步骤S506的实现方案相同,其中的术语、特征、解释等可参阅前述实施例的相关说明,此处不做赘述。
与前述应用功能实现方法实施例相对应,本申请还提供了一种自动驾驶的相机外参确定装置、电子设备及相应的实施例。
参见图7,是本申请实施例示出的自动驾驶的相机外参确定装置的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分。图7示例的自动驾驶的相机外参确定装置可应用于智能驾驶,该装置主要包括获取模块701、计算模块702、确定模块703和修正模块704,其中:
获取模块701,用于通过无人车搭载的相机获取无人车当前行驶路面的图像;
计算模块702,用于根据无人车当前行驶路面的图像,计算图像上任意点在道路坐标系下的坐标;
确定模块703,用于根据无人车当前行驶路面的图像上任意点在道路坐标系下的坐标,求取相机的外参修正值;
修正模块704,用于使用相机的外参修正值对相机的外参进行修正,得到相机的实时外参。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
图8是本申请实施例示出的电子设备的结构示意图。
参见图8,电子设备800包括存储器810和处理器820。
处理器820可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器810可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器810可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器810可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器810上存储有可执行代码,当可执行代码被处理器820处理时,可以使处理器820执行上文述及的方法中的部分或全部。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种自动驾驶的相机外参确定方法,其特征在于,所述方法包括:
通过无人车搭载的相机获取所述无人车当前行驶路面的图像;
根据所述无人车当前行驶路面的图像,计算所述图像上任意点在道路坐标系下的坐标;
根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值;
使用所述相机的外参修正值对所述相机的外参进行修正,得到所述相机的实时外参。
2.根据权利要求1所述的自动驾驶的相机外参确定方法,其特征在于,所述通过无人车搭载的相机获取所述无人车当前行驶路面的图像,包括:通过所述相机获取所述无人车当前行驶路面至少两条平行车道线的图像;
所述根据所述无人车当前行驶路面的图像,计算所述图像上任意点在道路坐标系下的坐标,包括:根据所述无人车当前行驶路面至少两条平行车道线的图像,计算所述至少两条平行车道线上任意点在道路坐标系下的坐标。
3.根据权利要求2所述的自动驾驶的相机外参确定方法,其特征在于,所述根据所述无人车当前行驶路面至少两条平行车道线的图像,计算所述至少两条平行车道线上任意点在道路坐标系下的坐标,包括:
根据所述无人车当前行驶路面至少两条平行车道线的图像,获取所述至少两条平行车道线上任意点在像素坐标系下的坐标;
按照公式
Figure FDA0003435102070000011
计算所述至少两条平行车道线上任意点在道路坐标系下的坐标,所述u和v为所述任意点在像素坐标系下的坐标,所述K为所述相机的内参矩阵,所述d为所述车道线之间的宽度,所述
Figure FDA0003435102070000012
所述px、py和pz为所述任意点在道路坐标系下坐标的x、y和z轴分量,且所述py=h,所述h为所述相机相对于道路路面的安装高度,所述CamRRoad为所述相机预先标定的外参或者所述无人车尚未发生抖动时所述相机的外参。
4.根据权利要求3所述的自动驾驶的相机外参确定方法,其特征在于,所述根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值,包括:
将所述任意点在道路坐标系下x轴分量px和z轴分量pz分别作为所述至少两条平行车道线对应直线方程的未知量x和未知量z代入所述至少两条平行车道线对应直线方程;
采用最小二乘法求取所述任意点在所述直线方程的误差值之和,取所述误差值之和最小时所述无人车的姿态角对应的相关值作为所述相机的外参修正值。
5.根据权利要求1所述的自动驾驶的相机外参确定方法,其特征在于,所述根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值,包括:
将所述无人车当前行驶路面的图像转化为鸟瞰图;
确定所述任意点在所述鸟瞰图像中位置与在所述道路坐标系下位置的差值;
以调整所述相机的外参后所述差值最小为约束方向对所述相机的外参进行调整,直至得到所述差值最小时对应的外参修正值。
6.根据权利要求1所述的自动驾驶的相机外参确定方法,其特征在于,所述根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值,包括:
根据所述图像上至少两个标识的特征点在道路坐标系下的坐标和所述相机的内参,确定所述相机在拍摄所述图像时的位姿信息;
根据所述特征点的重投影误差,对所述相机在拍摄所述图像时的位姿信息对应的外参进行调整,以得到所述相机的外参修正值。
7.根据权利要求6所述的自动驾驶的相机外参确定方法,其特征在于,所述根据所述特征点的重投影误差,对所述相机在拍摄所述图像时的位姿信息对应的外参进行调整,以得到所述相机的外参修正值,包括:
从所述无人车处于不同位置时确定所述相机的目标外参;
通过对所述确定的目标外参进行迭代调整,以使所述特征点的重投影误差之和达到最小,所述重投影误差包括所述特征点在所述相机所拍摄的图像中的坐标与所述特征点通过所述相机的位姿信息、相机的外参以及相机的内参投影到所述图像中所形成的投影坐标之间的误差。
8.一种自动驾驶的相机外参确定装置,其特征在于,所述装置包括:
获取模块,用于通过无人车搭载的相机获取所述无人车当前行驶路面的图像;
计算模块,用于根据所述无人车当前行驶路面的图像,计算所述图像上任意点在道路坐标系下的坐标;
确定模块,用于根据所述图像上任意点在道路坐标系下的坐标,求取所述相机的外参修正值;
修正模块,用于使用所述相机的外参修正值对所述相机的外参进行修正,得到所述相机的实时外参。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至7中任意一项所述的方法。
CN202111610069.2A 2021-12-27 2021-12-27 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 Pending CN114241062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111610069.2A CN114241062A (zh) 2021-12-27 2021-12-27 自动驾驶的相机外参确定方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111610069.2A CN114241062A (zh) 2021-12-27 2021-12-27 自动驾驶的相机外参确定方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114241062A true CN114241062A (zh) 2022-03-25

Family

ID=80763224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111610069.2A Pending CN114241062A (zh) 2021-12-27 2021-12-27 自动驾驶的相机外参确定方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114241062A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309814A (zh) * 2022-11-29 2023-06-23 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质
CN117173257A (zh) * 2023-11-02 2023-12-05 安徽蔚来智驾科技有限公司 3d目标检测及其标定参数增强方法、电子设备、介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309814A (zh) * 2022-11-29 2023-06-23 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质
CN116309814B (zh) * 2022-11-29 2024-03-08 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质
CN117173257A (zh) * 2023-11-02 2023-12-05 安徽蔚来智驾科技有限公司 3d目标检测及其标定参数增强方法、电子设备、介质

Similar Documents

Publication Publication Date Title
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
CN109902637A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN114241062A (zh) 自动驾驶的相机外参确定方法、装置和计算机可读存储介质
CN114034307B (zh) 基于车道线的车辆位姿校准方法、装置和电子设备
CN111060946A (zh) 用于估计位置的方法和装置
CN110444044B (zh) 基于超声波传感器的车辆位姿检测系统、终端和存储介质
JP7113134B2 (ja) 車両制御装置
US20210174516A1 (en) Method and apparatus with motion information estimation
CN115077541A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN112967393B (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN113284194A (zh) 多rs设备的标定方法、装置及设备
CN116051812A (zh) 目标检测方法、装置及电子设备、存储介质
CN115993132A (zh) 视觉惯性里程计初始化方法、装置及飞行汽车
CN113566817B (zh) 一种车辆定位方法及装置
CN112348903B (zh) 行车记录仪外参数标定方法、装置及电子设备
CN114677448A (zh) 车载相机的外参校正方法、装置及电子设备、存储介质
CN114913500A (zh) 位姿确定方法、装置、计算机设备和存储介质
CN115131273A (zh) 信息处理方法、测距方法及装置
WO2020021596A1 (ja) 車両位置推定装置および車両位置推定方法
CN113763483B (zh) 行车记录仪俯仰角标定方法及装置
CN114248782A (zh) 无人车俯仰角确定方法、装置和计算机可读存储介质
CN115523929B (zh) 一种基于slam的车载组合导航方法、装置、设备及介质
CN114332130A (zh) 高精图像的单目相机采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination