CN115272484A - 单目相机外参在线标定方法、装置及电子设备 - Google Patents

单目相机外参在线标定方法、装置及电子设备 Download PDF

Info

Publication number
CN115272484A
CN115272484A CN202210888827.5A CN202210888827A CN115272484A CN 115272484 A CN115272484 A CN 115272484A CN 202210888827 A CN202210888827 A CN 202210888827A CN 115272484 A CN115272484 A CN 115272484A
Authority
CN
China
Prior art keywords
lane line
calibrated
lane
points
external parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210888827.5A
Other languages
English (en)
Inventor
武乾康
韩志华
龚伟林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202210888827.5A priority Critical patent/CN115272484A/zh
Publication of CN115272484A publication Critical patent/CN115272484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种单目相机外参在线标定方法、装置及电子设备,涉及相机标定的技术领域,该方法包括:判断车辆行驶的车道线是否满足在线标定条件;如果是,提取车道线的真值点;获取单目相机识别出的车道线的像素点,使用待标定外参将车道线的像素点转换到车体坐标系中,生成车道线的点云数据;基于车道线的真值点和车道线的点云数据构建优化目标函数,调整待标定外参,以得到优化目标函数满足预设的优化条件的最优解,并将最优解对应的待标定外参确定为待标定外参的标定结果。本发明提供的单目相机外参在线标定方法、装置及电子设备,可以实现在线标定的过程,无需借助辅助设备,在提高标定效率的同时,也进一步降低了操作难度和使用成本。

Description

单目相机外参在线标定方法、装置及电子设备
技术领域
本发明涉及相机标定的技术领域,尤其是涉及一种单目相机外参在线标定方法、装置及电子设备。
背景技术
单目相机的外参标定是为了获得相机坐标系到车体坐标系的旋转平移关系,可以通过单目相机的外参将相机系的点转换到车体坐标系。
现有方案多采用厂房内放置真值点,通过求解PnP的方式获得外参标定,即在车间内将车辆摆放在固定位置,在旁边摆放标定板,标定板相对车体坐标系位置已知,在单目相机的图像中识别标定板的角点,通过PnP算法计算单目相机到车体坐标系的外参,因此,这种方式往往只能在厂房内使用,不能在车辆行使中进行标定,并且,必须使用辅助设备,比如摆正器和标定板等,用以确定标定角点相对车体坐标系的位置,增加了标定的操作难度和使用成本。
发明内容
有鉴于此,本发明的目的在于提供一种单目相机外参在线标定方法、装置及电子设备,以缓解上述技术问题。
第一方面,本发明实施例提供了一种单目相机外参在线标定方法,包括:判断当前车辆行驶的车道线是否满足在线标定条件;如果是,则提取所述车道线的真值点;获取单目相机识别出的所述车道线的像素点,使用待标定外参将所述车道线的像素点转换到车体坐标系中,生成所述车体坐标系中所述车道线的点云数据;基于所述车道线的真值点和所述车道线的点云数据构建优化目标函数,其中,所述优化目标函数用于表征所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离;调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解,并将所述最优解对应的待标定外参确定为所述待标定外参的标定结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述判断当前车辆行驶的车道线是否满足在线标定条件的步骤,包括:判断所述车道线是否是平行车道,且所述车道线为直线;如果是,确定当前所述车辆行驶的车道线满足在线标定条件。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,上述车辆配置有前向双目相机;提取所述车道线的真值点的步骤,包括:获取所述车道线的深度图;其中,所述深度图为所述前向双目相机在深度采集模式下采集的所述车道线的图像;提取所述深度图中包括的所述车道线的真值点,并将所述车道线的真值点转换到所述车体坐标系中。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述车辆配置有激光传感器;提取所述车道线的真值点的步骤,包括:获取所述激光传感器采集的包含所述车道线的激光点云数据;提取所述激光点云数据中亮度高于预设阈值的高亮点,将所述高亮点确定为所述车道线的真值点,并将所述车道线的真值点转换到所述车体坐标系中。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,上述使用待标定外参将所述车道线的像素点转换到车体坐标系中的步骤,包括:将所述车道线的像素点通过预先存储的内参转换到预设的归一化平面;在所述归一化平面上,通过所述待标定外参将所述车道线的像素点转换到车体坐标系中。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,上述优化目标函数所满足的预设的优化条件包括:所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离最短;上述调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解的步骤,包括:调整所述待标定外参,当所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离最短时,确定所述优化目标函数满足预设的优化条件;将满足预设的优化条件时,所述优化目标函数的解确定为最优解。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,上述方法还包括:基于所述车道线的真值点向预设方向生成所述车道线的拟合车道,以对所述预设方向上的单目相机外参进行在线标定。
第二方面,本发明实施例还提供一种单目相机外参在线标定装置,包括:判断模块,用于判断当前车辆行驶的车道线是否满足在线标定条件;提取模块,用于所述判断模块的判断结果为是时,提取所述车道线的真值点;转换模块,用于获取单目相机识别出的所述车道线的像素点,使用待标定外参将所述车道线的像素点转换到车体坐标系中,生成所述车体坐标系中所述车道线的点云数据;优化模块,用于基于所述车道线的真值点和所述车道线的点云数据构建优化目标函数,其中,所述优化目标函数用于表征所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离;标定模块,用于调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解,并将所述最优解对应的待标定外参确定为所述待标定外参的标定结果。
第三方面,本发明实施例还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
本发明实施例带来了以下有益效果:
本发明实施例提供的单目相机外参在线标定方法、装置及电子设备,能够在判断出当前车辆行驶的车道线满足在线标定条件时,去提取车道线的真值点,然后获取单目相机识别出的车道线的像素点,使用待标定外参将车道线的像素点转换到车体坐标系中,生成车体坐标系中车道线的点云数据,并基于车道线的真值点和车道线的点云数据构建优化目标函数,且,本发明实施例中,优化目标函数用于表征点云数据中的每个点到车道线的真值点构成的直线方程的距离;调整上述待标定外参,以得到优化目标函数满足预设的优化条件的最优解,并将此时最优解对应的待标定外参确定为待标定外参的标定结果,实现对待标定外参进行在线标定的过程,并且,标定过程中无需借助辅助设备,在提高标定效率的同时,也进一步降低了标定的操作难度和使用成本。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种单目相机外参在线标定方法的流程图;
图2为本发明实施例提供的一种车道线的示意图;
图3为本发明实施例提供的一种坐标转换的示意图;
图4为本发明实施例提供的一种单目相机外参在线标定装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,对于车辆单目相机的标定,多参考PnP方法,其中,PnP方法是作为视觉里程计里一种估计相机位姿的方法提出的,其中的3D点是在世界坐标系下的描述,最终得到每个时刻相机的位姿,而现有的单目相机的外参标定中,多使用离线PnP的方法,即在车间内将车辆摆放在固定位置,在旁边摆放标定板,标定板相对车体坐标系位置已知,在单目相机的图像中识别标定板的角点,通过PnP算法计算单目相机到车体坐标系的外参,这种方式的缺点是只能在厂房内使用,不能在车辆行使中进行标定。并且,必须使用辅助设备,比如摆正器和标定板等,用以确定标定角点相对车体坐标系的位置,增加了标定的操作难度和使用成本。
基于此,本发明实施例提供的一种单目相机外参在线标定方法、装置及电子设备,可以在车辆行驶过程中完成标定,不用回到厂房进行标定,节约使用成本。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种单目相机外参在线标定方法进行详细介绍。
在一种可能的实施方式中,本发明实施例提供了一种单目相机外参在线标定方法,具体地,如图1所示的一种单目相机外参在线标定方法的流程图,该方法包括以下步骤:
步骤S102,判断当前车辆行驶的车道线是否满足在线标定条件;
步骤S104,如果是,则提取车道线的真值点;
在实际使用时,车辆上往往需设置较多的传感器,以便于满足出行需求,特别是相机设备,如单目相机、双目相机等,在车辆的起步、停车和行驶过程中占据重要地位,因此,其标定过程也是必要的。并且,相机在车辆行驶过程中位置会发生偏移,现有的标定方式多属于厂内标定,车辆必须回到厂房或者汽车销售服务店等,在特定场景下才能标定。
因此,本发明实施例中,提供的是一种单目相机外参在线标定方法,可以实现对单目相机的在线标定,即,在车辆行驶过程中完成再次标定,不需要车辆返回厂房或者汽车销售服务店。
进一步,本发明实施例中提供的单目相机外参在线标定方法,在执行过程,需要先确定车辆行驶的路况是否满足在线标定条件,即通过上述步骤S102的判断过程来确定是否适合对单目相机在线标定,如果适合,则继续执行下述步骤。
步骤S106,获取单目相机识别出的车道线的像素点,使用待标定外参将车道线的像素点转换到车体坐标系中,生成车体坐标系中车道线的点云数据;
步骤S108,基于车道线的真值点和车道线的点云数据构建优化目标函数;
其中,本发明实施例中,优化目标函数用于表征点云数据中的每个点到车道线的真值点构成的直线方程的距离;
步骤S110,调整待标定外参,以得到优化目标函数满足预设的优化条件的最优解,并将最优解对应的待标定外参确定为待标定外参的标定结果。
本发明实施例提供的单目相机外参在线标定方法,能够在判断出当前车辆行驶的车道线满足在线标定条件时,去提取车道线的真值点,然后获取单目相机识别出的车道线的像素点,使用待标定外参将车道线的像素点转换到车体坐标系中,生成车体坐标系中车道线的点云数据,并基于车道线的真值点和车道线的点云数据构建优化目标函数,且,本发明实施例中,优化目标函数用于表征点云数据中的每个点到车道线的真值点构成的直线方程的距离;调整上述待标定外参,以得到优化目标函数满足预设的优化条件的最优解,并将此时最优解对应的待标定外参确定为待标定外参的标定结果,实现对待标定外参进行在线标定的过程,并且,标定过程中无需借助辅助设备,在提高标定效率的同时,也进一步降低了标定的操作难度和使用成本。
在实际使用时,上述单目相机外参在线标定方法,可以根据车辆的实际使用情况,由驾驶人员启动标定过程,也可以预先设置标定周期,待车辆行驶到预设的标定周期之后,并在判断出当前车辆行驶的车道线满足在线标定条件时,自动启动标定过程。具体的启动方式可以根据实际使用情况进行设置,本发明实施例对此不进行限制。
进一步,在判断当前车辆行驶的车道线是否满足在线标定条件时,通常需判断车道线是否是平行车道,且车道线为直线;如果是,则确定当前车辆行驶的车道线满足在线标定条件。
为了便于理解,图2示出了一种车道线的示意图,如图2所示,车辆当前行驶的车道,向左分别为-1、-2车道,向右分别为1、2车道,判断-2,-1,1,2四条车道互相平行,且为直线时,即可确定当前车辆行驶的车道线满足在线标定条件。
具体实现时,可以通过车辆的前视图像在连续几帧内,检测出来的车道线在图像里为直线,并且在图像下边缘部分车道线互相之间的间距相等来判断,进一步,对于配置有激光传感器的车辆,也可以用激光检测出的激光点云数据中的高亮反射点来进行判断,具体的判断方式可以根据实际情况进行设置,本发明实施例对此不进行限制。
进一步,在确定出当前车辆行驶的车道线满足在线标定条件之后,可以继续提取车道线的真值点,以便于进行单目相机的标定过程。
具体地,在提取真值点时,可以采用车辆前向的双目相机采集的深度图来实现,也可以通过激光点云数据实现,因此,车辆一般都配置有前向双目相机;且,该双目相机一般是标定好的标准双目相机,在提取车道线的真值点时,需获取车道线的深度图;其中,该深度图为前向双目相机在深度采集模式下采集的车道线的图像,即深度图像,然后提取该深度图中包括的车道线的真值点,并将车道线的真值点转换到车体坐标系中。
在实际使用时,由于上述深度图是车辆的双目相机采集的,因此,是在相机坐标系下的图像,此时,需要将车道线的真值点转换到车体坐标系中,具体可以通过双目相机的外参标定,然后再转换到车体坐标系中,其中使用到的外参,通常作为双目相机的已知量,在转换过程中,可以直接获取。
进一步,上述车辆一般还配置有激光传感器,因此,上述提取车道线的真值点的过程,还可以通过激光点云数据实现,具体地,可以获取激光传感器采集的包含车道线的激光点云数据;如,64线激光传感器采集的车道线的激光点云数据,然后提取激光点云数据中亮度高于预设阈值的高亮点,将高亮点确定为车道线的真值点,并将车道线的真值点转换到车体坐标系中。
在实际使用时,上述车道线在激光点云中呈高亮状态,因此,可以通过激光点云直接提取高亮点,再通过激光传感器的外参标定,转到车体坐标系中,此时使用的激光传感器的外参也是预先标定好的。
进一步,当采取上述方式提取到车道线的真值点之后,可以根据单目相机识别出的车道线的像素点,构建优化目标函数,来优化单目相机的待标定外参,以获得标定结果。
具体地,上述步骤S106中,获取到车道线的像素点之后,使用待标定外参将车道线的像素点转换到车体坐标系中时,需要先将车道线的像素点通过预先存储的内参转换到预设的归一化平面;在该归一化平面上,通过待标定外参将车道线的像素点转换到车体坐标系中。
为了便于理解,图3示出了一种坐标转换的示意图,其中,A表示的坐标系为车体坐标系,B表示的坐标系为相机坐标系,上述单目相机识别出的车道线的像素点实际是相机坐标系中的像素点。
如图3所示,对于单目相机识别出的车道线的像素点,先通过单目相机的内参转换到归一化平面上,其中,该单目相机的内参可以预先存储,以便在计算时作为已知量直接使用。例如,以P(u、v)表示单目相机识别出的车道线的像素点,归一化平面用z=1表示,Pcam(x,y,z)表示为归一化平面上的点,此时,Pcam=[(u-u0)/fx,(v-v0)/fy,1],其中,u0、v0表示单目相机的光心位置,f表示单目相机的焦距。
通常,Pcam表示的归一化平面上的点可以理解为一个向量,在相机坐标系下,所有这个向量上的点,最终都会成像到P(u,v)像素上。将Pcam通过相机坐标系到车体坐标系的外参,即,本发明实施例中的待标定外参,转到车体坐标系,再求转换后的射线和地面的交点,即图3中的交点C,地面用z为某个固定值的方程表示,如z=-0.5,可以求得交点,即车道线的像素点恢复到车体坐标系中的点,对所有车道线的像素点做此操作,即可以得到车体坐标系中车道线的点云数据。
进一步,在得到上述点云数据过程中,使用了待标定外参,即单目相机外参,因此,上述步骤S108中,基于车道线的真值点和车道线的点云数据所构建的优化目标函数,实际也是与待标定外参相关的优化函数。
具体地,本发明实施例中,优化目标函数所满足的预设的优化条件包括:点云数据中的每个点到车道线的真值点构成的直线方程的距离最短;因此,在调整待标定外参,得到优化目标函数满足预设的优化条件的最优解时,需要调整待标定外参,当点云数据中的每个点到车道线的真值点构成的直线方程的距离最短时,确定优化目标函数满足预设的优化条件;并将满足预设的优化条件时,优化目标函数的解确定为最优解。
具体地,基于图3,优化目标函数的优化目标是步骤S106中,获取的车道线的每个像素点,到步骤S104中车道线的真值点构成的直线方程的距离最短,通过调整待标定外参,可以使得优化目标最优,即,得到最优解,此时对应的待标定外参确定为待标定外参的标定结果,即,单目相机最终的外参结果。
并且,本发明实施例提供的单目相机外参在线标定方法,不需要单目相机的共视,只要知道车道线的真值点,延伸出的直线也可以用于其他不共视野的单目相机,具体地,可以基于车道线的真值点向预设方向生成车道线的拟合车道,可以对预设方向上的单目相机外参进行在线标定。例如,前视方向的单目相机,只可以看到车头前方的车道线,但是,车道线可以通过真值点拟合成直线,并向后延伸到车尾,让后向的单目相机看到对应的车道线,因此,使后向的单目相机也可以构建优化目标函数,并优化得到相应的外参。
因此,本发明实施例提供的单目相机外参在线标定方法,除了可以在线标定单目相机的外参,还可以通过不共视的传感器来进一步标定单目相机的外参,以提高标定效率,降低使用成本。
进一步,在上述实施例的基础上,本发明实施例还提供了一种单目相机外参在线标定装置,如图4所示的一种单目相机外参在线标定装置的结构示意图,该装置包括:
判断模块40,用于判断当前车辆行驶的车道线是否满足在线标定条件;
提取模块42,用于所述判断模块的判断结果为是时,提取所述车道线的真值点;
转换模块44,用于获取单目相机识别出的所述车道线的像素点,使用待标定外参将所述车道线的像素点转换到车体坐标系中,生成所述车体坐标系中所述车道线的点云数据;
优化模块46,用于基于所述车道线的真值点和所述车道线的点云数据构建优化目标函数,其中,所述优化目标函数用于表征所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离;
标定模块48,用于调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解,并将所述最优解对应的待标定外参确定为所述待标定外参的标定结果。
本发明实施例提供的单目相机外参在线标定装置,与上述实施例提供的单目相机外参在线标定方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
进一步,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。
进一步,本发明实施例还提供了一种电子设备的结构示意图,如图5所示,为该电子设备的结构示意图,其中,该电子设备包括处理器51和存储器50,该存储器50存储有能够被该处理器51执行的计算机可执行指令,该处理器51执行该计算机可执行指令以实现上述方法。
在图5示出的实施方式中,该电子设备还包括总线52和通信接口53,其中,处理器51、通信接口53和存储器50通过总线52连接。
其中,存储器50可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线52可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器51可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器51读取存储器中的信息,结合其硬件完成前述方法。
本发明实施例所提供的单目相机外参在线标定方法、装置及电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种单目相机外参在线标定方法,其特征在于,包括:
判断当前车辆行驶的车道线是否满足在线标定条件;
如果是,则提取所述车道线的真值点;
获取单目相机识别出的所述车道线的像素点,使用待标定外参将所述车道线的像素点转换到车体坐标系中,生成所述车体坐标系中所述车道线的点云数据;
基于所述车道线的真值点和所述车道线的点云数据构建优化目标函数,其中,所述优化目标函数用于表征所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离;
调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解,并将所述最优解对应的待标定外参确定为所述待标定外参的标定结果。
2.根据权利要求1所述的方法,其特征在于,判断当前车辆行驶的车道线是否满足在线标定条件的步骤,包括:
判断所述车道线是否是平行车道,且所述车道线为直线;
如果是,确定当前所述车辆行驶的车道线满足在线标定条件。
3.根据权利要求1所述的方法,其特征在于,所述车辆配置有前向双目相机;
提取所述车道线的真值点的步骤,包括:
获取所述车道线的深度图;其中,所述深度图为所述前向双目相机在深度采集模式下采集的所述车道线的图像;
提取所述深度图中包括的所述车道线的真值点,并将所述车道线的真值点转换到所述车体坐标系中。
4.根据权利要求1所述的方法,其特征在于,所述车辆配置有激光传感器;
提取所述车道线的真值点的步骤,包括:
获取所述激光传感器采集的包含所述车道线的激光点云数据;
提取所述激光点云数据中亮度高于预设阈值的高亮点,将所述高亮点确定为所述车道线的真值点,并将所述车道线的真值点转换到所述车体坐标系中。
5.根据权利要求1所述的方法,其特征在于,使用待标定外参将所述车道线的像素点转换到车体坐标系中的步骤,包括:
将所述车道线的像素点通过预先存储的内参转换到预设的归一化平面;
在所述归一化平面上,通过所述待标定外参将所述车道线的像素点转换到车体坐标系中。
6.根据权利要求1所述的方法,其特征在于,所述优化目标函数所满足的预设的优化条件包括:所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离最短;
调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解的步骤,包括:
调整所述待标定外参,当所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离最短时,确定所述优化目标函数满足预设的优化条件;
将满足预设的优化条件时,所述优化目标函数的解确定为最优解。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述车道线的真值点向预设方向生成所述车道线的拟合车道,以对所述预设方向上的单目相机外参进行在线标定。
8.一种单目相机外参在线标定装置,其特征在于,包括:
判断模块,用于判断当前车辆行驶的车道线是否满足在线标定条件;
提取模块,用于所述判断模块的判断结果为是时,提取所述车道线的真值点;
转换模块,用于获取单目相机识别出的所述车道线的像素点,使用待标定外参将所述车道线的像素点转换到车体坐标系中,生成所述车体坐标系中所述车道线的点云数据;
优化模块,用于基于所述车道线的真值点和所述车道线的点云数据构建优化目标函数,其中,所述优化目标函数用于表征所述点云数据中的每个点到所述车道线的真值点构成的直线方程的距离;
标定模块,用于调整所述待标定外参,以得到所述优化目标函数满足预设的优化条件的最优解,并将所述最优解对应的待标定外参确定为所述待标定外参的标定结果。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述权利要求1-7任一项所述的方法的步骤。
CN202210888827.5A 2022-07-27 2022-07-27 单目相机外参在线标定方法、装置及电子设备 Pending CN115272484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210888827.5A CN115272484A (zh) 2022-07-27 2022-07-27 单目相机外参在线标定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210888827.5A CN115272484A (zh) 2022-07-27 2022-07-27 单目相机外参在线标定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115272484A true CN115272484A (zh) 2022-11-01

Family

ID=83770630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210888827.5A Pending CN115272484A (zh) 2022-07-27 2022-07-27 单目相机外参在线标定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115272484A (zh)

Similar Documents

Publication Publication Date Title
US20210229280A1 (en) Positioning method and device, path determination method and device, robot and storage medium
CN110962844B (zh) 一种车辆航向角修正方法及系统、存储介质及终端
EP4089659A1 (en) Map updating method, apparatus and device
CN111310708B (zh) 交通信号灯状态识别方法、装置、设备和存储介质
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110341621B (zh) 一种障碍物检测方法及装置
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
CN114419143A (zh) 深度测量方法、深度测量设备及存储介质
JP6613999B2 (ja) 運転支援システム
CN111723723A (zh) 一种图像检测方法及装置
CN114742914A (zh) 车道线生成的方法、装置及电子设备
CN110991232B (zh) 一种车辆位置修正方法及系统、存储介质及终端
CN116386000A (zh) 基于高精地图和单目摄像头测量障碍物距离的方法、系统
CN110807347B (zh) 障碍物检测方法、装置及终端
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN112529011A (zh) 目标检测方法及相关装置
CN115546216B (zh) 一种托盘检测方法、装置、设备及存储介质
CN115272484A (zh) 单目相机外参在线标定方法、装置及电子设备
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
CN112241717B (zh) 前车检测方法、前车检测模型的训练获取方法及装置
CN114463388A (zh) 基于双目相机的限高装置检测方法、系统和智能终端
CN115995163B (zh) 一种车辆碰撞预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination