CN115713560A - 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质 - Google Patents
一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN115713560A CN115713560A CN202211340116.0A CN202211340116A CN115713560A CN 115713560 A CN115713560 A CN 115713560A CN 202211340116 A CN202211340116 A CN 202211340116A CN 115713560 A CN115713560 A CN 115713560A
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- original image
- lane line
- external parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质,其中一种摄像头和车辆的外参数标定方法包括:获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过摄像头获取一段连续的原始图像;将原始图像处理得到车道线的像素坐标点,根据内参矩阵将各像素坐标点转化为摄像坐标系的摄像坐标点;根据初始外参将原始图像转为鸟瞰图像,提取鸟瞰图像上的车道线,将车道线转为在车辆坐标系中的三次曲线方程;建立各摄像坐标点与三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。本方案中摄像头和车辆之间的目标外参计算得出后,将其进行标定以满足现在智能驾驶中对传感器的识别需求,便于车辆的智能驾驶。
Description
技术领域
本申请涉及智能驾驶中传感器的摄像头和车辆的外参数标定技术领域,具体涉及一种摄像头和车辆的外参数标定方法及装置、电子设备和计算机可读存储介质。
背景技术
随着智能驾驶技术的发展,车辆的智能驾驶功能日益完善,在车辆上所安装的传感器也越来越多,摄像头是目前车辆上十分常见的传感器,为了智能驾驶功能的正常运行,传感器的摄像头和车辆的外参数标定是智能驾驶中必要和重要的一环。
目前根据图像和车道线进行摄像头和车辆的外参数标定的方法中,对标定环境有较高的要求,需要假设车道线是平行的直线,会造成标定误差;而通过图像中车道线的特征点进行计算会将车道线离散化,这就忽略了车道线连续的特性,在智能驾驶领域,车道线常使用三次曲线表示,将车道线离散化后丢掉了车道线点与点之间的约束与物理意义。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质,以解决上述需要基于假设车道线平行或者进行车道线离散化才能对摄像头的外参数进行标定的技术问题。
在第一方面,本发明提供的一种摄像头和车辆的外参数标定方法,包括:
获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过所述摄像头获取一段连续的原始图像;
将所述原始图像处理得到车道线的多个像素坐标点,根据所述内参矩阵将各所述像素坐标点转化为摄像坐标系的摄像坐标点;
根据所述初始外参将所述原始图像转为鸟瞰图像,提取所述鸟瞰图像上的车道线,将所述车道线转为在车辆坐标系中的三次曲线方程;
建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。
可选的,获取摄像头的内部参数,以及摄像头和车辆之间的初始外参,并通过所述摄像头获取一段连续的原始图像,包括:
所述原始图像连续获取多帧且所述原始图像中包含车道线。
可选的,将所述原始图像处理得到车道线的多个像素坐标点,包括:
将所述原始图像送入神经网络模型进行车道线的分割与识别,并在各条车道线上随机提取多个像素点,记录所述像素点在所述原始图像上的所述像素坐标点,将各所述像素坐标点按顺序存入容器V中。
可选的,根据所述初始外参将所述原始图像转为鸟瞰图像,包括:
假设车道线分布在车辆坐标系的一个平面下,通过逆透视变化消除透视效应将所述原始图像转换到车辆坐标系下,获得具有车道分布的所述鸟瞰图像。
可选的,建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参,包括:
遍历所述原始图像的容器V,建立车辆坐标系下车道线上坐标点与所述摄像坐标点约束关系,然后将约束关系代入三次曲线方程中,计算出摄像头和车辆之间的目标外参。
可选的,建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参,包括:
建立目标函数表达所述各所述摄像坐标点与所述三次曲线方程的数据关联,求解所述目标函数得到摄像头与车辆之间目标外参。
可选的,建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参之后,包括:
建立优化方程,通过优化算法迭代计算得到摄像头与车辆之间的目标外参并进行标定,利用所述内参和所述目标外参将车辆坐标系下的车道线上坐标点投影到所述原始图像上得到投影坐标点,若所述投影坐标点和对应的所述摄像坐标点的重投影误差在阈值范围内,则目标外参标定有效。
第二方面,本发明提供了一种摄像头和车辆的外参数标定装置,包括:
获取模块,用于获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过所述摄像头获取一段连续的原始图像;
转化模块,用于将所述原始图像处理得到车道线的多个像素坐标点,根据所述内参矩阵将各所述像素坐标点转化为摄像坐标系的摄像坐标点;
提取模块,用于根据所述初始外参将所述原始图像转为鸟瞰图像,提取所述鸟瞰图像上的车道线,将所述车道线转为在车辆坐标系中的三次曲线方程;
计算模块,用于建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。
第三方面,本发明提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如上述任一项所述的摄像头和车辆的外参数标定方法。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行上述任一项所述的摄像头和车辆的外参数标定方法。
上述一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质所实现的方案中,通过车道线在各坐标系的表达并利用三次曲线方程描述,再建立车道线在车辆坐标系和摄像坐标系的关系,利用摄像头的内参和初始外参,代入计算出摄像头和车辆的目标外参,本方案中无需假设车道线平行及进行车道线离散化,所获得目标外参数值准确,将目标外参进行标定后运用到智能驾驶中,能够更有利的辅助智能驾驶。本方案中摄像头和车辆之间的目标外参计算得出后,将其进行标定以满足现在智能驾驶中对传感器的识别需求,便于车辆的智能驾驶。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本申请的一示例性实施例示出的一种摄像头和车辆的外参数标定方法的实施环境示意图;
图2是本申请的一示例性实施例示出的摄像头和车辆的外参数标定方法的流程图;
图3是本申请的一示例性实施例示出的车辆坐标系示意图;
图4是本申请的一示例性实施例示出的摄像头和车辆的外参数标定装置的框图;
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
首先需要说明的是,本方案中所标定的参数是指摄像头与车辆的外部参数,该参数在智能驾驶中,将会配合摄像头的图像判断实际的位置。本方案中摄像头是指能够获取图像的传感器,也包含相机。
其中,内参和外参是按照摄像头对应到不同坐标系的参数,内参是指摄像坐标系到图像中的点对应的参数,外参是指世界坐标系到摄像坐标系中对应的参数,本方案中世界坐标系具体对应车辆坐标系。其中内参在摄像头标定得到,在车辆上安装了摄像头之后会标定初始外参,车辆在使用后根据实际的应用场景需要对摄像头的外参进行重新标定,本方案中所标定的即为车辆使用后对摄像头的外参标定。
图1是本申请的一示例性实施例示出的一种摄像头和车辆的外参数标定方法的实施环境示意图。其中,车辆行驶在道路中,通过车辆上安装的摄像头对车道线进行识别,并通过标定的外部参数进行计算,能够给智能驾驶提供准确的道路信息。
其中,摄像头安装在车辆的内部或者外部,并与智能终端连接上,智能终端可以是智能手机、车载电脑、平板电脑、笔记本电脑或者可穿戴设备等任意支持安装导航地图软件的终端设备,但并不限于此。智能终端可以通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络与导航服务端220进行通信,本处也不对此进行限制。图1所示的服务端设备是服务器,例如可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,在此也不进行限制。
请参阅图2,图2是本申请的一示例性实施例示出的摄像头和车辆的外参数标定方法的流程图。该方法可以应用于图1所示的实施环境,并由该实施环境中的车辆具体执行。应理解的是,该方法也可以适用于其它的示例性实施环境,并由其它实施环境中的设备具体执行,本实施例不对该方法所适用的实施环境进行限制。
如图2所示,在一示例性的实施例中,摄像头和车辆的外参数标定方法至少包括步骤S210至步骤S240,详细介绍如下:
步骤S210,获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过所述摄像头获取一段连续的原始图像;
在一些实施例中,所述原始图像连续获取多帧且所述原始图像中包含车道线。
根据安装要求,可以较容易得到一个摄像头与车辆之间的外参初始值。摄像头在将外界环境的原始数据通过图像传感器处理后,得到具有车道线的原始图像输出。
步骤S220,将所述原始图像处理得到车道线的多个像素坐标点,根据所述内参矩阵将各所述像素坐标点转化为摄像坐标系的摄像坐标点。
在一些实施例中,将所述原始图像送入神经网络模型进行车道线的分割与识别,并在各条车道线上随机提取多个像素点,记录所述像素点在所述原始图像上的所述像素坐标点,将各所述像素坐标点按顺序存入容器V中。
具体实施过程中,在取得连续M帧的图像数据后,将原始图像数据送入深度学习神经网络模型进行车道线的分割与识别,并在各条车道线上随机提取N点,记录其对应图像上的像素坐标值,按顺序存入容器V中。
根据不失一般性,假设摄像坐标系是以摄像头光心为其坐标原点,z轴朝前的符合右手原则的三维空间坐标系。根据摄像头的内参矩阵将图像的像素坐标(u,v)转换为摄像坐标系中的点(x,y,1),由于图像上的像素点只保留了二维信息,丢失了尺度信息,因此可将其第三维坐标值归一化设置为1。
步骤S230,根据所述初始外参将所述原始图像转为鸟瞰图像,提取所述鸟瞰图像上的车道线,将所述车道线转为在车辆坐标系中的三次曲线方程;
在一些实施例中,假设车道线分布在车辆坐标系的一个平面下,通过逆透视变化消除透视效应将所述原始图像转换到车辆坐标系下,获得具有车道分布的所述鸟瞰图像。
其中,逆透视变换(IPM)是在前视摄像头拍摄的图像中,由于透视效应的存在,本来平行的事物,在图像中却是相交的。而IPM变换就是消除这种透视效应,所以也叫逆透视。
具体的,由于摄像头在安装后较容易获得其与车辆之间的初始外参,在地面假设的条件下,车道线分布在车辆坐标系下的一个平面上,因此原始图像与实际车道线平面是一个2D射影变换,通过逆透视变换(IPM)变换将原始图像转换到车辆坐标系下,并将BEV图像送入深度学习神经网络进行鸟瞰图(BEV)视角下的车道线识别与提取,利用三次连续曲线描述车道线方程。如:Y=c3X3+c2X2+c1X+c0,其中X为车辆坐标系下车道线X轴像素坐标点Y为车辆坐标系下车道线Y轴像素坐标点,车辆坐标系如图3所示。
其中,BEV图像中可以实现的单道路环境级分布图,准确的估计移动车辆的未来轨迹。
步骤S240,建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。
在一些实施例中,遍历所述原始图像的容器V,建立车辆坐标系下车道线上坐标点与所述摄像坐标点约束关系,然后将约束关系代入三次曲线方程中,计算出摄像头和车辆之间的目标外参。
在一些实施例中,建立目标函数表达所述各所述摄像坐标点与所述三次曲线方程的数据关联,求解所述目标函数得到摄像头与车辆之间目标外参。所述原始图像连续获取多帧且所述原始图像中包含车道线。
具体的遍历原始图像上的车道线像素点容器V,根据不同的车道线ID建立与车辆坐标系下的车道线的数据关联;由于车辆坐标系下的3D点经过旋转和平移后,转换到摄像坐标系下,再利用已知的摄像头内参K,将3D点投影到图像得到其对应的像素点。其转换关系为:
通过上述表达式便可以建立车辆坐标系下车道线的3D点X,Y坐标与已建立匹配关系像素点(u,v)的约束关系,然后将得到的约束关系带入点到三次曲线的优化方程中,从而解算出摄像头与车辆的旋转和平移关系。尽管在每帧图像中,其投影表达式中尺度也是未知的,但是在有旋转和平移关系后,以及地面假设的约束下,在每次迭代完后,都可以利用当前得到的旋转矩阵R,和平移向量t去计算得到当前尺度,且优化之前可以得到一个初始的旋转和平移,因此可以将旋转矩阵R,平移向量t,尺度分成两个步骤求解,因此在设置优化目标函数时,尺度就可以不纳入优化变量当中,减少了优化变量的维度。
在一些实施例中,建立优化方程,通过优化算法迭代计算得到摄像头与车辆之间的目标外参并进行标定,利用所述内参和所述目标外参将车辆坐标系下的车道线上坐标点投影到所述原始图像上得到投影坐标点,若所述投影坐标点和对应的所述摄像坐标点的重投影误差在阈值范围内,则目标外参标定有效。
具体的通过优化算法迭代计算得到摄像头与车辆之间的旋转矩阵R和平移向量t后,便可以利用摄像头的内外参将车辆坐标系下的一些3D点投影到图像平面上,并在图像上检测其对应的像素点,计算其重投影误差。判断重投影误差是否超过一定的阈值,如果超过则认为此次标定失败,不去更新或采用本次标定结果;如果重投影误差小于一定的阈值,则认为此次标定成功。
在一实施例中,提供一种摄像头和车辆的外参数标定装置,该摄像头和车辆的外参数标定装置与上述实施例中的摄像头和车辆的外参数标定方法一一对应,如图4所示,图4是本申请一示例性实施例示出的一种摄像头和车辆的外参数标定装置的一结构示意图,包括获取模块401、转化模块402、提取模块403、计算模块404,各功能模块详细说明如下:
获取模块401,用于获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过所述摄像头获取一段连续的原始图像;
转化模块402,用于将所述原始图像处理得到车道线的多个像素坐标点,根据所述内参矩阵将各所述像素坐标点转化为摄像坐标系的摄像坐标点;
提取模块403,用于根据所述初始外参将所述原始图像转为鸟瞰图像,提取所述鸟瞰图像上的车道线,将所述车道线转为在车辆坐标系中的三次曲线方程;
计算模块404,用于建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。
需要说明的是,上述实施例所提供的摄像头和车辆的外参数标定装置与上述实施例所提供的摄像头和车辆的外参数标定方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。上述实施例所提供的摄像头和车辆的外参数标定装置在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,本处也不对此进行限制。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述各个实施例中提供的摄像头和车辆的外参数标定方法。
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图5示出的电子设备的计算机系统500仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CentralProcessingUnit,CPU)501,其可以根据存储在只读存储器(Read-OnlyMemory,ROM)502中的程序或者从储存部分508加载到随机访问存储器(RandomAccessMemory,RAM)503中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM503中,还存储有系统操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(Input/Output,I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CathodeRayTube,CRT)、液晶显示器(LiquidCrystalDisplay,LCD)等以及扬声器等的输出部分507;包括硬盘等的储存部分508;以及包括诸如LAN(LocalAreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入储存部分508。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ErasableProgrammableReadOnlyMemory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(CompactDiscRead-OnlyMemory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如前所述的摄像头和车辆的外参数标定方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的摄像头和车辆的外参数标定方法。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种摄像头和车辆的外参数标定方法,其特征在于,所述方法包括:
获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过所述摄像头获取一段连续的原始图像;
将所述原始图像处理得到车道线的多个像素坐标点,根据所述内参矩阵将各所述像素坐标点转化为摄像坐标系的摄像坐标点;
根据所述初始外参将所述原始图像转为鸟瞰图像,提取所述鸟瞰图像上的车道线,将所述车道线转为在车辆坐标系中的三次曲线方程;
建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。
2.根据权利要求1所述的摄像头和车辆的外参数标定方法,其特征在于:获取摄像头的内部参数,以及摄像头和车辆之间的初始外参,并通过所述摄像头获取一段连续的原始图像,包括:
所述原始图像连续获取多帧且所述原始图像中包含车道线。
3.根据权利要求2所述的摄像头和车辆的外参数标定方法,其特征在于,将所述原始图像处理得到车道线的多个像素坐标点,包括:
将所述原始图像送入神经网络模型进行车道线的分割与识别,并在各条车道线上随机提取多个像素点,记录所述像素点在所述原始图像上的所述像素坐标点,将各所述像素坐标点按顺序存入容器V中。
4.根据权利要求3所述的摄像头和车辆的外参数标定方法,其特征在于:根据所述初始外参将所述原始图像转为鸟瞰图像,包括:
假设车道线分布在车辆坐标系的一个平面下,通过逆透视变化消除透视效应将所述原始图像转换到车辆坐标系下,获得具有车道分布的所述鸟瞰图像。
5.根据权利要求3所述的摄像头和车辆的外参数标定方法,其特征在于:建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参,包括:
遍历所述原始图像的容器V,建立车辆坐标系下车道线上坐标点与所述摄像坐标点约束关系,然后将约束关系代入三次曲线方程中,计算出摄像头和车辆之间的目标外参。
6.根据权利要求4所述的摄像头和车辆的外参数标定方法,其特征在于:建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参,包括:
建立目标函数表达所述各所述摄像坐标点与所述三次曲线方程的数据关联,求解所述目标函数得到摄像头与车辆之间目标外参。
7.根据权利要求5所述的摄像头和车辆的外参数标定方法,其特征在于:建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参之后,包括:
建立优化方程,通过优化算法迭代计算得到摄像头与车辆之间的目标外参并进行标定,利用所述内参和所述目标外参将车辆坐标系下的车道线上坐标点投影到所述原始图像上得到投影坐标点,若所述投影坐标点和对应的所述摄像坐标点的重投影误差在阈值范围内,则目标外参标定有效。
8.一种摄像头和车辆的外参数标定装置,其特征在于,所述装置包括:
获取模块,用于获取摄像头的内参,以及摄像头和车辆之间的初始外参数,并通过所述摄像头获取一段连续的原始图像;
转化模块,用于将所述原始图像处理得到车道线的多个像素坐标点,根据所述内参矩阵将各所述像素坐标点转化为摄像坐标系的摄像坐标点;
提取模块,用于根据所述初始外参将所述原始图像转为鸟瞰图像,提取所述鸟瞰图像上的车道线,将所述车道线转为在车辆坐标系中的三次曲线方程;
计算模块,用于建立各所述摄像坐标点与所述三次曲线方程的数据关联,计算出摄像头和车辆之间的目标外参。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至7中任一项所述的摄像头和车辆的外参数标定方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至7中任一项所述的摄像头和车辆的外参数标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211340116.0A CN115713560A (zh) | 2022-10-29 | 2022-10-29 | 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211340116.0A CN115713560A (zh) | 2022-10-29 | 2022-10-29 | 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115713560A true CN115713560A (zh) | 2023-02-24 |
Family
ID=85231600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211340116.0A Pending CN115713560A (zh) | 2022-10-29 | 2022-10-29 | 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115713560A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117437306A (zh) * | 2023-12-21 | 2024-01-23 | 知行汽车科技(苏州)股份有限公司 | 一种摄像头的标定方法、装置、设备及介质 |
-
2022
- 2022-10-29 CN CN202211340116.0A patent/CN115713560A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117437306A (zh) * | 2023-12-21 | 2024-01-23 | 知行汽车科技(苏州)股份有限公司 | 一种摄像头的标定方法、装置、设备及介质 |
CN117437306B (zh) * | 2023-12-21 | 2024-02-20 | 知行汽车科技(苏州)股份有限公司 | 一种摄像头的标定方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109523597B (zh) | 相机外参的标定方法和装置 | |
CN108898086B (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
CN109410218B (zh) | 用于生成车辆损伤信息的方法和装置 | |
CN111079619B (zh) | 用于检测图像中的目标对象的方法和装置 | |
CN112733820B (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
CN108230235B (zh) | 一种视差图生成系统、方法及存储介质 | |
CN112348029B (zh) | 局部地图调整方法、装置、设备和计算机可读介质 | |
CN112258519B (zh) | 一种高精度地图制作中道路的让行线自动化提取方法及装置 | |
CN111738032B (zh) | 一种车辆行驶信息确定方法及装置、车载终端 | |
CN111986214B (zh) | 一种地图中人行横道的构建方法和电子设备 | |
CN114993328B (zh) | 车辆定位评估方法、装置、设备和计算机可读介质 | |
CN114399588B (zh) | 三维车道线生成方法、装置、电子设备和计算机可读介质 | |
CN113793370B (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
CN114445597B (zh) | 三维车道线生成方法、装置、电子设备和计算机可读介质 | |
CN116433843A (zh) | 基于双目视觉重建路线的三维模型重建方法及装置 | |
CN115713560A (zh) | 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质 | |
CN115375836A (zh) | 基于多元置信度滤波的点云融合三维重建方法和系统 | |
CN114550117A (zh) | 一种图像检测方法和装置 | |
CN113421217A (zh) | 可行驶区域检测方法和装置 | |
CN112258647B (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
CN115468578B (zh) | 路径规划方法、装置、电子设备和计算机可读介质 | |
CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
CN116543143A (zh) | 一种目标检测模型的训练方法、目标检测方法及装置 | |
CN114494379A (zh) | 基于fpfh的凸包辅助三维点云配准方法、设备及介质 | |
CN115393423A (zh) | 目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |