CN116402903A - 一种相机外参标定方法、装置、设备、介质及程序产品 - Google Patents
一种相机外参标定方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN116402903A CN116402903A CN202310407676.1A CN202310407676A CN116402903A CN 116402903 A CN116402903 A CN 116402903A CN 202310407676 A CN202310407676 A CN 202310407676A CN 116402903 A CN116402903 A CN 116402903A
- Authority
- CN
- China
- Prior art keywords
- lane
- lane lines
- coordinate system
- preset
- lane line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000009434 installation Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 239000006185 dispersion Substances 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 18
- 238000013459 approach Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例公开了一种相机外参标定方法、装置、设备、介质及程序产品,该方案包括:根据图像采集设备的初始外部参数,确定各个所述车道线之间的预估位置关系,此时利用车道线之间已知的预设位置关系和所述预估位置关系之间的差异,来调整初始外部参数以使其趋近所述外部参数的理论真值。外参标定过程中,对目标车辆是否在平直路段内沿车道线直行并无限制,由此使得所述外部参数标定方法的适用范围更广、便捷性好,又由于标定精度与车道线是否为直线和目标车辆是否沿车道线直行无关,从而提高了外参标定的精度。
Description
技术领域
本申请涉及相机标定技术领域,尤其涉及一种相机外参标定方法、装置、设备、介质及程序产品。
背景技术
基于车载相机采集用于制作高清地图的图像时,不仅需要确定载体坐标系和相机坐标之间的转换关系,还需要对相机外参进行标定。传统的相机外参标定方法分为实验场标定的方案和基于灭点的相机标定的方案。实验场标定方案大多依赖高精度控制场或放置标定参照物进行标定,其特点是标定精准,但需要出厂前定标,无法满足实时性,且场地和人力成本高昂。基于灭点进行标定的方案,对标定场景有车道线平直、不变道等诸多要求,存在场景局限性和标定结果不准的问题。
因此,亟需一种不受场景限制的相机外参标定方法,以提升相机外参的便捷性。
发明内容
为解决上述技术问题,本说明书实施例提出了一种相机外参标定方法、装置、设备、介质及程序,以实现对相机外参进行不受场景限制的标定,提升相机外参的便捷性。
本说明书实施例提供的一种相机外参标定方法,包括:
获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像。
根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息。
根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系。
根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
本说明书实施例提供的一种相机外参标定装置,包括:
获取模块,用于获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像。
计算模块,用于根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息。
确定模块,用于根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系。
标定模块,用于根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
本说明书实施例提供的一种相机外参标定设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现所述外部参数标定方法的步骤。
本说明书实施例提供的一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现所述外部参数标定方法的步骤。
本说明书实施例提供的一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述外部参数标定方法的步骤。
本说明书实施例采用上述至少一个技术方案能够达到以下有益效果:
本说明书实施例公开了一种相机外参标定方法、装置、设备、介质及程序,该方案包括:根据图像采集设备的初始外部参数,确定各个所述车道线之间的预估位置关系,此时利用车道线之间已知的预设位置关系和所述预估位置关系之间的差异,来调整初始外部参数以使其趋近所述外部参数的理论真值。外参标定过程中,对目标车辆是否在平直路段内沿车道线直行并无限制,由此使得所述外部参数标定方法的适用范围更广、便捷性好,又由于标定精度与车道线是否为直线和目标车辆是否沿车道线直行无关,从而提高了外参标定的精度。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种相机外参标定方法的流程示意图;
图2为本说明书实施例提供的一种俯仰角标定方法的流程示意图;
图3为本说明书实施例提供的一种滚转角标定方法的流程示意图;
图4为本说明书实施例提供的一种安装高度标定方法的流程示意图;
图5为本说明书实施例提供的一种偏航角标定方法的流程示意图;
图6为本说明书实施例提供的另一种相机外参标定方法的流程示意图;
图7为本说明书实施例提供的一种对应于图1的相机外参标定装置的结构示意图;
图8为本说明书实施例提供的一种对应于图1的相机外参标定设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
现有技术中基于灭点的相机外参标定方法,主要是根据相互平行的直线交汇于同一灭点的原理(也称为消失点)来实现的。具体来说,车辆在车道内直行时,笔直的多条车道线和车辆的横滚轴(指向载体前方)平行,车道线和横滚轴的灭点相同,因此,根据灭点、相机主点(即相机光轴和图像平面的交点)和焦距,可以计算相机的俯仰角和偏航角。不难看出,基于灭点的相机外参标定方法,必须在具备平直路段和车辆沿车道线直行两个条件才能实施,由此导致存在场景局限性和标定不准问题。
为了解决现有技术中的缺陷,本方案给出了以下实施例:
图1为本说明书实施例提供的一种相机外参标定方法的流程示意图。
从程序角度而言,该流程的执行主体可以是图像采集设备或者处理图像采集设备采集的图片的计算设备,还可以是图像采集设备或计算设备处搭载的应用程序。如图1所示,该流程可以包括以下步骤:
步骤101:获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像。
本说明书实施例中,所述图像采集设备的外部参数(即相机外参,extrinsicparameters),可以是所述图像采集设备相对于所述目标车辆的载体坐标系中的姿态和离地高度,可以用于确定空间物体表面某点的三维几何位置与其在目标图像中对应点之间的位置关系。所述外部参数,可以包括俯仰角(Pitch)、翻滚角(Roll)、偏航角(Yaw)和安装高度(H,也称离地高度)等。
本说明书实施例中,所述图像采集设备搭载于所述目标车辆处,可以与所述目标车辆刚性连接或非刚性连接。
本说明书实施例中,所述目标图像中包含两条以上车道,即所述目标图像中包含三条以上车道线。所述目标图像中的车道,可以是行驶方向相同的同向车道,也可以是行驶方向不同的对向车道。
步骤103:根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息。
本说明书实施例中,所述初始外部参数可以根据经验指定,例如Pitch、Roll、Yaw、H分别取值0、0、0、1。所述初始外部参数还可以是根据灭点计算得到,或者是相机外参的上一次标定结果。
本说明书实施例中,在所述外部参数标定方法被可以用于标定多项外部参数时,标定完成的部分外部参数可以作为后续未标定外部参数的初始外部参数。
本说明书实施例中,所述车道线的像素坐标,可以是组成所述车道线的像素点的坐标范围,也可以是所述车道线的中线坐标。
本说明书实施例中,所述车道线在所述载体坐标系中的位置信息,可以通过所述车道线的像素坐标利用相机内部参数(Intrinsic matrix)和初始外部参数进行转换得到。
步骤105:根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系。
本说明书实施例中,所述载体坐标系中的各个所述车道线,既可以是同一张目标图像中的多条车道线,也可以是不同目标图像中的同一车道线。
本说明书实施例中,所述预估位置关系,即在所述载体坐标系中的各个所述车道线之间的相对位置关系,可以包括车道线的预估平行度、预估宽度比例、预估距离等。
步骤107:根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
本说明书实施例中,所述预设位置关系为已知的车道线之间的相对位置关系,可以包括:所述车道线之间的预设平行关系、车道宽度之间的预设宽度比例、所述车道线之间的预设距离以及邻近帧图像中同一车道线的预设重合关系。
在实际应用中,相机外参可以用于描述相机坐标系和载体坐标系之间的变换关系。外参精度越高,载体坐标系中物体之间的位置关系的精度也越高。因此,车道线之间已知的预设位置关系和所述预估位置关系之间的差异,可可以用于描述所述外部参数的精度,即可以用于描述初始外部参数和外部参数的理论真值之间的差异。
本说明书实施例中,由于待标定的外部参数可以包括俯仰角、翻滚角、偏航角和安装高度等四项,而不同的外部参数对应的预估位置关系和预设位置关系也不同,因此,步骤105-107可以被多次执行来标定不同的外部参数。
本说明书实施例中,根据图像采集设备的初始外部参数,确定各个所述车道线之间的预估位置关系,此时利用车道线之间已知的预设位置关系和所述预估位置关系之间的差异,来调整初始外部参数以使其趋近所述外部参数的理论真值。外参标定过程中,对目标车辆是否在平直路段内沿车道线直行并无限制,由此使得所述外部参数标定方法的适用范围更广、便捷性好,又由于标定精度与车道线是否为直线和目标车辆是否沿车道线直行无关,从而提高了外参标定的精度。
基于图1中的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
可选的,所述根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果,具体可以包括:
通过最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行迭代计算,得到所述图像采集设备的优化后的外部参数。
本说明书实施例中,所述预设位置关系可以包括:所述车道线之间的预设平行关系、车道宽度之间的预设宽度比例、所述车道线之间的预设距离以及邻近帧图像中同一车道线的预设重合关系中的至少一种。
本说明书实施例中,将所述图像采集设备的外部参数作为迭代变量,将所述预估位置关系和所述预设位置关系之间的差值,作为所述外部参数精度的观测值。
本说明书实施例中,所述最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行迭代计算,得到所述图像采集设备的优化后的外部参数,具体可以包括:
判断所述预估位置关系和所述预设位置关系之间的差值是否满足预设阈值。
若满足,则将本次迭代的外部参数,作为优化后的外部参数。
若不满足,则根据所述预估位置关系和所述预设位置关系之间的差值,对所述初始外部参数进行调整得到下一次迭代的外部参数;根据下一次迭代的外部参数重新计算所述预估位置关系和所述预设位置关系之间的差值;直到所述预估位置关系和所述预设位置关系之间的差值满足预设阈值。
本说明书实施例中,达到最大迭代次数时,若所述预估位置关系和所述预设位置关系之间的差值仍然不能满足预设阈值,则再次获取新的目标图像并重新进行迭代计算。上一次迭代过程中最小的所述差值对应的外部参数,可以用于根据新的目标图像进行迭代计算时的初始外部参数,以减少迭代次数。
本说明书实施例中,通过最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行多次迭代计算,直到所述差值小于阈值,得到所述图像采集设备的优化后的外部参数。通过多次迭代,可以提高所述优化后的外部参数的精度。
可选的,所述初始外部参数可以包括所述图像采集设备在所述载体坐标系中的初始俯仰角、初始偏航角、初始滚转角和初始安装高度的至少一种。
对应的,所述预设位置关系可以包括:所述车道线之间的预设平行关系、车道宽度之间的预设宽度比例、所述车道线之间的预设距离以及邻近帧图像中同一车道线的预设重合关系中的至少一种。
所述通过最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行迭代计算,得到所述图像采集设备的优化后的外部参数,具体可以包括:
若所述预设位置关系为所述车道线之间的预设平行关系,则通过最小化两条所述车道线之间距离的预设差值,对所述初始俯仰角进行迭代计算,得到优化后的俯仰角;所述预设差值可以用于表示两条所述车道线之间距离的离散程度。
若所述预设位置关系为所述车道宽度之间的预设宽度比例,则通过最小化两条车道宽度之间的预估宽度比例和所述预设宽度比例之间的差值,对所述初始滚转角进行迭代计算,得到优化后的滚转角。
若所述预设位置关系为所述车道线之间的预设距离,则通过最小化两条所述车道线之间的预估距离和所述预设距离之间的差值,对所述初始安装高度进行迭代计算,得到优化后的安装高度。
若所述预设位置关系为邻近两帧所述目标图像中同一车道线的预设重合关系,则通过最小化临近两帧所述目标图像中的同一车道线的位置信息之间的差值,对所述初始偏航角进行迭代计算,得到优化后的偏航角。
在实际应用中,由于车道宽度一般保持不变,因此任意两条车道线都是相互平行的。而在载体坐标系中,车道线的平行度取决于俯仰角的精度,即车道线之间的夹角取决于俯仰角的取值。随着车道线之间的夹角增大,车道线之间的距离的离散程度也随之增大。本说明书实施例中将两条车道线之间距离的离散程度,作为俯仰角精度的观测值。在具体应用中,两条车道线之间距离可以是一条车道线上的多个点到另一车道线的垂直距离。为了简化计算过程,两条车道线之间距离的离散程度,也可以指一条车道线到另一车道线的前端垂直距离与后端垂直距离之差。
在实际应用中,由于车道宽度一般保持不变,因此车道宽度与其他一条车道的车道宽度或者两条以上车道宽度之和的比值也不变。而在载体坐标系中,滚转角会导致宽度比例发生变化(左大右小或左小右大),因此,本说明书实施例中,将预估宽度比例和所述预设宽度比例之间的差值,作为滚转角精度的观测值。
在实际应用中,每条机动车道的宽度是有标准的,例如高速公路的车道宽度一般是3.75米,因此任意两条车道之间的距离可以根据车道宽度计算得到。而在载体坐标系中,所述图像采集设备的安装高度会导致车道线之间的距离发生变化。因此,本说明书实施例中,将两条所述车道线之间的预估距离和所述预设距离之间的差值,作为安装高度精度的观测值。
在实际应用中,在根据邻近两帧图像之间采集位置变化,将邻近两帧图像中的同一车道线转换到同一坐标系之后,车道线应该是重合的。因此,本说明书实施例中,将临近两帧所述目标图像中的同一车道线的位置信息之间的差值,作为偏航角的观测值。
本说明书实施例中,利用所述目标图像依次进行俯仰角标定、滚转角标定、安装高度标定和偏航角标定;将在前标定成功的外部参数,作为后续待标定外部参数的初始外部参数,来提高待标定外部参数的标定精度。举例来说,俯仰角标定之后,根据包含优化后的俯仰角的外部参数对所述车道线进行坐标转换之后,所述载体坐标系中的车道线平行度较高,计算得到的车道宽度的精度更高,进而使得两条车道的预估宽度比例精度更高,从而提高滚转角的标定精度。
可选的,所述计算所述车道线在所述载体坐标系中的位置信息,具体可以包括:
计算所述目标图像中第一车道线中的第一像素点在所述载体坐标系中的第一坐标数据。
计算所述目标图像中第二车道线中的第二像素点在所述载体坐标系中的第二坐标数据。
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体可以包括:
对所述第一坐标数据进行车道线拟合处理,得到第一车道线的拟合曲线。
确定各个所述第二像素点的所述第二坐标数据到所述拟合曲线的垂直距离。
确定各个所述第二像素点对应的所述垂直距离之间的预设差值;所述预设差值为方差、标注差和极差中的至少一种。
本说明书实施例中,所述车道线之间的预设平行关系可以指车道线之间的距离相等。
本说明书实施例中,所述第一车道线和所述第二车道线可以是所述目标图像中距离相等的任意两条车道线。所述第一车道线和所述第二车道线可以是直线,也可以是曲线,对此不作限定。为了提高俯仰角精度,可以将最外侧两条车道线作为所述第一车道线和所述第二车道线。
本说明书实施例中,所述第一像素点可以是在所述目标图像中第一车道线对应的范围内的所有像素点,也可以是第一车道线中线上的像素点。
本说明书实施例中,所述第二像素点可以是在所述目标图像中第二车道线的车道线区域内的所有像素点,也可以是第二车道线中线上的像素点,还可以是对第二车道线的车道线区域或第二车道线中线进行采样得到的采样点。
本说明书实施例中,所述拟合处理,可以用于根据第一像素点在所述载体坐标系中的第一坐标数据,计算得到所述拟合曲线的曲线方程。
本说明书实施例中,若所述预设差值接近最小值,得到所述优化后的俯仰角。
图2为本说明书实施例提供的一种俯仰角标定方法的流程示意图;如图2所示,俯仰角标定方法可以包括如下步骤:
获取所述图像采集设备的内部参数(即相机内参)和可以用于第N次俯仰角迭代计算的外部参数;其中,所述可以用于第N次俯仰角迭代计算的外部参数可以包括可以用于第N次俯仰角迭代计算的俯仰角、初始偏航角、初始滚转角和初始安装高度;N为正整数;初始俯仰角为可以用于第1次俯仰角迭代计算的俯仰角。
根据所述目标图像的图像分割结果,在所述目标图像中确定第一车道线和第二车道线的车道线中线。
对所述第二车道线的车道线中线进行采样,得到第二车道线的采样点。
根据所述图像采集设备的内部参数和可以用于第N次俯仰角迭代计算的外部参数,计算第一车道线的车道线中线上的第一像素点在所述载体坐标系中的第一坐标数据。
根据所述图像采集设备的内部参数和可以用于第N次俯仰角迭代计算的外部参数,计算第二车道线的采样点在所述载体坐标系中的第二坐标数据。
对所述第一坐标数据进行车道线拟合处理,得到第一车道线的拟合曲线。
确定各个所述第二像素点的所述第二坐标数据到所述拟合曲线的垂直距离。
确定各个所述第二像素点的所述第二坐标数据到所述拟合曲线的垂直距离。
对所述垂直距离进行线性归一化处理,得到各个所述第二坐标数据到所述拟合曲线的归一化垂直距离。
确定各个所述第二像素点对应的所述归一化垂直距离的方差。
根据所述方差是否小于阈值,判断所述方差是否接近极小值。
若是,则将可以用于第N次俯仰角迭代计算的外部参数作为所述优化后的俯仰角。
若否,则按照预设的迭代步长(例如0.1°)向方差减小的方向调整俯仰角,得到可以用于第N+1次俯仰角迭代计算的外部参数。
根据所述图像采集设备的内部参数和可以用于第N+1次俯仰角迭代计算的外部参数,再次计算所述归一化垂直距离的方差。
直到所述方差接近极小值,迭代结束并得到优化后的俯仰角,完成俯仰角的标定。
可选的,所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系之前,还可以包括:
基于所述优化后的俯仰角、所述初始偏航角、所述初始滚转角和所述初始安装高度,计算所述车道线在所述载体坐标系中的位置信息。
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体可以包括:
根据所述车道线在所述载体坐标系中的位置信息,计算在所述载体坐标系中任意两条车道的车道宽度的比值,得到所述任意两条车道的预估宽度比例。
本说明书实施例中,所述车道线可以是直线,也可以是曲线,对此不作限定。
本说明书实施例中,所述预估宽度比例,可以是任意两条车道的车道宽度的比值;为了提高俯仰角精度,所述预估宽度比例可以是最外侧两条车道的车道宽度的比值。
图3为本说明书实施例提供的一种滚转角标定方法的流程示意图;如图3所示,滚转角标定方法可以包括如下步骤:
确定所述目标图像中最外侧两条车道的实际车道宽度,计算最外侧两条车道的预设宽度比例。
获取所述图像采集设备的内部参数(即相机内参)和可以用于第N次滚转角迭代计算的外部参数;其中,所述可以用于第N次滚转角迭代计算的外部参数可以包括可以用于第N次滚转角迭代计算的滚转角、优化后的俯仰角、初始偏航角和初始安装高度;N为正整数;初始滚转角为可以用于第1次滚转角迭代计算的滚转角。
根据所述目标图像的图像分割结果,在所述目标图像中确定各条车道线的车道线中线。
根据所述图像采集设备的内部参数和可以用于第N次滚转角迭代计算的外部参数,计算各条车道线中线在所述载体坐标系中的位置信息。
根据各条车道线中线在所述载体坐标系中的位置信息,计算最外侧两条车道的车道宽度的比值,得到最外侧两条车道的预估宽度比例。
计算所述预估宽度比例与所述预设宽度比例的差值/比值。
判断所述预估宽度比例与所述预设宽度比例的差值/比值是否在预设数值范围内。
若是,则将可以用于第N次滚转角迭代计算的翻滚角为所述优化后的翻滚角。
若否,则按照预设的迭代步长(例如0.1°),向所述预估宽度比例与所述预设宽度比例的差异减小的方向调整翻滚角,得到可以用于第N+1次滚转角迭代计算的外部参数。
根据所述图像采集设备的内部参数和可以用于第N+1次滚转角迭代计算的外部参数,再次计算所述预估宽度比例与所述预设宽度比例的差值/比值。
直到所述预估宽度比例与所述预设宽度比例的差值/比值在预设数值范围内,迭代结束并得到优化后的翻滚角,完成翻滚角的标定。
可选的,所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系之前,还可以包括:
基于所述优化后的俯仰角、所述优化后的滚转角、初始偏航角和初始安装高度,计算所述车道线在所述载体坐标系中的位置信息。
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体可以包括:
根据所述车道线在所述载体坐标系中的位置信息,计算在所述载体坐标系中任意两条车道线之间的预估距离。
本说明书实施例中,所述预估距离可以是所述载体坐标系中任意两条车道线之间的距离;为了提高标定精度,所述预估距离可以是所述载体坐标系中最外侧车道线之间的距离。
图4为本说明书实施例提供的一种安装高度标定方法的流程示意图;如图4所示,安装高度标定方法可以包括如下步骤:
根据所述目标图像中各条车道的实际车道宽度,计算最外侧车道线之间的预设距离。
获取所述图像采集设备的内部参数(即相机内参)和可以用于第N次安装高度迭代计算的外部参数;其中,所述可以用于第N次安装高度迭代计算的外部参数可以包括可以用于第N次安装高度迭代计算的安装高度、优化后的俯仰角、优化后的滚转角和初始偏航角;N为正整数;初始安装高度为可以用于第1次安装高度迭代计算的安装高度。
根据所述目标图像的图像分割结果,在所述目标图像中确定最外侧两条车道线的车道线中线。
根据所述图像采集设备的内部参数和可以用于第N次安装高度迭代计算的外部参数,计算最外侧两条车道的车道线中线在所述载体坐标系中的位置信息。
根据最外侧两条车道的车道线中线在所述载体坐标系中的位置信息,计算最外侧两条车道的车道宽度的比值,得到最外侧两条车道之间的预估距离。
计算所述预估距离与所述预设距离的差值/比值。
判断所述预估距离与所述预设距离的差值/比值是否在预设数值范围内。
若是,则将可以用于第N次安装高度迭代计算的安装高度为所述优化后的安装高度。
若否,则按照预设的迭代步长(例如5厘米),向所述预估距离与所述预设距离的差异减小的方向调整安装高度,得到可以用于第N+1次安装高度迭代计算的外部参数。
根据所述图像采集设备的内部参数和可以用于第N+1次安装高度迭代计算的外部参数,再次计算所述预估距离与所述预设距离的差值/比值。
直到所述预估距离与所述预设距离的差值/比值在预设数值范围内,迭代结束并得到优化后的安装高度,完成安装高度的标定。
可选的,所述目标图像可以包括第一目标图像和第二目标图像,所述第一目标图像和所述第二目标图像的采集位置之间的距离在预设数值范围内。
根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体可以包括:
基于所述优化后的俯仰角、所述优化后的滚转角、所述优化后的安装高度以及初始偏航角,计算所述第一目标图像中第三车道线在第一载体坐标系中的第一位置信息。
基于所述优化后的俯仰角、所述优化后的滚转角、所述优化后的安装高度以及初始偏航角,计算所述第二目标图像中第四车道线在第二载体坐标系中的第二位置信息;所述第四车道线与所述第三车道线为同一车道线。
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体可以包括:
基于所述第一位置信息、所述第二位置信息、第一位姿信息和第二位姿信息,计算同一坐标系下所述第三车道线和所述第四车道线之间的距离,得到所述第三车道线和所述第四车道线之间的差值距离;所述第一位姿信息和所述第二位姿信息分别为所述目标车辆在采集所述第一目标图像和所述第二目标图像时的位姿信息。
所述通过最小化临近两帧所述目标图像中的同一车道线的所述位置信息之间的差值,对所述初始偏航角进行迭代计算,得到优化后的偏航角,具体可以包括:
通过最小化所述差值距离,对所述初始偏航角进行迭代计算,得到所述优化后的偏航角。
本说明书实施例中,所述第一目标图像和所述第二目标图像可以是所述目标车辆在不同位置时,由所述图像采集设备采集的包含同一车道线的两张图像。具体的,所述第一目标图像的采集位置和所述第二目标图像的采集位置可以相隔5-10米。所述第一目标图像和所述第二目标图像中的车道数量相同,所述第一目标图像和所述第二目标图像中车道总宽度接近。
本说明书实施例中,所述第三车道线可以是一条车道线,也可以是多条车道线;所述第四车道线可以是与所述第三车道线相对应的一条或多条车道线。对应的,所述差值距离可以是一条所述第三车道线与其对应的第四车道线之间的距离,也可以是各条所述第三车道线与其对应的第四车道线之间的距离的平均值。
本说明书实施例中,所述同一坐标系可以是第一载体坐标系、第二载体坐标系、世界坐标系中的任意一种。
图5为本说明书实施例提供的一种偏航角标定方法的流程示意图;如图5所示,偏航角标定方法可以包括如下步骤:
获取所述图像采集设备的内部参数(即相机内参)和可以用于第N次偏航角迭代计算的外部参数;其中,所述可以用于第N次偏航角迭代计算的外部参数可以包括可以用于第N次偏航角迭代计算的偏航角、优化后的俯仰角、优化后的滚转角和优化后的安装高度;N为正整数;初始偏航角为可以用于第1次偏航角迭代计算的偏航角。
根据所述第一目标图像的图像分割结果,在所述第一目标图像中确定各条车道线的车道线中线。
根据所述第二目标图像的图像分割结果,在所述第二目标图像中确定各条第四车道线的车道线中线;各条所述第四车道线与所述第三车道线一一对应。
根据所述图像采集设备的内部参数和可以用于第N次偏航角迭代计算的外部参数,计算所述第一目标图像中第三车道线在第一载体坐标系中的第一位置信息;所述第一载体坐标系为与所述第一目标图像对应的坐标系。
根据所述图像采集设备的内部参数和可以用于第N次偏航角迭代计算的外部参数,计算所述第二目标图像中第四车道线在第二载体坐标系中的第二位置信息;所述第二载体坐标系为与所述第二目标图像对应的坐标系。
根据所述目标车辆在采集所述第一目标图像和所述第二目标图像时的第一位姿信息和第二位姿信息,确定所述第一载体坐标系和第二载体坐标系之间的转换关系。
基于所述转换关系,确定第四车道线在所述第一载体坐标系的第三位置信息。
根据所述第三车道线的第一位置信息和第四车道线的第三位置信息,计算在所述第一载体坐标系中所述第三车道线和所述第四车道线之间的差值距离。
根据所述差值距离是否小于阈值,判断所述差值距离是否接近极小值。
若是,则将可以用于第N次偏航角迭代计算的外部参数作为所述优化后的偏航角。
若否,则按照预设的迭代步长(例如0.1°)向所述差值距离减小的方向调整偏航角,得到可以用于第N+1次偏航角迭代计算的外部参数。
根据所述图像采集设备的内部参数和可以用于第N+1次偏航角迭代计算的外部参数,再次计算所述差值距离。
直到所述差值距离接近极小值,迭代结束并得到优化后的偏航角,完成偏航角的标定。
可选的,所述获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的图像,具体可以包括:
根据所述图像采集设备采集的各个待处理图像的灭点坐标,计算得到所述图像采集设备的预估外部参数。
根据所述预估外部参数,对各个所述待处理图像进行逆投影变换处理,得到所述待处理图像对应的鸟瞰图。
确定所述鸟瞰图中的车道线之间的相对位置信息。
基于所述鸟瞰图中的车道线之间预设位置条件,对所述待处理图像进行筛选,得到所述目标图像。
本说明书实施例中,所述灭点坐标即所述待处理图像中平行的车道线的延长线的交点的坐标。
在实际应用中,透视效应会导致在相机拍到的图像中的平行对象成像为相交,通过逆投影变换可以消除透视效应。所述逆投影变换处理(Inverse Perspective Mapping,IPM)可以用于将所述图像采集设备采集的图像转换为鸟瞰图(Bird’s Eye View,BEV),以消除的透视效应、恢复图中对象的平行性。
本说明书实施例中,根据所述待处理图像的图像分割结果,确定所述待处理图像中的各车道线的位置信息,进而确定鸟瞰图中各车道线的位置信息。然后根据各车道线之间的垂直距离是否小于阈值,对车道线进行合并,得到合并后的车道线,以解决同一根车道线因为识别问题被切成多根的问题,避免对后续标定造成干扰。
本说明书实施例中,所述鸟瞰图中的车道线之间预设位置条件可以包括车道线平行和各车道宽度变化的单调性。
本说明书实施例中,所述基于所述鸟瞰图中的车道线之间预设位置条件,对所述待处理图像进行筛选,得到所述目标图像,具体可以包括:
根据所述鸟瞰图中的各车道线之间的夹角是否小于角度阈值,来对所述待处理图像进行筛选。
根据所述鸟瞰图中各车道的车道宽度是否满足从一侧到另一侧单调递减或单调递增,来对所述待处理图像进行筛选。
本说明书实施例中,若所述待处理图像中存在中间车道线被漏识别或者中间是短虚线且距离相机过远以致于被遗漏的问题,通过车道宽度的变化异常等预设条件来筛除此类图片。
可选的,所述计算所述车道线在所述载体坐标系中的位置信息之前,还可以包括:
获取各个所述目标图像对应的鸟瞰图;所述鸟瞰图是根据所述目标图像中所述车道线的灭点坐标计算外部参数的估计值,利用所述外部参数的估计值对所述目标图像进行逆投影变换处理得到的。
确定各个所述鸟瞰图中的车道线平均长度。
根据各个所述鸟瞰图中的车道线平均长度,选择所述目标图像。
本说明书实施例中,所述根据各个所述鸟瞰图中的车道线平均长度选择所述目标图像,具体可以包括:
根据各个所述鸟瞰图中的车道线平均长度,对所述目标图像按照得分由高到低进行排序。
选择车道线平均长度最长的目标图像,依次进行俯仰角标定、滚转角标定、安装高度标定和偏航角标定。
若任一项外部参数标定未成功,则再次选择车道线平均长度次长的目标图像次进行俯仰角标定、偏航角标定、滚转角标定和安装高度标定,直到标定成功。若利用所有车道线平均长度大于阈值的图像都进行了标定之后,标定仍未成功,则再次获取可以用于标定的目标图像,直到标定成功。
本说明书实施例中,根据各个所述鸟瞰图中的车道线平均长度,选择可以用于外参标定的目标图像,以提高标定成功的可能性以及外参标定的精度。
可选的,所述获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的图像之后,还可以包括:
根据所述目标车辆的轨迹信息,从多张所述目标图像中筛除采集时所述目标车辆的移动速度小于速度阈值的图像。
和/或
从多张所述目标图像中筛除所述车道线的数量小于数量阈值的图像。
本说明书实施例中,由于可以用于外参标定的图像中至少需要包含两条车道,因此,根据车道线数量是否大于3对目标图像进行筛选。
本说明书实施例中,由于可以用于外参标定的图像中车道线的长度越长越好,而堵车场景中车道线往往会被遮挡,因此从多张所述目标图像中筛除采集时所述目标车辆的移动速度小于速度阈值的图像。
基于与图1中所示的方案同样的思路,本说明书实施例还提供了另一种相机外参标定方法。图6为本说明书实施例提供的另一种相机外参标定方法的流程示意图。如图6所示,该流程可以包括以下步骤:
获取利用目标车辆处搭载的图像采集设备采集的多张原始图像。
根据所述图像采集设备的内部参数(相机内参)对原始图像去畸变校正,得到校正后图片。
对所述校正后图片实例分割,以确定所述校正后图片中各个所述车道线的像素坐标。
根据所述车道线的像素坐标,提取所述校正后图片中所述车道线的轮廓数据。
根据所述车道线的轮廓数据,确定所述校正后图片中所述车道线的中线坐标数据。
根据所述目标车辆的轨迹信息,从多张所述校正后图片中筛除采集时所述目标车辆的移动速度小于速度阈值的图像,同时从多张所述校正后图片中筛除所述车道线的数量小于数量阈值的图像,得到初步筛选后的待处理图像,生成由所述待处理图像组成的待处理图像集合。
针对所述待处理图像集合中的每张待处理图像,根据所述待处理图像的灭点坐标,计算得到所述图像采集设备的预估外部参数。
根据所述预估外部参数,对各个所述待处理图像进行逆投影变换处理,得到所述待处理图像对应的鸟瞰图。
根据所述待处理图像中的各车道线的位置信息,确定鸟瞰图中各车道线的位置信息。
根据鸟瞰图中各车道线之间的垂直距离是否小于阈值,对车道线进行合并,得到合并后的车道线。
确定所述鸟瞰图中的所述合并后的车道线之间的相对位置信息。
根据所述鸟瞰图中的各车道线之间的夹角是否小于角度阈值,来对所述待处理图像进行筛选。
根据所述鸟瞰图中各车道的车道宽度是否满足从一侧到另一侧单调递减或单调递增,来对所述待处理图像进行筛选得到所述目标图像,得到由所述目标图像组成的目标图像集合。
根据所述目标图像的鸟瞰图,确定各个所述目标图像对应的鸟瞰图中的车道线平均长度。
根据各个所述鸟瞰图中的车道线平均长度,对所述目标图像按照得分由高到低进行排序。
选择车道线平均长度最长的目标图像,依次进行俯仰角标定、滚转角标定、安装高度标定和偏航角标定。
若任意一项外部参数标定过程中,迭代过程未能收敛,则认为该项外部参数标定未成功,后续选择车道线平均长度次长的目标图像次进行俯仰角标定、偏航角标定、滚转角标定和安装高度标定,直到标定成功。若利用目标图像集合中所有车道线平均长度大于阈值的图像都进行了标定之后,标定仍未成功,则再次获取可以用于标定的目标图像,直到标定成功。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。
图7为本说明书实施例提供的一种对应于图1的相机外参标定装置的结构示意图。如图7所示,所述装置可以包括:
获取模块701,可以用于获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像。
计算模块703,可以用于根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息。
确定模块705,可以用于根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系。
标定模块707,可以用于根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
基于图7中的装置,本说明书实施例还提供了该装置的一些具体实施方案,下面进行说明。
可选的,所述标定模块707,具体可以用于:
通过最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行迭代计算,得到所述图像采集设备的优化后的外部参数。
可选的,所述初始外部参数可以包括所述图像采集设备在所述载体坐标系中的初始俯仰角、初始偏航角、初始滚转角和初始安装高度的至少一种;所述预设位置关系可以包括:所述车道线之间的预设平行关系、车道宽度之间的预设宽度比例、所述车道线之间的预设距离以及邻近帧图像中同一车道线的预设重合关系中的至少一种。
所述标定模块707,具体可以包括:
俯仰角标定单元,可以用于若所述预设位置关系为所述车道线之间的预设平行关系,则通过最小化两条所述车道线之间距离的预设差值,对所述初始俯仰角进行迭代计算,得到优化后的俯仰角;所述预设差值可以用于表示两条所述车道线之间距离的离散程度。
滚转角标定单元,可以用于若所述预设位置关系为所述车道宽度之间的预设宽度比例,则通过最小化两条车道宽度之间的预估宽度比例和所述预设宽度比例之间的差值,对所述初始滚转角进行迭代计算,得到优化后的滚转角。
安装高度标定单元,可以用于若所述预设位置关系为所述车道线之间的预设距离,则通过最小化两条所述车道线之间的预估距离和所述预设距离之间的差值,对所述初始安装高度进行迭代计算,得到优化后的安装高度。
偏航角标定单元,可以用于若所述预设位置关系为邻近两帧所述目标图像中同一车道线的预设重合关系,则通过最小化临近两帧所述目标图像中的同一车道线的位置信息之间的差值,对所述初始偏航角进行迭代计算,得到优化后的偏航角。
可选的,所述计算模块703,具体可以用于:
计算所述目标图像中第一车道线中的第一像素点在所述载体坐标系中的第一坐标数据。
计算所述目标图像中第二车道线中的第二像素点在所述载体坐标系中的第二坐标数据。
所述确定模块705,具体可以用于:
对所述第一坐标数据进行车道线拟合处理,得到 第一车道线的拟合曲线。
确定各个所述第二像素点的所述第二坐标数据到所述拟合曲线的垂直距离。
确定各个所述第二像素点对应的所述垂直距离之间的预设差值;所述预设差值为方差、标注差和极差中的至少一种。
可选的,所述计算模块703,具体可以用于:
基于所述优化后的俯仰角、所述初始偏航角、所述初始滚转角和所述初始安装高度,计算所述车道线在所述载体坐标系中的位置信息。
所述确定模块705,具体可以用于:
根据所述车道线在所述载体坐标系中的位置信息,计算在所述载体坐标系中任意两条车道的车道宽度的比值,得到所述任意两条车道的预估宽度比例。
可选的,所述计算模块703,具体可以用于:
基于所述优化后的俯仰角、所述优化后的滚转角、初始偏航角和初始安装高度,计算所述车道线在所述载体坐标系中的位置信息。
所述确定模块705,具体可以用于:
根据所述车道线在所述载体坐标系中的位置信息,计算在所述载体坐标系中任意两条车道线之间的预估距离。
可选的,所述目标图像可以包括第一目标图像和第二目标图像,所述第一目标图像和所述第二目标图像的采集位置之间的距离在预设数值范围内。
所述计算模块703,具体可以用于:
基于所述优化后的俯仰角、所述优化后的滚转角、所述优化后的安装高度以及初始偏航角,计算所述第一目标图像中第三车道线在第一载体坐标系中的第一位置信息。
基于所述优化后的俯仰角、所述优化后的滚转角、所述优化后的安装高度以及初始偏航角,计算所述第二目标图像中第四车道线在第二载体坐标系中的第二位置信息;所述第四车道线与所述第三车道线为同一车道线。
对应的,所述确定模块705,具体可以用于:
基于所述第一位置信息、所述第二位置信息、所述第一目标图像的采集位置和所述第二目标图像的采集位置,计算同一坐标系下所述第三车道线和所述第四车道线之间的距离,得到所述第三车道线和所述第四车道线之间的差值距离。
所述偏航角标定单元,具体可以用于:
通过最小化所述差值距离,对所述初始偏航角进行迭代计算,得到所述优化后的偏航角。
可选的,所述获取模块701,具体可以用于:
根据所述图像采集设备采集的各个待处理图像的灭点坐标,计算得到所述图像采集设备的预估外部参数。
根据所述预估外部参数,对各个所述待处理图像进行逆投影变换处理,得到所述待处理图像对应的鸟瞰图。
确定所述鸟瞰图中的车道线之间的相对位置信息。
基于所述鸟瞰图中的车道线之间预设位置条件,对所述待处理图像进行筛选,得到所述目标图像。
可选的,所述外部参数标定装置,还可以包括:
图像选择模块,可以用于获取各个所述目标图像对应的鸟瞰图;所述鸟瞰图是根据所述目标图像中所述车道线的灭点坐标计算外部参数的估计值,利用所述外部参数的估计值对所述目标图像进行逆投影变换处理得到的;确定各个所述鸟瞰图中的车道线平均长度;根据各个所述鸟瞰图中的车道线平均长度,选择所述目标图像。
可选的,所述外部参数标定装置,还可以包括:
图像筛选模块,可以用于根据所述目标车辆的轨迹信息,从多张所述目标图像中筛除采集时所述目标车辆的移动速度小于速度阈值的图像;和/或,从多张所述目标图像中筛除所述车道线的数量小于数量阈值的图像。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。
图8为本说明书实施例提供的一种对应于图1的相机外参标定设备的结构示意图。如图8所示,所述设备800可以包括:
至少一个处理器810;以及,
与所述至少一个处理器通信连接的存储器830;其中,
所述存储器830存储有可被所述至少一个处理器810执行的指令820,所述指令被所述至少一个处理器810执行,以使所述至少一个处理器810能够:
获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像。
根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息。
根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系。
根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
基于同样的思路,本说明书实施例提供的一种计算机可读存储介质,其上存储有计算机指令,该计算机程序/指令被处理器执行时实现所述外部参数标定方法的步骤。
基于同样的思路,本说明书实施例提供的一种计算机程序产品,可以包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述外部参数标定方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于本说明书实施例中的设备、存储介质和程序而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardwareDescription Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子可以包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone LabsC8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内可以包括的可以用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将可以用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框,以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生可以用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生可以包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供可以用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能可以包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质可以包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可可以用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不可以包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“可以包括”“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得可以包括一系列要素的过程、方法、商品或者设备不仅可以包括那些要素,而且还可以包括没有明确列出的其他要素,或者是还可以包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“可以包括一个……”限定的要素,并不排除在可以包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于可以包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不可以用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种相机外参标定方法,其特征在于,包括:
获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像;
根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息;
根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系;
根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
2.如权利要求1所述的方法,其特征在于,所述根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果,具体包括:
通过最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行迭代计算,得到所述图像采集设备的优化后的外部参数。
3.如权利要求2所述的方法,其特征在于,所述初始外部参数包括所述图像采集设备在所述载体坐标系中的初始俯仰角、初始偏航角、初始滚转角和初始安装高度的至少一种;所述预设位置关系包括:所述车道线之间的预设平行关系、车道宽度之间的预设宽度比例、所述车道线之间的预设距离以及邻近帧图像中同一车道线的预设重合关系中的至少一种;
所述通过最小化所述预估位置关系和所述预设位置关系之间的差值,对所述图像采集设备的所述初始外部参数进行迭代计算,得到所述图像采集设备的优化后的外部参数,具体包括:
若所述预设位置关系为所述车道线之间的预设平行关系,则通过最小化两条所述车道线之间距离的预设差值,对所述初始俯仰角进行迭代计算,得到优化后的俯仰角;所述预设差值用于表示两条所述车道线之间距离的离散程度;
若所述预设位置关系为所述车道宽度之间的预设宽度比例,则通过最小化两条车道宽度之间的预估宽度比例和所述预设宽度比例之间的差值,对所述初始滚转角进行迭代计算,得到优化后的滚转角;
若所述预设位置关系为所述车道线之间的预设距离,则通过最小化两条所述车道线之间的预估距离和所述预设距离之间的差值,对所述初始安装高度进行迭代计算,得到优化后的安装高度;
若所述预设位置关系为邻近两帧所述目标图像中同一车道线的预设重合关系,则通过最小化临近两帧所述目标图像中的同一车道线的位置信息之间的差值,对所述初始偏航角进行迭代计算,得到优化后的偏航角。
4.如权利要求3所述的方法,其特征在于,所述计算所述车道线在所述载体坐标系中的位置信息,具体包括:
计算所述目标图像中第一车道线中的第一像素点在所述载体坐标系中的第一坐标数据;
计算所述目标图像中第二车道线中的第二像素点在所述载体坐标系中的第二坐标数据;
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体包括:
对所述第一坐标数据进行车道线拟合处理,得到第一车道线的拟合曲线;
确定各个所述第二像素点的所述第二坐标数据到所述拟合曲线的垂直距离;
确定各个所述第二像素点对应的所述垂直距离之间的预设差值;所述预设差值为方差、标注差和极差中的至少一种。
5.如权利要求3所述的方法,其特征在于,所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系之前,还包括:
基于所述优化后的俯仰角、所述初始偏航角、所述初始滚转角和所述初始安装高度,计算所述车道线在所述载体坐标系中的位置信息;
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体包括:
根据所述车道线在所述载体坐标系中的位置信息,计算在所述载体坐标系中任意两条车道的车道宽度的比值,得到所述任意两条车道的预估宽度比例。
6.如权利要求3所述的方法,其特征在于,所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系之前,还包括:
基于所述优化后的俯仰角、所述优化后的滚转角、初始偏航角和初始安装高度,计算所述车道线在所述载体坐标系中的位置信息;
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体包括:
根据所述车道线在所述载体坐标系中的位置信息,计算在所述载体坐标系中任意两条车道线之间的预估距离。
7.如权利要求3所述的方法,其特征在于,所述目标图像包括第一目标图像和第二目标图像,所述第一目标图像和所述第二目标图像的采集位置之间的距离在预设数值范围内;
根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体包括:
基于所述优化后的俯仰角、所述优化后的滚转角、所述优化后的安装高度以及初始偏航角,计算所述第一目标图像中第三车道线在第一载体坐标系中的第一位置信息;
基于所述优化后的俯仰角、所述优化后的滚转角、所述优化后的安装高度以及初始偏航角,计算所述第二目标图像中第四车道线在第二载体坐标系中的第二位置信息;所述第四车道线与所述第三车道线为同一车道线;
所述根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系,具体包括:
基于所述第一位置信息、所述第二位置信息、第一位姿信息和第二位姿信息,计算同一坐标系下所述第三车道线和所述第四车道线之间的距离,得到所述第三车道线和所述第四车道线之间的差值距离;所述第一位姿信息和所述第二位姿信息分别为所述目标车辆在采集所述第一目标图像和所述第二目标图像时的位姿信息;
所述通过最小化临近两帧所述目标图像中的同一车道线的所述位置信息之间的差值,对所述初始偏航角进行迭代计算,得到优化后的偏航角,具体包括:
通过最小化所述差值距离,对所述初始偏航角进行迭代计算,得到所述优化后的偏航角。
8.如权利要求1所述的方法,其特征在于,所述获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的图像,具体包括:
根据所述图像采集设备采集的各个待处理图像的灭点坐标,计算得到所述图像采集设备的预估外部参数;
根据所述预估外部参数,对各个所述待处理图像进行逆投影变换处理,得到所述待处理图像对应的鸟瞰图;
确定所述鸟瞰图中的车道线之间的相对位置信息;
基于所述鸟瞰图中的车道线之间预设位置条件,对所述待处理图像进行筛选,得到所述目标图像。
9.如权利要求1所述的方法,其特征在于,所述计算所述车道线在所述载体坐标系中的位置信息之前,还包括:
获取各个所述目标图像对应的鸟瞰图;所述鸟瞰图是根据所述目标图像中所述车道线的灭点坐标计算外部参数的估计值,利用所述外部参数的估计值对所述目标图像进行逆投影变换处理得到的;
确定各个所述鸟瞰图中的车道线平均长度;
根据各个所述鸟瞰图中的车道线平均长度,选择所述目标图像。
10.如权利要求1所述的方法,其特征在于,所述获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的图像之后,还包括:
根据所述目标车辆的轨迹信息,从多张所述目标图像中筛除采集时所述目标车辆的移动速度小于速度阈值的图像;
和/或
从多张所述目标图像中筛除所述车道线的数量小于数量阈值的图像。
11.一种相机外参标定装置,其特征在于,包括:
获取模块,用于获取利用目标车辆处搭载的图像采集设备采集的包含多条车道线的目标图像;
计算模块,用于根据所述图像采集设备在所述目标车辆的载体坐标系下的初始外部参数,以及所述目标图像中的所述车道线的像素坐标,计算所述车道线在所述载体坐标系中的位置信息;
确定模块,用于根据所述车道线的所述位置信息,确定所述载体坐标系中的各个所述车道线之间的预估位置关系;
标定模块,用于根据所述预估位置关系以及各个所述车道线之间的预设位置关系,对所述初始外部参数进行调整,得到所述图像采集设备外部参数的标定结果。
12.一种相机外参标定设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1至10任意一项所述方法的步骤。
13.一种计算机可读存储介质/计算机程序产品,其上存储有计算机程序/指令,其特征在于,该计算机序/指令被处理器执行时实现权利要求1至10任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310407676.1A CN116402903A (zh) | 2023-04-17 | 2023-04-17 | 一种相机外参标定方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310407676.1A CN116402903A (zh) | 2023-04-17 | 2023-04-17 | 一种相机外参标定方法、装置、设备、介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116402903A true CN116402903A (zh) | 2023-07-07 |
Family
ID=87010243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310407676.1A Pending CN116402903A (zh) | 2023-04-17 | 2023-04-17 | 一种相机外参标定方法、装置、设备、介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116402903A (zh) |
-
2023
- 2023-04-17 CN CN202310407676.1A patent/CN116402903A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
CN111882611B (zh) | 一种地图构建方法及装置 | |
CN111238450B (zh) | 视觉定位方法及装置 | |
CN113096192B (zh) | 图像传感器内参标定方法、装置、设备及存储介质 | |
CN112001456A (zh) | 一种车辆定位方法、装置、存储介质及电子设备 | |
CN115077541A (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
CN114782865B (zh) | 一种基于多视角和重识别的路口车辆定位方法及系统 | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
CN115376090A (zh) | 高精地图构建方法、装置及电子设备、存储介质 | |
CN114119749A (zh) | 一种基于密集关联的单目3d车辆检测方法 | |
CN112907745A (zh) | 一种数字正射影像图生成方法及装置 | |
CN116817887B (zh) | 语义视觉slam地图构建方法、电子设备及存储介质 | |
CN116402903A (zh) | 一种相机外参标定方法、装置、设备、介质及程序产品 | |
CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
CN116734834A (zh) | 应用于动态场景的定位建图方法、装置和智能设备 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
CN116385999A (zh) | 一种停车位的识别方法、装置及设备 | |
CN115014332A (zh) | 激光slam建图方法、装置及电子设备、计算机可读存储介质 | |
CN105046679A (zh) | 遥感卫星图像多波段配准的方法及装置 | |
CN114283148A (zh) | 一种道路元素提取方法、装置、存储介质及电子设备 | |
CN113888611B (zh) | 一种确定图像深度的方法、装置及存储介质 | |
CN111104908A (zh) | 一种道路边沿确定方法及装置 | |
CN112529943A (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
CN114322987B (zh) | 一种构建高精地图的方法及装置 | |
US20210019901A1 (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |