CN112348874B - 一种车道线的结构化参数表示确定方法及装置 - Google Patents
一种车道线的结构化参数表示确定方法及装置 Download PDFInfo
- Publication number
- CN112348874B CN112348874B CN201910731506.2A CN201910731506A CN112348874B CN 112348874 B CN112348874 B CN 112348874B CN 201910731506 A CN201910731506 A CN 201910731506A CN 112348874 B CN112348874 B CN 112348874B
- Authority
- CN
- China
- Prior art keywords
- reference point
- determining
- structural parameter
- parameter representation
- lane line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
公开了一种车道线的结构化参数表示确定方法及装置,包括:在当前帧图像中确定目标车道线,并在所述目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标;根据所述第一参考点空间坐标确定所述目标车道线的第一结构化参数表示;获取当前帧图像的后续帧图像对应的相机位姿;通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标;根据所述优化的第一参考点空间坐标确定所述目标车道线的第二结构化参数表示;通过当前帧图像、后续帧图像及相应的相机位姿,确定目标车道线的结构化参数表示,并进一步的迭代优化以保证结构化参数表示的准确性;避免了由于平面假设带来的误差,准确性能够满足应用需求。
Description
技术领域
本公开涉及图像分析技术领域,尤其涉及一种车道线的结构化参数表示确定方法及装置。
背景技术
不同于传统地图仅仅通过二维图像体现地貌、建筑、道路等要素,高精地图作为辅助驾驶/自动驾驶技术的重要组成部分,其更加注重“空间性”。在高精地图当中,许多要素都需要以三维模型或空间中的模型函数,即所谓的结构化参数表示的形式体现。例如道路、道路中的车道线、道路两旁的标志杆、标志牌等表示道路信息的要素,均可通过结构化参数表示来表达。
现有技术中以结构化参数表示体现车道线时,往往是基于平面假设,也就是把车道线表示为平面中的函数曲线,通过忽略路面高低差以简化计算过程。但在实际环境下,路面并非绝对的平面,所以平面假设本身是不成立的。特别是在路面起伏较大的情况下,基于平面假设得到的结构化参数表示误差极大,准确性无法满足要求。
发明内容
为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种车道线的结构化参数表示确定方法及装置,基于当前帧图像确定目标车道线的第一结构化参数表示,并基于后续帧图像优化所述第一结构化参数表示,以确定第二结构化参数表示。
根据本公开的第一个方面,提供了一车道线的结构化参数表示确定方法,包括:
在当前帧图像中确定目标车道线,并在所述目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标;
根据所述第一参考点空间坐标确定所述目标车道线的第一结构化参数表示;
获取当前帧图像的后续帧图像对应的相机位姿;
通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标;
根据所述优化的第一参考点空间坐标确定所述目标车道线的第二结构化参数表示。
根据本公开的第二个方面,提供了一种车道线的结构化参数表示确定装置,包括:
第一空间坐标确定模块,用于在当前帧图像中确定目标车道线,并在所述目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标;
第一参数表示确定模块,用于根据所述第一参考点空间坐标确定所述目标车道线的第一结构化参数表示;
相机位姿获取模块,用于获取当前帧图像的后续帧图像对应的相机位姿;
第二空间坐标确定模块,用于通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标;
第二参数表示确定模块,用于根据所述优化的第一参考点空间坐标确定所述目标车道线的第二结构化参数表示。
根据本公开的第三方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述第一方面中所述的车道线的结构化参数表示确定方法。
根据本公开的第四方面,提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述可执行指令以实现上述第一方面中所述的车道线的结构化参数表示确定方法。
与现有技术相比,采用根据本公开提供的车道线的结构化参数表示确定方法及装置,通过当前帧图像、后续帧图像及相应的相机位姿,确定目标车道线的结构化参数表示,并进一步的迭代优化以保证结构化参数表示的准确性;由于当前帧图像、后续帧图像及相应的相机位姿均为基于路面真实环境取得的数据信息,所以目标车道线的结构化参数表示能够准确的体现出路面的实际情况,避免了由于平面假设带来的误差,准确性能够满足应用需求。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为本公开一示例性实施例提供的车道线的结构化参数表示确定方法的流程示意图;
图2为本公开一示例性实施例提供的车道线的结构化参数表示确定方法的流程示意图;
图3为本公开一示例性实施例提供的车道线的结构化参数表示确定装置的结构示意图;
图4为本公开一示例性实施例提供的车道线的结构化参数表示确定装置中第二空间坐标确定模块的结构示意图;
图5为本公开一示例性实施例提供的车道线的结构化参数表示确定装置中空间坐标确定单元的结构示意图;
图6为本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
申请概述
前述已知,在高精地图当中,例如道路、道路中的车道线、道路两旁的标志杆、标志牌等表示道路信息的要素,均可通过结构化参数表示来表达。现有技术在以结构化参数表示体现车道线时,往往是基于平面假设,也就是把车道线表示为平面中的函数曲线,通过忽略路面高低差以简化计算过程。
但在实际环境下,路面并非绝对的平面,反而在一些实际存在的地貌当中,路面起伏较大,高低差明显。所以在这种情况下,基于平面假设得到的结构化参数表示误差极大,准确性无法满足要求。
在本公开中,将通过多帧图像及图像相应的相机位姿,确定目标车道线的结构化参数表示,并迭代优化以保证结构化参数表示的准确性。同时,由于路面的高低差信息已经体现在多帧图像及图像相应的相机位姿当中,所以本公开得到的目标车道线的结构化参数表示是基于实际的路面情况而确定,不存在平面假设,准确性可以满足应用需求。
示例性方法
图1是本公开一示例性实施例提供的车道线的结构化参数表示确定方法的流程示意图。本实施例可应用在电子设备上,如图1所示,本实施例包括如下步骤:
步骤101、在当前帧图像中确定目标车道线,并在目标车道线中获取第一参考点,根据第一参考点确定第一参考点空间坐标。
当前帧图像,可以认为是由安装在当前可移动设备的图像采集装置采集的连续多帧的拍摄特定路面的图像中当前时刻的帧的图像,其中可移动设备包括汽车、物流小车、扫地机器人等。拍摄特定路面的图像,通常是制作高精地图过程中,用于确定各种路面信息的重要图像数据,特定路面的图像中包括了车道线、路标等信息。
本实施例在连续多帧图像中确定当前帧图像,并且从当前帧图像包括的车道线中确定目标车道线。目标车道线即本实施例中要确定结构化参数表示的目标。另外,在确定目标车道线后,可以为目标车道线标记一个特定的身份标识,以便在后续步骤中从其他图像中发现目标车道线并完成相应处理。
在目标车道线中获取第一参考点,可以是在目标车道线在当前帧图像呈现的轨迹当中,选取若干个像素点以作为第一参考点。优选的可以是选择至少3个间隔均匀的像素点作为第一参考点。
进而根据第一参考点像素坐标,通过逆透视变换得到第一参考点空间坐标。其中,第一参考点像素坐标,是指第一参考点的像素本身在当前帧图像上对应的二维坐标。第一参考点空间坐标,是指第一参考点相应物理空间点,映射到空间坐标系中的坐标。由于参考点都位于地面上,所以第一参考点空间坐标可通过第一参考点像素坐标进行逆透视变换计算得到。逆透视变换可以认为是一种将二维平面图像向三维空间进行转换的现有技术,在此不做赘述,凡是能够实现相同或类似功能的技术手段均可结合在本实施例整体方案当中。
步骤102、根据第一参考点空间坐标确定目标车道线的第一结构化参数表示。
根据若干第一参考点的第一参考点空间坐标可建立一个曲线函数,该曲线函数在空间坐标系中的轨迹,就代表了目标车道线在空间坐标系中的轨迹。也就是说,该曲线函数即目标车道线的第一结构化参数表示。本实施例中,曲线函数具体可以是贝塞尔曲线,此外也可以用其他曲线函数表示,本公开对于结构化参数表示的具体形式不做任何限制。
需要说明的是,目标车道线的第一结构化参数表示虽然可以代表目标车道线在空间坐标系中的轨迹,但是由于第一结构化参数表示仅仅是基于单独一帧当前帧图像而确定,仅仅一帧图像有可能存在较大误差,并且,相机的参数也可能随时发生变化,因此,仅凭当前帧确定结构化参数,准确性依然较低。所以还需要结合其他帧图像对其进行迭代优化。
步骤103、获取当前帧图像的后续帧图像对应的相机位姿。
后续帧图像,同样是连续多帧的拍摄特定路面的图像中的某一帧图像,并且通常来说,后续帧图像在时序上处于当前帧图像之后,即当前时刻后的某个时刻对应的帧的图像。
需要说明的是,在拍摄连续多帧图像时,相机会处在保持移动的状态,并且,由于可移动设备的颠簸,相机的俯仰角由于振动也会出现轻微的变化。而后续帧图像对应的相机位姿,指的是在拍摄后续帧图像的瞬间,相机所处的位置和角度。
步骤104、通过第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标。
后续帧图像中同样包括了目标车道线。通过前述的为目标车道线标记的身份标识,即可在后续帧图像中追踪发现目标车道线,并确定目标车道线在后续帧图像上的轨迹。
而在确定了第一结构化参数表示之后,即可根据目标车道线的第一结构化参数表示,从目标车道线在空间坐标系的轨迹中选取的若干第二参考点。然后根据后续帧图像的相机位姿,将选取的若干第二参考点,投影到后续帧图像上。可以理解的是,将特定点从三维空间向二维平面进行投影的计算过程属于现有技术,在此不做赘述。
理论上,如果第一结构化参数表示是足够精确的,那么目标车道线按照特定相机位姿投影后的轨迹(或轨迹上的点),应该与相应图像中实际拍摄到轨迹重合。也就是说,所有的第二参考点投影到后续帧图像上之后,应该全部落在目标车道线在后续帧图像上的轨迹之上。但实际上,此时第一结构化参数表示可能并不足够精确,所以第二参考点投影后往往会偏离目标车道线在后续帧图像上的轨迹。
本步骤中将针对这种情况对第一结构化参数表示进行优化。优化的方式具体可以是,调整前述的第一参考点空间坐标,以调整第一结构化参数表示。可以理解的是,调整第一结构化参数表示之后,目标车道线在空间坐标系中的轨迹将随之改变;进而第二参考点在空间坐标系中的位置,以及第二参考点投影到后续帧图像上的位置均会一起发生改变。所以通过调整第一参考点空间坐标,就可以改变第二参考点投影到后续帧图像上的位置,使其最大程度靠近或者落在目标车道线在后续帧图像上的轨迹上。由此实现对于第一结构化参数表示的优化。
而调整后确定的第一参考点空间坐标,即优化的第一参考点空间坐标。
步骤105、根据优化的第一参考点空间坐标确定目标车道线的第二结构化参数表示。
同理于步骤102中,本步骤中亦可以根据优化的第一参考点空间坐标建立一个曲线函数,即目标车道线的第二结构化参数表示。第二结构化参数表示为第一结构化参数表示迭代优化后的结果。并且其代替第一结构化参数表示,代表了目标车道线在空间坐标系中的轨迹。同样,第二结构化参数表示对应的曲线函数具体可以是贝塞尔曲线。
需要说明的是,本实施例中,步骤103~步骤105可以多次循环执行。即根据多个后续帧图像反复对目标车道线的结构化参数表示进行迭代优化。直到迭代次数达到预设的次数条件,或者第二参考点投影后的偏离距离小于预设的偏离条件,则停止迭代。
通过以上技术方案可知,本实施例存在的有益效果是:通过当前帧图像、后续帧图像及相应的相机位姿,确定目标车道线的结构化参数表示,并进一步的迭代优化以保证结构化参数表示的准确性;由于当前帧图像、后续帧图像及相应的相机位姿均为基于路面真实环境取得的数据信息,所以目标车道线的结构化参数表示能够准确的体现出路面的实际情况,避免了由于平面假设带来的误差,准确性能够满足应用需求。
如图1所示仅为本公开方法的基础实施例,在其基础上进行一定的优化和拓展,还能够得到方法的其他优选实施例。
如图2所示,是本公开一示例性实施例提供的车道线的结构化参数表示确定方法的流程示意图。本实施例可应用在电子设备上。本实施例中,将在图2所示实施例的基础上,详细的公开对于障碍物进行确定的过程。如图2所示,本实施例包括如下步骤:
步骤201、在当前帧图像中确定目标车道线,并在目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标。
本实施例中,将在目标车道线中获取3个第一参考点,分别表示为p1、p2、p3。并且相应的将3个第一参考点空间坐标表示为P1、P2、P3。
步骤202、根据第一参考点空间坐标确定目标车道线的第一结构化参数表示。
本实施例中,第一结构化参数表示具体可以是贝塞尔曲线。其表达式如下:
B(t)=(1-t)^2*P1+2*t*(1-t)*P2+t*t*P3;其中P1、P2、P3为第一参考点空间坐标,t为控制量,取值在0~1之间。
步骤203、获取当前帧图像的后续帧图像对应的相机位姿。
后续帧图像对应的相机位姿表示为Twc=[R1,t1];其中R1代表后续帧图像对应的相机的旋转矩阵,t1代表后续帧图像对应的相机的平移向量。
步骤204、在后续帧图像中,确定目标车道线在所述后续帧图像中的第三结构化参数表示。
第三结构化参数表示本质上同样是一个曲线函数,可以通过在后续帧图像中取得目标车道线的采样点的像素坐标,并根据采样点的像素坐标拟合计算确定。第三结构化参数表示体现的含义是目标车道线在后续帧图像中的轨迹。本实施例中第三结构化参数表示是一个二次函数,表示为:u=a+bv+cv^2;其中u代表后续帧图像平面坐标系中的纵坐标,v代表横坐标,a、b、c均为运算系数,可通过上述拟合计算确定。
步骤205、从第一结构化参数表示中选取第二参考点,通过所述相机位姿将所述第二参考点投影到所述后续帧图像中,确定所述第二参考点像素坐标。
第二参考点可以是在第一结构化参数表示的轨迹上选取的任意点,数量优选的为多个,可以是与第一参考点相同的点,也可以不同。本步骤需要将第二参考点投影到后续帧图像中,用来分析投影后的第二参考点与第三结构化参数表示(即目标车道线在后续帧图像上的轨迹)的偏离程度,并以此优化第一结构化参数表示。
假设一个第二参考点p4,根据第一结构化参数表示确定第二参考点p4在空间坐标系中坐标为B(t4)=(1-t4)^2*P1+2*t4*(1-t4)*P2+t4*t4*P3,其中t4表示任一控制量。
则第二参考点p4投影到后续帧图像上的第二参考点像素坐标计算方式如下:
p4’=K*Tcw*B(t4);其中,p4’表示第二参考点像素坐标,K表示相机内参矩阵,是可以根据相机性能确定的已知量,Tcw为前述后续帧图像对应的相机位姿表示为Twc=[R1,t1]的逆矩阵,B(t4)为前述已求得的第二参考点空间坐标。
步骤206、确定第二参考点像素坐标到第三结构化参数表示的距离。
前述以确定第二参考点像素坐标p4’=K*Tcw*B(t4),和第三结构化参数表示u=a+bv+cv^2,即可基于后续帧图像的平面坐标系计算得到第二参考点像素坐标到第三结构化参数表示的距离。这一距离计算涉及平面上一个点到一个曲线的距离计算,在此不做赘述。
步骤207、根据第二参考点像素坐标到第三结构化参数表示的距离,确定所述优化的第一参考点空间坐标。
结合图1所示实施例中的描述可知,理论上,如果第一结构化参数表示是足够精确的,那么所有的第二参考点投影到后续帧图像上之后,应该全部落在第三结构化参数表示之上。即第二参考点像素坐标到第三结构化参数表示的距离为0。但实际上,此时第一结构化参数表示可能并不足够精确,所以第二参考点像素坐标到第三结构化参数表示的距离往往并不为0。而此距离越大,说明第一结构化参数表示的越不准确,相反距离越小,说明说明第一结构化参数表示的越准确。所以本步骤中,将基于这一距离对第一参考点空间坐标进行优化,进而对第一结构化参数表示进行优化。本实施例中可根据最小二乘法实现优化。
具体来说,可以获取目标函数,所述目标函数为第二参考点像素坐标与第三结构化参数表示之间的所有距离之和。所述目标函数表达形式并不唯一,本实施例中对此不做限定,凡是能够实现相同或类似功能的函数均可结合在本实施例整体技术方案中。
然后调整第一参考点空间坐标,以调整第一结构化参数表示。调整第一结构化参数表示之后,目标车道线在空间坐标系中的轨迹将随之改变;进而第二参考点在空间坐标系中的位置,以及第二参考点像素坐标均会一起发生改变。相应的,第二参考点像素坐标与所述第三结构化参数表示之间的所有距离,即目标函数也会相应改变。所以本实施例中可以调整第一参考点空间坐标,以调整所述目标函数。
通过对于第一参考点空间坐标不断的调整,直到所述目标函数满足预设条件,即第二参考点像素坐标与第三结构化参数表示之间的所有距离之和最小时,将此时调整后的第一参考点空间坐标确定为所述优化的第一参考点空间坐标。本实施例中,将优化的第一参考点空间坐标表示为P1’、P2’、P3’。
步骤208、根据优化的第一参考点空间坐标确定目标车道线的第二结构化参数表示。
经过上述步骤对于第一参考点空间坐标的调整,第二参考点像素坐标到第三结构化参数表示的距离变小,说明优化的第一参考点空间坐标相比优化之前更加准确。则根据优化的第一参考点空间坐标确定目标车道线的第二结构化参数表示,由此完成对于目标车道线的第一结构化参数表示的迭代优化,提高了车道线的结构化参数表示的准确性。
本实施例中第二结构化参数表示同样为贝塞尔曲线,其表达式如下:
B(t)=(1-t)^2*P1’+2*t*(1-t)*P2’+t*t*P3’;其中P1’、P2’、P3’为优化的第一参考点空间坐标,t为控制量,取值在0~1之间。
通过以上技术方案可知,本实施例在图1所示实施例的基础上,进一步存在的有益效果是:详细公开了对车道线的结构化参数表示迭代优化的计算过程,并实例性的描述了计算过程中涉及的数学表达,通过目标函数计算并调整第二参考点像素坐标到第三结构化参数表示的距离之和,实现对于第一参考点空间坐标和第一结构化参数表示的优化,使得本实施例对于第一结构化参数表示的优化更加准确。
示例性装置
图3是本公开一示例性实施例提供的车道线的结构化参数表示确定装置的结构示意图。本实施例装置,即用于执行图1~图2方法的实体装置。其技术方案本质上与上述实施例一致,上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括:
第一空间坐标确定模块301,用于在当前帧图像中确定目标车道线,并在所述目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标。
第一参数表示确定模块302,用于根据所述第一参考点空间坐标确定所述目标车道线的第一结构化参数表示。
相机位姿获取模块303,用于获取当前帧图像的后续帧图像对应的相机位姿。
第二空间坐标确定模块304,用于通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标。
第二参数表示确定模块305,用于根据所述优化的第一参考点空间坐标确定所述目标车道线的第二结构化参数表示。
图4是本公开另一示例性实施例提供的车道线的结构化参数表示确定装置中第二空间坐标确定模块304的结构示意图。如图4所示,在示例性实施例中,第二空间坐标确定模块304包括:
参数表示确定单元411,用于在所述后续帧图像中,确定所述目标车道线在所述后续帧图像中的第三结构化参数表示。
像素坐标确定单元412,用于从第一结构化参数表示中选取第二参考点,通过所述相机位姿将所述第二参考点投影到所述后续帧图像中,确定所述第二参考点像素坐标。
空间坐标确定单元413,用于根据所述第三结构化参数表示和所述第二参考点像素坐标,确定优化的第一参考点空间坐标。
图5是本公开另一示例性实施例提供的车道线的结构化参数表示确定装置中空间坐标确定单元413的结构示意图。如图4所示,在示例性实施例中,空间坐标确定单元413包括:
距离确定子单元521,用于确定所述第二参考点像素坐标到所述第三结构化参数表示的距离。
目标函数确定子单元522,用于获取目标函数,所述目标函数为所述第二参考点像素坐标与所述第三结构化参数表示之间的所有距离之和。
目标函数调整子单元523,用于调整所述第一参考点空间坐标,以调整所述目标函数。
空间坐标确定子单元524,用于确定所述目标函数满足预设条件时的第一参考点空间坐标为所述优化的第一参考点空间坐标。
示例性电子设备
下面,参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图6图示了根据本公开实施例的电子设备的框图。
如图6所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本公开的各个实施例的车道线的结构化参数表示确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,在该电子设备是第一设备100或第二设备200时,该输入装置13可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置13可以是通信网络连接器,用于从第一设备100和第二设备200接收所采集的输入信号。
此外,该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图6中仅示出了该电子设备10中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车道线的结构化参数表示确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车道线的结构化参数表示确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种车道线的结构化参数表示确定方法,包括:
在当前帧图像中确定目标车道线,并在所述目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标;
根据所述第一参考点空间坐标确定所述目标车道线的第一结构化参数表示;
获取当前帧图像的后续帧图像对应的相机位姿;
通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标;
根据所述优化的第一参考点空间坐标确定所述目标车道线的第二结构化参数表示;
其中,所述第一结构化参数表示和所述第二结构化参数表示均为所述目标车道线在空间坐标系中的轨迹对应的曲线函数,所述第二结构化参数表示为所述第一结构化参数表示优化后的结果。
2.根据权利要求1所述方法,所述通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标包括:
在所述后续帧图像中,确定所述目标车道线在所述后续帧图像中的第三结构化参数表示,所述第三结构化参数表示为所述目标车道线在后续帧图像中的轨迹对应的曲线函数;
从第一结构化参数表示中选取第二参考点,通过所述相机位姿将所述第二参考点投影到所述后续帧图像中,确定所述第二参考点像素坐标;
根据所述第三结构化参数表示和所述第二参考点像素坐标,确定优化的第一参考点空间坐标。
3.根据权利要求2所述方法,所述根据所述第三结构化参数表示和所述第二参考点像素坐标,确定优化的第一参考点空间坐标包括:
确定所述第二参考点像素坐标到所述第三结构化参数表示的距离;
根据所述第二参考点像素坐标到所述第三结构化参数表示的距离,确定所述优化的第一参考点空间坐标。
4.根据权利要求3所述方法,所述根据所述第二参考点像素坐标到所述第三结构化参数表示的距离,确定所述优化的第一参考点空间坐标包括:
获取目标函数,所述目标函数为所述第二参考点像素坐标与所述第三结构化参数表示之间的所有距离之和;
调整所述第一参考点空间坐标,以调整所述目标函数;
确定所述目标函数满足预设条件时的第一参考点空间坐标为所述优化的第一参考点空间坐标。
5.根据权利要求1~4任意一项所述方法,所述根据所述第一参考点确定第一参考点空间坐标包括:
根据所述第一参考点像素坐标,通过逆透视变换得到所述第一参考点空间坐标。
6.一种车道线的结构化参数表示确定装置,包括:
第一空间坐标确定模块,用于在当前帧图像中确定目标车道线,并在所述目标车道线中获取第一参考点,根据所述第一参考点确定第一参考点空间坐标;
第一参数表示确定模块,用于根据所述第一参考点空间坐标确定所述目标车道线的第一结构化参数表示;
相机位姿获取模块,用于获取当前帧图像的后续帧图像对应的相机位姿;
第二空间坐标确定模块,用于通过所述第一结构化参数表示和所述相机位姿,确定优化的第一参考点空间坐标;
第二参数表示确定模块,用于根据所述优化的第一参考点空间坐标确定所述目标车道线的第二结构化参数表示;其中,所述第一结构化参数表示和所述第二结构化参数表示均为所述目标车道线在空间坐标系中的轨迹对应的曲线函数,所述第二结构化参数表示为所述第一结构化参数表示优化后的结果。
7.根据权利要求6所述装置,所述第二空间坐标确定模块包括:
参数表示确定单元,用于在所述后续帧图像中,确定所述目标车道线在所述后续帧图像中的第三结构化参数表示,所述第三结构化参数表示为所述目标车道线在后续帧图像中的轨迹对应的曲线函数;
像素坐标确定单元,用于从第一结构化参数表示中选取第二参考点,通过所述相机位姿将所述第二参考点投影到所述后续帧图像中,确定所述第二参考点像素坐标;
空间坐标确定单元,用于根据所述第三结构化参数表示和所述第二参考点像素坐标,确定优化的第一参考点空间坐标。
8.根据权利要求7所述装置,所述空间坐标确定单元包括:
距离确定子单元,用于确定所述第二参考点像素坐标到所述第三结构化参数表示的距离;
目标函数确定子单元,用于获取目标函数,所述目标函数为所述第二参考点像素坐标与所述第三结构化参数表示之间的所有距离之和;
目标函数调整子单元,用于调整所述第一参考点空间坐标,以调整所述目标函数;
空间坐标确定子单元,用于确定所述目标函数满足预设条件时的第一参考点空间坐标为所述优化的第一参考点空间坐标。
9.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-5任一所述的车道线的结构化参数表示确定方法。
10.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-5任一所述的车道线的结构化参数表示确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731506.2A CN112348874B (zh) | 2019-08-08 | 2019-08-08 | 一种车道线的结构化参数表示确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731506.2A CN112348874B (zh) | 2019-08-08 | 2019-08-08 | 一种车道线的结构化参数表示确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112348874A CN112348874A (zh) | 2021-02-09 |
CN112348874B true CN112348874B (zh) | 2024-05-14 |
Family
ID=74366841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910731506.2A Active CN112348874B (zh) | 2019-08-08 | 2019-08-08 | 一种车道线的结构化参数表示确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112348874B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113075716A (zh) * | 2021-03-19 | 2021-07-06 | 地平线(上海)人工智能技术有限公司 | 基于图像的车辆定位方法和装置、存储介质以及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090064946A (ko) * | 2007-12-17 | 2009-06-22 | 한국전자통신연구원 | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 |
CN105667518A (zh) * | 2016-02-25 | 2016-06-15 | 福州华鹰重工机械有限公司 | 车道检测的方法及装置 |
JP2018169947A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社日立情報通信エンジニアリング | レーン線認識装置およびレーン線認識プログラム |
CN109186616A (zh) * | 2018-09-20 | 2019-01-11 | 禾多科技(北京)有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
CN109300159A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
CN109948470A (zh) * | 2019-03-01 | 2019-06-28 | 武汉光庭科技有限公司 | 基于霍夫变换的停车线距离检测方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11022982B2 (en) * | 2014-03-18 | 2021-06-01 | Transforation Ip Holdings, Llc | Optical route examination system and method |
JP5926080B2 (ja) * | 2012-03-19 | 2016-05-25 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置およびプログラム |
US10395126B2 (en) * | 2015-08-11 | 2019-08-27 | Honda Motor Co., Ltd. | Sign based localization |
CN105260699B (zh) * | 2015-09-10 | 2018-06-26 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
US10373002B2 (en) * | 2017-03-31 | 2019-08-06 | Here Global B.V. | Method, apparatus, and system for a parametric representation of lane lines |
-
2019
- 2019-08-08 CN CN201910731506.2A patent/CN112348874B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090064946A (ko) * | 2007-12-17 | 2009-06-22 | 한국전자통신연구원 | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 |
CN105667518A (zh) * | 2016-02-25 | 2016-06-15 | 福州华鹰重工机械有限公司 | 车道检测的方法及装置 |
JP2018169947A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社日立情報通信エンジニアリング | レーン線認識装置およびレーン線認識プログラム |
CN109300159A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
CN109186616A (zh) * | 2018-09-20 | 2019-01-11 | 禾多科技(北京)有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
CN109948470A (zh) * | 2019-03-01 | 2019-06-28 | 武汉光庭科技有限公司 | 基于霍夫变换的停车线距离检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112348874A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6866439B2 (ja) | 位置検出方法とその装置、機器、記憶媒体及び車両 | |
CN111127422B (zh) | 图像标注方法、装置、系统及主机 | |
CN109521403B (zh) | 多线激光雷达的参数标定方法及装置、设备及可读介质 | |
CN110009718B (zh) | 一种三维高精度地图生成方法及装置 | |
EP3627181A1 (en) | Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle | |
CN113269840B (zh) | 一种用于相机和多激光雷达的联合标定方法及电子设备 | |
JP2021120864A (ja) | 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム | |
CN111665842A (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
CN110068824B (zh) | 一种传感器位姿确定方法和装置 | |
CN111427060B (zh) | 一种基于激光雷达的二维栅格地图构建方法和系统 | |
CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
JP7351892B2 (ja) | 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム | |
CN112348874B (zh) | 一种车道线的结构化参数表示确定方法及装置 | |
WO2022048493A1 (zh) | 摄像头外参标定的方法与装置 | |
US20230401748A1 (en) | Apparatus and methods to calibrate a stereo camera pair | |
CN112446374B (zh) | 一种目标检测模型的确定方法及装置 | |
CN112150529B (zh) | 一种图像特征点的深度信息确定方法及装置 | |
CN111488977B (zh) | 神经网络模型训练方法和装置 | |
Hou et al. | Octree-based approach for real-time 3d indoor mapping using rgb-d video data | |
CN112348875B (zh) | 一种标志杆的结构化参数表示确定方法及装置 | |
CN112668596A (zh) | 三维物体识别方法及装置、识别模型训练方法及装置 | |
CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
CN115855026A (zh) | 一种大型场景图元地图切换方法、系统、装置及存储介质 | |
CN112308905B (zh) | 一种平面标志物的坐标确定方法及装置 | |
CN112116804B (zh) | 一种车辆状态量信息确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |