CN114140759A - 高精地图车道线位置确定方法、装置及自动驾驶车辆 - Google Patents

高精地图车道线位置确定方法、装置及自动驾驶车辆 Download PDF

Info

Publication number
CN114140759A
CN114140759A CN202111493165.3A CN202111493165A CN114140759A CN 114140759 A CN114140759 A CN 114140759A CN 202111493165 A CN202111493165 A CN 202111493165A CN 114140759 A CN114140759 A CN 114140759A
Authority
CN
China
Prior art keywords
image frame
sampling point
coordinate system
lane line
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111493165.3A
Other languages
English (en)
Inventor
周尧
侯深化
何宇喆
付向宇
彭亮
万国伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN202111493165.3A priority Critical patent/CN114140759A/zh
Publication of CN114140759A publication Critical patent/CN114140759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本公开提供了高精地图车道线位置确定方法、装置及自动驾驶车辆，涉及图像处理技术领域，尤其涉及自动驾驶及高精地图等领域。具体实现方案为：获取包含车道线的图像帧及图像帧对应的雷达点云帧；针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到车辆坐标系中的地平面方程；针对每一帧图像帧，对该图像帧中的车道线进行采样得到采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在车辆坐标系的地面三维坐标；根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中；根据各采样点的世界坐标，得到世界坐标系中车道线的位置。从而实现了确定车道线在世界坐标系中的位置。

Description

高精地图车道线位置确定方法、装置及自动驾驶车辆
技术领域
本公开涉及图像处理技术领域，尤其涉及自动驾驶及高精地图等领域。
背景技术
高精地图也称高精度地图、高精的电子地图，是自动驾驶汽车使用。高精地图，拥有精确的车辆位置信息和丰富的道路元素数据信息，可以帮助汽车预知路面复杂信息，如坡度、曲率、航向等，更好地规避潜在的风险。无人驾驶场景中车辆对于背景环境的感知主要依赖于高精的电子地图，高精的电子地图对于无人驾驶任务的安全性和稳定性有显著帮忙，尤其是电子地图中车道线的位置，对于车辆的无人驾驶有着重要的影响。
发明内容
本公开提供了一种高精地图车道线位置确定方法、装置及自动驾驶车辆。
根据本公开的一方面，提供了一种车道线位置确定方法，所述方法包括：
获取包含车道线的图像帧及所述图像帧对应的雷达点云帧；
针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程；
针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标；
根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标；
根据各采样点的世界坐标，得到世界坐标系中车道线的位置。
根据本公开的另一方面，提供了一种车道线位置确定装置，所述装置包括：
相关数据获取模块，用于获取包含车道线的图像帧及所述图像帧对应的雷达点云帧；
地平面方程拟合模块，用于针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程；
地面三维坐标确定模块，用于针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标；
世界坐标转换模块，用于根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标；
车道线位置确定模块，用于根据各采样点的世界坐标，得到世界坐标系中车道线的位置。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请中任一项所述的车道线位置确定方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请中任一项所述的车道线位置确定方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请中任一项所述的车道线位置确定方法。
根据本公开的另一方面，提供了一种自动驾驶车辆，包括本申请中任一所述的电子设备。
本公开实施例中，实现了确定车道线在世界坐标系中的位置。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例的车道线位置确定方法的一种示意图；
图2是本公开实施例中步骤S102的一种可能的实现方式的示意图；
图3是本公开实施例中步骤S103的一种可能的实现方式的示意图；
图4是本公开实施例中步骤S104的一种可能的实现方式的示意图；
图5是本公开实施例中车道线采样点的鸟瞰图的一种示意图；
图6是本公开实施例的车道线位置确定装置的一种示意图；
图7是本公开实施例的车道线位置确定装置的另一种示意图；
图8是用来实现本公开实施例的车道线位置确定方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在自动驾驶等场景中，确定车道线的位置对于车辆的正常行驶具有重要意义，为了确定车道线的位置，本申请实施例提供了一种车道线位置确定方法，所述方法包括：获取包含车道线的图像帧及所述图像帧对应的雷达点云帧；针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程；针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标；根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标；根据各采样点的世界坐标，得到世界坐标系中车道线的位置。本公开实施例中，实现了确定车道线在世界坐标系中的位置，此外基于雷达点云帧的三维定位的准确度要远远高于基于图像帧的三维定位的准确度，结合图像帧与雷达点云帧来得到的车道线的位置，相比于仅根据图像帧来得到车道线的位置，大大增加了车道线位置的准确度。
以下通过具体实施例对本公开提供的车道线位置确定方法进行详细说明。
本公开实施例提供的车道线位置确定方法可以通过车载终端、智能手机或车载终端连接的云端服务器实现。本公开实施例提供的车道线位置确定方法可以应用于自动驾驶、人工智能、智能交通及电子地图等领域。
参见图1，图1为本申请实施例的车道线位置确定方法，所述方法包括：
S101，获取包含车道线的图像帧及所述图像帧对应的雷达点云帧。
一个例子中，车辆中安装有图像采集设备以及激光雷达，可以基于图像采集设备来实时采集包含车道线的图像帧，并基于激光雷达来采集雷达点云帧。一般情况下，激光雷达的采样频率会高于图像采集设备的采样频率，因此，在采集到图像帧及雷达点云帧后，还需要对图像帧及雷达点云帧在时间上进行对齐，针对任一雷达点云帧，认为采样时间与该雷达点云帧的采样时间最接近的图像帧，为该雷达点云帧对应的图像帧，建立二者的对应关系，从而可以得到各图像帧各自对应的雷达点云帧。一个例子中，一帧图像帧对应多帧雷达点云帧。
S102，针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程。
车辆的车辆坐标系是指以车辆为原点的三维坐标系，车辆在世界坐标系移动的过程中，虽然车辆在世界坐标系中的位置会发生变化，但是因为雷达、图像采集设备等是装载在车辆上的，因此雷达坐标系与车辆坐标系的转换关系，以及图像采集设备的相机坐标系与车辆坐标系的转换关系并不会改变。
针对每一帧图像帧，认为该图像帧中的地面是一个平面，对该图像帧对应的各雷达点云帧中表示地面的点进行地平面方程的拟合，并基于雷达坐标系与车辆坐标系的转换关系，得到该图像帧对应的车辆坐标系中的地平面方程。
S103，针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
实际场景中车道线是在画在地面上的，因此车道线中的采样点需要满足地平面方程的约束。对图像帧中的车道线进行采样点的采样，可以为按照车道线实际长度等间距采样，也可以为按照图像像素等像素间隔采样等，均在本申请的保护范围内。针对每一帧图像帧，将该图像帧的采样点投影到该图像帧对应的地平面方程中，从而可以得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
S104，根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标。
获取车辆坐标系与世界坐标系的转换关系，将采样点的地面三维坐标转换到世界坐标系中得到采样点的世界坐标。一个例子中，世界坐标系即为高精地图的三维坐标系。
在一种可能的实施方式中，针对每一个采样点，获取采集该采样点时确定的平移向量和旋转矩阵，得到该采样点对应的平移向量和旋转矩阵；利用该采样点对应的平移向量和旋转矩阵，将该采样点的地面三维坐标转换到世界坐标系中得到该采样点的世界坐标。
采集该采样点时确定的平移向量和旋转矩阵，即该采样点所在的车辆坐标系与世界坐标系的对应关系，虽然车辆在世界坐标系中的位置会发生变化，但是通过车辆的定位系统，可以得到车辆在世界坐标系中的位置和姿态，也即车辆在世界坐标系中的位姿。根据车辆在世界坐标系中的位姿，可以得到车辆的车辆坐标系与世界坐标系的转换关系。一个例子中，针对每一采样点，根据采集该采样点所在的图像帧时车辆的位姿，可以采集该采样点所在的图像帧时，车辆坐标系与世界坐标系的转换关系，该转换关系可以通过一个平移矩阵及一个旋转矩阵来表示，即该采样点对应的平移向量和旋转矩阵。在本公开实施例中，利用采样点对应的平移向量及旋转矩阵，可以实现将采样点由车辆坐标系转换到世界坐标系中，能够准确的完成坐标转换，从而提高车道线位置确定的准确性。
S105，根据各采样点的世界坐标，得到世界坐标系中车道线的位置。
根据各采样点的世界坐标，可以在世界坐标系中得到车道线的位置。一个例子中，可以在世界坐标系中对各采样点进行车道线的线性拟合，从的得到世界坐标系中车道线的位置。
在本公开实施例中，实现了确定车道线在世界坐标系中的位置，并且可以在车辆运行的过程中实时确定车道线位置，能够适用于自动驾驶的场景；此外基于雷达点云帧的三维定位的准确度要远远高于基于图像帧的三维定位的准确度，结合图像帧与雷达点云帧来得到的车道线的位置，相比于仅根据图像帧来得到车道线的位置，大大增加了车道线位置的准确度。
为了更加准确的确定地面方程，在一种可能的实施方式中，参见图2，所述针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程，包括：
S201，针对每一帧图像帧，对该图像帧对应的雷达点云帧中的点进行分类，得到该图像帧对应的表示地面的地面雷达点。
一个例子中，可以利用预先训练的深度学习模型对雷达点云帧中的点进行分类，得到表示地面的地面雷达点。深度学习模型的训练过程可以参见相关技术中的模型训练过程，一个例子中，可以将样本雷达点云帧输入到深度学习模型中进行预测，得到该样本雷达点云帧中的预设地面雷达点；根据该样本雷达点云帧标注的真值地面雷达点及预设地面雷达点计算深度学习模型的损失，基于该损失调整深度学习模型的训练参数，选取样本雷达点云帧继续训练，直至损失收敛，得到训练好的深度学习模型。
S202，利用该图像帧对应的地面雷达点进行平面拟合，得到该图像帧对应的车辆坐标系中的地平面方程。
针对每一帧图像帧，利用该图像帧对应的地面雷达点进行平面拟合，使得该图像帧对应的各地面雷达点尽量在一个平面上，从而得到该图像帧对应的车辆坐标系中的地平面方程。一个例子中，地平面方程可以表示为ax+by+cz+h＝0，其中a、b、c为需要求取的系数，且a2+b2+c2＝1，x、y、z为地面雷达点的三维坐标。
在本公开实施例中，对图像帧对应的雷达点云帧中的点进行分类，可以准确的得到表示地面的地面雷达点；利用地面雷达点拟合得到地平面方程，可以挺高地平面方程的准确性，从而最终提高车道线位置的准确性。
在一种可能的实施方式中，参见图3，所述将该图像帧的采样点投影该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标，包括：
S301，根据该图像帧中采样点的图像坐标，确定该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标。
图像帧中能够准确的表示出采样点的横坐标及纵坐标，但是无法准确的表示出采样点的深度信息，因此可以基于图像帧中采样点的图像坐标，来得到该采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标。
S302，将该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标，代入到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
车道线是画在地面上的，在得到采样点在车辆坐标系中的横坐标及纵坐标后，可以代入到该图像帧对应的车辆坐标系的地平面返程中，得到该采样点的深度坐标，也即得到了该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
在本公开实施例中，利用地平面方程来得到采样点的深度坐标，弥补了图像帧无法准确获取深度信息的不足，能够增加得到的采样点的地面三维坐标的准确度，从而最终增加车道线位置的准确度。
在一种可能的实施方式中，参见图4，所述针对每一个采样点，获取采集该采样点时确定的平移向量和旋转矩阵，得到该采样点对应的平移向量和旋转矩阵；利用该采样点对应的平移向量和旋转矩阵，将该采样点的地面三维坐标转换到世界坐标系中得到该采样点的世界坐标，包括：
S401，针对每一帧图像帧，获取采集该图像帧对应的雷达点云帧时车辆在世界坐标系中的位姿；根据该位姿，确定该图像帧对应的车辆坐标系与世界坐标系的转换关系。
一个例子中，该图像帧对应的车辆坐标系与世界坐标系的转换关系可以通过第一平移向量及旋转矩阵表示。
S402，针对每一采样点，根据该采样点在车辆坐标系中的地面三维坐标，以该采样点在垂直于地平面方程的平面中为约束条件，计算得到该采样点的三维坐标作为该采样点的原点三维坐标。
一个例子中，如图5所示，图5为车道线的鸟瞰示意图，车道线可以表示为许多个自由度为二的三维采样点的集合，具体的，三维采样点各自被限制在一个垂直于地面平面方程的平面上移动，因此只有两个自由度，则采样点的坐标的变量可以表示为(0，V1，V2)，其中，V1在Y轴上的投影坐标，V2为在Z轴上的投影坐标。
S403，针对每一采样点，确定从该采样点对应的车辆坐标系的原点到该采样点的原点三维坐标的平移向量得到才采样点的目标平移向量。
一个例子中，针对每一采样点，以该采样的原点三维坐标为原点，建立该采样点的采样点三维坐标系，并确定从该采样点对应的车辆坐标系到该采样点的原点三维坐标系的目标平移向量，其中，该采样点的原点三维坐标系中X、Y、Z轴分别与该采样点对应的车辆坐标系中X、Y、Z轴平行。
S404，利用该采样点对应的平移向量、目标平移向量、旋转矩阵，将该采样点的原点三维坐标转换到世界坐标系中，得到该采样点的世界坐标。
一个例子中，该采样点对应的平移向量及旋转矩阵为该采样点所在的车辆坐标系到世界坐标系的平移向量及旋转矩阵，可以根据车辆的位姿获取，而采样点的原点三维坐标系中X、Y、Z轴分别与该采样点对应的车辆坐标系中X、Y、Z轴平行，因此该原点三维坐标系与该车辆坐标系直接仅通过目标平移向量便可以实现坐标转换。
一个例子中，采样点的世界坐标可以表示为：
P＝Tinit+Rinit(0，V1，V2)
其中，Tinit为采样点对应的平移向量及该采样点的目标平移向量的矢量和，Rinit为采样点对应的旋转矩阵。
在本公开实施例中，以采样点在垂直于地平面方程的平面中为约束条件，来得到采样点在世界坐标系中的世界坐标，能够增加得到的采样点世界坐标的准确度。
为了准确的将采样点关联为车道线，在一种可能的实施方式中，上述方法还包括：
步骤一，分别计算指定图像帧中各车道线的拟合曲线方程。
指定图像帧可以根据实际情况自定义选取，一个例子中，可以选取最新的一帧图像帧作为指定图像帧。可以利用指定图像帧中同一车道线上的各采样点进行曲线拟合，从而得到该车道线的拟合曲线方程，最终得到每一条车道线各自的拟合曲线方程。
步骤二，将各采样点的地面三维坐标转换到所述指定图像帧对应的车辆坐标系中，得到各采样点的转换三维坐标；
可以选取指定图像帧之前或之后的多帧图像帧中的采样点，将这些采样点的地面三维坐标转换到指定图像帧对应的车辆坐标系中。一个例子中，指定图像帧为最新的一帧图像帧，则可以选取之前的预设数目图像帧中的采样点，利用车辆采集各图像帧时的位姿，将这些采样点由各自图像帧的车辆坐标系中转换到指定图像帧对应的车辆坐标系中，得到的转换后的坐标称为转换三维坐标。
步骤三，根据各采样点的转换三维坐标及所述指定图像帧中各车道线的拟合曲线方程，确定各所述采样点所属的车道线。
基于各采样点的转换三维坐标及车道线的拟合曲线方程，可以得到采样点所属的拟合曲线方程，从而得到采样点所属的车道线。
在一种可能的实施方式中所述根据各采样点的转换三维坐标及所述指定图像帧中各车道线的拟合曲线方程，确定各所述采样点所属的车道线，包括：针对每一采样点，计算该采样点距离所述图像帧中各车道线的拟合曲线方程的距离，若最小距离小于预设距离阈值，则判定该采样点属于最小距离对应的车道线；若最小距离不小于预设距离阈值，则判定该采样点不属于所述指定图像帧中的任一车道线。预设距离阈值可以根据实际情况自定义设置，例如，设置为3厘米、5厘米或10厘米等。实际场景中存在车道数量变化的情况，例如在较宽的道路上，车道数量为多个，在较窄的道路上，车道数量可能仅为一个；与车道数量相对应，车道线的数量也会相应变化。针对最小距离不小于预设距离阈值的采样点，认为该采样点不属于所述指定图像帧中的任一车道线，从而能够适用于车道线数量变化的情况。
在本公开实施例中，通过车道线的拟合曲线方程实现采样点所属车道线的关联，可以有效的确定采样点所关联的车道线，从而可以准确的利用采样点的世界坐标来关联得到车道线，提高了获取的车道线位置的准确性。
本公开实施例还提供了一种车道线位置确定装置，参见图6，所述装置包括：
相关数据获取模块601，用于获取包含车道线的图像帧及所述图像帧对应的雷达点云帧；
地平面方程拟合模块602，用于针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程；
地面三维坐标确定模块603，用于针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标；
世界坐标转换模块604，用于根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标；
车道线位置确定模块605，用于根据各采样点的世界坐标，得到世界坐标系中车道线的位置。
在一种可能的实施方式中，所述地平面方程拟合模块，具体用于：针对每一帧图像帧，对该图像帧对应的雷达点云帧中的点进行分类，得到该图像帧对应的表示地面的地面雷达点；利用该图像帧对应的地面雷达点进行平面拟合，得到该图像帧对应的车辆坐标系中的地平面方程。
在一种可能的实施方式中，所述地面三维坐标确定模块，具体用于：根据该图像帧中采样点的图像坐标，确定该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标；将该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标，代入到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
在一种可能的实施方式中，所述世界坐标转换模块，具体用于：针对每一个采样点，获取采集该采样点时确定的平移向量和旋转矩阵，得到该采样点对应的平移向量和旋转矩阵；利用该采样点对应的平移向量和旋转矩阵，将该采样点的地面三维坐标转换到世界坐标系中得到该采样点的世界坐标。
在一种可能的实施方式中，所述世界坐标转换模块，具体用于：
针对每一帧图像帧，获取采集该图像帧对应的雷达点云帧时车辆在世界坐标系中的位姿；根据该位姿，确定该图像帧对应的车辆坐标系与世界坐标系的转换关系；
针对每一采样点，根据该采样点在车辆坐标系中的地面三维坐标，以该采样点在垂直于地平面方程的平面中为约束条件，计算得到该采样点的三维坐标作为该采样点的原点三维坐标；
针对每一采样点，确定从该采样点对应的车辆坐标系的原点到该采样点的原点三维坐标的平移向量得到才采样点的目标平移向量；
利用该采样点对应的平移向量、目标平移向量、旋转矩阵，将该采样点的原点三维坐标转换到世界坐标系中，得到该采样点的世界坐标。
在一种可能的实施方式中，参见图7，所述装置还包括：
拟合曲线方程确定模块701，用于分别计算指定图像帧中各车道线的拟合曲线方程；
转换三维坐标确定模块702，用于将各采样点的地面三维坐标转换到所述指定图像帧对应的车辆坐标系中，得到各采样点的转换三维坐标；
车道线关联模块703，用于根据各采样点的转换三维坐标及所述指定图像帧中各车道线的拟合曲线方程，确定各所述采样点所属的车道线。
在一种可能的实施方式中，所述车道线关联模块，具体用于：针对每一采样点，计算该采样点距离所述图像帧中各车道线的拟合曲线方程的距离，若最小距离小于预设距离阈值，则判定该采样点属于最小距离对应的车道线；若最小距离不小于预设距离阈值，则判定该采样点不属于所述指定图像帧中的任一车道线。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
其中，电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请中任一项所述的车道线位置确定方法。
存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请中任一项所述的车道线位置确定方法。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如车道线位置确定方法。例如，在一些实施例中，车道线位置确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的车道线位置确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车道线位置确定方法。
本公开实施例还提供了一种自动驾驶车辆，包括本申请中任一所述的电子设备。电子设备用于执行本申请中任一项所述的车道线位置确定方法，从而自动驾驶车辆可以利用世界坐标系中车道线的位置来实现自动驾驶。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种车道线位置确定方法，所述方法包括：
获取包含车道线的图像帧及所述图像帧对应的雷达点云帧；
针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程；
针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标；
根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标；
根据各采样点的世界坐标，得到世界坐标系中车道线的位置。
2.根据权利要求1所述的方法，其中，所述针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程，包括：
针对每一帧图像帧，对该图像帧对应的雷达点云帧中的点进行分类，得到该图像帧对应的表示地面的地面雷达点；
利用该图像帧对应的地面雷达点进行平面拟合，得到该图像帧对应的车辆坐标系中的地平面方程。
3.根据权利要求1所述的方法，其中，所述将该图像帧的采样点投影该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标，包括：
根据该图像帧中采样点的图像坐标，确定该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标；
将该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标，代入到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
4.根据权利要求1所述的方法，其中，所述根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标，包括：
针对每一个采样点，获取采集该采样点时确定的平移向量和旋转矩阵，得到该采样点对应的平移向量和旋转矩阵；利用该采样点对应的平移向量和旋转矩阵，将该采样点的地面三维坐标转换到世界坐标系中得到该采样点的世界坐标。
5.根据权利要求4所述的方法，其中，所述针对每一个采样点，获取采集该采样点时确定的平移向量和旋转矩阵，得到该采样点对应的平移向量和旋转矩阵；利用该采样点对应的平移向量和旋转矩阵，将该采样点的地面三维坐标转换到世界坐标系中得到该采样点的世界坐标，包括：
针对每一帧图像帧，获取采集该图像帧对应的雷达点云帧时车辆在世界坐标系中的位姿；根据该位姿，确定该图像帧对应的车辆坐标系与世界坐标系的转换关系；
针对每一采样点，根据该采样点在车辆坐标系中的地面三维坐标，以该采样点在垂直于地平面方程的平面中为约束条件，计算得到该采样点的三维坐标作为该采样点的原点三维坐标；
针对每一采样点，确定从该采样点对应的车辆坐标系的原点到该采样点的原点三维坐标的平移向量得到才采样点的目标平移向量；
利用该采样点对应的平移向量、目标平移向量、旋转矩阵，将该采样点的原点三维坐标转换到世界坐标系中，得到该采样点的世界坐标。
6.根据权利要求1所述的方法，所述方法还包括：
分别计算指定图像帧中各车道线的拟合曲线方程；
将各采样点的地面三维坐标转换到所述指定图像帧对应的车辆坐标系中，得到各采样点的转换三维坐标；
根据各采样点的转换三维坐标及所述指定图像帧中各车道线的拟合曲线方程，确定各所述采样点所属的车道线。
7.根据权利要求6所述的方法，其中，所述根据各采样点的转换三维坐标及所述指定图像帧中各车道线的拟合曲线方程，确定各所述采样点所属的车道线，包括：
针对每一采样点，计算该采样点距离所述图像帧中各车道线的拟合曲线方程的距离，若最小距离小于预设距离阈值，则判定该采样点属于最小距离对应的车道线；若最小距离不小于预设距离阈值，则判定该采样点不属于所述指定图像帧中的任一车道线。
8.一种车道线位置确定装置，所述装置包括：
相关数据获取模块，用于获取包含车道线的图像帧及所述图像帧对应的雷达点云帧；
地平面方程拟合模块，用于针对每一帧图像帧，根据该图像帧对应的雷达点云帧，拟合得到该图像帧对应的车辆坐标系中的地平面方程；
地面三维坐标确定模块，用于针对每一帧图像帧，对该图像帧中的车道线进行采样得到该图像帧的采样点；将该图像帧的采样点投影到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标；
世界坐标转换模块，用于根据各采样点的地面三维坐标，将各采样点转换到世界坐标系中得到各采样点的世界坐标；
车道线位置确定模块，用于根据各采样点的世界坐标，得到世界坐标系中车道线的位置。
9.根据权利要求8所述的装置，其中，所述地平面方程拟合模块，具体用于：针对每一帧图像帧，对该图像帧对应的雷达点云帧中的点进行分类，得到该图像帧对应的表示地面的地面雷达点；利用该图像帧对应的地面雷达点进行平面拟合，得到该图像帧对应的车辆坐标系中的地平面方程。
10.根据权利要求8所述的装置，其中，所述地面三维坐标确定模块，具体用于：根据该图像帧中采样点的图像坐标，确定该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标；将该图像帧中的采样点在该图像帧对应的车辆坐标系中的横坐标及纵坐标，代入到该图像帧对应的地平面方程中，得到该图像帧的采样点在该图像帧对应的车辆坐标系的地面三维坐标。
11.根据权利要求8所述的装置，其中，所述世界坐标转换模块，具体用于：针对每一个采样点，获取采集该采样点时确定的平移向量和旋转矩阵，得到该采样点对应的平移向量和旋转矩阵；利用该采样点对应的平移向量和旋转矩阵，将该采样点的地面三维坐标转换到世界坐标系中得到该采样点的世界坐标。
12.根据权利要求8所述的装置，其中，所述世界坐标转换模块，具体用于：
针对每一帧图像帧，获取采集该图像帧对应的雷达点云帧时车辆在世界坐标系中的位姿；根据该位姿，确定该图像帧对应的车辆坐标系与世界坐标系的转换关系；
针对每一采样点，根据该采样点在车辆坐标系中的地面三维坐标，以该采样点在垂直于地平面方程的平面中为约束条件，计算得到该采样点的三维坐标作为该采样点的原点三维坐标；
针对每一采样点，确定从该采样点对应的车辆坐标系的原点到该采样点的原点三维坐标的平移向量得到才采样点的目标平移向量；
利用该采样点对应的平移向量、目标平移向量、旋转矩阵，将该采样点的原点三维坐标转换到世界坐标系中，得到该采样点的世界坐标。
13.根据权利要求8所述的装置，所述装置还包括：
拟合曲线方程确定模块，用于分别计算指定图像帧中各车道线的拟合曲线方程；
转换三维坐标确定模块，用于将各采样点的地面三维坐标转换到所述指定图像帧对应的车辆坐标系中，得到各采样点的转换三维坐标；
车道线关联模块，用于根据各采样点的转换三维坐标及所述指定图像帧中各车道线的拟合曲线方程，确定各所述采样点所属的车道线。
14.根据权利要求13所述的装置，其中，所述车道线关联模块，具体用于：针对每一采样点，计算该采样点距离所述图像帧中各车道线的拟合曲线方程的距离，若最小距离小于预设距离阈值，则判定该采样点属于最小距离对应的车道线；若最小距离不小于预设距离阈值，则判定该采样点不属于所述指定图像帧中的任一车道线。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
18.一种自动驾驶车辆，包括如权利要求15所述的电子设备。
CN202111493165.3A 2021-12-08 2021-12-08 高精地图车道线位置确定方法、装置及自动驾驶车辆 Pending CN114140759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111493165.3A CN114140759A (zh) 2021-12-08 2021-12-08 高精地图车道线位置确定方法、装置及自动驾驶车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111493165.3A CN114140759A (zh) 2021-12-08 2021-12-08 高精地图车道线位置确定方法、装置及自动驾驶车辆

Publications (1)

Publication Number Publication Date
CN114140759A true CN114140759A (zh) 2022-03-04

Family

ID=80385231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111493165.3A Pending CN114140759A (zh) 2021-12-08 2021-12-08 高精地图车道线位置确定方法、装置及自动驾驶车辆

Country Status (1)

Country Link
CN (1) CN114140759A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116019A (zh) * 2022-07-13 2022-09-27 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备以及存储介质
CN115311635A (zh) * 2022-07-26 2022-11-08 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备及存储介质
CN116182878A (zh) * 2022-12-15 2023-05-30 禾多科技（北京）有限公司 道路曲面信息生成方法、装置、设备和计算机可读介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116019A (zh) * 2022-07-13 2022-09-27 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备以及存储介质
CN115116019B (zh) * 2022-07-13 2023-08-01 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备以及存储介质
CN115311635A (zh) * 2022-07-26 2022-11-08 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备及存储介质
CN115311635B (zh) * 2022-07-26 2023-08-01 阿波罗智能技术(北京)有限公司 车道线处理方法、装置、设备及存储介质
CN116182878A (zh) * 2022-12-15 2023-05-30 禾多科技（北京）有限公司 道路曲面信息生成方法、装置、设备和计算机可读介质
CN116182878B (zh) * 2022-12-15 2023-09-12 禾多科技（北京）有限公司 道路曲面信息生成方法、装置、设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN114140759A (zh) 高精地图车道线位置确定方法、装置及自动驾驶车辆
CN113377888B (zh) 训练目标检测模型和检测目标的方法
EP3937077A1 (en) Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN112634343A (zh) 图像深度估计模型的训练方法、图像深度信息的处理方法
CN113361710A (zh) 学生模型训练方法、图片处理方法、装置及电子设备
CN113920217A (zh) 用于生成高精地图车道线的方法、装置、设备和产品
CN114506343A (zh) 轨迹规划方法、装置、设备、存储介质及自动驾驶车辆
CN113298910A (zh) 生成交通标志线地图的方法、设备和存储介质
CN115147831A (zh) 三维目标检测模型的训练方法和装置
CN114387410B (zh) 道路数据融合的地图生成方法、装置以及电子设备
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN113177980B (zh) 用于自动驾驶的目标对象速度确定方法、装置及电子设备
CN113706704A (zh) 基于高精地图规划路线的方法、设备以及自动驾驶车辆
CN113688730A (zh) 障碍物测距方法、装置、电子设备、存储介质及程序产品
CN111260722B (zh) 车辆定位方法、设备及存储介质
CN115790621A (zh) 高精地图更新方法、装置及电子设备
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN114581869A (zh) 确定目标对象位置的方法、装置、电子设备和存储介质
CN114170300A (zh) 高精地图点云位姿优化方法、装置、设备及介质
CN114429631A (zh) 三维对象检测方法、装置、设备以及存储介质
US20230162383A1 (en) Method of processing image, device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination