CN116486354A - 车道线处理方法、装置、设备以及存储介质 - Google Patents
车道线处理方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN116486354A CN116486354A CN202310403461.2A CN202310403461A CN116486354A CN 116486354 A CN116486354 A CN 116486354A CN 202310403461 A CN202310403461 A CN 202310403461A CN 116486354 A CN116486354 A CN 116486354A
- Authority
- CN
- China
- Prior art keywords
- sliding window
- frame
- lane line
- current frame
- observation point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 34
- 238000003825 pressing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 10
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000005457 optimization Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了车道线处理方法、装置、设备以及存储介质，涉及计算机技术领域，具体涉及自动驾驶、计算机视觉和车道线检测等领域。具体实现方案为：根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。在本公开实施例中，可以利用与车辆位置有关的车道线约束提高车道线的曲线模型的拟合精度。
Description
本申请是名称为“车道线处理方法、装置、设备以及存储介质”，申请号为202210828297.5，申请日为2022年7月13日的中国案件的分案申请。
技术领域
本公开涉及计算机技术领域，具体涉及自动驾驶、计算机视觉和车道线检测等领域。
背景技术
在高速自动驾驶领域，车辆需要根据周围的车道线信息来控制车辆完成自适应巡航。在没有高精地图的情况下，车辆使用前视相机采集道路图像，由感知组件通过深度学习等方式提取图像中的车道线。接着使用逆透视变换(Inverse Perspective Mapping，IPM)将图像上2D(two-dimensional，二维)车道线转换成车体坐标系下的3D(three-dimensional，三维)车道线。单帧3D车道线测量范围较短并且易受噪声影响，因此不能直接使用。所以一般通过车道线建模将其拟合成三次曲线，还原出车辆周围接近真实状态的车道线信息，用于障碍物车道划分、车辆控制规划等。
发明内容
本公开提供了一种车道线处理方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种车道线处理方法，包括：
根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
根据本公开的另一方面，提供了一种车道线处理装置，包括：
约束确定模块，用于根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
转换模块，用于将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
约束建立模块，用于根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
车道线生成模块，用于根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
在本公开实施例中，根据车辆位置确定出的车道线的待处理观测点对应的约束方式，可以建立各待处理观测点转换的目标观测点对应的车道线约束，从而利用与车辆位置有关的车道线约束提高车道线的曲线模型的拟合精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一实施例的车道线处理方法的流程示意图；
图2是根据本公开另一实施例的车道线处理方法的流程示意图；
图3是根据本公开另一实施例的车道线处理方法的流程示意图；
图4是根据本公开另一实施例的车道线处理方法的流程示意图；
图5是根据本公开另一实施例的车道线处理方法的流程示意图；
图6是根据本公开另一实施例的车道线处理方法的流程示意图；
图7是根据本公开一实施例的车道线处理装置的结构示意图；
图8是根据本公开另一实施例的车道线处理装置的结构示意图；
图9是根据本公开另一实施例的车道线处理装置的结构示意图；
图10是根据本公开另一实施例的车道线处理装置的结构示意图；
图11是根据本公开另一实施例的车道线处理装置的结构示意图；
图12是本公开的滑窗队列维护方法的流程图；
图13是用来实现本公开实施例的车道线处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开一实施例的车道线处理方法的流程示意图。该方法可以包括：
S101、根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
S102、将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
S103、根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
S104、根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
在本公开实施例中，可以利用车辆的摄像头例如车身前方的前视摄像头采集得到道路图像。可以将摄像头设置为每个一段距离采集一帧道路图像，也可以将摄像头设置为连续采集道路图像。通过车辆控制器或与车辆控制器连接的服务器，可以对摄像头采集的道路图像进行识别，提取道路图像中的车道线的观测点。然后通过IPM等方式可以将道路图像上2D车道线的观测点转换成车辆坐标系(或称为车体坐标系)下的3D车道线的观测点。本一种示例中，待处理帧可以包括摄像头道路上采集的一帧图像中的车道线的观测点的3D坐标。待处理帧可以为历史帧或当前帧等关键帧。历史帧中可以包括摄像头在道路上的历史位置采集的一帧图像中的车道线的观测点的3D坐标。当前帧中可以包括摄像头在道路上的当前位置采集的一帧图像中的车道线的观测点的3D坐标。其中，历史位置可以是车辆行驶到当前位置所经过的位置。
在本公开实施例中，待处理帧中可以包括一个或多个车道线的观测点的坐标。如果一个待处理帧中包括多个车道线的观测点的坐标，可以将每个车道线的观测点的坐标划分为一组。利用一组的观测点的坐标，可以拟合该组对应的车道线的曲线模型。此外，可以将待处理帧中的部分或全部观测点作为拟合车道线的曲线模型所需的待处理观测点。
在一种示例中，可以预先设置采集图像的间距，根据车辆行驶速度和时间等确定车辆行驶的距离，每次在满足设置的间距时，采集一帧道路图像。根据摄像头在多个位置采集的道路图像，可以得到多个待处理帧。在另一种示例中，摄像头可以先按照时间连续采集多帧图像，然后从采集的所有图像中采样得到多个位置的道路图像，进而得到多个待处理帧。多个待处理帧可以采用滑窗的方式保存。例如，在滑窗中保存一个或多个关键帧。每个关键帧中包括从一帧道路图像中提取的一个或多个车道线的观测点的坐标。并且还可以在采集到当前帧后，利用当前帧更新滑窗中的关键帧。
在一种示例中，在生成车道线模型的过程中，待处理帧可以包括滑窗中的所有关键帧。可以将滑窗中的最新帧的车辆位置作为当前的车辆位置，将该最新帧的车辆位姿作为当前的车辆位姿。
根据待处理帧的车辆位姿与当前的车辆位姿的转换关系，可以将待处理帧的车道线的待处理观测点的3D坐标转换到当前的车辆坐标系(也可以称为当前帧的车辆坐标系)下，得到目标观测点。例如，观测点的3D坐标中，x轴坐标可以表示车辆前进方向的坐标，y轴坐标可以表示车辆左右方向的坐标，z轴坐标可以表示车辆高度方向的坐标。此外，可以将转换后的目标观测点的z轴坐标置零，后续可以采用转换后的目标观测点的x轴坐标和y轴坐标拟合曲线模型。相当于采用转换后的目标观测点的2D坐标拟合曲线模型。
在本公开实施例中，可以采用转换公式将待处理帧(关键帧)转换到当前的车辆坐标系下。一种转换公式的示例如下：
例如，滑窗中关键帧的车辆位姿为Twh，当前的车辆位姿为Twc，当前的车辆位姿与关键帧的车辆位姿之间的转换关系为Tch＝Twc -1Twh。关键帧中第i个观测点的坐标为在对车道线进行三次曲线建模时，需要将滑窗中关键帧对车道线的观测点转换到同一坐标系下，即当前车辆坐标系下，转换后的坐标点为Pi。然后，可以将Pi中的z轴坐标置零，得到第i个观测点的二维坐标pi＝[xi,yi]T。后续，利用pi构建车道线的各种约束，进而拟合得到车道线的曲线模型。车道线的曲线模型可以有多种，例如二次曲线模型、三次曲线模型等。
在本公开实施例中，根据车辆位置确定出的车道线的待处理观测点对应的约束方式，可以建立各待处理观测点转换的目标观测点对应的车道线约束，从而利用与车辆位置有关的车道线约束提高车道线的曲线模型的拟合精度。
图2是根据本公开另一实施例的车道线处理方法的流程示意图。该实施例的方法包括上述车道线处理方法实施例的一个或多个特征。在一种可能的实施方式中，S101包括以下至少之一：
S201a、在该待处理帧的车辆位置与该当前的车辆位置的距离大于第一阈值的情况下，从该待处理帧的第一区域提取第一观测点。其中，该第一观测点对应的约束方式包括点到线距离约束。
S201b、在该待处理帧的车辆位置与该当前的车辆位置的距离小于或等于第一阈值的情况下，从该待处理帧的第二区域提取第二观测点，从该待处理帧的第三区域提取第三观测点。其中，该第二观测点对应的约束方式包括点到线距离约束；该第三观测点对应的约束方式包括对应的方向一致约束和/或曲率一致约束。
在本公开实施例中，待处理帧中可以包括一个或多个车道线的观测点。属于同一个车道线一个或多个观测点可以划分为一组。例如，待处理帧中的待处理观测点可以是3D坐标。可以根据待处理帧所在的车辆位置，从待处理帧中的设定区域选取的待处理观测点。
在一种示例中，假设当前的车辆位置为0m(米)，如果关键帧中的车辆位置与当前的车辆位置之间的距离小于某个阈值，例如10m，则该关键帧属于与当前的车辆位置比较近的新关键帧。当前帧也属于新关键帧。如果关键帧中的车辆位置与当前的车辆位置之间的距离大于或等于某个阈值，则该关键帧属于与当前的车辆位置比较远的旧关键帧。对于旧关键帧，可以提取一部分例如0到15米的第一区域内的第一观测点，并且第一观测点可以采用点到线距离约束(可以简称点到线的约束)。此外，可以丢弃旧关键帧的其他区域例如超出15米的观测点。对于新关键帧，可以按照不同区域的观测点采用不同的约束方式。例如，新关键帧的第二区域例如0-30米的第二观测点可以采用点到线的约束，第三区域例如30米之后区域的第三观测点采用方向一致约束和曲率一致约束。
在本公开实施例中，通过车辆位置从待处理帧的设定区域提取所需的观测点，能够针对车辆的前后远近等位置构建合适的约束，提高车道线曲线模型的拟合精度。
在确定出待处理帧中的待处理观测点对应的约束方式后，可以按照车辆位姿之间的转换关系转换待处理帧中的待处理观测点得到目标观测点的新的3D坐标，并且可以将目标观测点的坐标中的z轴坐标置为0。然后，再利用转换后的目标观测点的x轴坐标和y轴坐标构建对应的车道线约束。如果某个待处理观测点A1对应的约束方式为点到线的约束，则A1转换后得到的B1的约束方式也为点到线的约束。如果某个待处理观测点A2对应的约束方式为方向一致约束和曲率一致约束，则A2转换后得到的B2的约束方式也为方向一致约束和曲率一致约束。也即是说，坐标转换前后的观测点的约束方式相同。
在一种可能的实施方式中，S103包括以下至少之一：
S203a、根据该第一观测点或该第二观测点转换后的目标观测点，建立该目标观测点对应的点到线距离约束；
S203b、根据该第三观测点转换后的目标观测点，建立该目标观测点对应的方向一致约束和/或曲率一致约束。
在本公开实施例中，第一观测点所在的待处理帧例如旧关键帧距离当前的车辆位置较远，这种类型的帧可以只选取部分观测点建立点到线距离约束。第一观测点所在的待处理帧例如新关键帧距离当前的车辆位置较近，这种类型的帧可以选取部分观测点建立点到线距离约束，并选取部分帧建立方向一致约束和/或曲率一致约束，这样拟合得到的曲线模型不仅能够在车辆前方和远处区域具有较高精度，还能够在车辆后方和近处区域具有较高精度。
在一种可能的实施方式中，该目标观测点对应的点到线距离约束是基于目标观测点的x轴坐标对应的第一向量、y轴坐标以及三次曲线系数对应的第二向量确定的。
例如，目标观测点为待处理帧中车道线A转换后的第i个观测点pi＝[xi,yi]T，该基于该观测点构建的点到点到线距离约束可以为 其中，yi为观测点pi的y轴坐标，xi为观测点pi的x轴坐标对应的第一向量。第一向量中包括曲线模型的中不带系数的各项。例如，三次曲线模型的/>c为观测点曲线模型系数对应的第二向量。第二向量中包括曲线模型的中的各系数。例如，三次曲线模型的c＝[c0,c1,c2,c3]T。T表示转置。第一观测点和第二观测点一般位于车辆的后方和前方近处区域，第一观测点和第二观测点转换后的目标观测点对应的点到线距离约束，能够提高车道线的曲线模型后方和前方近处区域的拟合精度。
例如，新关键帧中的观测点可能在车辆前方或与该车辆距离较近。可以将新关键帧中的目标观测点按照不同的区域建立不同的约束，例如在车辆前方与车辆距离较近的目标观测点使用点到线距离约束，在车辆前方但车辆较远的观测点使用方向一致约束和曲率一致约束。
对于车辆前方远处区域，受观测距离的影响，感知车道线在远处的检测精度较差。观测距离对车道线几何形状的检测精度影响不大，因此可使用前方和/或远处的观测点的方向一致约束和曲率一致约束，来保障曲线模型在远处的几何形状拟合精度。
在一种可能的实施方式中，该目标观测点对应的方向一致约束是基于目标观测点的y轴坐标的一阶导数、目标观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量确定的。
其中，该目标观测点的y轴坐标的一阶导数是根据该目标观测点的前一个观测点和该目标观测点确定的。
例如，目标观测点为待处理帧中车道线A转换后的第i-1个观测点pi-1＝[xi-1,yi-1]T，第i个观测点pi＝[xi,yi]T。基于第i-1个观测点和第i个观测点构建的方向一致约束可以为其中y轴坐标的一阶导数/> 是观测点pi的x轴坐标对应的第一向量xi的一阶导数。例如，三次曲线模型的c＝[c0,c1,c2,c3]T，
在本公开实施例中，利用目标观测点的y轴坐标的一阶导数、该第二观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量，建立目标观测点对应的方向一致约束，能够提高车辆前方远处区域的曲线模型的方向相关的拟合精度。
在一种可能的实施方式中，该目标观测点对应的曲率一致约束是基于观测点曲率和三次曲线曲率建立的。
其中，该观测点曲率是基于该目标观测点的前一个观测点、该目标观测点、该目标观测点的后一个观测点确定的。
该三次曲线曲率是基于该第二观测点的x轴坐标对应的第一向量的一阶导数和二阶导数，以及曲线模型系数对应的第二向量确定的。
例如，目标观测点为待处理帧中车道线A转换后的第i-1个观测点pi-1＝[xi-1,yi-1]T，第i个观测点pi＝[xi,yi]T，第i+1个观测点pi+1＝[xi+1,yi+1]T，。基于第i-1个观测点、第i个观测点和第i+1个观测点构建的曲线一致约束可以为：
其中，观测点曲率可以为三次曲线曲率为/>其中/>是观测点pi的x轴坐标对应的第一向量xi的二阶导数。‖‖表示两个观测点之间的欧式距离。例如，三次曲线模型的c＝[c0,c1,c2,c3]T，
在本公开实施例中，利用目标观测点的于观测点曲率和三次曲线曲率，建立目标观测点对应的曲率一致约束，能够提高车辆前方远处区域的曲线模型的曲率相关的拟合精度。
上述示例中，下标i仅表示观测点的次序，并不表示第一观测点与第二观测点相同。通常来说，在同一个待处理帧中的同一个车道线中，第一观测点与第二观测点是不同的观测点。
在一种可能的实施方式中，以三次曲线模型为例，S104包括：
S204、根据该目标观测点对应的点到线距离约束、方向一致约束和曲率一致约束的至少之一构造三次曲线模型的非线性最小二乘法公式。
S205、迭代求解该非线性最小二乘法公式，得到该车道线的三次曲线模型中各系数的值。
例如，参考上述示例中的点到线距离约束、方向一致约束和曲率一致约束，构造的三次曲线模型的非线性最小二乘法公式的示例如下：
其中，argmin表示使后面公式取最小值时的变量值。ck为第k条车道线拟合的三次曲线系数，M为车辆后方和近处区域车道线观测数(例如车道线包括的第一观测点和第二观测点的数量)，N为车辆前方远处区域车道线观测数(例如车道线包括的第三观测点的数量)，Ω为该误差项的权重。
例如，可以采用LM(Levenberg-Marquardt，列文伯格-马夸尔特)法迭代求解非线性最小二乘法公式。每迭代一次，得到令总误差减小的增量Δc，直到总误差不再明显减小，可以认为迭代收敛，车道线求解完成。可以得到收敛时的三次曲线模型中各系数的值。
在本公开实施例中，利用点到线距离约束、方向一致约束和曲率一致约束构造三次曲线模型的非线性最小二乘法公式，拟合得到的三次曲线模型，不仅在车辆前方和远处区域具有较高精度，还在车辆后方和近处区域具有较高精度。
图3是根据本公开另一实施例的车道线处理方法的流程示意图。该车道线处理方法可以包括：
S301、根据当前帧和滑窗中的关键帧的关系，将该当前帧压入该滑窗。在本公开实施例中，根据当前帧和滑窗中的关键帧的关系，维护滑窗中的关键帧，有利于在滑窗中保留合适的关键帧(例如保留间距合适的关键帧)，能够减少数据处理量，并提高后续利用滑窗中的关键帧拟合得到的曲线模型的精度。
在一种示例中，车道线建模的区域可以包括车辆前方和后方一定范围的区域。为了保证建模精度和速度，需要合理设置滑窗长度和采样距离间隔。滑窗可以为一个双向队列。双向队列是二边都可以操作的队列。双向队列允许在队列头部快速插入和删除(与队列尾部类似)。
本实施例的车道线处理方法可以与上述实施例中的车道线处理方法相结合。在一种可能的实施方式中，上述实施例中的待处理帧为车道线的滑窗中的关键帧。如图4所示，该车道线处理方法还可以包括：S401、根据该滑窗中的关键帧的观测点，拟合得到车道线的曲线模型。
在一种可能的实施方式中，S401可以包括图1所示的实施例中的S101至S104。具体参见图1至图3的相关描述，在此不赘述。
图5是根据本公开另一实施例的车道线处理方法的流程示意图。该实施例的方法包括上述车道线处理方法实施例的一个或多个特征。在一种可能的实施方式中，S401包括：
S501、在滑窗中的关键帧的数量小于滑窗长度N的情况下，将该当前帧压入该滑窗；其中，N大于或等于1。
在本公开实施例，滑窗可以为一个队列，滑窗长度即队列长度为N。滑窗长度可以表示队列中能够压入的帧的总数。可以先判断滑窗是否已满。如果队列中的关键帧的数量小于N的情况下，表示队列未满，即滑窗未满。当滑窗未满时，可以将新获取的当前帧直接压入滑窗、即压入队列中。例如，滑窗中可以包括关键帧的标识，还可以包括关键帧中各车道线的标识，还可以包括每个车道线中各观测点的标识和坐标等信息。通过比较滑窗中的关键帧的数量与滑窗长度，能够在滑窗中保存设定数量的关键帧，便于配置参与后续车道线拟合的关键帧的数量。
在一种可能的实施方式中，S401包括：
S502、在该滑窗中的关键帧的数量等于滑窗长度的情况下，根据该当前帧与该滑窗中的第N帧的相对运动距离从该滑窗中删除第一帧或第N帧后，将该当前帧压入该滑窗。
在本公开实施例，如果队列中的关键帧的数量等于N，表示队列已满，即滑窗已满。当滑窗已满时，可以不将新获取的当前帧直接压入滑窗、即压入队列中。需要将滑窗中的部分帧删除后将当前帧压入滑窗。如果滑窗是双向队列，则可以删除该队列的第一帧或第N帧。具体删除该队列中的哪个帧，可以按照当前帧与滑窗内的帧之间的相对运动距离，以及滑窗内的相邻帧之间的相对运动距离等进行判断。在滑窗中的关键帧的数量等于滑窗长度的情况下，根据帧间的相对运动距离从滑窗中删除部分帧后，再将当前帧压入该滑窗，有利于保持滑窗中的关键帧的数量不超过滑窗长度，并且使得滑窗内的帧间的相对运动距离更加合适，减少重复数据。
在一种可能的实施方式中，如图6所示，S502包括以下至少之一：
S601、在该当前帧与该滑窗中的第N帧的相对运动距离大于第二阈值的情况下，从该滑窗中删除第一帧后，将该当前帧压入该滑窗。
S602、在该当前帧与该滑窗中的第N帧的相对运动距离小于或等于第二阈值、且该滑窗中的第N帧与第N-1帧的相对运动距离大于第三阈值的情况下，从该滑窗中删除第一帧后，将该当前帧压入该滑窗；
S603、在该当前帧与该滑窗中的第N帧的相对运动距离小于或等于第二阈值、且该滑窗中的第N帧与第N-1帧的相对运动距离小于或等于第三阈值的情况下，从该滑窗中删除第N帧后，将该当前帧压入该滑窗。
例如，判断当前帧与滑窗中的第N帧的相对运动距离是否大于设定的第二阈值。如果是，表示当前帧与滑窗中的第N帧的距离足够远，重叠数据不多。这样可以优先删除旧数据例如滑窗中第一帧(即队列的头部数据)。否则，表示当前帧与滑窗中的第N帧的距离不够远，重叠数据多。这样根据滑窗中最后两帧之间的相对运动距离确定是删除第一帧还是删除第N帧。
例如，判断滑窗中的第N帧与第N-1帧的相对运动距离是否大于设定的第三阈值。如果是，表示滑窗中的第N帧与第N-1帧的距离足够远，重叠数据不多。这样可以优先删除旧数据例如滑窗中第一帧(即队列的头部数据)。否则，表示滑窗中的第N帧与第N-1帧的距离不够远，重叠数据多。这可以删除第N帧(即队列的尾部数据)，将当前帧压入滑窗后，当前帧变成滑窗中新的第N帧。新的第N帧与第N-1帧的距离比原来第N帧与第N-1帧的距离远。
通过比较当前帧与滑窗内的关键帧之间的相对运动距离，以及滑窗内的相邻关键帧之间的相对运动距离，能够在滑窗内保留相对运动距离较大的关键帧，减少重复的数据，提高车道线拟合的处理效率。
参见上述示例，每次获取到当前帧后，可以采用上述示例中的方式维护滑窗内的数据。通过第二阈值和/或第三阈值，能够使得滑窗中相邻的两个关键帧之间的相对运动距离更加合适。
图7是根据本公开一实施例的车道线处理装置的结构示意图，该装置可以包括：
约束确定模块701，用于根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
转换模块702，用于将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
约束建立模块703，用于根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
车道线生成模块704，用于根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
图8是根据本公开另一实施例的车道线处理装置的结构示意图。该实施例的装置包括上述车道线处理装置实施例的一个或多个特征。在一种可能的实施方式中，该约束确定模块701，还用于执行以下至少之一：
在该待处理帧的车辆位置与该当前的车辆位置的距离大于第一阈值的情况下，从该待处理帧的第一区域提取第一观测点；其中，该第一观测点对应的约束方式包括点到线距离约束；
在该待处理帧的车辆位置与该当前的车辆位置的距离小于或等于第一阈值的情况下，从该待处理帧的第二区域提取第二观测点，从该待处理帧的第三区域提取第三观测点；其中，该第二观测点对应的约束方式包括点到线距离约束；该第三观测点对应的约束方式包括对应的方向一致约束和/或曲率一致约束。
在一种可能的实施方式中，该约束建立模块703，还用于执行以下至少之一：
根据该第一观测点或该第二观测点转换后的目标观测点，建立该目标观测点对应的点到线距离约束；
根据该第三观测点转换后的目标观测点，建立该目标观测点对应的方向一致约束和/或曲率一致约束。
在一种可能的实施方式中，该目标观测点对应的点到线距离约束是基于目标观测点的x轴坐标对应的第一向量、y轴坐标以及三次曲线系数对应的第二向量确定的。
在一种可能的实施方式中，该目标观测点对应的方向一致约束是基于目标观测点的y轴坐标的一阶导数、目标观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量确定的；
其中，该目标观测点的y轴坐标的一阶导数是根据该目标观测点的前一个观测点和该目标观测点确定的。
在一种可能的实施方式中，该目标观测点对应的曲率一致约束是基于观测点曲率和三次曲线曲率建立的；
其中，该观测点曲率是基于该目标观测点的前一个观测点、该目标观测点、该目标观测点的后一个观测点确定的；
该三次曲线曲率是基于该第二观测点的x轴坐标对应的第一向量的一阶导数和二阶导数，以及曲线模型系数对应的第二向量确定的。
在一种可能的实施方式中，该车道线生成模块704，包括：
构造子模块801，用于根据该目标观测点对应的点到线距离约束、方向一致约束和曲率一致约束的至少之一构造三次曲线模型的非线性最小二乘法公式；
求解子模块802，用于迭代求解该非线性最小二乘法公式，得到该车道线的三次曲线模型中各系数的值。
图9是根据本公开另一实施例的车道线处理装置的结构示意图。该装置包括：
滑窗维护模块901，用于根据当前帧和滑窗中的关键帧的关系，将该当前帧压入该滑窗。
在一种可能的实施方式中，上述图7或图8的车道线处理装置实施例中的待处理帧为车道线的滑窗中的关键帧。
在一种可能的实施方式中，如图10所示，该车道线处理装置可以车道线拟合模块1001，用于根据该滑窗中的关键帧的观测点，拟合得到车道线的曲线模型。
在一种可能的实施方式中，车道线拟合模块1001可以包括图7或图8的车道线处理装置的约束确定模块701、转换模块702、约束建立模块703和车道线生成模块704，各个模块的相关功能可以参见上述实施例的相关描述。
在一种可能的实施方式中，如图11所示，该滑窗维护模块901，包括：
第一压入子模块1101，用于在该滑窗中的关键帧的数量小于滑窗长度N的情况下，将该当前帧压入该滑窗；其中，N大于或等于1。
在一种可能的实施方式中，该滑窗维护模块901，包括：
第二压入子模块1102，用于在该滑窗中的关键帧的数量等于滑窗长度的情况下，根据该当前帧与该滑窗中的第N帧的相对运动距离从该滑窗中删除第一帧或第N帧后，将该当前帧压入该滑窗。
在一种可能的实施方式中，第二压入子模块1102用于执行以下至少之一：
在该当前帧与该滑窗中的第N帧的相对运动距离大于第二阈值的情况下，从该滑窗中删除第一帧后，将该当前帧压入该滑窗；
在该当前帧与该滑窗中的第N帧的相对运动距离小于或等于第二阈值、且该滑窗中的第N帧与第N-1帧的相对运动距离大于第三阈值的情况下，从该滑窗中删除第一帧后，将该当前帧压入该滑窗；
在该当前帧与该滑窗中的第N帧的相对运动距离小于或等于第二阈值、且该滑窗中的第N帧与第N-1帧的相对运动距离小于或等于第三阈值的情况下，从该滑窗中删除第N帧后，将该当前帧压入该滑窗。
例如，滑窗维护模块901中还可以包括判断子模块。首先，首先判断子模块判断该当前帧与该滑窗中的第N帧的相对运动距离是否大于第二阈值。如果是，则第二压入子模块1102可以从该滑窗中删除第一帧后，将该当前帧压入该滑窗。否则，判断子模块判断该滑窗中的第N帧与第N-1帧的相对运动距离是否大于第三阈值。如果是，则第二压入子模块1102可以从该滑窗中删除第一帧后，将该当前帧压入该滑窗；否则，第二压入子模块1102可以从该滑窗中删除第N帧后，将该当前帧压入该滑窗。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
由于车道线建模将直接影响整个车辆的行为，其建模的稳定性和精度至关重要。根据实现框架的不同，目前的车道线建模可分为基于滤波的车道线建模方法、基于单帧优化的车道线建模方法和基于滑窗优化的车道线建模方法等。
感知3D车道线技术可能导致车道线检测精度距离自车越远越差，例如近处的精度为厘米级，远处的精度为米级。此外，3D车道线也极易受到光照变化、外参精度、路面颠簸等的影响。滤波/单帧优化的方式在应对这些问题会显得力不从心。在基于滑窗优化的车道线建模方法中，如果按照设定的采样间隔收集多帧3D车道线观测(即车道线包括的观测点)构造曲线模型的优化约束。收集的车道线观测都可以参与到优化约束的构造，因此可以减少单帧车道线观测易受噪声影响的问题。也就是说，滑窗优化可以使用固定帧数的观测来求解车道线模型，在应对噪声上的鲁棒性和灵活性更高。车辆后方(车辆行使过的区域)和近处区域的车道线一般都有比较好的观测，而车辆前方远处的车道线观测的信息较少，并且观测质量也较差。为了保证整体建模精度，在构造约束时本公开实施例可以进行以下处理：
(1)滑窗中相邻帧的车道线观测通常会存在一定的重叠区域，因此在对车辆后方和近处区域车道线建模时，仅需要使用滑窗中关键帧在近处一定范围内的观测就能实现比较高的建模精度。
(2)在保证车辆后方和近处区域车道线建模精度后，根据高速上车道线一般是一条光滑的三次曲线这个先验信息。可以去除远处车道线观测对曲线位置的约束，仅保留其的曲线走向和几何形状约束。
一、滑窗长度维护
如图12所示，本公开实施例中可以采用双向队列进行滑窗维护，例如可以包括以下步骤：
S1200、获取当前帧的车道线观测。当前帧中可以包括一个或多个车道线观测。车道线观测中可以包括一个或多个观测点。
S1201、判断当前滑窗内的帧数量是否大于阈值T1，若是，则执行S1202；若否，则执行S1207。T1可以等于滑窗长度。滑窗可以是双向队列，滑窗长度可以是队列长度。T1可以表示滑窗中能够保存的带有车道线观测的关键帧的总数。
S1202、判断当前帧与滑窗中最新帧的相对运动距离是否大于阈值T2，若是，则执行S1203；若否，则执行S1204。
S1203、剔除滑窗中最老关键帧，然后执行S1207。
S1204、判断滑窗中最新帧与次新帧的相对运动距离是否大于阈值T3，若是，则执行S1205；若否，执行S1206。
S1205、剔除滑窗中最老关键帧，然后执行S1207。
S1206、剔除滑窗中最新关键帧，然后执行S1207。
S1207、将当前帧压入滑窗中。
然后，可以根据滑窗中的关键帧对车道线的曲线模型进行非线性优化。
本示例中的阈值T1、T2和T3，可以相同也可以不同。
车道线建模的区域包含车辆前方和后方一定范围的区域，为了保证建模精度和速度，需要合理设置滑窗长度和采样距离间隔。滑窗采用一个双向队列实现。当滑窗未满时例如滑窗内帧的数量小于阈值T1，将新来的当前帧直接压入队列中。当滑窗满时，判断当前帧与队列中最新帧的相对运动距离是否大于阈值T2，如满足则剔除队列中的最老帧。否则需要判断队列中最新帧与次新帧相对运动距离是否大于阈值T3。如满足则剔除队列中的最老帧，否则剔除队列中最新帧。最后把当前帧压入队列中。
二、车道线非线性优化
根据车道线观测所处的位置不同，在优化时可以采用三种不同约束，例如：车辆后方和近处区域车道线采用点到线距离约束、车辆前方和远处区域的车道线采用方向一致约束和曲率一致约束。
例如，车道线模型采用三次曲线模型y＝c3x3+c2x2+c1x+c0，优化变量为三次曲线的系数对应的向量c＝[c0,c1,c2,c3]T，用于拟合曲线的二维观测点为pi＝[xi,yi]T，并且，基于x构造的向量xi的一阶导数/>xi的二阶导数/>
假设滑窗中包含的某一关键帧的车辆位姿为Twh，滑窗中的当前的车辆位姿为Twc，当前的车辆位姿与该关键帧的车辆位姿之间的转换关系可以为Tch＝Twc -1Twh，该关键帧中一采样点为在对车道线进行三次曲线建模时，需要将滑窗中关键帧对车道线的观测点都转换到同一坐标系下，即当前车辆坐标系，转换后的坐标点为Pi，则坐标转换公式可以为：
并且，可以将Pi的z轴坐标置零，得到第i个观测点的二维坐标pi＝[xi,yi]T。根据上述感知车道线检测精度特点，当车辆从后往前运动时，滑窗中有较多的关键帧会对车辆后方和近处区域车道线有观测。而且这些观测存在较大的重叠区域，因此仅需使用关键帧中近处检测精度较高的一段观测来构造对三次曲线的点到线约束(保障三次曲线位置和几何形状的拟合精度)。对于车辆前方远处区域，受观测距离的影响，感知车道线在远处的检测精度较差。而观测距离对车道线几何形状的检测精度影响不大，因此可使用这部分观测点来保障三次曲线在远处的几何形状拟合精度(方向一致约束和曲率一致约束)。这样，三次曲线在车辆后方、车辆前方近处和远处区域的整体拟合精度都能得到很好的保障。观测点对应的约束方式可以根据关键帧与当前的车辆位置关系等确定，具体可以参见上述实施例的相关描述。
(1)点到线距离约束：
其中，yi为观测点pi的y轴坐标，xi为观测点pi的x轴坐标对应的第一向量。
(2)方向一致约束：
其中，pi的y轴坐标的一阶导数 是观测点pi的x轴坐标对应的第一向量xi的一阶导数。例如，三次曲线模型的c＝[c0,c1,c2,c3]T，
(3)曲率一致约束：
其中，观测点曲率为三次曲线曲率为/>其中/>是观测点pi的x轴坐标对应的第一向量xi的二阶导数。‖‖表示两个观测点之间的欧式距离。ki表示基于第i-1个观测点、第i个观测点和第i+1个观测点计算的观测点曲率。
使用上面三种约束，可以构造如下关于三次曲线模型的非线性最小二乘法问题的公式(可以称为非线性最小二乘法公式、非线性最小二乘法函数、目标函数等)，示例如下：
/>
其中，argmin表示使后面公式取最小值时的变量值。ck为第k条车道线拟合的三次曲线系数，M为车辆后方和近处区域车道线观测数(即车道线观测点数量)，N为车辆前方远处区域车道线观测数，Ω为该误差项的权重。
其中，ck为第k条车道线拟合的三次曲线系数，M为车辆后方和近处区域车道线观测数，N为车辆前方远处区域车道线观测数，Ω为该误差项的权重。在求解过程中，可以采用Levenberg-Marquardt法迭代求解上述最小二乘法问题。每迭代一次，可得到一个令总误差减小的增量Δc，直到总误差不再明显减小，认为迭代收敛，车道线求解完成。
本公开实施例针对感知3D车道线观测存在的问题，提出的车道线处理方法是一种基于滑窗优化的车道线建模方法。该方法可以极大地提升算法的噪声应对的能力。此外，针对不同区域的车道线观测构造不同的约束，对于车辆后方和近处区域车道线采用点到线距离约束，保证了车道线位置和几何形状的拟合精度；对于车辆前方远处车道线采用方向一致约束和曲率一致约束，保证了车道线走向和几何形状的拟合精度，也避免了远处感知3D车道线位置不准带来的问题。本公开实施例的方案用于自动驾驶场景，为例如ANP(ApolloNavigation Pilot，百度Apollo领航辅助驾驶系统)项目车道线建模的后端优化提供重要的支持，保障了车辆控制规划的稳定性。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如车道线处理方法。例如，在一些实施例中，车道线处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的车道线处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车道线处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (11)
1.一种车道线处理方法，包括：
根据当前帧和车道线的滑窗中的关键帧的关系，将所述当前帧压入所述滑窗；
根据所述滑窗中的关键帧的观测点，拟合得到车道线的曲线模型。
2.根据权利要求1所述的方法，其中，根据当前帧和滑窗中的关键帧的关系，将所述当前帧压入所述滑窗，包括：
在所述滑窗中的关键帧的数量小于滑窗长度N的情况下，将所述当前帧压入所述滑窗；其中，N大于或等于1。
3.根据权利要求1或2所述的方法，其中，根据当前帧和滑窗中的关键帧的关系，将所述当前帧压入所述滑窗，包括：
在所述滑窗中的关键帧的数量等于滑窗长度的情况下，根据所述当前帧与所述滑窗中的第N帧的相对运动距离从所述滑窗中删除第一帧或第N帧后，将所述当前帧压入所述滑窗。
4.根据权利要求3所述的方法，其中，根据所述当前帧与所述滑窗中的第N帧的相对运动距离从所述滑窗中删除第一帧或第N帧后，将所述当前帧压入所述滑窗，包括以下至少之一：
在所述当前帧与所述滑窗中的第N帧的相对运动距离大于第二阈值的情况下，从所述滑窗中删除第一帧后，将所述当前帧压入所述滑窗；
在所述当前帧与所述滑窗中的第N帧的相对运动距离小于或等于第二阈值、且所述滑窗中的第N帧与第N-1帧的相对运动距离大于第三阈值的情况下，从所述滑窗中删除第一帧后，将所述当前帧压入所述滑窗；
在所述当前帧与所述滑窗中的第N帧的相对运动距离小于或等于第二阈值、且所述滑窗中的第N帧与第N-1帧的相对运动距离小于或等于第三阈值的情况下，从所述滑窗中删除第N帧后，将所述当前帧压入所述滑窗。
5.一种车道线处理装置，包括：
滑窗维护模块，用于根据当前帧和车道线的滑窗中的关键帧的关系，将所述当前帧压入所述滑窗；
车道线拟合模块，用于根据所述滑窗中的关键帧的观测点，拟合得到车道线的曲线模型。
6.根据权利要求5所述的装置，其中，所述滑窗维护模块包括：
第一压入子模块，用于在所述滑窗中的关键帧的数量小于滑窗长度N的情况下，将所述当前帧压入所述滑窗；其中，N大于或等于1。
7.根据权利要求5或6所述的装置，其中，所述滑窗维护模块包括：
第二压入子模块，用于在所述滑窗中的关键帧的数量等于滑窗长度的情况下，根据所述当前帧与所述滑窗中的第N帧的相对运动距离从所述滑窗中删除第一帧或第N帧后，将所述当前帧压入所述滑窗。
8.根据权利要求7所述的装置，其中，所述第二压入子模块用于执行以下至少之一：
在所述当前帧与所述滑窗中的第N帧的相对运动距离大于第二阈值的情况下，从所述滑窗中删除第一帧后，将所述当前帧压入所述滑窗；
在所述当前帧与所述滑窗中的第N帧的相对运动距离小于或等于第二阈值、且所述滑窗中的第N帧与第N-1帧的相对运动距离大于第三阈值的情况下，从所述滑窗中删除第一帧后，将所述当前帧压入所述滑窗；
在所述当前帧与所述滑窗中的第N帧的相对运动距离小于或等于第二阈值、且所述滑窗中的第N帧与第N-1帧的相对运动距离小于或等于第三阈值的情况下，从所述滑窗中删除第N帧后，将所述当前帧压入所述滑窗。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310403461.2A CN116486354B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310403461.2A CN116486354B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
| CN202210828297.5A CN115116019B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210828297.5A Division CN115116019B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486354A true CN116486354A (zh) | 2023-07-25 |
| CN116486354B CN116486354B (zh) | 2024-04-16 |
Family
ID=83332380
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310403461.2A Active CN116486354B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
| CN202210828297.5A Active CN115116019B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210828297.5A Active CN115116019B (zh) | 2022-07-13 | 2022-07-13 | 车道线处理方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116486354B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156979A (zh) * | 2010-12-31 | 2011-08-17 | 上海电机学院 | 基于GrowCut的车道线快速检测方法及系统 |
| CN111444778A (zh) * | 2020-03-04 | 2020-07-24 | 武汉理工大学 | 一种车道线检测方法 |
| WO2020164010A1 (zh) * | 2019-02-13 | 2020-08-20 | 深圳市大疆创新科技有限公司 | 车道线检测方法、装置、系统与车辆、存储介质 |
| US20200394422A1 (en) * | 2019-06-14 | 2020-12-17 | Fujitsu Limited | Lane detection apparatus and method and electronic device |
| CN112560680A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 车道线处理方法、装置、电子设备及存储介质 |
| CN113807333A (zh) * | 2021-11-19 | 2021-12-17 | 智道网联科技(北京)有限公司 | 用于检测车道线的数据处理方法及存储介质 |
| CN114018274A (zh) * | 2021-11-18 | 2022-02-08 | 阿波罗智能技术(北京)有限公司 | 车辆定位方法、装置及电子设备 |
| CN114111769A (zh) * | 2021-11-15 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种视觉惯性定位方法、装置及自动驾驶装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5276637B2 (ja) * | 2010-09-08 | 2013-08-28 | 富士重工業株式会社 | 車線推定装置 |
| CN103940434B (zh) * | 2014-04-01 | 2017-12-15 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
| CN106407893B (zh) * | 2016-08-29 | 2019-11-22 | 东软集团股份有限公司 | 一种检测车道线的方法、装置和设备 |
| CN107194342A (zh) * | 2017-05-16 | 2017-09-22 | 西北工业大学 | 基于逆透视变换的车道线检测方法 |
| CN108845343B (zh) * | 2018-07-03 | 2020-04-28 | 河北工业大学 | 一种基于视觉、gps与高精度地图融合的车辆定位方法 |
| CN112818778B (zh) * | 2021-01-21 | 2023-10-03 | 北京地平线机器人技术研发有限公司 | 车道线拟合方法、装置、介质以及电子设备 |
| CN113435392A (zh) * | 2021-07-09 | 2021-09-24 | 阿波罗智能技术(北京)有限公司 | 应用于自动泊车的车辆定位方法、装置及车辆 |
| CN113551664B (zh) * | 2021-08-02 | 2022-02-25 | 湖北亿咖通科技有限公司 | 一种地图构建方法、装置、电子设备及存储介质 |
| CN113932796A (zh) * | 2021-10-15 | 2022-01-14 | 北京百度网讯科技有限公司 | 高精地图车道线生成方法、装置和电子设备 |
| CN114140759A (zh) * | 2021-12-08 | 2022-03-04 | 阿波罗智能技术(北京)有限公司 | 高精地图车道线位置确定方法、装置及自动驾驶车辆 |
-
2022
- 2022-07-13 CN CN202310403461.2A patent/CN116486354B/zh active Active
- 2022-07-13 CN CN202210828297.5A patent/CN115116019B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156979A (zh) * | 2010-12-31 | 2011-08-17 | 上海电机学院 | 基于GrowCut的车道线快速检测方法及系统 |
| WO2020164010A1 (zh) * | 2019-02-13 | 2020-08-20 | 深圳市大疆创新科技有限公司 | 车道线检测方法、装置、系统与车辆、存储介质 |
| US20200394422A1 (en) * | 2019-06-14 | 2020-12-17 | Fujitsu Limited | Lane detection apparatus and method and electronic device |
| CN111444778A (zh) * | 2020-03-04 | 2020-07-24 | 武汉理工大学 | 一种车道线检测方法 |
| CN112560680A (zh) * | 2020-12-16 | 2021-03-26 | 北京百度网讯科技有限公司 | 车道线处理方法、装置、电子设备及存储介质 |
| CN114111769A (zh) * | 2021-11-15 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种视觉惯性定位方法、装置及自动驾驶装置 |
| CN114018274A (zh) * | 2021-11-18 | 2022-02-08 | 阿波罗智能技术(北京)有限公司 | 车辆定位方法、装置及电子设备 |
| CN113807333A (zh) * | 2021-11-19 | 2021-12-17 | 智道网联科技(北京)有限公司 | 用于检测车道线的数据处理方法及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李静;石欣欣;程志鹏;王军政;: "基于多通道融合和极线约束的道路检测与定位", 《北京理工大学学报》, no. 8, 15 August 2020 (2020-08-15) * |
| 毛家宁;赵龙;: "基于滑窗非线性优化的双目视觉SLAM算法", 《应用科技》, no. 1, 31 January 2020 (2020-01-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115116019A (zh) | 2022-09-27 |
| CN116486354B (zh) | 2024-04-16 |
| CN115116019B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021218123A1 (zh) | 用于检测车辆位姿的方法及装置 | |
| CN111968229A (zh) | 高精度地图制图方法及装置 | |
| EP3852065A1 (en) | Data processing method and apparatus | |
| CN114387319B (zh) | 点云配准方法、装置、设备以及存储介质 | |
| CN111862214B (zh) | 计算机设备定位方法、装置、计算机设备和存储介质 | |
| CN116255992A (zh) | 一种同时定位与建图的方法和装置 | |
| CN114013449B (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
| CN114323033B (zh) | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 | |
| CN114140759A (zh) | 高精地图车道线位置确定方法、装置及自动驾驶车辆 | |
| CN114034295A (zh) | 高精地图生成方法、装置、电子设备、介质及程序产品 | |
| CN114494629A (zh) | 一种三维地图的构建方法、装置、设备及存储介质 | |
| CN116188893A (zh) | 基于bev的图像检测模型训练及目标检测方法和装置 | |
| CN113932796A (zh) | 高精地图车道线生成方法、装置和电子设备 | |
| CN115116019B (zh) | 车道线处理方法、装置、设备以及存储介质 | |
| CN113177980A (zh) | 用于自动驾驶的目标对象速度确定方法、装置及电子设备 | |
| CN115900697B (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
| WO2023226154A1 (zh) | 自主定位方法、装置、设备及计算机可读存储介质 | |
| CN114166238B (zh) | 车道线的识别方法、装置及电子设备 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN115790621A (zh) | 高精地图更新方法、装置及电子设备 | |
| CN115330851A (zh) | 单目深度估计方法、装置、电子设备、存储介质及车辆 | |
| CN114170300A (zh) | 高精地图点云位姿优化方法、装置、设备及介质 | |
| CN114299192A (zh) | 定位建图的方法、装置、设备和介质 | |
| CN116228834B (zh) | 图像深度获取方法、装置、电子设备及存储介质 | |
| CN114663596B (zh) | 基于无人机实时仿地飞行方法的大场景建图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |