CN117079240A - 基于鸟瞰图的行驶车线检测方法及装置 - Google Patents

基于鸟瞰图的行驶车线检测方法及装置 Download PDF

Info

Publication number
CN117079240A
CN117079240A CN202311116399.5A CN202311116399A CN117079240A CN 117079240 A CN117079240 A CN 117079240A CN 202311116399 A CN202311116399 A CN 202311116399A CN 117079240 A CN117079240 A CN 117079240A
Authority
CN
China
Prior art keywords
coordinates
line
driving
lane
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311116399.5A
Other languages
English (en)
Inventor
曾小辉
李荣辉
陈硕
苏艳辉
王颖旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zero Beam Technology Co ltd
Original Assignee
Zero Beam Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zero Beam Technology Co ltd filed Critical Zero Beam Technology Co ltd
Priority to CN202311116399.5A priority Critical patent/CN117079240A/zh
Publication of CN117079240A publication Critical patent/CN117079240A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于鸟瞰图的行驶车线检测方法及装置，所述方法包括获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图；利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征；基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。本发明相比于现有技术中将计算的点对点的距离，本发明将之改为欧氏距离计算，能够更准确的确定行驶车线与预测车线的准确性，提高目标检测模型的检测效果，应用场景更广。

Description

基于鸟瞰图的行驶车线检测方法及装置
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于鸟瞰图的行驶车线检测方法及装置。
背景技术
车线检测是计算机视觉领域的重要任务。它是与深度学习相互促进和发展的领域，可以应用到自动驾驶或者辅助驾驶中，为车辆提供道路的车道线信息，而帮助智能车辆更好的定位车辆位置。在应用场景中，车道线很容易受到车辆的遮挡，并且受光照的影响，图片中的车道线也可能变得模糊而难以辨认。人对车道线的感知是可以通过环境信息来推测的，因此很多方法也开始通过一些技术手段辅助检测车道线。
例如现有技术中采用的CLRnet网络的损失函数将线段点作为一个整体，但计算的点是在一维的情况下计算的，检测的效果一般，且适用的检测场景比较局限，比如局限于马路上的车道线检测。
发明内容
鉴于以上所述的现有技术的缺点，本发明的目的是提供一种基于鸟瞰图的行驶车线检测方法及装置，可提升识别效果，扩展模型的应用场景的问题。
根据本发明的第一方面，提供一种基于鸟瞰图的行驶车线检测方法，包括：
获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图；
利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征；
基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；
根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
在一可选实施例中，所述利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征，包括：
基于目标检测模型识别所述AVM环视图获取高层语义的行驶车线特征与低层语义的行驶车线特征，其中所述高层语义的行驶车线特征表征粗略的行驶车线信息，所述低层语义的行驶车线特征表征局部行驶车线的局部上下文信息；
将根据所述高层语义的行驶车线特征与低层语义的行驶车线特征整合到全域语义结果中；
基于所述全域语义结果获取所述AVM环视图中的行驶车线特征。
在一可选实施例中，所述基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，包括：
将所述行驶车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述行驶车线上的点坐标；
将所述预测车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述预测车线上的点坐标；
所述行驶车线的点坐标与所述预测车线的点坐标均包括两个值x、y，其中x为水平方向上行驶车线或预测车线上的横向点坐标，y为图像垂直方向上的纵向点坐标。
在一可选实施例中，所述根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，包括：
根据行驶车线的坐标计算行驶车线的当前点到原点的第一距离，所述原点为行驶车线的起点；
根据预测车线的坐标预测车线的当前点到原点的第二距离，所述原点为预测车线的起点；
利用第一距离与第二距离的欧氏距离计算LIoU损失函数；
根据所述LIoU损失函数进行行驶车线的回归处理。
在一可选实施例中，所述根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，包括：采用以下公式进行损失函数计算：
；
为模型预测的点，/>为人工标注的真值点,e为常数。
在一可选实施例中，所述的基于鸟瞰图的行驶车线检测方法，还包括：设置带有分类分数的阈值，并利用非极大值抑制算法剔除高重叠行驶车线。
根据本发明的第二方面，提供一种基于鸟瞰图的行驶车线检测装置，包括：
获取与拼接模块，用于获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图；
识别模块，用于利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征；
检测模块，用于基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；
输出模块，用于根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
根据本发明的第三方面，提供一种行驶车线检测方法，包括：
获取车辆前方的视觉图像；
利用目标检测模型识别所述视觉图像，获取所述视觉图像中的行驶车线特征；
基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；
根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
本发明的第四方面，提供一种电子设备，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如本发明实施例的第一方面或第三方面所述的方法。
本发明的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本发明实施例的第一方面或第三方面所述的方法。
综上所述，本发明利用目标检测模型获取所述AVM环视图中的行驶车线的图像特征，通过调整损失函数的计算方式进行反向传播至目标检测模型，从而优化目标检测模型；其中损失函数的计算参数将一维数据改为二维数据，使得计算维度更多，约束效果更好，从而提高了目标检测模型的效果；相比于现有技术中将计算的点对点的距离，本发明将之改为欧氏距离计算，能够更准确的确定行驶车线与预测车线的准确性，提高目标检测模型的检测效果，应用场景更广。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一具体实施例的基于鸟瞰图的行驶车线检测方法的流程示意图。
图2是本发明另一具体实施例的基于鸟瞰图的行驶车线检测方法的流程示意图。
图3是本发明一具体实施例的鸟瞰图的坐标示意图。
图4是本发明另一具体实施例的基于鸟瞰图的行驶车线检测装置的模块示意图。
图5是本发明另一具体实施例的基于鸟瞰图的行驶车线检测方法的流程示意图。
图6是本发明的一个实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
参照图1，为本发明一具体实施例的基于鸟瞰图的行驶车线检测方法的流程示意图，本发明提供一种基于鸟瞰图的行驶车线检测方法，包括以下步骤：
步骤100：获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图。
通常车辆上设置四个鱼眼镜头，分别拍摄车辆的不同位置的图像，将每个鱼眼图像进行校正，将其转换为平面图像。使用特定的拼接算法将校正后的图像进行拼接，通常包括图像的特征点匹配和图像融合。特征点匹配可以通过检测图像中的关键点，并将这些关键点在不同图像之间进行匹配。图像融合可以将匹配后的图像进行融合，以得到完整的全景图像。然后对拼接后的全景图像进行调整和后期处理，例如裁剪、色彩校正、去除畸变等，获得AVM环视图。
步骤200：利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征。
在本发明的一个实施例中，采用YOLOX模型识别所述AVM环视图，YOLOX模型可以结合不同的模型实现目标检测，YOLOX模型的输出头输出行驶车线特征。所述行驶车线包括车位线、车道线，即本发明提供的方法可应用与车道线检测与车位线检测。行驶车线又细又长，形状先验很强，可以预定义的行驶车线先验以更好地帮助网络定位车道。在对象检测中，对象由矩形框表示，使用等间距的单点作为行驶车线表示。具体地说，将行驶车线表示为一个序列点数,坐标在图像垂直方向上均等采样。每个行驶车线先验将由网络预测，包括前景和背景概率；先验行驶车线的长度；行驶车线的起点和车道先验的x轴之间的角度(称为x、y、θ)；N个偏移量，即预测与其人工标注的真值之间的水平距离。
所述AVM环视图模型训练可以获得模型训练的真值，该真值输出值回归函数中用于优化识别模型。示例地，本发明采用CLRNet (Cross Layer Refinement Network)神经网络模型来充分利用识别出的行驶车线的高层语义特征和低层语义；即利用高层特征检出车道线，利用低层特征调节车道线位置。
在一种实施方式中，基于目标检测模型识别所述AVM环视图获取高层语义的行驶车线特征与低层语义的行驶车线特征；其中所述高层语义的行驶车线特征表征粗略的行驶车线信息，所述低层语义的行驶车线特征表征局部行驶车线的局部上下文信息。然后再利用RoIGathe模块获取全局语境信息。RoIGathe模块以特征图和车道先验作为输入，将根据所述高层语义的行驶车线特征与低层语义的行驶车线特征整合到全域语义结果中，把行驶车线作为一个整体来优化；最后基于所述全域语义结果获取所述AVM环视图中的行驶车线特征。以泊车位为例，所述行驶车线特征包括车线车位线的特征（垂直、水平、斜列），置信度，行驶车线上的坐标值，图特征。
步骤300：基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标。
在本发明中采用2D坐标来计算损失函数，不同于现有技术中的损失函数Line IoUloss计算方法，仅使用一个坐标x，即将行驶车线作为线段做等分处理，得到多个x坐标点，为一维的参数计算。本发明将传统的Line IoU loss（LIoUloss）中的一维坐标x改为p（x,y）的二维点坐标。应当知晓的是，目标检测模型会计算出行驶车线与预测车线，然后根据行驶车线与预测车线之间的关系实现根据置信度输出识别行驶车线的结果。而识别结果是通过进行预测与分类以及损失函数Line IoU loss的回归拟合计算得出。
现有技术中的损失函数Line IoU loss由于只能获得一维坐标x,因此损失函数Line IoU loss计算的是行驶车线上的单个的点与点之间的距离，根据距离大小与阈值相比及确定计算结果。由上述可知，本发明采用p（x,y）的二维点坐标作为数据输入，计算LineIoU loss时是通过二维空间下的点与点之间的欧式距离，可以理解为是当前点与原点的距离。其中，p（x,y）中的x为图像中水平方向的坐标值，y为竖直方向的坐标值，其中水平方向与数值方向可以是以图像的相邻的两边作坐标系，确定某点的坐标值。
步骤400：根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
在一实施例中，根据行驶车线的坐标计算行驶车线的当前点到原点的第一距离，所述原点为行驶车线的起点；然后再根据预测车线的坐标预测车线的当前点到原点的第二距离，所述原点为预测车线的起点；最后利用第一距离与第二距离的欧氏距离计算LIoU损失函数；根据所述LIoU损失函数进行行驶车线的回归处理。
具体采用以下公式进行损失函数计算：
；
为模型预测的点，该点包含两个值（x，y）；/>为人工标注的真值点, 该点包含两个值（x，y）；e为常数，通常为车道线宽度的1/2。
本发明将现有技术中的LIoUloss 中的距离改为欧式距离，将LIoUloss中的一维x坐标改为二维（x，y）坐标，即将现有技术中的点与点的距离改为欧式距离计算，IoU中的判断min，max的方法改成计算行驶车线的当前点到原点的距离，具体见上述公式。
参照图2，为本发明另一具体实施例的基于鸟瞰图的行驶车线检测方法的流程示意图，本发明提供一种基于鸟瞰图的行驶车线检测方法，上述步骤200包括以下步骤：
步骤210：将所述行驶车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述行驶车线上的点坐标（x1，y1）；x1为水平方向上行驶车线上的横向点坐标，y1为图像垂直方向上的纵向点坐标。
步骤220：将所述预测车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述预测车线上的点坐标（x2，y2）； x2为水平方向上预测车线上的横向点坐标，y2为图像垂直方向上的纵向点坐标。
请参阅图3，以车道线为例，将图中的车道线离散为多个离散点，每个离散点以鸟瞰图的坐标系赋予每个离散点的坐标值。同理，对于预测的车道线以鸟瞰图的坐标系赋予每个离散点的坐标值。在图3中坐标系的建立采用鸟瞰图的左侧相垂直的两个边构建坐标系。采用本发明上述方法，以鸟瞰图构建坐标系，以离散点的二维坐标计算损失函数LIoUloss，结合使用RoIGathe模块获取全局语境信息，可以提高使得计算维度更多，约束效果更好，从而提高了目标检测模型的效果；相比于现有技术中将计算的点对点的距离，本发明将之改为欧氏距离计算，能够更准确的确定行驶车线与预测车线的准确性，提高目标检测模型的检测效果，现有技术的损失函数只能在一维上求损失，具有局限性，本发明可以在二维上求损失，应用场景更加广泛。
进一步地，本发明所述的基于鸟瞰图的行驶车线检测方法，还包括：设置带有分类分数的阈值，并利用非极大值抑制算法剔除高重叠行驶车线，即去除低分行驶车线。具体的，soft-NMS算法执行剔除机制，对于小于分类分数的得分的行驶车线剔除背景行驶车线，从而提高目标检测模型的识别准确率。
在一个具体应用实例中，目标检测模型训练过程大致包括：将4个鱼眼图进行拼接成AVM鸟瞰图；将拼接好的鸟瞰图进行标注 ，获得模型训练的目标真值G；采用YOLOX模型加本发明提供的二维LineLOUloss损失函数进行训练；将YOLOX模型最后输出头的输出给到二维LineLOUloss损失函数；并且将真值一并给到二维LineLOUloss损失函数，通过本发明提供的上述公式进行反向传播；从而优化目标检测模型。
如图4所示，本发明还提供一种基于鸟瞰图的行驶车线检测装置，包括：
获取与拼接模块41，用于获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图；
识别模块42，用于利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征。示例地，基于目标检测模型识别所述AVM环视图获取高层语义的行驶车线特征与低层语义的行驶车线特征，其中所述高层语义的行驶车线特征表征粗略的行驶车线信息，所述低层语义的行驶车线特征表征局部行驶车线的局部上下文信息；将根据所述高层语义的行驶车线特征与低层语义的行驶车线特征整合到全域语义结果中；基于所述全域语义结果获取所述AVM环视图中的行驶车线特征。将所述行驶车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述行驶车线上的点坐标；将所述预测车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述预测车线上的点坐标；所述行驶车线的点坐标与所述预测车线的点坐标均包括两个值x、y，其中x为水平方向上行驶车线或预测车线上的横向点坐标，y为图像垂直方向上的纵向点坐标。
检测模块43，用于基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标。
输出模块44，用于根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。示例地，根据行驶车线的坐标计算行驶车线的当前点到原点的第一距离，所述原点为行驶车线的起点；根据预测车线的坐标预测车线的当前点到原点的第二距离，所述原点为预测车线的起点；利用第一距离与第二距离的欧氏距离计算LIoU损失函数；根据所述LIoU损失函数进行行驶车线的回归处理。
具体采用以下公式进行损失函数计算：
；
为模型预测的点，/>为人工标注的真值点,e为常数。
具体可参见图1至图3所示的实施例理解上述基于鸟瞰图的行驶车线检测装置。
请参阅图5，本发明还提供一种行驶车线检测方法，本方法可适用于普通车道线或车位线的识别，包括以下步骤：
步骤510：获取车辆前方的视觉图像。在本发明的一个实施例中，采用YOLOX模型识别所述AVM环视图，YOLOX模型可以结合不同的模型实现目标检测，YOLOX模型的输出头输出行驶车线特征。所述行驶车线包括车位线、车道线，即本发明提供的方法可应用与车道线检测与车位线检测。将行驶车线表示为一个序列点数,坐标在图像垂直方向上均等采样。每个行驶车线先验将由网络预测，包括前景和背景概率；先验行驶车线的长度；行驶车线的起点和车道先验的x轴之间的角度(称为x、y、θ)；N个偏移量，即预测与其人工标注的真值之间的水平距离。
步骤520：利用目标检测模型识别所述视觉图像，获取所述视觉图像中的行驶车线特征。
步骤530：基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标。本发明将传统的Line IoU loss（LIoUloss）中的一维坐标x改为p（x,y）的二维点坐标。应当知晓的是，目标检测模型会计算出行驶车线与预测车线，然后根据行驶车线与预测车线之间的关系实现根据置信度输出识别行驶车线的结果。而识别结果是通过进行预测与分类以及损失函数Line IoU loss的回归拟合计算得出。
步骤540：根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。在一实施例中，根据行驶车线的坐标计算行驶车线的当前点到原点的第一距离，所述原点为行驶车线的起点；然后再根据预测车线的坐标预测车线的当前点到原点的第二距离，所述原点为预测车线的起点；最后利用第一距离与第二距离的欧氏距离计算LIoU损失函数；根据所述LIoU损失函数进行行驶车线的回归处理。
具体采用以下公式进行损失函数计算：
；
为模型预测的点，该点包含两个值（x，y）；/>为人工标注的真值点，该点包含两个值（x，y）；e为常数，通常为车道线宽度的1/2。
如图6所示，本发明还提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述车内通话隐私接听流转方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述车内通话隐私接听流转方法。
可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM ，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。
在本发明的某些实施方式中，装置可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通信模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元（Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP)、专用集成电路（Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明地优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于鸟瞰图的行驶车线检测方法，其特征在于，包括：
获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图；
利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征；
基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；
根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
2.根据权利要求1所述的基于鸟瞰图的行驶车线检测方法，其特征在于，所述利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征，包括：
基于目标检测模型识别所述AVM环视图获取高层语义的行驶车线特征与低层语义的行驶车线特征，其中所述高层语义的行驶车线特征表征粗略的行驶车线信息，所述低层语义的行驶车线特征表征局部行驶车线的局部上下文信息；
将根据所述高层语义的行驶车线特征与低层语义的行驶车线特征整合到全域语义结果中；
基于所述全域语义结果获取所述AVM环视图中的行驶车线特征。
3.根据权利要求2所述的基于鸟瞰图的行驶车线检测方法，其特征在于，所述基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，包括：
将所述行驶车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述行驶车线上的点坐标；
将所述预测车线离散为多个不连续的点组合；根据所述多个不连续的点确定所述预测车线上的点坐标；
所述行驶车线的点坐标与所述预测车线的点坐标均包括两个值x、y，其中x为水平方向上行驶车线或预测车线上的横向点坐标，y为图像垂直方向上的纵向点坐标。
4.根据权利要求1所述的基于鸟瞰图的行驶车线检测方法，其特征在于，所述根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，包括：
根据行驶车线的坐标计算行驶车线的当前点到原点的第一距离，所述原点为行驶车线的起点；
根据预测车线的坐标预测车线的当前点到原点的第二距离，所述原点为预测车线的起点；
利用第一距离与第二距离的欧氏距离计算LIoU损失函数；
根据所述LIoU损失函数进行行驶车线的回归处理。
5.根据权利要求1所述的基于鸟瞰图的行驶车线检测方法，其特征在于，所述根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，包括：采用以下公式进行损失函数计算：
；
为模型预测的点，/>为人工标注的真值点,e为常数。
6.根据权利要求1所述的基于鸟瞰图的行驶车线检测方法，其特征在于，还包括：设置带有分类分数的阈值，并利用非极大值抑制算法剔除高重叠行驶车线。
7.一种基于鸟瞰图的行驶车线检测装置，其特征在于，包括：
获取与拼接模块，用于获取鱼眼图像，并基于所述鱼眼图像拼接成AVM环视图；
识别模块，用于利用目标检测模型识别所述AVM环视图，获取所述AVM环视图中的行驶车线特征；
检测模块，用于基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；
输出模块，用于根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
8.一种行驶车线检测方法，其特征在于，包括：
获取车辆前方的视觉图像；
利用目标检测模型识别所述视觉图像，获取所述视觉图像中的行驶车线特征；
基于所述行驶车线特征输出行驶车线的坐标与预测车线的坐标，其中行驶车线的坐标与预测车线的坐标为2D坐标；
根据行驶车线的坐标与预测车线的坐标的欧氏距离进行行驶车线的回归处理，基于所述回归处理结果获得行驶车线。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6或权利要8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1至6或权利要求8中任一项所述的方法。
CN202311116399.5A 2023-08-31 2023-08-31 基于鸟瞰图的行驶车线检测方法及装置 Pending CN117079240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311116399.5A CN117079240A (zh) 2023-08-31 2023-08-31 基于鸟瞰图的行驶车线检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311116399.5A CN117079240A (zh) 2023-08-31 2023-08-31 基于鸟瞰图的行驶车线检测方法及装置

Publications (1)

Publication Number Publication Date
CN117079240A true CN117079240A (zh) 2023-11-17

Family

ID=88716953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311116399.5A Pending CN117079240A (zh) 2023-08-31 2023-08-31 基于鸟瞰图的行驶车线检测方法及装置

Country Status (1)

Country Link
CN (1) CN117079240A (zh)

Similar Documents

Publication Publication Date Title
US11409303B2 (en) Image processing method for autonomous driving and apparatus thereof
CN111860227B (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
KR20200060194A (ko) 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN112654998B (zh) 一种车道线检测方法和装置
JP7119197B2 (ja) 車線属性検出
CN114543819B (zh) 车辆定位方法、装置、电子设备及存储介质
CN111382625A (zh) 道路标识识别方法、装置及电子设备
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
KR20200133920A (ko) 인공신경망 기반의 투사정보 인식 장치 및 그 방법
JP2018073275A (ja) 画像認識装置
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN117079240A (zh) 基于鸟瞰图的行驶车线检测方法及装置
CN114118188A (zh) 针对待检测图像中移动对象的处理系统、方法和存储介质
CN111104908A (zh) 一种道路边沿确定方法及装置
CN112654997B (zh) 一种车道线检测方法和装置
Harsha et al. Vehicle Detection and Lane Keep Assist System for Self-driving Cars
US20240203133A1 (en) Lane line recognition method, electronic device and storage medium
CN115063594B (zh) 一种基于自动驾驶的特征提取方法及装置
CN115661556B (zh) 一种图像处理方法、装置、电子设备及存储介质
US20240346752A1 (en) Machine learning device and vehicle
US20230394842A1 (en) Vision-based system with thresholding for object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination