CN117152715A - 一种基于改进yolop的全景驾驶感知系统及方法 - Google Patents

一种基于改进yolop的全景驾驶感知系统及方法 Download PDF

Info

Publication number
CN117152715A
CN117152715A CN202311083734.6A CN202311083734A CN117152715A CN 117152715 A CN117152715 A CN 117152715A CN 202311083734 A CN202311083734 A CN 202311083734A CN 117152715 A CN117152715 A CN 117152715A
Authority
CN
China
Prior art keywords
information
vehicle
real
yolop
improved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311083734.6A
Other languages
English (en)
Inventor
吴伟林
刘春泉
薛清晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University for Nationalities
Wuzhou University
Original Assignee
Guangxi University for Nationalities
Wuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University for Nationalities, Wuzhou University filed Critical Guangxi University for Nationalities
Priority to CN202311083734.6A priority Critical patent/CN117152715A/zh
Publication of CN117152715A publication Critical patent/CN117152715A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及全景显示技术领域，具体涉及一种基于改进YOLOP的全景驾驶感知系统及方法，本方案采用改进YOLOP算法可以有效地解决YOLOP算法在复杂场景中的检测精度低的问题，能够有效的提高自动驾驶车辆的行车安全性、行驶效率和驾驶体验，可以更准确的检测出车道线、车辆和可行驶区域等物体，保证了检测结果的准确度和实时性，还避免了传统方法在不同任务之间紧密耦合的问题，同时在微调过程中实现联合学习，提高了模型的泛化性能和鲁棒性。这使得自动驾驶车辆可以同时完成多个任务，且检测效果更加准确，可以更好地帮助自动驾驶车辆实现准确并安全地行车，从而解决了现有的全景驾驶感知系统准确性较低的问题。

Description

一种基于改进YOLOP的全景驾驶感知系统及方法
技术领域
本发明涉及全景显示技术领域，尤其涉及一种基于改进YOLOP的全景驾驶感知系统及方法。
背景技术
近年来，随着智能汽车技术的发展，人工智能算法在汽车领域中发挥越来越重要的作用。为提高车辆行驶的安全性和智能化水平，自适应巡航(ACC)、自动泊车和前碰撞预警(AEB)等辅助驾驶功能不断发展。
然而，由于汽车系统的计算资源有限，单一的功能模块会占用较多的计算资源，从而存在汽车的决策和控制失效风险。因此，基于深度学习的多任务学习框架正在被开发，以综合处理多项任务，提高计算效率和车辆安全性。其中全景驾驶感知系统是自动驾驶中至关重要的组成部分，但在低成本自动驾驶应用中的部署存在较大困难。在多任务学习框架中，全景驾驶感知系统的检测、分割和识别等多个任务需要同时处理，但设计一个适用于各种任务的通用网络结构仍然存在着较大困难。
发明内容
本发明的目的在于提供一种基于改进YOLOP的全景驾驶感知系统及方法，旨在解决现有的全景驾驶感知系统准确性较低的问题。
为实现上述目的，第一方面，本发明提供了一种基于改进YOLOP的全景驾驶感知方法，包括以下步骤：
通过摄像头实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据；
将所述实时数据输入到多任务学习网络中进行提取，得到特征信息；
基于所述特征信息对车辆进行控制。
其中，所述将所述实时数据输入到多任务学习网络中进行提取，得到特征信息，包括：
检测所述实时数据中的车辆目标，并提取所述车辆目标的预测结果；
对每个所述车辆目标初始化唯一标识，并将其加入到当前帧的跟踪列表中，使用所述预测结果初始化每个跟踪器的状态。
将上一帧的每个所述跟踪器与当前帧中所有的所述车辆目标进行匹配计算，得到匹配相似度；
基于所述匹配相似度更新所述跟踪器状态，并对无法匹配的轨迹进行状态预测；
对于新的目标检测结果分配所述唯一标识并加入到跟踪列表中，当车辆目标超出跟踪区域时将该跟踪器从跟踪列表中删除，并输出车辆目标信息；
基于实时数据对车辆进行可行驶区域检测，得到可行驶区域信息；
基于实时数据对车道线进行监测，车道线信息。
其中，所述特征信息包括车辆目标信息、可行驶区域信息和车道线信息。
其中，所述基于所述特征信息对车辆进行控制，包括：
对所述特征信息进行整合得到，整合数据；
基于所述整合数据对车辆进行控制。
第二方面，一种基于改进YOLOP的全景驾驶感知系统，采用第一方面所述的一种基于改进YOLOP的全景驾驶感知方法，
包括多目标跟踪模块、多任务学习网络感知模块、信息整合模块和决策控制模块，所述多目标跟踪模块、所述多任务学习网络感知模块、所述信息整合模块和所述决策控制模块依次连接；
所述多目标跟踪模块，实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据；
所述多任务学习网络感知模块，基于所述实时数据提取特征信息；
所述信息整合模块，用于对所述特征信息进行整合，得到整合数据；
所述决策控制模块，基于所述整合数据对车辆进行控制。
本发明的一种基于改进YOLOP的全景驾驶感知系统及方法，通过摄像头实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据，将所述实时数据输入到多任务学习网络中进行提取，得到特征信息，基于所述特征信息对车辆进行控制，本方案能检测出前方的车辆，实现了实时检测和识别行驶方向的车辆，且多目标跟踪技术能够精准识别和跟踪不同类别的目标，这意味着系统可以及时发现车辆前方的变化和危险，使驾驶员可以在未来几秒钟内做出反应，从而减少碰撞、追尾等交通事故的可能性。同时，在驾驶员的违法违规行为方面，该系统能够及时警告并提醒驾驶员进行规范行驶和操作。这可以有效降低交通事故的发生率，增强车辆的行车安全性，针对于目前汽车的全景驾驶感知技术，本方案采用改进YOLOP算法可以有效地解决YOLOP算法在复杂场景中的检测精度低的问题，能够有效的提高自动驾驶车辆的行车安全性、行驶效率和驾驶体验，可以更准确的检测出车道线、车辆和可行驶区域等物体，并且速度更快、模型更小，更适合在计算资源有限的汽车系统中应用。这不仅保证了检测结果的准确度和实时性，还避免了传统方法在不同任务之间紧密耦合的问题，同时在微调过程中实现联合学习，提高了模型的泛化性能和鲁棒性。这使得自动驾驶车辆可以同时完成多个任务，且检测效果更加准确，可以更好地帮助自动驾驶车辆实现准确并安全地行车，从而解决了现有的全景驾驶感知系统准确性较低的问题。
附图说明
本发明可以通过附图给出的非限定性实施例进一步说明。
图1是本发明一种基于改进YOLOP的全景驾驶感知方法的流程图。
图2是本发明一种基于改进YOLOP的全景驾驶感知系统结构示意图。
图3是C2f模块的结构示意图。
图4是SPPF模块的结构示意图。
图5是多任务学习算法的网络框架。
1-多目标跟踪模块、2-多任务学习网络感知模块、3-信息整合模块、4-决策控制模块。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明提供一种专利名称一种基于改进YOLOP的全景驾驶感知方法，包括以下步骤：
S1通过摄像头实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据；
具体的，。
S2将所述实时数据输入到多任务学习网络中进行提取，得到特征信息；
所述特征信息包括车辆目标信息、可行驶区域信息和车道线信息。
S21检测所述实时数据中的车辆目标，并提取所述车辆目标的预测结果；
具体的，目标检测：使用改进后的YOLOP多任务学习网络来检测输入图像中的车辆目标，并提取车辆目标的bounding boxes。
S22对每个所述车辆目标初始化唯一标识，并将其加入到当前帧的跟踪列表中，使用所述预测结果初始化每个跟踪器的状态。
具体的，每个目标初始化：为每个检测到的车辆目标初始化一个唯一的标识ID，并将其加入到当前帧的跟踪列表中。同时，使用检测结果初始化每个跟踪器的状态。。
S23将上一帧的每个所述跟踪器与当前帧中所有的所述车辆目标进行匹配计算，得到匹配相似度；
具体的，数据关联：将上一帧的每个跟踪器与当前帧中的所有车辆目标进行匹配，并计算每个匹配对的相似度得分。
S24基于所述匹配相似度更新所述跟踪器状态，并对无法匹配的轨迹进行状态预测；
具体的，状态预测：使用匹配结果来更新跟踪器状态，并对无法匹配的轨迹进行状态预测。
S25对于新的目标检测结果分配所述唯一标识并加入到跟踪列表中，当车辆目标超出跟踪区域时将该跟踪器从跟踪列表中删除，并输出车辆目标信息；
具体的，标识处理：对于新的目标检测结果，分配一个唯一的ID，并将其加入到跟踪列表中，当一个车辆目标超出跟踪区域时，或跟踪器的匹配得分低于一定阈值时，将该跟踪器从跟踪列表中删除，将每个跟踪器的位置和唯一ID输出。
S26基于实时数据对车辆进行可行驶区域检测，得到可行驶区域信息；
具体的，可行驶区域检测为自动驾驶汽车提供规划路径，避免障碍物的碰撞等
S27基于实时数据对车道线进行监测，车道线信息。
具体的，车道线检测则为行驶过程中的车辆保持车道居中以及车道偏离预警等。
S3基于所述特征信息对车辆进行控制。
S31对所述特征信息进行整合得到，整合数据；
具体的，对所述车辆目标信息、所述可行驶区域信息和所述车道线信息进行整合，得到整合数据。
S32基于所述整合数据对车辆进行控制。
具体的，基于所述整合数据进决策，并对车辆进行控制，BDD100K数据集包含10万个视频，每个视频长度为40秒，总共覆盖了约10万公里的驾驶路线。这些视频是在美国不同地点的道路上拍摄的，包括城市、高速公路和乡村道路等不同驾驶场景。数据集中的每个视频都有相应的标注信息，包括车辆、行人、自行车、可行驶区域和车道线等。本方案采用改进的YOLOP多任务学习网络算法，对BDD100K自动驾驶数据集进行训练，划分的训练集、测试集、验证集的比例为7:2:1，得到的结果用作汽车全景驾驶感知系统的模型。该模型输出的结果不仅会作为SORT算法的输入，同时也会输入到信息整合与决策控制模块4中。
请参阅图2-图5，第二方面，一种基于改进YOLOP的全景驾驶感知系统，采用第一方面所述的一种基于改进YOLOP的全景驾驶感知方法，
包括多目标跟踪模块1、多任务学习网络感知模块2、信息整合模块3和决策控制模块4，所述多目标跟踪模块1、所述多任务学习网络感知模块2、所述信息整合模块3和所述决策控制模块4依次连接；
所述多目标跟踪模块1，实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据；
所述多任务学习网络感知模块2，基于所述实时数据提取特征信息；
所述信息整合模块3，用于对所述特征信息进行整合，得到整合数据；
所述决策控制模块4，基于所述整合数据对车辆进行控制。
在本实施方式中，所述多目标跟踪模块1实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据，所述多任务学习网络感知模块2，基于所述实时数据提取特征信息，所述信息整合模块3对所述特征信息进行整合，得到整合数据，所述决策控制模块4基于所述整合数据对车辆进行控制；
多任务学习网络感知模块2包含了目标检测和道路驾驶区域分割任务的模型结构。该算法充分考虑了多项任务，包括车辆检测和可行驶区域、车道线的分割等，全方位地提取和利用了图像信息，使得算法的综合能力更强。
除了车辆检测分支外，还有两个分支用于可行驶区域和车道线的分割，这两个分支中的每个分支都有一个编码器-解码器结构，编码器用于提取高级别语义特征，解码器将这些特征重新进行特征重建和上采样，最终生成精细的可行驶区域和车道线分割结果。
Backbone模块：优化了ResNet和Darknet53等主流网络的部分结构，去掉了重复和不必要的计算，减小了模型参数和计算量，同时保持了准确性和有效性,以提取高级语义特征，可以有效地识别物体。本方案使用C2f模块(如图3所示)，通过降低通道数目来减少计算量，从而加快模型的训练和推理速度，并降低了显存的使用。同时，C2f模块还能保证模型的准确性，限制信息的流动，防止信息的丢失和误差的累积。此外，C2f模块可以帮助模型更好地处理多尺度、高分辨率和复杂场景下的目标检测任务，提高模型的鲁棒性和泛化能力。
Neck模块：使用一个高效的模块SPPF(如图4所示)，即空间金字塔池化，增强了模型的感受野和表达能力，可以在不改变输入形状的情况下，自适应地对特征图进行不同大小的池化操作，以提取不同尺度的特征信息。这种操作可以提取出图像的不同分辨率的特征，以适应不同大小的目标物体，提高模型的精度。为了更好地处理不同尺度的物体，本方案将底层特征图像与高层特征图像进行连接(PAN)，使得不同尺度特征图的像素数目相等，便于后续的处理，然后将特征图像进行建图，构建出特定的特征金字塔结构(FPN)，可以对不同尺度的特征信息进行有机地结合，提高图像特征的表示能力，进而提高了模型的识别精度。将可行驶区域检测模块接在PAN-FPN模块之前，对输入图像进行初步处理，去除一些无效区域，让可行驶区域的信息更好地融合到整体特征中去，保证检测结果的准确性，增加了模型的鲁棒性。同时，本方案将车道线检测接在PAN-FPN模块之后，避免对低层特征的过多计算，提高了计算效率，让车道线的信息在得到更高层次的特征提取和融合后更加清晰，进一步提高了车道线检测结果的准确性。
Head模块：作为整个模型的决策中心，使用了轻量级的设计，包括一个卷积层和一个后处理过程。它可以直接将特征图转换成检测结果，提高了模型的效率。在道路驾驶区域分割任务中，使用了卷积和反卷积结构，有效地学习了道路驾驶区域图像的特征，提高了模型对于道路驾驶区域的分割精度。同时，在目标检测任务中，使用了有效的YOLOv5 Detect模块进行目标检测，并取得了很好的效果。
在模型的训练过程中，本方案针对不同的任务和加入的数据集进行了自适应调整，选择了不同的损失函数和训练策略，将所有任务的损失函数加权求和，从而实现了多个任务的联合学习，使得模型能够在不同的场景和数据集中都具有较好的表现。
总损失函数加权求和如下所示：
Lsum＝α1Ldet+α2Lda_seg+α3Llane_seg+α4Llane_iou
其中，α1、α2、α3、α4分别设置为1、0.3、0.5、0.2。
车辆检测的损失函数加权求和如下所示：
Ldet＝α5Lbox+α6Lobj+α7Lcls
其中，α5、α6、α7分别设置为0.05、1.0、0.5，Lobj、Lcls使用Focal loss损失函数。
Focal loss损失函数如下所示：
LFocal＝FL(pt)＝-α8(1-pt)γlog(pt)
其中，α8是一个平衡因子，用于解决正负样本不均衡的问题；γ是一个调整因子，用于调整难易样本的权重；pt是网络输出的预测概率，log(pt)是预测值的对数。在训练中α8与γ分别设置为0.25和2。
Focal Loss可以缓解类别较少的样本与大量背景样本之间的类别平衡问题。在物体检测中，正样本(车辆、可行驶区域和车道线)通常比负样本(背景)少得多，使得学习过程更加困难。在传统的交叉熵损失中，它会把所有样本对于损失的权重都视为相同。然而Focal Loss鼓励模型将更多的重视放在难以分类的样本上，其可以有效提高网络对困难样本和噪声数据的鲁棒性。
车道线的检测在多任务学习网络中是一个较为困难的任务，因为车道线的形状和颜色多种多样，并且经常被遮挡。DiceLoss是按像素计算预测结果与真实值之间的相似度，可以有效地解决像素数量不平衡的问题。使用Dice Loss来衡量模型的预测结果与真实值匹配的程度，使得模型更加关注于车道线像素的检测。而Focal Loss则可以进一步解决在车道线检测中负样本过多的问颗。它可以提高网络对车道线的关注度，从而提高车道线检测的准确性。
其中，y和分别表示真实标签和模型预测标签的二进制掩膜。
为了提高多任务学习网络中车道线检测的性能，本方案采用Focal Loss与DiceLoss的组合来有效提高车道线检测的准确性。当Dice Loss与Focal Loss结合在一起使用时，可以进一步提高模型准确性，使得分类器具有更好的精度和鲁棒性，尤其是在训练数据集中存在大量背景像素时。Dice Loss和Focal Loss两者属于互补关系，使用它们的组合可以充分地利用它们的优点，从而提高车道线检测任务的性能。
Llane_seg＝LFocal+λLDice
其中，λ是一个常数，它控制Diceloss在车道线损失函数中的权重比例，在模型训练中设置为2。
附图3中的CBS为上下文平衡，C2f为角点检测网络，Bottleneck为瓶颈，Split为分支，a为特征图相加，c为通道数合并，n为瓶颈数量；
附图4中的CBS为上下文平衡，SPPF为空间金字塔池化，Concat为拼接，Maxpool为最大池化；
附图5中的CBS为上下文平衡，C2f为角点检测网络，SPPF为空间金字塔池化，conv为卷积，Concat为拼接，Upsample为上采样，ConvTranspose2d为转置卷积，BN为批量归一化，SiLU为硅化线性单元，Input为输入，Backbone为主干，Neck为颈部，Detect Head为检测头，Lane segment head为车道线分割头，Drivable area segment head为可行驶区域分割头。
以上所揭露的仅为本申请一种或多种较佳实施例而已，不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (5)

1.一种基于改进YOLOP的全景驾驶感知方法，包括安装机和导风装置本体，其特征在于，包括以下步骤：
通过摄像头实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据；
将所述实时数据输入到多任务学习网络中进行提取，得到特征信息；
基于所述特征信息对车辆进行控制。
2.如权利要求1所述的一种基于改进YOLOP的全景驾驶感知方法，其特征在于，
所述将所述实时数据输入到多任务学习网络中进行提取，得到特征信息，包括：
检测所述实时数据中的车辆目标，并提取所述车辆目标的预测结果；
对每个所述车辆目标初始化唯一标识，并将其加入到当前帧的跟踪列表中，使用所述预测结果初始化每个跟踪器的状态。
将上一帧的每个所述跟踪器与当前帧中所有的所述车辆目标进行匹配计算，得到匹配相似度；
基于所述匹配相似度更新所述跟踪器状态，并对无法匹配的轨迹进行状态预测；
对于新的目标检测结果分配所述唯一标识并加入到跟踪列表中，当车辆目标超出跟踪区域时将该跟踪器从跟踪列表中删除，并输出车辆目标信息；
基于实时数据对车辆进行可行驶区域检测，得到可行驶区域信息；
基于实时数据对车道线进行监测，车道线信息。
3.如权利要求2所述的一种基于改进YOLOP的全景驾驶感知方法，其特征在于，
所述特征信息包括车辆目标信息、可行驶区域信息和车道线信息。
4.如权利要求3所述的一种基于改进YOLOP的全景驾驶感知方法，其特征在于，
所述基于所述特征信息对车辆进行控制，包括：
对所述特征信息进行整合得到，整合数据；
基于所述整合数据对车辆进行控制。
5.一种基于改进YOLOP的全景驾驶感知系统，采用权利要求1-4任意一项所述的一种基于改进YOLOP的全景驾驶感知方法，其特征在于，
包括多目标跟踪模块、多任务学习网络感知模块、信息整合模块和决策控制模块，所述多目标跟踪模块、所述多任务学习网络感知模块、所述信息整合模块和所述决策控制模块依次连接；
所述多目标跟踪模块，实时获取车辆前方信息，并对前方信息进行实时检测，得到实时数据；
所述多任务学习网络感知模块，基于所述实时数据提取特征信息；
所述信息整合模块，用于对所述特征信息进行整合，得到整合数据；
所述决策控制模块，基于所述整合数据对车辆进行控制。
CN202311083734.6A 2023-08-25 2023-08-25 一种基于改进yolop的全景驾驶感知系统及方法 Pending CN117152715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311083734.6A CN117152715A (zh) 2023-08-25 2023-08-25 一种基于改进yolop的全景驾驶感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311083734.6A CN117152715A (zh) 2023-08-25 2023-08-25 一种基于改进yolop的全景驾驶感知系统及方法

Publications (1)

Publication Number Publication Date
CN117152715A true CN117152715A (zh) 2023-12-01

Family

ID=88911185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311083734.6A Pending CN117152715A (zh) 2023-08-25 2023-08-25 一种基于改进yolop的全景驾驶感知系统及方法

Country Status (1)

Country Link
CN (1) CN117152715A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830981A (zh) * 2023-12-19 2024-04-05 杭州长望智创科技有限公司 一种基于多任务学习的自动驾驶感知系统及方法
CN117951648A (zh) * 2024-03-26 2024-04-30 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830981A (zh) * 2023-12-19 2024-04-05 杭州长望智创科技有限公司 一种基于多任务学习的自动驾驶感知系统及方法
CN117951648A (zh) * 2024-03-26 2024-04-30 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统
CN117951648B (zh) * 2024-03-26 2024-06-07 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统

Similar Documents

Publication Publication Date Title
US10636161B2 (en) Image recognition system
Breitenstein et al. Systematization of corner cases for visual perception in automated driving
US20210158043A1 (en) Systems and methods for panoptic image segmentation
WO2020135810A1 (zh) 多传感器数据融合方法和装置
CN118447348A (zh) 用于获取训练数据的系统和方法
CN117152715A (zh) 一种基于改进yolop的全景驾驶感知系统及方法
CN110588653A (zh) 自主车辆的控制系统、控制方法以及控制器
US10990820B2 (en) Heterogeneous convolutional neural network for multi-problem solving
CN114514535A (zh) 基于语义分割的实例分割系统和方法
US20230048926A1 (en) Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle
Jain et al. Relative vehicle velocity estimation using monocular video stream
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
Aditya et al. Collision detection: An improved deep learning approach using SENet and ResNext
EP3985643A1 (en) Outside environment recognition device
CN117237612A (zh) 一种基于yolox模型的复杂道路场景目标检测方法
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
Kang et al. High performance and fast object detection in road environments
Forczmański et al. Deep learning approach to detection of preceding vehicle in advanced driver assistance
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
Wang et al. Road semantic segmentation and traffic object detection model based on encoder-decoder cnn architecture
Lai et al. Sensor fusion of camera and MMW radar based on machine learning for vehicles
Lim et al. A methodological review of visual road recognition procedures for autonomous driving applications
Kim Deep learning-based vehicle type and color classification to support safe autonomous driving
EP3985635A1 (en) Outside environment recognition device
Sadik et al. Vehicles detection and tracking in advanced & automated driving systems: Limitations and challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination