CN116152768A - 基于路况识别的智能驾驶预警系统及方法 - Google Patents

基于路况识别的智能驾驶预警系统及方法 Download PDF

Info

Publication number
CN116152768A
CN116152768A CN202310189714.0A CN202310189714A CN116152768A CN 116152768 A CN116152768 A CN 116152768A CN 202310189714 A CN202310189714 A CN 202310189714A CN 116152768 A CN116152768 A CN 116152768A
Authority
CN
China
Prior art keywords
vehicle
lane line
feature map
classification
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310189714.0A
Other languages
English (en)
Inventor
曾成
苏星溢
唐清林
王佩生
李杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Seres New Energy Automobile Design Institute Co Ltd
Original Assignee
Chongqing Seres New Energy Automobile Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Seres New Energy Automobile Design Institute Co Ltd filed Critical Chongqing Seres New Energy Automobile Design Institute Co Ltd
Priority to CN202310189714.0A priority Critical patent/CN116152768A/zh
Publication of CN116152768A publication Critical patent/CN116152768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于路况识别的智能驾驶预警系统及方法。其首先将道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域，接着，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图，然后，融合所述车道线特征图和所述车辆特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示是否产生针对于周边交通参与者的灯光预警提示的分类结果。通过这样的方式，可以提升道路安全，同时提升通行的效率。

Description

基于路况识别的智能驾驶预警系统及方法
技术领域
本申请涉及智能驾驶技术领域，且更为具体地，涉及一种基于路况识别的智能驾驶预警系统及方法。
背景技术
自动驾驶车辆(Se lf-dr iving Car)，又称无人驾驶车辆、电脑驾驶车辆、或轮式移动机器人，是一种通过计算机系统实现无人驾驶的智能车辆。在当前的自动驾驶技术中，存在对于主车周边交通参与者主动提醒的功能缺失。
因此，期待一种优化的基于路况识别的智能驾驶预警方案。
发明内容
为了解决上述技术问题，本申请提供了一种基于路况识别的智能驾驶预警系统及方法。其首先将道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域，接着，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图，然后，融合所述车道线特征图和所述车辆特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于确定是否产生针对于周边交通参与者的灯光预警提示的分类结果。通过这样的方式，可以提升道路安全，同时提升通行的效率。
根据本申请的一个方面，提供了一种基于路况识别的智能驾驶预警系统，其包括：
监控模块，用于获取由部署于车辆的摄像头采集的道路监控图像；
车道线检测模块，用于将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；
车辆检测模块，用于将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；
车道线特征提取模块，用于将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；
车辆特征提取模块，用于将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；
交互模块，用于融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及
预警结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，
根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。
在上述的基于路况识别的智能驾驶预警系统中，所述车道线目标检测网络和所述车辆目标检测网络为基于锚窗的目标检测网络。
在上述的基于路况识别的智能驾驶预警系统中，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述的基于路况识别的智能驾驶预警系统中，所述车道线特征提取模块，包括：
车道线卷积编码单元，用于使用所述使用空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述车道线感兴趣区域进行深度卷积编码以得到车道线高维特征图；
车道线空间注意力单元，用于将所述车道线高维特征图输入所述使用空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到车道线空间注意力图；以及
车道线空间注意力施加单元，用于分别计算所述车道线高维特征图和所述车道线空间注意力图的按位置点乘以得到所述车道线特征图。
在上述的基于路况识别的智能驾驶预警系统中，所述车辆特征提取模块，包括：
车辆卷积编码单元，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述车辆感兴趣区域进行深度卷积编码以得到车辆高维特征图；
车辆空间注意力单元，用于将所述车辆高维特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到车辆空间注意力图；以及
车辆空间注意力施加单元，用于分别计算所述车辆高维特征图和所述车辆空间注意力图的按位置点乘以得到所述车辆特征图。
在上述的基于路况识别的智能驾驶预警系统中，所述交互模块，进一步用于：以如下公式融合所述车道线特征图和所述车辆特征图以得到所述分类特征图；
其中，所述公式为：
Figure BDA0004105079540000031
其中，Fi表示所述车道线特征图，Fj表示所述车辆特征图，Fc表示所述分类特征图，α和β表示权重超参数，exp(·)表示特征图的指数运算，对特征图进行指数运算表示以特征图中各个位置的特征值为幂的自然指数函数值。
在上述的基于路况识别的智能驾驶预警系统中，所述预警结果生成模块，进一步用于：
将所述分类特征图按照行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种基于路况识别的智能驾驶预警方法，其包括：
获取由部署于车辆的摄像头采集的道路监控图像；
将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；
将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；
将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；
将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；
融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，
根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。
在上述的基于路况识别的智能驾驶预警方法中，所述车道线目标检测网络和所述车辆目标检测网络为基于锚窗的目标检测网络。
在上述的基于路况识别的智能驾驶预警方法中，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
与现有技术相比，本申请提供的基于路况识别的智能驾驶预警系统及方法，具有以下有益效果：
1.首先将道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域，接着，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图，然后，融合所述车道线特征图和所述车辆特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于确定是否产生针对于周边交通参与者的灯光预警提示的分类结果。通过这样的方式，可以提升道路安全，同时提升通行的效率。
2.将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图，然后，融合所述车道线特征图和所述车辆特征图以得到分类特征图。该分类特征图的获取方式使得特征提取更为精确，从而保证了预警的可靠性。
3.通过将空间注意力机制集成于卷积神经网络模型以得到第一卷积神经网络模型和第二卷积神经网络模型。解决了因车道线感兴趣区域和车辆感兴趣区域中各个位置的像素值所蕴含的信息量不同导致的特征识别准确度低的问题。
4.对车道线特征图和车辆特征图进行域自适应类图拓扑融合，使得融合得到的分类特征图不仅具有像素级别的特征稀疏性和非网络属性，同时还具有相对较优的特征稠密性，以此最大化将所述车道线特征图和所述车辆特征图中不同类目标分布进行对齐和聚合，以提高所述分类特征图的分类精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于路况识别的智能驾驶预警系统的应用场景图。
图2为根据本申请实施例的基于路况识别的智能驾驶预警系统的框图示意图。
图3为根据本申请实施例的基于路况识别的智能驾驶预警系统中的所述车道线特征提取模块的框图示意图。
图4为根据本申请实施例的基于路况识别的智能驾驶预警系统中的所述车辆特征提取模块的框图示意图。
图5为根据本申请实施例的基于路况识别的智能驾驶预警方法的流程图。
图6为根据本申请实施例的基于路况识别的智能驾驶预警方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，在当前的自动驾驶技术中，存在对于主车周边交通参与者主动提醒的功能缺失。因此，在本申请的技术方案中，通过机器视觉和基于人工智能的图像处理技术来构建针对于主车周边交通参与者的主动提醒方案，以主动识别周边交通参与者对主车行驶路径的侵占情况，并主动发送信号，例如，通过灯光、喇叭等执行器对周边交通参与者进行提醒，这样能够有效提醒周边交通参与者进行合理避让，提升道路安全；同时，能够有效提醒周边交通参与者进行合理避让，提升主车的行车通行效率；并且，能够减轻主车驾驶员的负担，使主车驾驶员能够获得更轻松的驾驶体验。
具体地，在本申请的技术方案中，首先获取由部署于车辆前部、侧部或后部的摄像头采集的道路监控图像。应可以理解，在现有的车辆中，都会在车辆的多个位置部署摄像头，如车辆前部、侧部或后部的摄像头等，因此，可利用部署于车辆前部、侧部或后部的摄像头采集车辆行驶路径上的道路情况，即，通过所述部署于车辆前部的摄像头采集道路监控图像，该道路监控图像可以是车辆前部摄像头拍摄到车辆前方的道路监控图像，或者，车辆侧部摄像头拍摄到车辆侧方的道路监控图像，车辆后部摄像头拍摄到车辆后方的道路监控图像等。
接着，将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；同时，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域。也就是，使用目标检测网络分别从所述道路监控图像中分别提取车道线感兴趣区域和车辆感兴趣区域，这本质上是对所述道路监控图像进行图像语义分割以将所述道路监控图像中各个不同对象的感兴趣区域提取出来。在本申请一个具体的技术方案中，所述车道线目标检测网络和所述车辆目标检测网络可以是基于锚窗的目标检测网络，例如，Fast R-CNN、Faster R-CNN或RetinaNet。
在进行图像语义识别以得到所述车道线感兴趣区域和所述车辆感兴趣区域后，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，同时将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图。也就是，使用在图像特征提取邻域具有优异性能表现的卷积神经网络模型提取所述车道线感兴趣区域和所述车辆感兴趣区域的高维图像局部隐含特征。本领域普通技术人员应知晓，卷积神经网络模型利用具有可学习参数的卷积核对图像进行局部特征感知。特别地，在本申请实施例中，考虑到所述车道线感兴趣区域和所述车辆感兴趣区域中各个位置的像素值所蕴含的信息量不同，因此，为了充分利用图像像素点在空间维度的信息量差异，将空间注意力机制集成于所述卷积神经网络模型以得到所述第一卷积神经网络模型和所述第二卷积神经网络模型。
进而，融合所述车道线特征图和所述车辆特征图以得到分类特征图。所述分类特征图用于表示车道线特征图和所述车辆特征图在高维特征空间中的交互情况，即，车辆与道路的高维隐含交互模式特征。在数据层面，可以通过计算所述车道线特征图和所述车辆特征图之间的按位置加权和来得到所述分类特征图。继而，将所述分类特征图通过分类器以得到分类结果，根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。也就是，使用所述分类器来确定所述分类特征图所属的类概率标签，所述类概率标签包括产生针对于周边交通参与者的灯光预警提示(第一标签)和不产生针对于周边交通参与者的灯光预警提示(第二标签)。
但是，在通过按位置点加融合所述车道线特征图和所述车辆特征图以得到分类特征图的过程中，因所述车道线特征图的特征分布和所述车辆特征图的特征分布中不同类别的特征集合存在语义错配，这会影响到所述车道线特征图和所述车辆特征图之间的交互特征的表达确定性和精准度，进而影响所述分类特征图通过分类器的分类结果的精准度。
因此，优选的，在本申请的技术方案中，对所述车道线特征图和所述车辆特征图进行域自适应类图拓扑融合：
Figure BDA0004105079540000071
这样，以所述车道线特征图和所述车辆特征图的特征分布中各个位置的特征值为节点且以特征分布间相应位置之间的空间距离的信息化解释作为边，来沿着特征分布的预定方向实现不同特征域图之间的信息鲁棒性交互和传播，以使得融合得到的分类特征图不仅具有像素级别的特征稀疏性和非网络属性，同时还具有相对较优的特征稠密性，以此最大化将所述车道线特征图和所述车辆特征图中不同类目标分布进行对齐和聚合，以提高所述分类特征图的分类精准度。
基于此，本申请提供了一种基于路况识别的智能驾驶预警系统，其包括：监控模块，用于获取由部署于车辆前部或后部的摄像头采集的道路监控图像；车道线检测模块，用于将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；车辆检测模块，用于将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；车道线特征提取模块，用于将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；车辆特征提取模块，用于将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；交互模块，用于融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及，预警结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生针对于周边交通参与者的灯光预警提示。
图1为根据本申请实施例的基于路况识别的智能驾驶预警系统的应用场景图。如图1所示，在该应用场景中，首先，获取由部署于车辆前部的摄像头(例如，图1中所示意的C)采集的道路监控图像(例如，图1中所示意的D)，然后，将所述道路监控图像输入至部署有基于路况识别的智能驾驶预警算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述基于路况识别的智能驾驶预警算法对所述道路监控图像进行处理以得到用于确定是否产生针对于周边交通参与者的灯光预警提示的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的基于路况识别的智能驾驶预警系统的框图示意图。如图2所示，根据本申请实施例的基于路况识别的智能驾驶预警系统100，包括：监控模块110，用于获取由部署于车辆前部的摄像头采集的道路监控图像；车道线检测模块120，用于将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；车辆检测模块130，用于将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；车道线特征提取模块140，用于将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；车辆特征提取模块150，用于将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；交互模块160，用于融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及，预警结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。
更具体地，在本申请实施例中，所述监控模块110，用于获取由部署于车辆前部的摄像头采集的道路监控图像。应可以理解，在现有的车辆中，都会在车辆的多个位置部署摄像头，因此，可利用部署于车辆前部的摄像头采集车辆行驶路径上的道路情况，即，通过所述部署于车辆前部的摄像头采集道路监控图像。在当前的自动驾驶技术中，存在对于主车周边交通参与者主动提醒的功能缺失。
在本申请的技术方案中，通过机器视觉和基于人工智能的图像处理技术来构建针对于主车周边交通参与者的主动提醒方案，以主动识别周边交通参与者对主车行使路径的侵占情况，并主动发送信号，例如，通过灯光、喇叭等执行器对周边交通参与者进行提醒，这样能够有效提醒周边交通参与者进行合理避让，提升道路安全；同时，能够有效提醒周边交通参与者进行合理避让，提升主车的行车通行效率；并且，能够减轻主车驾驶员的负担，使主车驾驶员能够获得更轻松的驾驶体验。
更具体地，在本申请实施例中，所述车道线检测模块120，用于将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域。
更具体地，在本申请实施例中，所述车辆检测模块130，用于将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域。
也就是，使用目标检测网络分别从所述道路监控图像中分别提取车道线感兴趣区域和车辆感兴趣区域，这本质上是对所述道路监控图像进行图像语义分割以将所述道路监控图像中各个不同对象的感兴趣区域提取出来。
相应地，在一个具体示例中，所述车道线目标检测网络和所述车辆目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络可以为Fast R-CNN、Faster R-CNN或RetinaNet。
在进行图像语义识别以得到所述车道线感兴趣区域和所述车辆感兴趣区域后，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，同时将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图。
更具体地，在本申请实施例中，所述车道线特征提取模块140，用于将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图。使用在图像特征提取邻域具有优异性能表现的卷积神经网络模型提取所述车道线感兴趣区域的高维图像局部隐含特征。本领域普通技术人员应知晓，卷积神经网络模型利用具有可学习参数的卷积核对图像进行局部特征感知。
特别地，在本申请实施例中，考虑到所述车道线感兴趣区域中各个位置的像素值所蕴含的信息量不同，因此，为了充分利用图像像素点在空间维度的信息量差异，将空间注意力机制集成于所述卷积神经网络模型以得到所述第一卷积神经网络模型。
相应地，在一个具体示例中，如图3所示，所述车道线特征提取模块140，包括：车道线卷积编码单元141，用于使用所述使用空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述车道线感兴趣区域进行深度卷积编码以得到车道线高维特征图；车道线空间注意力单元142，用于将所述车道线高维特征图输入所述使用空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到车道线空间注意力图；以及，车道线空间注意力施加单元143，用于分别计算所述车道线高维特征图和所述车道线空间注意力图的按位置点乘以得到所述车道线特征图。
更具体地，在本申请实施例中，所述车辆特征提取模块150，用于将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图。使用在图像特征提取邻域具有优异性能表现的卷积神经网络模型提取所述车辆感兴趣区域的高维图像局部隐含特征。本领域普通技术人员应知晓，卷积神经网络模型利用具有可学习参数的卷积核对图像进行局部特征感知。特别地，在本申请实施例中，考虑到所述车辆感兴趣区域中各个位置的像素值所蕴含的信息量不同，因此，为了充分利用图像像素点在空间维度的信息量差异，将空间注意力机制集成于所述卷积神经网络模型以得到所述第二卷积神经网络模型。
相应地，在一个具体示例中，如图4所示，所述车辆特征提取模块150，包括：车辆卷积编码单元151，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述车辆感兴趣区域进行深度卷积编码以得到车辆高维特征图；车辆空间注意力单元152，用于将所述车辆高维特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到车辆空间注意力图；以及，车辆空间注意力施加单元153，用于分别计算所述车辆高维特征图和所述车辆空间注意力图的按位置点乘以得到所述车辆特征图。
更具体地，在本申请实施例中，所述交互模块160，用于融合所述车道线特征图和所述车辆特征图以得到分类特征图。所述分类特征图用于表示车道线特征图和所述车辆特征图在高维特征空间中的交互情况，即，车辆与道路的高维隐含交互模式特征。在数据层面，可以通过计算所述车道线特征图和所述车辆特征图之间的按位置加权和来得到所述分类特征图。
但是，在通过按位置点加融合所述车道线特征图和所述车辆特征图以得到分类特征图的过程中，因所述车道线特征图的特征分布和所述车辆特征图的特征分布中不同类别的特征集合存在语义错配，这会影响到所述车道线特征图和所述车辆特征图之间的交互特征的表达确定性和精准度，进而影响所述分类特征图通过分类器的分类结果的精准度。因此，优选的，在本申请的技术方案中，对所述车道线特征图和所述车辆特征图进行域自适应类图拓扑融合。
相应地，在一个具体示例中，所述交互模块160，进一步用于：以如下公式融合所述车道线特征图和所述车辆特征图以得到所述分类特征图；其中，所述公式为：
Figure BDA0004105079540000111
其中，Fi表示所述车道线特征图，Fj表示所述车辆特征图，Fc表示所述分类特征图，α和β表示权重超参数，exp(·)表示特征图的指数运算，对特征图进行指数运算表示以特征图中各个位置的特征值为幂的自然指数函数值。
这样，以所述车道线特征图和所述车辆特征图的特征分布中各个位置的特征值为节点且以特征分布间相应位置之间的空间距离的信息化解释作为边，来沿着特征分布的预定方向实现不同特征域图之间的信息鲁棒性交互和传播，以使得融合得到的分类特征图不仅具有像素级别的特征稀疏性和非网络属性，同时还具有相对较优的特征稠密性，以此最大化将所述车道线特征图和所述车辆特征图中不同类目标分布进行对齐和聚合，以提高所述分类特征图的分类精准度。
更具体地，在本申请实施例中，所述预警结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生针对于周边交通参与者的灯光预警提示。也就是，使用所述分类器来确定所述分类特征图所属的类概率标签，所述类概率标签包括产生针对于周边交通参与者的灯光预警提示(第一标签)和不产生针对于周边交通参与者的灯光预警提示(第二标签)。
相应地，在一个具体示例中，所述预警结果生成模块170，进一步用于：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的基于路况识别的智能驾驶预警系统100被阐明，其首先将道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域，接着，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图，然后，融合所述车道线特征图和所述车辆特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示是否产生针对于周边交通参与者的灯光预警提示的分类结果。通过这样的方式，可以提升道路安全，同时提升通行的效率。
如上所述，根据本申请实施例的所述基于路况识别的智能驾驶预警系统100可以实现在各种终端设备中，例如具有基于路况识别的智能驾驶预警算法的服务器等。在一个示例中，基于路况识别的智能驾驶预警系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于路况识别的智能驾驶预警系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于路况识别的智能驾驶预警系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于路况识别的智能驾驶预警系统100与该终端设备也可以是分立的设备，并且该基于路况识别的智能驾驶预警系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图5为根据本申请实施例的基于路况识别的智能驾驶预警方法的流程图。如图5所示，根据本申请实施例的基于路况识别的智能驾驶预警方法，其包括：S110，获取由部署于车辆前部的摄像头采集的道路监控图像；S120，将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；S130，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；S140，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；S150，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；S160，融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及，S170，将所述分类特征图通过分类器以得到分类结果，根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。
图6为根据本申请实施例的基于路况识别的智能驾驶预警方法的系统架构的示意图。如图6所示，在所述基于路况识别的智能驾驶预警方法的系统架构中，首先，获取由部署于车辆前部的摄像头采集的道路监控图像；接着，将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；然后，将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；接着，将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；然后，将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；接着，融合所述车道线特征图和所述车辆特征图以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于确定是否产生针对于周边交通参与者的灯光预警提示。
在一个具体示例中，在上述基于路况识别的智能驾驶预警方法中，所述车道线目标检测网络和所述车辆目标检测网络为基于锚窗的目标检测网络。
在一个具体示例中，在上述基于路况识别的智能驾驶预警方法中，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在一个具体示例中，在上述基于路况识别的智能驾驶预警方法中，所述将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图，包括：使用所述使用空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述车道线感兴趣区域进行深度卷积编码以得到车道线高维特征图；将所述车道线高维特征图输入所述使用空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到车道线空间注意力图；以及，分别计算所述车道线高维特征图和所述车道线空间注意力图的按位置点乘以得到所述车道线特征图。
在一个具体示例中，在上述基于路况识别的智能驾驶预警方法中，所述将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图，包括：使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述车辆感兴趣区域进行深度卷积编码以得到车辆高维特征图；将所述车辆高维特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到车辆空间注意力图；以及，分别计算所述车辆高维特征图和所述车辆空间注意力图的按位置点乘以得到所述车辆特征图。
在一个具体示例中，在上述基于路况识别的智能驾驶预警方法中，所述融合所述车道线特征图和所述车辆特征图以得到分类特征图，进一步包括：以如下公式融合所述车道线特征图和所述车辆特征图以得到所述分类特征图；其中，所述公式为：
Figure BDA0004105079540000141
其中，Fi表示所述车道线特征图，Fj表示所述车辆特征图，Fc表示所述分类特征图，α和β表示权重超参数，exp(·)表示特征图的指数运算，对特征图进行指数运算表示以特征图中各个位置的特征值为幂的自然指数函数值。
在一个具体示例中，在上述基于路况识别的智能驾驶预警方法中，所述将所述分类特征图通过分类器以得到分类结果，根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述基于路况识别的智能驾驶预警方法中的各个步骤的具体操作已经在上面参考图1到图4的基于路况识别的智能驾驶预警系统的描述中得到了详细介绍，并因此，将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于路况识别的智能驾驶预警系统，其特征在于，包括：
监控模块，用于获取由部署于车辆的摄像头采集的道路监控图像；
车道线检测模块，用于将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；
车辆检测模块，用于将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；
车道线特征提取模块，用于将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；
车辆特征提取模块，用于将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；
交互模块，用于融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及
预警结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，
根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。
2.根据权利要求1所述的基于路况识别的智能驾驶预警系统，其特征在于，所述车道线目标检测网络和所述车辆目标检测网络为基于锚窗的目标检测网络。
3.根据权利要求2所述的基于路况识别的智能驾驶预警系统，其特征在于，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
4.根据权利要求3所述的基于路况识别的智能驾驶预警系统，其特征在于，所述车道线特征提取模块，包括：
车道线卷积编码单元，用于使用所述使用空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述车道线感兴趣区域进行深度卷积编码以得到车道线高维特征图；
车道线空间注意力单元，用于将所述车道线高维特征图输入所述使用空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到车道线空间注意力图；以及
车道线空间注意力施加单元，用于分别计算所述车道线高维特征图和所述车道线空间注意力图的按位置点乘以得到所述车道线特征图。
5.根据权利要求4所述的基于路况识别的智能驾驶预警系统，其特征在于，所述车辆特征提取模块，包括：
车辆卷积编码单元，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述车辆感兴趣区域进行深度卷积编码以得到车辆高维特征图；
车辆空间注意力单元，用于将所述车辆高维特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到车辆空间注意力图；以及
车辆空间注意力施加单元，用于分别计算所述车辆高维特征图和所述车辆空间注意力图的按位置点乘以得到所述车辆特征图。
6.根据权利要求5所述的基于路况识别的智能驾驶预警系统，其特征在于，所述交互模块，进一步用于：以如下公式融合所述车道线特征图和所述车辆特征图以得到所述分类特征图；
其中，所述公式为：
Figure FDA0004105079530000021
其中，Fi表示所述车道线特征图，Fj表示所述车辆特征图，Fc表示所述分类特征图，α和β表示权重超参数，exp(·)表示特征图的指数运算，对特征图进行指数运算表示以特征图中各个位置的特征值为幂的自然指数函数值。
7.根据权利要求6所述的基于路况识别的智能驾驶预警系统，其特征在于，所述预警结果生成模块，进一步用于：
将所述分类特征图按照行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
8.一种基于路况识别的智能驾驶预警方法，其特征在于，包括：
获取由部署于车辆的摄像头采集的道路监控图像；
将所述道路监控图像通过车道线目标检测网络以得到车道线感兴趣区域；
将所述道路监控图像通过车辆目标检测网络以得到车辆感兴趣区域；
将所述车道线感兴趣区域通过使用空间注意力机制的第一卷积神经网络模型以得到车道线特征图；
将所述车辆感兴趣区域通过使用空间注意力机制的第二卷积神经网络模型以得到车辆特征图；
融合所述车道线特征图和所述车辆特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，根据所述分类结果确定是否产生针对于周边交通参与者的灯光预警提示。
9.根据权利要求8所述的基于路况识别的智能驾驶预警方法，其特征在于，所述车道线目标检测网络和所述车辆目标检测网络为基于锚窗的目标检测网络。
10.根据权利要求9所述的基于路况识别的智能驾驶预警方法，其特征在于，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
CN202310189714.0A 2023-03-01 2023-03-01 基于路况识别的智能驾驶预警系统及方法 Pending CN116152768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310189714.0A CN116152768A (zh) 2023-03-01 2023-03-01 基于路况识别的智能驾驶预警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310189714.0A CN116152768A (zh) 2023-03-01 2023-03-01 基于路况识别的智能驾驶预警系统及方法

Publications (1)

Publication Number Publication Date
CN116152768A true CN116152768A (zh) 2023-05-23

Family

ID=86356213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310189714.0A Pending CN116152768A (zh) 2023-03-01 2023-03-01 基于路况识别的智能驾驶预警系统及方法

Country Status (1)

Country Link
CN (1) CN116152768A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630909A (zh) * 2023-06-16 2023-08-22 广东特视能智能科技有限公司 基于无人机的无人值守智能监控系统及其方法
CN116872961A (zh) * 2023-09-07 2023-10-13 北京捷升通达信息技术有限公司 用于智能驾驶车辆的控制系统
CN116930042A (zh) * 2023-09-19 2023-10-24 常州建昊建筑鉴定检测有限公司 建筑防水材料性能检测设备及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630909A (zh) * 2023-06-16 2023-08-22 广东特视能智能科技有限公司 基于无人机的无人值守智能监控系统及其方法
CN116630909B (zh) * 2023-06-16 2024-02-02 广东特视能智能科技有限公司 基于无人机的无人值守智能监控系统及其方法
CN116872961A (zh) * 2023-09-07 2023-10-13 北京捷升通达信息技术有限公司 用于智能驾驶车辆的控制系统
CN116872961B (zh) * 2023-09-07 2023-11-21 北京捷升通达信息技术有限公司 用于智能驾驶车辆的控制系统
CN116930042A (zh) * 2023-09-19 2023-10-24 常州建昊建筑鉴定检测有限公司 建筑防水材料性能检测设备及方法
CN116930042B (zh) * 2023-09-19 2023-12-01 常州建昊建筑鉴定检测有限公司 建筑防水材料性能检测设备及方法

Similar Documents

Publication Publication Date Title
CN116152768A (zh) 基于路况识别的智能驾驶预警系统及方法
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
US20060177099A1 (en) System and method for on-road detection of a vehicle using knowledge fusion
EP1255177A2 (en) Image recognizing apparatus and method
CN114091598B (zh) 一种基于语义级信息融合的多车协同环境感知方法
US11062141B2 (en) Methods and apparatuses for future trajectory forecast
CN112489072B (zh) 一种车载视频感知信息传输负载优化方法及装置
Patil et al. Speed bump segmentation an application of conditional generative adversarial network for self-driving vehicles
Liu et al. Towards vehicle-to-everything autonomous driving: A survey on collaborative perception
JP2009096365A (ja) リスク認識システム
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN115937571A (zh) 车用玻璃球面度检测装置及其检测方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN113435232A (zh) 一种物体的检测方法、装置、设备及存储介质
CN113221957B (zh) 一种基于Centernet的雷达信息融合特征增强方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
CN113076840A (zh) 一种车辆后拍图像品牌训练方法
CN112487986A (zh) 基于高精度地图的驾驶辅助识别方法
CN114926819B (zh) 一种复杂场景的未知异常障碍物识别方法及系统
Savkin et al. Adversarial appearance learning in augmented cityscapes for pedestrian recognition in autonomous driving
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN112989978A (zh) 基于高精度地图的驾驶辅助识别方法
CN112584108A (zh) 用于无人机巡检的线路物理损伤监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination