CN117218622A - 路况检测方法、电子设备及存储介质 - Google Patents

路况检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117218622A
CN117218622A CN202210613596.7A CN202210613596A CN117218622A CN 117218622 A CN117218622 A CN 117218622A CN 202210613596 A CN202210613596 A CN 202210613596A CN 117218622 A CN117218622 A CN 117218622A
Authority
CN
China
Prior art keywords
network
training
image
recognition result
feature images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210613596.7A
Other languages
English (en)
Inventor
简士超
郭锦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hon Hai Precision Industry Co Ltd
Original Assignee
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Precision Industry Co Ltd filed Critical Hon Hai Precision Industry Co Ltd
Priority to CN202210613596.7A priority Critical patent/CN117218622A/zh
Priority to US17/846,232 priority patent/US20230386221A1/en
Publication of CN117218622A publication Critical patent/CN117218622A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供了一种路况检测方法、电子设备及存储介质。所述方法包括：获取车辆前方图像作为检测图像；将检测图像输入至训练完成的语义分割模型，语义分割模型包括backbone网络及head网络；利用backbone网络对检测图像进行特征提取，得到多个特征图；将多个特征图输入head网络，head网络的第一分割网络对多个特征图进行处理，得到第一识别结果，及head网络的第二分割网络对多个特征图像进行处理，得到第二识别结果；基于第一识别结果及第二识别结果确定车辆是否可以继续行驶。本申请能够提高自动驾驶的安全性。

Description

路况检测方法、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域、尤其涉及一种路况检测方法、电子设备及存储介质。
背景技术
在车辆的自动驾驶中，环境感知是极为重要的技术。目前，环境感知的功能大多数采用基于深度学习的语义分割方法来达成。语义分割方法使用深度学习的分割模型识别出图像中的物体。然而，上述方法只能识别事先定义好的物体类别，例如识别事先定义好的道路、行人、车等类别，但是实际应用时道路上场景极为复杂，若道路场景上出现未知的物体类别，训练的模型常常识别错误或无法识别，导致车辆可能直接撞上道路中的物体，发生交通事故。
发明内容
鉴于以上内容，有必要提供路况检测方法、电子设备及存储介质，以解决应用的模型无法识别未知类别的物体而导致车辆无法做出相应判断的问题，从而避免交通事故的发生。
本申请实施例提供一种路况检测方法，所述路况检测方法包括：获取车辆前方图像作为检测图像；将所述检测图像输入至训练完成的语义分割模型，所述语义分割模型包括backbone网络及head网络；利用所述backbone网络对所述检测图像进行特征提取，得到多个特征图；将所述多个特征图输入所述head网络，所述head网络的第一分割网络对所述多个特征图进行处理，得到第一识别结果，及所述head网络的第二分割网络对所述多个特征图像进行处理，得到第二识别结果；基于所述第一识别结果及所述第二识别结果确定所述车辆是否可以继续行驶。
在一种可选的实施方式中，所述方法还包括：构建语义分割模型并完成对所述语义分割模型的训练，包括：获取训练图像；将所述训练图像输入至所述backbone网络进行特征提取，得到多个训练特征图；将所述多个训练特征图输入所述head网络，所述第一分割网络对所述多个训练特征图进行处理，得到所述训练图像的第一训练结果；根据所述第一训练结果与预设的第一期望结果，利用预设的损失函数计算所述第一分割网络的第一损失值；所述第二分割网络对所述多个训练特征图进行处理，得到所述训练图像的第二训练结果；根据所述第二训练结果与预设的第二期望结果，利用所述预设的损失函数计算所述第二分割网络的第二损失值；根据所述第一损失值及所述第二损失值，调整所述语义分割模型的参数，得到所述训练完成的语义分割模型。
在一种可选的实施方式中，所述第一训练结果与所述第二训练结果的获取方式包括：利用所述第一分割网络对所述多个训练特征图进行上采样及反卷积处理，得到多个与所述训练图像大小一致的第一训练特征图，利用第一softmax层对每个第一训练特征图按照第一预设像素类别进行分类，得到所述第一训练特征图中每个像素分类的概率，选择最大概率值对应的类别作为所述像素对应的类别，输出所述第一训练结果，其中，所述第一预设像素类别包括预定义的多个物体类别；利用所述第二分割网络对所述多个训练特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的第二训练特征图，利用第二softmax层对每个训练特征图按照第二预设像素类别进行分类，得到所述第二训练特征图中每个像素分类的概率，选择最大概率值对应的类别作为所述像素对应的类别，输出所述第二训练结果，其中，所述第二预设像素类别包括预定义的两个道路类别：车道或非车道。
在一种可选的实施方式中，所述根据所述第一损失值及所述第二损失值，调整所述语义分割模型的参数，得到所述训练完成的语义分割模型包括：将所述第一损失值与所述第二损失值相加得到所述语义分割模型的损失值；采用梯度下降法调整所述语义分割模型的参数，使所述语义分割模型的损失值最小，得到所述训练完成的语义分割模型。
在一种可选的实施方式中，所述方法还包括：采用segnet网络的编码网络作为所述backbone网络；采用segnet网络的解码网络作为所述head网络中的第一分割网络；及新增一segnet网络的解码网络作为所述head网络中的第二分割网络。
在一种可选的实施方式中，所述head网络的第一分割网络对所述多个特征图进行处理，得到第一识别结果包括：将所述检测图像输入至所述backbone网络进行卷积运算及最大池化运算，得到所述检测图像的多个特征图；所述第一分割网络对所述多个特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的第一特征图；利用所述第一softmax层对所述每个第一特征图按照第一预设像素类别进行分类，输出所述检测图像中每个像素所属的类别信息；根据每个像素所属的类别信息确定所述检测图像中所有物体的类别，将所述检测图像中所有物体的类别作为第一识别结果。
在一种可选的实施方式中，所述head网络的第二分割网络对所述多个特征图像进行处理，得到第二识别结果包括：所述第二分割网络对所述多个特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的第二特征图；利用所述第二softmax层对每个第二特征图按照第二预设像素类别进行分类，确定所述检测图像对应的道路类别作为第二识别结果。
在一种可选的实施方式中，所述基于所述第一识别结果及所述第二识别结果确定所述车辆是否可以继续行驶包括：若所述第一识别结果表明已经识别出所述检测图像中的所有物体类别，根据所述第一识别结果中的所有物体的类别确定所述车辆是否可以继续行驶；或若所述第一识别结果表明所述检测图像中存在无法识别的物体并且所述第二识别结果表明道路类别为车道，确定所述车辆可以继续行驶；或若所述第一识别结果表明所述检测图像中存在无法识别的物体并且所述第二识别结果表明道路类别为非车道，确定所述车辆不可以继续行驶。
本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的路况检测方法。
本申请的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的路况检测方法。
本申请实施例提供的上述技术方案，能够在预设模型无法识别车辆前方的物体类别时，对前方物体类别进行再定义与再训练，从而确保自动驾驶车辆能够再次进行识别，通过两次识别相结合相辅助的方式，使得识别结果更精准，从而提高了自动驾驶的安全性。
附图说明
图1为本申请实施例提供的一种路况检测方法的流程图。
图2为本申请实施例提供的语义分割模型结构图。
图3为本申请实施例提供的第一识别结果示意图。
图4为本申请实施例提供的第二识别结果示意图。
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的一些实施例的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请的一些实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
参阅图1所示，图1为本申请实施例提供的一种路况检测方法的流程图。所述方法应用于电子设备(例如，图5所示的电子设备5)中，所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet ProtocolTelevision，IPTV)、智能式穿戴式设备等。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括，但不限于：微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括，但不限于：互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述方法具体包括如下步骤。
101，获取车辆的前方图像作为检测图像。
在本申请的至少一个实施例中，利用安装在车辆内部或者外部的摄像头对车辆前方的区域(例如，视野区域)进行拍摄，并将拍摄所得的图像作为检测图像。
在其他实施例中，还可以利用OpenCV技术从行车记录仪的影像视频中获取的图像作为检测图像。本申请获取检测图像的方式不做具体限定。
102，构建语义分割模型并完成对所述语义分割模型的训练。
在本申请的至少一个实施例中，所述语义分割模型结构参考图2所示，所述语义分割模型包括backbone网络及head网络，其中，所述head网络包括第一分割网络及第二分割网络。
在本申请的至少一个实施例中，所述完成对所述语义分割模型的训练包括：
获取训练图像；
将所述训练图像输入至所述backbone网络进行特征提取，得到多个训练特征图；
将所述多个训练特征图输入所述head网络，所述第一分割网络对所述多个训练特征图进行处理，得到所述训练图像的第一训练结果；
根据所述第一训练结果与预设的第一期望结果，利用预设的损失函数计算所述第一分割网络的第一损失值；
所述第二分割网络对所述多个训练特征图进行处理，得到所述训练图像的第二训练结果；
根据所述第二训练结果与预设的第二期望结果，利用所述预设的损失函数计算所述第二分割网络的第二损失值；
根据所述第一损失值及所述第二损失值，调整所述语义分割模型的参数，得到所述训练完成的语义分割模型。
在本申请的至少一个实施例中，所述获取训练图像包括：
采用PASCAL Visual Object Classes(VOC)数据集中的图像作为训练图像，或采用Cityscapes数据集中的图像作为训练图像，或采用自行拍摄的路况图像作为训练图像对所述语义分割模型进行训练。本申请对此不做具体限定，例如，可以将各种道路场景的图像作为训练图像，训练图像中包括不同的物体作为检测对象，例如，车辆、行人、树木、路障等。
在本申请的至少一个实施例中，若训练图像采用自行拍摄的路况图像作为训练图像，所述方法包括：对所述自行拍摄的路况图像进行数据增强处理以增加所述训练图像，其中所述数据增强处理包括对所述训练样本图像进行翻转、旋转、缩放比例、移位处理。在本实施例中，对自行拍摄的路况图像进行数据增强操作，可以增加训练图像，以提高所述语义分割模型的鲁棒性。
在本申请的至少一个实施例中，将所述训练图像输入所述backbone网络进行特征提取，得到多个训练特征图包括：
采用segnet网络的编码网络作为所述语义分割模型的backbone网络；
所述segnet网络的编码网络包括卷积层、批量标准化(Batch Normalization，BN)层、ReLU激活层及最大池化层(max-Pooling)；
将所述训练图像输入至所述卷积层进行卷积运算提取所述训练图像的特征值，通过BN层将特征值进行标准化处理计算当前的学习率，并经过ReLU激活层、最大池化(max-Pooling)层处理后，输出多个训练特征图。
在本申请的至少一个实施例中，所述将所述多个训练特征图输入所述head网络，所述第一分割网络对所述多个训练特征图进行处理，得到所述训练图像的第一训练结果包括：
采用segnet网络的解码网络作为所述语义分割模型的head网络中的第一分割网络；其中，所述segnet网络的解码层网络包括上采样层、卷积层及第一softmax层。在本实施例中，将所述多个训练特征图输入至所述上采样层进行上采样操作，将训练特征图放大至与训练图像相同的尺寸，随后将经过上采样的训练特征图输入所述卷积层进行卷积运算，得到运算后的第一训练特征图，并将第一训练特征图输入第一softmax层按照第一预设像素类别进行分类，得到所述训练图像中每个像素分类的概率Aik，其中，所述Aik表示训练图像中第i个像素为第k个类别的概率，选择最大概率值对应的类别作为该个像素对应的类别，输出所述训练图像中每个像素所属的类别信息作为所述第一训练结果，根据每个像素所属的类别信息确定所述训练图像中所有物体的类别。
在本实施例中，语义分割模型是基于训练图像以及对应的像素类别标注进行训练得到，多个像素类别可以预先确定。例如，所述第一softmax层预测的第一预设像素类别包括19个预定义的物体类别，包括车辆、行人、树木、路障、路灯、建筑物等。例如，像素分类的类别包括车辆(k＝0)、行人(k＝1)、树木(k＝2)、路障(k＝3)、路灯(k＝4)、建筑物(k＝5)，经过第一softmax层按照第一预设像素类别分类后，得到第i个像素的概率值分别为：Ai0＝0.94、Ai1＝0.23、Ai2＝0.13、Ai3＝0.03、Ai4＝0.02、Ai5＝0.01，最大概率值为0.94，由于对应k＝0，可以确认物体类别为车辆。因此，在此例中，通过对第i个像素的分类的概率的计算与比较，可以确定第i个像素为车辆。
在本申请的至少一个实施例中，所述根据所述第一训练结果与预设的第一期望结果，利用预设的损失函数计算所述第一分割网络的第一损失值包括：
所述损失函数为：
其中，LOSS代表第一损失，y代表预设的第一期望结果，代表第一训练结果。
在本申请的至少一个实施例中，所述第二分割网络对所述多个训练特征图进行处理，得到所述训练图像的第二训练结果包括：
新增加一个segnet网络的解码网络作为所述语义分割模型的head网络中的第二分割网络，其中，所述新增的segnet网络的解码层网络包括上采样层、卷积层及第二softmax层；
将所述多个训练特征图输入至所述上采样层进行上采样操作，将训练特征图放大至与训练图像相同的尺寸，随后将经过上采样的训练特征图输入所述卷积层进行卷积运算，得到第二训练特征图，最后将第二训练特征图输入第二softmax层按照第二预设像素类别进行分类，得到所述训练图像中每个像素分类的概率Abq，其中，所述Abq表示训练图像中第b个像素为第b个类别的概率，选择最大概率值对应的类别作为该个像素对应的类别，确定所述训练图像对应的道路类别作为第二训练结果。
在本实施例中，所述第二预设像素类别包括预定义的两个道路类别：车道或非车道。例如，所述第二softmax层预测两个物体类别，即车道或非车道。例如，像素分类的类别包括车道(q＝10)、非车道(q＝15)，经过第二softmax层按照第二预设像素类别分类后，得到第b个像素的概率值分别为：Ab10＝0.86，Ab15＝0.33，最大概率值为0.86，由于对应q＝10，可以确定类别为车道。因此，在此例中，通过对第b个像素的分类的概率的计算与比较，从而可以得到第b个像素的道路类别为车道。在本实施例中，若训练图像中的物体被识别为车道类别，表明该物体为非障碍物；若训练图像中的物体被识别为非车道类别，表明该物体为障碍物。
在本申请的至少一个实施例中，所述根据所述第二训练结果与预设的第二期望结果，利用所述预设的损失函数计算所述第二分割网络的第二损失值与所述利用所述预设的损失函数计算所述第一分割网络的第一损失值方法相似，本申请在此不再赘述。
在本申请的至少一个实施例中，所述根据所述第一损失值及所述第二损失值，调整所述语义分割模型的参数，得到所述训练完成的语义分割模型包括：
将所述第一损失值与所述第二损失值相加得到所述语义分割模型的损失值；
采用梯度下降法调整所述语义分割模型的参数，使所述语义分割模型的损失值最小，得到训练完成的语义分割模型。在本实施例中，采用的梯度下降算法包括随机梯度下降法(Stochastic Gradient Descent)或者小批量梯度下降法(Mini-batch GradientDescent)。本申请对此不做具体限定。在本实施例中，所述调整所述语义分割模型的参数包括调整所述语义分割模型的学习率或者所述训练图像的迭代训练次数。
103，将所述检测图像输入所述训练完成的语义分割模型中的backbone网络进行特征提取，得到多个特征图。
在本申请的至少一个实施例中，将所述检测图像输入至backbone网络中的卷积层进行卷积运算提取所述检测图像的特征值，通过BN层将特征值进行标准化处理计算当前的学习率，并经过ReLU激活层、最大池化(max-Pooling)层处理后，输出多个特征图。
104，将所述多个特征图输入所述head网络，所述head网络的第一分割网络对所述多个特征图进行处理，输出第一识别结果。
在本申请的至少一个实施例中，将所述多个特征图输入所述head网络，所述head网络的第一分割网络对所述多个特征图进行处理，输出第一识别结果包括：
将所述检测图像输入至所述backbone网络进行卷积运算及最大池化运算，得到所述检测图像的多个特征图；
所述第一分割网络对所述多个特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的特征图；
利用所述第一softmax层对所述多个特征图按照第一预设像素类别进行分类，输出所述检测图像中每个像素所属的类别信息；根据每个像素所属的类别信息确定所述检测图像中所有物体的类别，将所述检测图像中所有物体的类别作为第一识别结果。例如，如图3所示，图3为本申请实施例提供的第一识别结果示意图。图中示出，检测图像经第一分割网络得到的识别结果，将所述检测图像中的物体类别按像素进行分类，得到检测图像上的物体类别。
105，所述head网络的第二分割网络对所述多个特征图进行处理，输出第二识别结果。
在本申请的至少一个实施例中，将所述head网络的第二分割网络对所述多个特征图进行处理，输出第二识别结果包括：
所述第二分割网络对所述多个特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的特征图；
利用所述第二softmax层对所述多个特征图按照第二预设像素类别进行分类，确定所述检测图像对应的道路类别作为第二识别结果，其中，所述道路类别为车道或非车道。例如，如图4所示，图4为本申请实施例提供的第二识别结果示意图。图中示出，检测图像经第二分割网络得到的识别结果，将所述检测图像中的物体类别按像素进行分类，确定所述检测图像对应的道路类别。在本实施例中，将所述车道作为非障碍物，所述非车道作为障碍物。
上述对第一识别结果的获取过程可参考上文对第一训练结果的获取过程，同理，对第二识别结果的获取过程可参考上文对第二训练结果的获取过程，此处不再重复说明。
需要说明的是，所述第一分割网络与所述第二分割网络是同时对接收到的特征图进行处理。当所述第一分割网络得到第一识别结果时，对识别到的类别进行判断，以确定车辆的下一步操作，当第一识别结果显示有无法识别的类别时，调用第二识别结果，根据第二识别结果确定车辆的下一步操作。
106，基于所述第一识别结果及所述第二识别结果确定所述车辆是否可以继续行驶。
在本申请的至少一个实施例中，所述基于所述第一识别结果及所述第二识别结果判断确定所述车辆是否可以继续行驶包括：
若所述第一识别结果表明已经识别出所述检测图像中的所有物体类别，根据所述第一识别结果中的所有物体的类别确定所述车辆是否可以继续行驶；或
若所述第一识别结果表明所述检测图像中存在无法识别的物体并且所述第二识别结果表明道路类别为车道，视为车辆前方不存在障碍物，确定所述车辆可以继续行驶；或
若所述第一识别结果表明所述检测图像中存在无法识别的物体并且所述第二识别结果表明道路类别为非车道，视为车辆前方存在障碍物，确定所述车辆不可以继续行驶。
在本申请的至少一个实施例中，经过所述第一分割网络得到第一识别结果时，若所述第一识别结果无法识别物体类别，则调用第二识别结果判断车辆是否可以继续行驶。例如，若车辆前方有一个婴儿车，在第一分割网络训练时没有将婴儿车的类别放入训练，则第一分割网络识别不出来车辆前方的婴儿车，则调用第二识别结果，第二识别结果表明道路类别为非车道，视为车辆前方存在障碍物，确定所述车辆不可以继续行驶。
以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本申请创造构思的前提下，还可以做出改进，但这些均属于本申请的保护范围。
如图5所示，图5为本申请实施例提供的一种电子设备的结构示意图。所述电子设备5包括存储器501、至少一个处理器502、存储在所述存储器501中并可在所述至少一个处理器502上运行的计算机程序503及至少一条通讯总线504。
本领域技术人员可以理解，图5所示的示意图仅仅是所述电子设备5的示例，并不构成对所述电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备5还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器502可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该至少一个处理器502可以是微处理器或者该至少一个处理器502也可以是任何常规的处理器等，所述至少一个处理器502是所述电子设备5的控制中心，利用各种接口和线路连接整个电子设备5的各个部分。
所述存储器501可用于存储所述计算机程序503，所述至少一个处理器502通过运行或执行存储在所述存储器501内的计算机程序503，以及调用存储在存储器501内的数据，实现所述电子设备5的各种功能。所述存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备5的使用所创建的数据(比如音频数据)等。此外，存储器501可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述电子设备5集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器以及只读存储器(ROM，Read-Only Memory)。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种路况检测方法，其特征在于，所述路况检测方法包括：
获取车辆前方图像作为检测图像；
将所述检测图像输入至训练完成的语义分割模型，所述语义分割模型包括backbone网络及head网络；
利用所述backbone网络对所述检测图像进行特征提取，得到多个特征图；
将所述多个特征图输入所述head网络，所述head网络的第一分割网络对所述多个特征图进行处理，得到第一识别结果，及所述head网络的第二分割网络对所述多个特征图像进行处理，得到第二识别结果；
基于所述第一识别结果及所述第二识别结果确定所述车辆是否可以继续行驶。
2.根据权利要求1所述的路况检测方法，其特征在于，所述方法还包括：
构建语义分割模型并完成对所述语义分割模型的训练，包括：
获取训练图像；
将所述训练图像输入至所述backbone网络进行特征提取，得到多个训练特征图；
将所述多个训练特征图输入所述head网络，所述第一分割网络对所述多个训练特征图进行处理，得到所述训练图像的第一训练结果；
根据所述第一训练结果与预设的第一期望结果，利用预设的损失函数计算所述第一分割网络的第一损失值；
所述第二分割网络对所述多个训练特征图进行处理，得到所述训练图像的第二训练结果；
根据所述第二训练结果与预设的第二期望结果，利用所述预设的损失函数计算所述第二分割网络的第二损失值；
根据所述第一损失值及所述第二损失值，调整所述语义分割模型的参数，得到所述训练完成的语义分割模型。
3.根据权利要求2所述的路况检测方法，其特征在于，所述第一训练结果与所述第二训练结果的获取方式包括：
利用所述第一分割网络对所述多个训练特征图进行上采样及反卷积处理，得到多个与所述训练图像大小一致的第一训练特征图，利用第一softmax层对每个第一训练特征图按照第一预设像素类别进行分类，得到所述训练图像中每个像素分类的概率，选择最大概率值对应的类别作为所述像素对应的类别，输出所述第一训练结果，其中，所述第一预设像素类别包括预定义的多个物体类别；
利用所述第二分割网络对所述多个训练特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的第二训练特征图，利用第二softmax层对每个训练特征图按照第二预设像素类别进行分类，得到所述训练图像中每个像素分类的概率，选择最大概率值对应的类别作为所述像素对应的类别，输出所述第二训练结果，其中，所述第二预设像素类别包括预定义的两个道路类别：车道或非车道。
4.根据权利要求2所述的路况检测方法，其特征在于，所述根据所述第一损失值及所述第二损失值，调整所述语义分割模型的参数，得到所述训练完成的语义分割模型包括：
将所述第一损失值与所述第二损失值相加得到所述语义分割模型的损失值；
采用梯度下降法调整所述语义分割模型的参数，使所述语义分割模型的损失值最小，得到所述训练完成的语义分割模型。
5.根据权利要求1至4中任一项所述的路况检测方法，其特征在于，所述方法还包括：
采用segnet网络的编码网络作为所述backbone网络；
采用segnet网络的解码网络作为所述head网络中的第一分割网络；及
新增一segnet网络的解码网络作为所述head网络中的第二分割网络。
6.根据权利要求5所述的路况检测方法，其特征在于，所述head网络的第一分割网络对所述多个特征图进行处理，得到第一识别结果包括：
将所述检测图像输入至所述backbone网络进行卷积运算及最大池化运算，得到所述检测图像的多个特征图；
所述第一分割网络对所述多个特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的第一特征图；
利用所述第一softmax层对所述每个第一特征图按照第一预设像素类别进行分类，输出所述检测图像中每个像素所属的类别信息；
根据每个像素所属的类别信息确定所述检测图像中所有物体的类别，将所述检测图像中所有物体的类别作为第一识别结果。
7.根据权利要求5所述的路况检测方法，其特征在于，所述head网络的第二分割网络对所述多个特征图像进行处理，得到第二识别结果包括：
所述第二分割网络对所述多个特征图进行上采样及反卷积处理，得到多个与所述检测图像大小一致的第二特征图；
利用所述第二softmax层对每个第二特征图按照第二预设像素类别进行分类，确定所述检测图像对应的道路类别作为第二识别结果。
8.根据权利要求7所述的路况检测方法，其特征在于，所述基于所述第一识别结果及所述第二识别结果确定所述车辆是否可以继续行驶包括：
若所述第一识别结果表明已经识别出所述检测图像中的所有物体类别，根据所述第一识别结果中的所有物体的类别确定所述车辆是否可以继续行驶；或
若所述第一识别结果表明所述检测图像中存在无法识别的物体并且所述第二识别结果表明道路类别为车道，确定所述车辆可以继续行驶；或
若所述第一识别结果表明所述检测图像中存在无法识别的物体并且所述第二识别结果表明道路类别为非车道，确定所述车辆不可以继续行驶。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至8任意一项所述的路况检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至8任意一项所述的路况检测方法。
CN202210613596.7A 2022-05-31 2022-05-31 路况检测方法、电子设备及存储介质 Pending CN117218622A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210613596.7A CN117218622A (zh) 2022-05-31 2022-05-31 路况检测方法、电子设备及存储介质
US17/846,232 US20230386221A1 (en) 2022-05-31 2022-06-22 Method for detecting road conditions and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210613596.7A CN117218622A (zh) 2022-05-31 2022-05-31 路况检测方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117218622A true CN117218622A (zh) 2023-12-12

Family

ID=88876592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210613596.7A Pending CN117218622A (zh) 2022-05-31 2022-05-31 路况检测方法、电子设备及存储介质

Country Status (2)

Country Link
US (1) US20230386221A1 (zh)
CN (1) CN117218622A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542012B (zh) * 2024-01-09 2024-04-12 武汉易为泰汽车技术开发股份有限公司 基于5g短切片专网传输的新能源汽车控制方法及系统
CN117649632B (zh) * 2024-01-29 2024-05-07 杭州感想科技有限公司 基于多源交通数据的高速公路事件识别方法及识别装置

Also Published As

Publication number Publication date
US20230386221A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
JP2019061658A (ja) 領域判別器訓練方法、領域判別装置、領域判別器訓練装置及びプログラム
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
WO2021003823A1 (zh) 基于视频帧图片分析的车辆违停检测方法及装置
CN117218622A (zh) 路况检测方法、电子设备及存储介质
WO2020258077A1 (zh) 一种行人检测方法及装置
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
WO2022206414A1 (zh) 三维目标检测方法及装置
WO2023138538A1 (zh) 车载视频稳像方法、装置、车辆及存储介质
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
CN111160274B (zh) 一种基于二值化Faster RCNN网络的行人检测方法
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN114724128B (zh) 一种车牌识别方法、装置、设备和介质
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
TWI832270B (zh) 路況檢測方法、電子設備及計算機可讀存儲媒體
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
US20220058416A1 (en) Printed character recognition
CN112990009A (zh) 基于端到端的车道线检测方法、装置、设备及存储介质
CN114118188A (zh) 针对待检测图像中移动对象的处理系统、方法和存储介质
CN112270232A (zh) 对车辆周围的弱势交通参与者进行分类的方法和装置
CN112132031A (zh) 车款识别方法、装置、电子设备及存储介质
CN113468938A (zh) 交通图像识别方法、装置、图像处理设备及可读存储介质
CN110942008A (zh) 一种基于深度学习的面单信息定位方法和系统
US20230386222A1 (en) Method for detecting three-dimensional objects in roadway and electronic device
CN113158976B (zh) 地面箭头的识别方法、系统、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination