CN114140767A - 路面检测方法、装置、设备及存储介质 - Google Patents

路面检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114140767A
CN114140767A CN202111393277.1A CN202111393277A CN114140767A CN 114140767 A CN114140767 A CN 114140767A CN 202111393277 A CN202111393277 A CN 202111393277A CN 114140767 A CN114140767 A CN 114140767A
Authority
CN
China
Prior art keywords
road
image
road surface
target
surface detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111393277.1A
Other languages
English (en)
Inventor
徐梦佳
李斯
杨周龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202111393277.1A priority Critical patent/CN114140767A/zh
Publication of CN114140767A publication Critical patent/CN114140767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，公开了一种路面检测方法、装置、设备及存储介质，用于提高路面检测的检测速度，进而提升了车辆的安全性。路面检测方法包括：通过预置拍摄设备获取道路图像，其中，所述道路图像包括路面图像和道路附属物图像；通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，其中，所述路面检测模型包括骨干网络EfficientNet backbone、特征网络BiFPN和预测网络Boxpredictionnet；根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；将所述路面报警信息和所述应急措施信息发送至车载预警终端。

Description

路面检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种路面检测方法、装置、设备及存储介质。
背景技术
路面检测是通过对行驶车辆前方的图像进行检测分析，从而对破损路面和道路附属物进行预警，辅助驾驶员对破损路面和道路附属物提前进行相对应的驾驶操作，防止发生交通事故。现有的路面检测主要利用基于深度学习算法，对路面图像中的目标进行检测。
现有的路面检测技术中，深度学习算法在与嵌入式设备、移动设备等平台结合下，运行速度慢，无法快速地对破损路面和道路附属物进行检测预警。
发明内容
本发明提供了一种路面检测方法、装置、设备及存储介质，用于提高路面检测的检测速度，进而提升了车辆的安全性。
本发明第一方面提供了一种路面检测方法，包括：通过预置拍摄设备获取道路图像，其中，所述道路图像包括路面图像和道路附属物图像；通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，其中，所述路面检测模型包括骨干网络EfficientNet backbone、特征网络BiFPN和预测网络Boxpredictionnet；根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；将所述路面报警信息和所述应急措施信息发送至车载预警终端。
可选的，在本发明第一方面的第一种实现方式中，所述通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，包括：通过所述骨干网络EfficientNetbackbone对所述道路图像进行处理，得到所述道路图像的基础特征数据；通过所述特征网络BiFPN对所述基础特征数据进行特征融合，得到目标特征数据；通过所述预测网络Boxpredictionnet对所述目标特征数据进行预测处理，得到所述目标道路图像。
可选的，在本发明第一方面的第二种实现方式中，所述根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，包括：获取所述目标道路图像的目标特征数据；根据所述目标特征数据确定所述目标道路图像的道路图像种类；根据所述道路图像种类在预置预警模型中确定对应的路面报警信息和应急措施信息。
可选的，在本发明第一方面的第三种实现方式中，所述在所述通过预置拍摄设备获取道路图像之前，还包括：根据历史道路图像生成预置的路面检测模型，其中，所述历史道路图像包括历史破损路面图像和历史道路附属物图像。
可选的，在本发明第一方面的第四种实现方式中，所述根据历史道路图像生成预置的路面检测模型，包括：获取历史道路图像；根据所述历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型；通过smooth loss函数对所述初始模型进行优化，生成预置的路面检测模型。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型，包括：通过所述目标检测网络EfficientDet的骨干网络EfficientNet backbone对所述历史道路图像进行特征提取,得到5个有效特征层，其中，所述骨干网络EfficientNet backbone包括P0-P7特征层，所述5个有效特征层包括P3-P7有效特征层；通过所述特征网络BiFPN对所述5个有效特征层进行加权特征融合，得到5个目标特征层；通过所述预测网络Boxpredictionnet对所述5个目标特征层进行预测处理，生成预测图像，得到初始模型。
可选的，在本发明第一方面的第六种实现方式中，所述通过smooth loss函数对所述初始模型进行优化，生成预置的路面检测模型，包括：获取所述历史道路图像的真实框，并获取所述预测图像的预测框；通过所述smooth loss函数判断所述真实框和所述预测框的重合度；当所述重合度大于阈值时，将所述预测图像确定为目标图像，生成预置的路面检测模型。
本发明第二方面提供了一种路面检测装置，包括：获取模块，用于通过预置拍摄设备获取道路图像，其中，所述道路图像包括路面图像和道路附属物图像；识别模块，用于通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，其中，所述路面检测模型包括骨干网络EfficientNetbackbone、特征网络BiFPN和预测网络Boxpredictionnet；确定模块，用于根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；发送模块，用于将所述路面报警信息和所述应急措施信息发送至车载预警终端。
可选的，在本发明第二方面的第一种实现方式中，所述识别模块包括：图像处理单元，用于通过所述骨干网络EfficientNet backbone对所述道路图像进行处理，得到所述道路图像的基础特征数据；基础特征融合单元，用于通过所述特征网络BiFPN对所述基础特征数据进行特征融合，得到目标特征数据；预测处理单元，用于通过所述预测网络Boxpredictionnet对所述目标特征数据进行预测处理，得到所述目标道路图像。
可选的，在本发明第二方面的第二种实现方式中，所述确定模块包括：目标特征获取单元，用于获取所述目标道路图像的目标特征数据；图像种类确定单元，用于根据所述目标特征数据确定所述目标道路图像的道路图像种类；预警确定单元，用于根据所述道路图像种类在预置预警模型中确定对应的路面报警信息和应急措施信息。
可选的，在本发明第二方面的第三种实现方式中，所述路面检测装置还包括：路面检测模型生成模块，用于根据历史道路图像生成预置的路面检测模型，其中，所述历史道路图像包括历史破损路面图像和历史道路附属物图像。
可选的，在本发明第二方面的第四种实现方式中，所述路面检测模型生成模块，包括：历史图像获取单元，用于获取历史道路图像；模型训练单元，用于根据所述历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型；模型优化单元，用于通过smoothloss函数对所述初始模型进行优化，生成预置的路面检测模型。
可选的，在本发明第二方面的第五种实现方式中，所述模型训练单元包括：特征层提取子单元，用于通过所述目标检测网络EfficientDet的骨干网络EfficientNetbackbone对所述历史道路图像进行特征提取,得到5个有效特征层，其中，所述骨干网络EfficientNet backbone包括P0-P7特征层，所述5个有效特征层包括P3-P7有效特征层；特征层融合子单元，用于通过所述特征网络BiFPN对所述5个有效特征层进行加权特征融合，得到5个目标特征层；初始模型生成子单元，用于通过所述预测网络Boxpredictionnet对所述5个目标特征层进行预测处理，生成预测图像，得到初始模型。
可选的，在本发明第二方面的第六种实现方式中，所述模型优化单元包括：图像框获取子单元，用于获取所述历史道路图像的真实框，并获取所述预测图像的预测框；重合度判断子单元，用于通过所述smooth loss函数判断所述真实框和所述预测框的重合度；预置模型生成子单元，用于当所述重合度大于阈值时，将所述预测图像确定为目标图像，生成预置的路面检测模型。
本发明第三方面提供了一种路面检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述路面检测设备执行上述的路面检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的路面检测方法。
本发明提供的技术方案中，通过预置拍摄设备获取道路图像，其中，所述道路图像包括路面图像和道路附属物图像；通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，其中，所述路面检测模型包括骨干网络EfficientNet backbone、特征网络BiFPN和预测网络Boxpredictionnet；根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；将所述路面报警信息和所述应急措施信息发送至车载预警终端。本发明实施例中，根据车载拍摄设备拍摄的道路图像，构建EfficientDet网络模型对道路图像进行识别，实现对破损路面和道路附属物进行提前检测和预警，从而提高了路面检测的检测速度，进而提升了车辆的安全性。
附图说明
图1为本发明实施例中路面检测方法的一个实施例示意图；
图2为本发明实施例中路面检测方法的另一个实施例示意图；
图3为本发明实施例中路面检测装置的一个实施例示意图；
图4为本发明实施例中路面检测装置的另一个实施例示意图；
图5为本发明实施例中路面检测设备的一个实施例示意图。
具体实施方式
本发明提供了一种路面检测方法、装置、设备及存储介质，用于提高路面检测的检测速度，进而提升了车辆的安全性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中路面检测方法的一个实施例包括：
101、通过预置拍摄设备获取道路图像，其中，道路图像包括路面图像和道路附属物图像；
可以理解的是，本发明的执行主体可以为路面检测装置，还可以是路面检测终端，具体此处不做限定。本发明实施例以路面检测终端为执行主体为例进行说明。
其中，路面图像包括多种路面状况图像，例如，路面图像可以包括路面平坦、积水、裂缝、凹陷和凸起等路面状况。道路附属物图像包括多种道路附属物的图像，例如，道路附属物图像可以包括隔离栏、信号灯、斑马线、车道线和限速标识等道路附属物。
102、通过预置的路面检测模型对道路图像进行识别，得到目标道路图像,其中，路面检测模型包括骨干网络EfficientNet backbone、特征网络BiFPN和预测网络Boxpredictionnet；
路面检测终端通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，其中，路面检测模型包括骨干网络EfficientNet backbone、特征网络BiFPN和预测网络Boxpredictionnet。其中，骨干网络EfficientNet backbone用于对道路图像进行特征提取，特征网络BiFPN用于对道路图像进行特征融合，预测网络Boxpredictionnet用于对道路图像进行预测。
路面检测终端通过预置的路面检测模型对道路图像进行实时识别，快速识别出道路图像中的目标图像，预置的路面检测模型为EfficientDet网络模型，在车辆行驶过程中，EfficientDet网络模型对车载相机拍摄的道路图像进行实时识别，若识别出道路存在破损路面图像或道路附属物图像，则将破损路面图像或道路附属物图像传输至预置预警模型，例如，若道路图像中出现路面裂缝，则识别出裂缝，得到的目标道路图像为路面裂缝图像，将路面裂缝图像传输至预置预警模型；又例如，若道路图像中出现斑马线，则识别出斑马线，得到的目标道路图像为斑马线图像，将斑马线图像传输至预置预警模型。
103、根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；
路面检测终端根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，其中，目标道路图像用于确定道路图像种类，例如，若目标道路图像中出现路面积水，则确定道路图像种类为积水类型；若目标道路图像中出现信号灯，则确定道路图像种类为信号灯类型。可以理解的是，预置预警模型可以提前设置多种路面报警信息和对应的多种应急措施信息，例如，路面报警信息可以包括声音报警信息和灯光报警信息等路面报警信息，应急措施信息可以包括减速提醒信息、变道提醒信息和急刹车提醒信息等应急措施信息。
104、将路面报警信息和应急措施信息发送至车载预警终端。
路面检测终端将路面报警信息和应急措施信息发送至车载预警终端，其中，车载预警终端用于在车辆行驶过程中提前对破损路面和道路附属物进行预警，并提醒车辆驾驶员进行相对应的应急措施，辅助车辆驾驶员在破损路面或道路附属物出现时提前进行相对应的驾驶操作。例如，当目标道路图像中出现路面凹陷时，路面检测终端将对应的路面报警信息和对应的应急措施信息发送至车载预警终端，车载预警终端进行预警，发出声音报警，并播放“路面凹陷，请变道”语音的应急措施信息，提醒车辆驾驶员前方道路出现路面凹陷，以及进行变道的驾驶操作。又例如，当目标道路图像中出现斑马线时，路面检测终端将对应的路面报警信息和对应的应急措施信息发送至车载预警终端，车载预警终端进行预警，产生灯光报警，并播放“斑马线，请减速”语音的应急措施信息，提醒车辆驾驶员前方道路出现斑马线，以及进行减速的驾驶操作。
本发明实施例中，通过预置拍摄设备获取道路图像，通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，将路面报警信息和应急措施信息发送至车载预警终端，从而提高了路面检测的检测速度，进而提升了车辆的安全性。
请参阅图2，本发明实施例中路面检测方法的另一个实施例包括：
201、根据历史道路图像生成预置的路面检测模型，其中，历史道路图像包括历史破损路面图像和历史道路附属物图像；
其中，获取历史道路图像；根据历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型；通过smooth loss函数对初始模型进行优化，生成预置的路面检测模型。
具体的，通过目标检测网络EfficientDet的骨干网络EfficientNet backbone对历史道路图像进行特征提取,得到5个有效特征层，其中，骨干网络EfficientNet backbone包括P0-P7特征层，5个有效特征层包括P3-P7有效特征层；例如，骨干网络EfficientNetbackbone的P0-P7特征层可以通过1x1卷积进行特征层上升，并通过3x3卷积对每一个特征层进行卷积，再通过1x1卷积进行特征层下降，得到5个有效特征层，5个有效特征层包括P3、P4、P5、P6、P7有效特征层。通过特征网络BiFPN对5个有效特征层进行加权特征融合，得到5个目标特征层；例如，5个有效特征层包括P3、P4、P5、P6、P7有效特征层，对P3、P4、P5、P6、P7进行第一次堆叠，P7和P6进行堆叠得到P6_td，P6_td和P5进行堆叠得到P5_td，P5_td和P4进行堆叠得到P4_td，P4_td和P3进行堆叠得到P3_out，经过第一次堆叠得到P3_out、P4_td、P5_td、P6_td，进行第二次堆叠，P3_out和P4_td进行堆叠得到P4_out，P4_out和P5_td进行堆叠得到P5_out，P5_out和P6_td进行堆叠得到P6_out，P6_out和P7_td进行堆叠得到P7_out，经过第二次堆叠得到P3_out、P4_out、P5_out、P6_out、P7_out，根据第一次堆叠和第二次堆叠的操作，再进行两次相同的第一次堆叠和第二次堆叠，得到5个目标特征层P3_out、P4_out、P5_out、P6_out、P7_out。通过预测网络Boxpredictionnet对5个目标特征层进行预测处理，生成预测图像，得到初始模型。例如，预测网络Boxpredictionnet的每个目标特征层将整个图像分成与图像长宽对应的网格，目标特征层可以是P3_out，P3_out将图像分成64*64个网格，并在每个网格的中心建立9个先验框，一共64*64*9个，即36864个先验框，通过卷积对先验框的左上角和右下角进行位置的调整，得到预测框，生成预测图像，得到初始模型。获取历史道路图像的真实框，并获取预测图像的预测框；通过smooth loss函数判断真实框和预测框的重合度；当重合度大于阈值时，将预测图像确定为目标图像，生成预置的路面检测模型。例如，通过预测网络Boxpredictionnet获取历史道路图像的真实框，并获取预测图像的预测框，通过smooth loss函数判断真实框和预测框的重合度，重合度的阈值可以是0.4，将重合度小于或等于0.4的预测框进行去除，将重合度大于0.4的预测框进行融合，得到预测图像，将预测图像确定为目标图像，生成预置的路面检测模型。
202、通过预置拍摄设备获取道路图像，其中，道路图像包括路面图像和道路附属物图像；
其中，路面图像包括多种路面状况图像，例如，路面图像可以包括路面平坦、积水、裂缝、凹陷和凸起等路面状况。道路附属物图像包括多种道路附属物的图像，例如，道路附属物图像可以包括隔离栏、信号灯、斑马线、车道线和限速标识等道路附属物。
预置拍摄设备对道路进行实时拍摄，将实时拍摄的道路图像传输到预置的路面检测模型进行识别，例如，预置拍摄设备可以是车载相机，在车辆行驶过程中，车载相机对车辆前方的道路进行实时拍摄，将实时拍摄的道路图像传输至路面检测模型进行识别。
203、通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，其中，路面检测模型包括骨干网络EfficientNetbackbone、特征网络BiFPN和预测网络Boxpredictionnet；
路面检测终端通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，其中，路面检测模型包括骨干网络EfficientNet backbone、特征网络BiFPN和预测网络Boxpredictionnet。其中，骨干网络EfficientNet backbone用于对道路图像进行特征提取，特征网络BiFPN用于对道路图像进行特征融合，预测网络Boxpredictionnet用于对道路图像进行预测。
路面检测终端通过预置的路面检测模型对道路图像进行实时识别，快速识别出道路图像中的目标图像，预置的路面检测模型为EfficientDet网络模型，在车辆行驶过程中，EfficientDet网络模型对车载相机拍摄的道路图像进行实时识别，若识别出道路存在破损路面图像或道路附属物图像，则将破损路面图像或道路附属物图像传输至预置预警模型，例如，若道路图像中出现路面裂缝，则识别出裂缝，得到的目标道路图像为路面裂缝图像，将路面裂缝图像传输至预置预警模型；又例如，若道路图像中出现斑马线，则识别出斑马线，得到的目标道路图像为斑马线图像，将斑马线图像传输至预置预警模型。
具体的，通过骨干网络EfficientNet backbone对道路图像进行处理，得到道路图像的基础特征数据；例如，不同的特征可以提取不同的基础特征数据Feature map，对道路图像中目标的形状边缘进行特征提取，提取到1个形状边缘Feature map，对道路图像中目标的直线形状进行特征提取，提取到1个直线形状Feature map，对灰度的道路图像进行特征提取，提取到1个灰度Feature map。通过特征网络BiFPN对基础特征数据进行特征融合，得到目标特征数据；例如，当道路图像中有多处积水时，对积水的形状边缘进行特征提取，得到的基础特征数据为曲线边缘，将这些曲线边缘进行融合，得到的目标特征数据为曲线边缘特征。通过预测网络Boxpredictionnet对目标特征数据进行预测处理，得到目标道路图像。例如，当道路图像中有斑马线时，对斑马线的长方形边缘进行特征提取，得到的目标特征数据为长方形边缘特征，预测网络Box prediction net根据长方形边缘特征生成预测的斑马线图像。
204、根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；
具体的，路面检测终端获取目标道路图像的目标特征数据；路面检测终端根据目标特征数据确定目标道路图像的道路图像种类；路面检测终端根据道路图像种类在预置预警模型中确定对应的路面报警信息和应急措施信息。
其中，目标道路图像用于确定道路图像种类，例如，若目标道路图像中出现路面积水，则确定道路图像种类为积水类型；若目标道路图像中出现信号灯，则确定道路图像种类为信号灯类型。可以理解的是，预置预警模型可以提前设置多种路面报警信息和对应的多种应急措施信息，例如，路面报警信息可以包括声音报警信息和灯光报警信息等路面报警信息，应急措施信息可以包括减速提醒信息、变道提醒信息和急刹车提醒信息等应急措施信息。
例如，若目标道路图像中出现路面凹陷，通过特征提取得到路面凹陷的曲面边缘特征，根据曲面边缘特征确定道路图像种类为路面凹陷类型，根据路面凹陷类型，在预置预警模型中可以将声音报警确定为路面报警信息，可以将播放“路面凹陷，请变道”的语音确定为应急措施信息；若目标道路图像中出现限速标识，通过特征提取得到限速标识的曲线特征，根据曲线特征确定道路图像种类为限速类型，根据限速类型，在预置预警模型中可以将灯光报警确定为路面报警信息，依据具体限制时速，调整播放语音，假如限速为30时，将播放“限速30，请减速”的语音确定为应急措施信息，假如限速为60时，将播放“限速60，请减速”的语音确定为应急措施信息。又例如，当目标道路图像中同时出现路面积水和行人时，获取的目标特征数据包括积水的曲线边缘特征和行人的曲线边缘特征，根据积水的曲线边缘特征和行人的曲线边缘特征确定道路图像种类为积水行人类型，在预置预警模型中将声音报警和灯光报警确定为路面报警信息，将播放“前方有积水和行人，请减速”的语音确定为应急措施信息；若目标道路图像中同时出现斑马线和行人，通过特征提取得到斑马线的长方形特征和行人的曲线边缘特征，根据斑马线的长方形特征和行人的曲线边缘特征确定道路图像种类为斑马线行人类型，在预置预警模型中将声音报警和灯光报警确定为路面报警信息，将播放“前方有斑马线和行人，请停车”的语音确定为应急措施信息。
205、将路面报警信息和应急措施信息发送至车载预警终端。
路面检测终端将路面报警信息和应急措施信息发送至车载预警终端，其中，车载预警终端用于在车辆行驶过程中提前对破损路面和道路附属物进行预警，并提醒车辆驾驶员进行相对应的应急措施，辅助车辆驾驶员在破损路面或道路附属物出现时提前进行相对应的驾驶操作。例如，当目标道路图像中出现路面凹陷时，路面检测终端将对应的路面报警信息和对应的应急措施信息发送至车载预警终端，车载预警终端进行预警，发出声音报警，并播放“路面凹陷，请变道”语音的应急措施信息，提醒车辆驾驶员前方道路出现路面凹陷，以及进行变道的驾驶操作。又例如，当目标道路图像中出现斑马线时，路面检测终端将对应的路面报警信息和对应的应急措施信息发送至车载预警终端，车载预警终端进行预警，产生灯光报警，并播放“斑马线，请减速”语音的应急措施信息，提醒车辆驾驶员前方道路出现斑马线，以及进行减速的驾驶操作。
例如，当目标道路图像中同时出现路面积水和行人时，车载预警终端进行预警，发出声音报警和灯光报警，并播放“前方有积水和行人，请减速”语音的应急措施信息，提醒车辆驾驶员前方道路出现路面积水和行人，以及进行减速的驾驶操作；当目标道路图像中同时出现斑马线和行人时，车载预警终端进行预警，发出声音报警和灯光报警，并播放“前方有斑马线和行人，请停车”语音的应急措施信息，提醒车辆驾驶员前方道路出现斑马线和行人，以及进行停车的驾驶操作。
其中，车载预警终端根据不同的路面报警信息进行不同的声光报警，从而提醒驾驶员前方道路出现破损路面、道路附属物或行人，例如，若目标道路图像中出现路面凹陷，则灯光闪烁，若目标道路图像中出现斑马线，则蜂鸣器长鸣，从而提醒驾驶员前方道路出现破损路面或道路附属物，若目标道路图像中同时出现斑马线和行人，则蜂鸣器长鸣和灯光闪烁，从而提醒驾驶员前方道路出现斑马线和行人。车载预警终端根据不同的应急措施信息进行不同的语音播放，从而快速辅助驾驶员进行相对应的驾驶操作，例如，若目标道路图像中出现路面裂缝，则播放“路面裂缝，请变道”语音，若目标道路图像中出现信号灯，则播放“信号灯，请减速”语音，若目标道路图像中同时出现斑马线和行人，则播放“前方有斑马线和行人，请停车”语音，从而快速辅助驾驶员进行相对应的驾驶操作。
本发明实施例中，通过预置拍摄设备获取道路图像，通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，将路面报警信息和应急措施信息发送至车载预警终端，从而提高了路面检测的检测速度，进而提升了车辆的安全性。
上面对本发明实施例中路面检测方法进行了描述，下面对本发明实施例中路面检测装置进行描述，请参阅图3，本发明实施例中路面检测装置一个实施例包括：
获取模块301，用于通过预置拍摄设备获取道路图像，其中，道路图像包括路面图像和道路附属物图像；
识别模块302，用于通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，其中，路面检测模型包括骨干网络EfficientNetbackbone、特征网络BiFPN和预测网络Boxpredictionnet；
确定模块303，用于根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；
发送模块304，用于将路面报警信息和应急措施信息发送至车载预警终端。
本发明实施例中，通过预置拍摄设备获取道路图像，通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，将路面报警信息和应急措施信息发送至车载预警终端，从而提高了路面检测的检测速度，进而提升了车辆的安全性。
请参阅图4，本发明实施例中路面检测装置的另一个实施例包括：
获取模块301，用于通过预置拍摄设备获取道路图像，其中，道路图像包括路面图像和道路附属物图像；
识别模块302，用于通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，其中，路面检测模型包括骨干网络EfficientNetbackbone、特征网络BiFPN和预测网络Boxpredictionnet；
确定模块303，用于根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；
发送模块304，用于将路面报警信息和应急措施信息发送至车载预警终端。
可选的，识别模块302包括：
图像处理单元3021，用于通过骨干网络EfficientNet backbone对道路图像进行处理，得到道路图像的基础特征数据；
基础特征融合单元3022，用于通过特征网络BiFPN对基础特征数据进行特征融合，得到目标特征数据；
预测处理单元3023，用于通过预测网络Boxpredictionnet对目标特征数据进行预测处理，得到目标道路图像。
可选的，确定模块303包括：
目标特征获取单元3031，用于获取目标道路图像的目标特征数据；
图像种类确定单元3032，用于根据目标特征数据确定目标道路图像的道路图像种类；
预警确定单元3033，用于根据道路图像种类在预置预警模型中确定对应的路面报警信息和应急措施信息。
可选的，路面检测装置还包括：
路面检测模型生成模块305，用于根据历史道路图像生成预置的路面检测模型，其中，历史道路图像包括历史破损路面图像和历史道路附属物图像。
可选的，路面检测模型生成模块305包括：
历史图像获取单元3051，用于获取历史道路图像；
模型训练单元3052，用于根据历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型；
模型优化单元3053，用于通过smooth loss函数对初始模型进行优化，生成预置的路面检测模型。
可选的，模型训练单元3052包括：
特征层提取子单元30521，用于通过目标检测网络EfficientDet的骨干网络EfficientNet backbone对历史道路图像进行特征提取,得到5个有效特征层，其中，骨干网络EfficientNet backbone包括P0-P7特征层，5个有效特征层包括P3-P7有效特征层；
特征层融合子单元30522，用于通过特征网络BiFPN对5个有效特征层进行加权特征融合，得到5个目标特征层；
初始模型生成子单元30523，用于通过预测网络Boxpredictionnet对5个目标特征层进行预测处理，生成预测图像，得到初始模型。
可选的，模型优化单元3053包括：
图像框获取子单元30531，用于获取历史道路图像的真实框，并获取预测图像的预测框；
重合度判断子单元30532，用于通过smooth loss函数判断真实框和预测框的重合度；
预置模型生成子单元30533，用于当重合度大于阈值时，将预测图像确定为目标图像，生成预置的路面检测模型。
本发明实施例中，通过预置拍摄设备获取道路图像，通过预置的路面检测模型对道路图像进行识别，得到目标道路图像，根据目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，将路面报警信息和应急措施信息发送至车载预警终端，从而提高了路面检测的检测速度，进而提升了车辆的安全性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的路面检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中路面检测设备进行详细描述。
图5是本发明实施例提供的一种路面检测设备的结构示意图，该路面检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对路面检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在路面检测设备500上执行存储介质530中的一系列指令操作。
路面检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的路面检测设备结构并不构成对路面检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种路面检测设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述路面检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述路面检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种路面检测方法，其特征在于，所述路面检测方法包括：
通过预置拍摄设备获取道路图像，其中，所述道路图像包括路面图像和道路附属物图像；
通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，其中，所述路面检测模型包括骨干网络EfficientNetbackbone、特征网络BiFPN和预测网络Boxpredictionnet；
根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；
将所述路面报警信息和所述应急措施信息发送至车载预警终端。
2.根据权利要求1所述的路面检测方法，其特征在于，所述通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，包括：
通过所述骨干网络EfficientNet backbone对所述道路图像进行处理，得到所述道路图像的基础特征数据；
通过所述特征网络BiFPN对所述基础特征数据进行特征融合，得到目标特征数据；
通过所述预测网络Boxpredictionnet对所述目标特征数据进行预测处理，得到所述目标道路图像。
3.根据权利要求1所述的路面检测方法，其特征在于，所述根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息，包括：
获取所述目标道路图像的目标特征数据；
根据所述目标特征数据确定所述目标道路图像的道路图像种类；
根据所述道路图像种类在预置预警模型中确定对应的路面报警信息和应急措施信息。
4.根据权利要求1所述的路面检测方法，其特征在于，在所述通过预置拍摄设备获取道路图像之前，还包括：
根据历史道路图像生成预置的路面检测模型，其中，所述历史道路图像包括历史破损路面图像和历史道路附属物图像。
5.根据权利要求4所述的路面检测方法，其特征在于，所述根据历史道路图像生成预置的路面检测模型，包括：
获取历史道路图像；
根据所述历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型；
通过smooth loss函数对所述初始模型进行优化，生成预置的路面检测模型。
6.根据权利要求5所述的路面检测方法，其特征在于，所述根据所述历史道路图像对目标检测网络EfficientDet进行训练，得到初始模型，包括：
通过所述目标检测网络EfficientDet的骨干网络EfficientNet backbone对所述历史道路图像进行特征提取,得到5个有效特征层，其中，所述骨干网络EfficientNet backbone包括P0-P7特征层，所述5个有效特征层包括P3-P7有效特征层；
通过所述特征网络BiFPN对所述5个有效特征层进行加权特征融合，得到5个目标特征层；
通过所述预测网络Boxpredictionnet对所述5个目标特征层进行预测处理，生成预测图像，得到初始模型。
7.根据权利要求5所述的路面检测方法，其特征在于，所述通过smoothloss函数对所述初始模型进行优化，生成预置的路面检测模型，包括：
获取所述历史道路图像的真实框，并获取所述预测图像的预测框；
通过所述smooth loss函数判断所述真实框和所述预测框的重合度；
当所述重合度大于阈值时，将所述预测图像确定为目标图像，生成预置的路面检测模型。
8.一种路面检测装置，其特征在于，所述路面检测装置包括：
获取模块，用于通过预置拍摄设备获取道路图像，其中，所述道路图像包括路面图像和道路附属物图像；
识别模块，用于通过预置的路面检测模型对所述道路图像进行识别，得到目标道路图像，其中，所述路面检测模型包括骨干网络EfficientNetbackbone、特征网络BiFPN和预测网络Boxpredictionnet；
确定模块，用于根据所述目标道路图像在预置预警模型中确定对应的路面报警信息和应急措施信息；
发送模块，用于将所述路面报警信息和所述应急措施信息发送至车载预警终端。
9.一种路面检测设备，其特征在于，所述路面检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述路面检测设备执行如权利要求1-7中任意一项所述的路面检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述路面检测方法。
CN202111393277.1A 2021-11-23 2021-11-23 路面检测方法、装置、设备及存储介质 Pending CN114140767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111393277.1A CN114140767A (zh) 2021-11-23 2021-11-23 路面检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111393277.1A CN114140767A (zh) 2021-11-23 2021-11-23 路面检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114140767A true CN114140767A (zh) 2022-03-04

Family

ID=80391436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111393277.1A Pending CN114140767A (zh) 2021-11-23 2021-11-23 路面检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114140767A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909787A (zh) * 2023-02-06 2023-04-04 山东科技大学 一种路面破损情况的预警方法、设备及介质
CN116504089A (zh) * 2023-06-27 2023-07-28 东风悦享科技有限公司 一种基于路面破损因素的无人公交集群灵活调度系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909787A (zh) * 2023-02-06 2023-04-04 山东科技大学 一种路面破损情况的预警方法、设备及介质
CN116504089A (zh) * 2023-06-27 2023-07-28 东风悦享科技有限公司 一种基于路面破损因素的无人公交集群灵活调度系统
CN116504089B (zh) * 2023-06-27 2023-09-12 东风悦享科技有限公司 一种基于路面破损因素的无人公交集群灵活调度系统

Similar Documents

Publication Publication Date Title
JP6783949B2 (ja) 交通標識情報を用いた道路検出
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN107705552B (zh) 一种应急车道占用行为检测方法、装置及系统
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN111369831A (zh) 一种道路驾驶危险预警方法、装置和设备
KR102453627B1 (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN108133484B (zh) 基于场景分割的自动驾驶处理方法及装置、计算设备
KR101295077B1 (ko) 다양한 도로 상황에서의 차선 검출 및 추적 장치
CN114140767A (zh) 路面检测方法、装置、设备及存储介质
CN113469115B (zh) 用于输出信息的方法和装置
JP7454685B2 (ja) 車両走行路内のデブリの検出
KR20220109526A (ko) 차량 주행 위험 예측 시스템 및 그 방법
CN112287801A (zh) 车载数据处理方法、装置、服务器和可读存储介质
CN111383248B (zh) 一种行人闯红灯判断方法、装置和电子设备
CN114333339B (zh) 深度神经网络功能模块去重复的方法
CN111753579A (zh) 指定代步工具的检测方法及装置
CN115797409A (zh) 3d目标对象定位方法、装置及电子设备
CN113212452A (zh) 无人驾驶车辆的控制方法及控制装置、无人驾驶车辆
CN117392621B (zh) 一种机动车右转不礼让行人行为识别方法及系统
CN113869126A (zh) 评估方法、预警设备、电子设备以及可读存储介质
CN109094580B (zh) 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质
CN113370991A (zh) 辅助驾驶方法、装置、设备、存储介质及计算机程序产品
CN113183982A (zh) 车辆的行驶路线的生成方法及装置、自动驾驶车辆
CN116620296B (zh) 一种智能汽车的避险方法和系统
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination