CN113436164A - 车底路况检测方法、装置及车辆 - Google Patents

车底路况检测方法、装置及车辆 Download PDF

Info

Publication number
CN113436164A
CN113436164A CN202110699649.7A CN202110699649A CN113436164A CN 113436164 A CN113436164 A CN 113436164A CN 202110699649 A CN202110699649 A CN 202110699649A CN 113436164 A CN113436164 A CN 113436164A
Authority
CN
China
Prior art keywords
road condition
vehicle
bottom road
vehicle bottom
current moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110699649.7A
Other languages
English (en)
Other versions
CN113436164B (zh
Inventor
蓟仲勋
刘西亚
贺志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Special Vehicle Co Ltd
Original Assignee
Sany Special Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Special Vehicle Co Ltd filed Critical Sany Special Vehicle Co Ltd
Priority to CN202110699649.7A priority Critical patent/CN113436164B/zh
Publication of CN113436164A publication Critical patent/CN113436164A/zh
Application granted granted Critical
Publication of CN113436164B publication Critical patent/CN113436164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供一种车底路况检测方法、装置及车辆，首先获取目标车辆在当前时刻的车底路况拼接图；然后将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果。可以实现对车底路况的自动检测，以使用户可以及时掌握车底路况，并可以根据车底路况优化行车方案，保证了行车安全，提高了用户体验。

Description

车底路况检测方法、装置及车辆
技术领域
本发明涉及路况检测技术领域，尤其涉及一种车底路况检测方法、装置及车辆。
背景技术
目前，市场上的车辆大多通过加装全景影像系统来减少车辆四周盲区，即通过安装在车辆前、后、左、右四个摄像头拍摄车辆四周的图像，将图像进行畸变校正，并实时对车辆移动方向和速度进行检测，经过融合、计算、拼接后，最终输出一副完整无盲区的图像到显示屏上，使得用户能够准确了解车辆周围道路环境，降低行车风险。
但是用户在遇到路况较差的路面环境，比如乡村、山上景区等存在坑洞凸包的路面，凸包会磕碰车辆的底盘，甚至损坏底盘，而当路面存在凹坑时，由于用户不能实时了解车辆正下方的路面情况，导致用户在驾驶过程中，存在车轮陷入凹坑、底盘被刮蹭等行车安全隐患，降低用户驾驶车辆的体验。
因此，现急需提供一种车底路况检测方法。
发明内容
本发明提供一种车底路况检测方法、装置及车辆，用以解决现有技术中存在的缺陷。
本发明提供一种车底路况检测方法，包括：
获取目标车辆在当前时刻的车底路况拼接图；
将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；
其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
根据本发明提供的一种车底路况检测方法，所述获取所述目标车辆在所述当前时刻的车底路况拼接图，具体包括：
采集所述目标车辆周围的多个路况图像，并将所述多个路况图像进行拼接，得到所述目标车辆在所述当前时刻的无车底路况拼接图；
基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图。
根据本发明提供的一种车底路况检测方法，所述基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图，具体包括：
将所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行特征点匹配，并基于特征点匹配结果，对所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行拼接，得到所述当前时刻的车底路况拼接图。
根据本发明提供的一种车底路况检测方法，还包括：
获取目标车辆在当前时刻的车速信息；相应地，
所述获取目标车辆在当前时刻的车底路况拼接图，还具体包括：
若判断获知所述车速信息小于第一预设阈值，则获取所述目标车辆在所述当前时刻的车底路况拼接图；
所述将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果，具体包括：
若判断获知所述车速信息小于第二预设阈值，则将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述车底路况检测结果；
其中，所述第二预设阈值小于所述第一预设阈值。
根据本发明提供的一种车底路况检测方法，还包括：
获取目标车辆在当前时刻的车速信息、挡位信息以及方向盘转角信息；
基于所述车速信息、所述挡位信息以及所述方向盘转角信息，采用车辆运动学原理确定像素坐标系下的车轮轨迹。
根据本发明提供的一种车底路况检测方法，所述将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果，之后还包括：
若判断获知所述车底路况检测结果为车底路面存在缺陷，则计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离；
若判断获知所述距离小于第三预设阈值，则进行报警提示。
根据本发明提供的一种车底路况检测方法，所述计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离，包括：
确定所有缺陷中占地面积最大的目标缺陷；
计算所述像素坐标系下的车轮轨迹与所述目标缺陷之间的距离。
本发明还提供一种车底路况检测装置，包括：
拼接图获取模块，用于获取目标车辆在当前时刻的车底路况拼接图；
路况检测模块，用于将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；
其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
本发明还提供一种车辆，包括上述所述的车底路况检测装置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车底路况检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车底路况检测方法的步骤。
本发明提供的车底路况检测方法、装置及车辆，首先获取目标车辆在当前时刻的车底路况拼接图；然后将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果。可以实现对车底路况的自动检测，以使用户可以及时掌握车底路况，并可以根据车底路况优化行车方案，保证了行车安全，提高了用户体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的车底路况检测方法的流程示意图之一；
图2是本发明提供的车底路况检测方法的流程示意图之二；
图3是本发明提供的车底路况检测装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有技术中并未出现车底路况检测的相关技术方案，为此本发明实施例中提供了一种车底路况检测方法。
图1为本发明实施例中提供的一种车底路况检测方法的流程示意图，如图1所示，该方法包括：
S1，获取目标车辆在当前时刻的车底路况拼接图；
S2，将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；
其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
可选地，本发明实施例中提供的车底路况检测方法，其执行主体为车底路况检测装置，该装置可以配置在车辆控制器内，也可以配置在服务器内，该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是计算机、平板电脑以及智能手机等，本发明实施例中对此不作具体限定。
首先执行步骤S1，可以获取目标车辆在当前时刻的车底路况拼接图。目标车辆是指需要对其车底路况进行检查的车辆，可以是任一车辆，例如可以是乘用车，也可以是作业机械。作业机械可以包括：钻探机械、挖掘机械、装载机械、运载机械、市政机械、破碎机、以及驾驶员驾驶的车辆中的至少一种。挖掘机械是用于挖掘矿山的作业机械。装载机械是用于将货物装载到运载机械中的作业机械。装载机械包括液压挖掘机、电动挖掘机和轮式装载机中的至少一种。运载机械是用于运载货物的作业机械。市政机械是用于城市道路清扫美化的作业机械，例如清扫车、洒水车和吸尘车。破碎机是对从运载机械投入的土石进行破碎的作业机械。
车底路况拼接图可以通过搭载在目标车辆上的全景影像系统得到，全景影像系统可以包括多路摄像头，分别设置于目标车辆的不同位置，以采集目标车辆周围不同位置处的路况图像，将多路摄像头在当前时刻采集到的路况图像进行拼接，并结合目标车辆在前一时刻的车底路况拼接图，即得到目标车辆在当前时刻的车底路况拼接图。
然后执行步骤S2，可以将步骤S1获取的当前时刻的车底路况拼接图输入至车底路况检测模型，通过车底路况检测模块对目标车辆在当前时刻的车底路况进行检查，得到由车底路况检测模型输出的目标车辆在当前时刻的车底路况检测结果。其中，车底路况检测结果可以包括车底路面存在缺陷或不存在缺陷。缺陷可以是坑洞或凸包。
本发明实施例中采用的车底路况检测模型可以基于神经网络模型构建，神经网络模型可以是卷积神经网络(Convolutional Neural Networks，CNN)模型、深度神经网络(Deep Neural Networks，DNN)模型等。车底路况检测模型可以通过携带有车底路况标签的车底路况拼接图样本训练得到。车底路况拼接图样本可以通过车辆样本在具有缺陷的路面上行驶时由搭载在车辆样本上的全景影像系统得到，车底路况标签可以是车底路况拼接图样本中存在的缺陷的具体类型以及具体位置的标注信息。
在对车底路况检测模型进行训练时，可以将车底路况拼接图样本输入至车底路况检测模型，得到由车底路况检测模型输出的检测结果，然后通过车底路况标签以及检测结果计算损失函数，当损失函数收敛时即得到训练好的车底路况检测模型。
本发明实施例中提供的车底路况检测方法，首先获取目标车辆在当前时刻的车底路况拼接图；然后将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果。可以实现对车底路况的自动检测，以使用户可以及时掌握车底路况，并可以根据车底路况优化行车方案，保证了行车安全，提高了用户体验。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，所述获取目标车辆在当前时刻的车底路况拼接图，具体包括：
采集所述目标车辆周围的多个路况图像，并将所述多个路况图像进行拼接，得到所述目标车辆在所述当前时刻的无车底路况拼接图；
基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图。
具体地，本发明实施例中，在获取车底路况拼接图时，可以先通过设置于目标车辆周围的多个摄像头采集目标车辆周围的多个路况图像，每个路况图像均是一个摄像头照射目标车辆周围的路面得到。在此之前，还可以对每个摄像头进行离线标定，以确定该摄像头的内参和外参。
然后，通过各摄像头的内参和外参，可以对采集到的多个路况图像进行拼接，得到目标车辆在当前时刻的无车底路况拼接图。无车底路况拼接图是指由多个路况图像拼接而成的、不包含有车底路况信息的路况图像。
最后，可以获取预先存储的目标车辆在当前时刻的前一时刻的车底路况拼接图，该车底路况拼接图是指前一时刻包含有车底路况信息的路况图像。根据当前时刻的无车底路况拼接图，并结合前一时刻的车底路况拼接图，确定出当前时刻的车底路况拼接图。
在确定出当前时刻的车底路况拼接图之后，可以将当前时刻的车底路况拼接图进行存储，以作为确定后一时刻的车底路况拼接图的基础。本发明实施例中，在初始时刻，仅有无车底路况拼接图，则可以根据目标车辆的车速信息、位移信息、挡位信息和方向盘转角信息等车辆信息，确定出初始时刻的下一时刻的车底路况拼接图，然后将该车底路况拼接图进行存储，即可结合后续每一时刻的无车底路况拼接图确定出后续每一时刻的车底路况拼接图，并将后续每一时刻的车底路况拼接图进行存储。上述过程为迭代过程，即利用前一时刻的车底路况拼接图结合当前时刻的无车底路况拼接图，得到当前时刻的车底路况拼接图。
本发明实施例中，给出了通过目标车辆周围的多个路况图像确定当前时刻的车底路况拼接图的方法，简化了当前时刻的车底路况拼接图的获取方法，进而提高了车底路况的检测效率。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，所述基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图，具体包括：
将所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行特征点匹配，并基于特征点匹配结果，对所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行拼接，得到所述当前时刻的车底路况拼接图。
具体地，本发明实施例中在确定当前时刻的车底路况拼接图时，可以先将当前时刻的无车底路况拼接图与前一时刻的车底路况拼接图进行特征点匹配，即确定两张图中表征地面上相同位置或对象的特征点，然后根据特征点匹配结果，对当前时刻的无车底路况拼接图与前一时刻的车底路况拼接图进行拼接，即令两张图中匹配的特征点重合，对两张图中其他的特征点进行拼接，得到当前时刻的车底路况拼接图。
本发明实施例中，给出了通过特征点匹配的方式确定当前时刻的车底路况拼接图，使得确定方法更加智能化，提高了当前时刻的车底路况拼接图的准确性。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，还包括：
获取目标车辆在当前时刻的车速信息；相应地，
所述获取目标车辆在当前时刻的车底路况拼接图，还具体包括：
若判断获知所述车速信息小于第一预设阈值，则获取目标车辆在当前时刻的车底路况拼接图；
所述将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果，具体包括：
若判断获知所述车速信息小于第二预设阈值，则将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述车底路况检测结果；
其中，所述第二预设阈值小于所述第一预设阈值。
具体地，本发明实施例中，还可以获取目标车辆在当前时刻的车辆信息，目标车辆的车辆信息可以包括车速信息，除此之外还可以包括挡位信息和方向盘转角信息，通过车速信息、挡位信息和方向盘转角信息可以确定出目标车辆的位移信息。目标车辆的车辆信息可以通过设置于目标车辆上的车辆信息采集模块实时采集得到，并通过CAN总线的方式传输至车底路况检测装置，本发明实施例中对此不作具体限定。
由于车底路况拼接图是通过全景影像系统得到，而为保证全景影像系统的良好性能，需要目标车辆的车速较低。因此在获取目标车辆在当前时刻的车底路况拼接图时，需要先判断目标车辆的车速信息是否小于第一预设阈值，如果小于第一预设阈值，则说明目标车辆的车速较低，此时可以获取目标车辆在当前时刻的车底路况拼接图。第一预设阈值可以根据需要进行设定，本发明实施例中对此不作具体限定。例如，第一预设阈值可以设置为小于等于30km/h。当车速信息小于第一预设阈值时，可以保证全景影像系统的性能，以及时获取到车底路况拼接图。
进一步地，为保证通过车底路况检测模型得到的车底路况检测结果是车底路面存在缺陷时，能够给予驾驶员充足的反应时间以及操作事件以便于驾驶员可以顺利驾驶目标车辆避开车底路面的缺陷，在将当前时刻的车底路况拼接图输入至车底路况检测模型，得到由车底路况检测模型输出的目标车辆在所述当前时刻的车底路况检测结果之前，还可以判断目标车辆的车速信息是否小于第二预设阈值。如果小于第二预设阈值，则说明目标车辆的车速足够低，可以实现上述效果。此时，可以将目标车辆在当前时刻的车底路况拼接图输入至车底路况检测模型，通过车底路况检测模块对目标车辆在当前时刻的车底路况进行检查，得到由车底路况检测模型输出的目标车辆在当前时刻的车底路况检测结果。
其中，第二预设阈值小于第一预设阈值，如此可以给予驾驶员充足的反应时间。
本发明实施例中，通过引入目标车辆的车速信息的限制，可以在车速较小的情况下自动进行车底路况检测，保证车底路况检测结果的准确性，同时可以给予驾驶员充足的反应时间。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，还包括：
获取目标车辆在当前时刻的车速信息、挡位信息以及方向盘转角信息；
基于所述车速信息、所述挡位信息以及所述方向盘转角信息，采用车辆运动学原理确定像素坐标系下的车轮轨迹。
具体地，本发明实施例中，车辆信息中包括的挡位信息以及方向盘转角信息可以直接通过CAN总线的方式从车辆信息采集设备中获取，根据车速信息、挡位信息以及方向盘转角信息可以确定出像素坐标系下的车轮轨迹，例如可以先根据车速信息、挡位信息以及方向盘转角信息，结合车辆运动学原理确定世界坐标系下的车轮轨迹，然后根据投影关系，将世界坐标系下的车轮轨迹投影至像素坐标系下，得到像素坐标系下的车轮轨迹。其中，像素坐标系是指在车底路况拼接图中构建的坐标系。
本发明实施例中，丰富了车辆信息，并给出了车轮轨迹的获取方法，可以实时监测目标车辆的车轮轨迹。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，可以将像素坐标系下的车轮轨迹投影至当前时刻的车底路况拼接图，并将投影后的车底路况拼接图进行显示，即将像素坐标系下的车底路况拼接图以及目标车辆的车轮轨迹实时进行同步显示，可以将其显示在目标车辆的中控屏上，以便于用户可以直观的掌握车底路况以及目标车辆的车轮轨迹。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，所述将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果，之后还包括：
若判断获知所述车底路况检测结果为车底路面存在缺陷，则计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离；
若判断获知所述距离小于第三预设阈值，则进行报警提示。
具体地，本发明实施例中，在得到车底路况检测结果之后，如果该车底路况检测结果为车底路面存在缺陷，则计算像素坐标系下的车轮轨迹与缺陷之间的距离。其中，缺陷可以是坑洞或凸包，即需要计算像素坐标系下的车轮轨迹与坑洞或凸包之间的距离。缺陷的数量可以为一个或多个，因此距离可以为一个或多个。
然后，判断计算得到的距离是否小于第三预设阈值，如果小于则进行报警提示。其中，第三预设阈值可以根据需要进行设置，例如可以设置为5cm等数值。报警提示的方式可以包括多种，例如语音提示、蜂鸣声提示灯。语音提示可以包括提示用户转向等内容。
本发明实施例中，当车底路况检测结果为车底路面存在缺陷且像素坐标系下的车轮轨迹与缺陷之间的距离小于第三预设阈值时进行报警提示，使用户可以及时了解车轮轨迹与缺陷之间的距离，避免车轮与缺陷接触而产生危险，保证了行车安全。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，所述计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离，包括：
确定所有缺陷中占地面积最大的目标缺陷；
计算所述像素坐标系下的车轮轨迹与所述目标缺陷之间的距离。
具体地，本发明实施例中，在得到车底路况检测结果之后，如果该车底路况检测结果为车底路面存在缺陷且缺陷有多个，则从所有缺陷中选择占地面积最大的缺陷作为目标缺陷，然后计算像素坐标系下的车轮轨迹与目标缺陷之间的距离。
然后，判断计算得到的距离是否小于第三预设阈值，如果小于则进行报警提示。其中，第三预设阈值可以根据需要进行设置，例如可以设置为5cm等数值。报警提示的方式可以包括多种，例如语音提示、蜂鸣声提示灯。语音提示可以包括提示用户转向等内容。
本发明实施例中，引入了对缺陷的占地面积的判断，使得对缺陷进行筛选，向用户报警提示影响最大的缺陷，避免多次提示对用户产生干扰。
在上述实施例的基础上，本发明实施例中提供的车底路况检测方法，在进行车底路况检测时，还可以通过激光雷达实现，但是需要保证雷达线束足够多，其成本远大于通过车底路况检测模型实现的图像检测的成本。
图2为本发明实施例中提供的一种车底路况检测方法的完整流程示意图，如图2所示，该方法包括：
1)获取目标车辆在当前时刻的车辆信息，该车辆信息包括目标车辆的车速信息；
2)判断车速信息是否小于第一预设阈值，如果大于则结束，如果小于则分别进入3)和8)；
3)多路摄像头进行路况图像采集；
4)对多个路况图像进行拼接得到无车底路况拼接图；
5)从磁盘中获取前一时刻的车底路况拼接图，并与4)中的无车底路况拼接图进行拼接，得到当前时刻的车底路况拼接图并存储至磁盘；
6)继续判断车速信息是否小于第二预设阈值，如果大于则继续判断直至车速信息小于第二预设阈值；如果小于则将当前时刻的车底路况拼接图输入至车底路况检测模型，得到车底路况检测结果；
7)如果车底路况检测结果为车底路面存在缺陷，则选取占地面积最大的目标缺陷；
8)根据车辆信息中的车速信息、挡位信息以及方向盘转角信息，计算目标车辆的车轮轨迹；
9)进行车轮轨迹绘制；
10)将车轮轨迹显示在中控屏上；
11)计算目标缺陷与车轮轨迹之间的距离；
10)判断距离是否小于第三预设阈值，如果小于，则进行提示，否则返回至6)继续执行。
在上述实施例的基础上，图3为本发明实施例中提供了一种车底路况检测装置的结构示意图，如图3所示，该装置包括：
拼接图获取模块31，用于获取所述目标车辆在所述当前时刻的车底路况拼接图；
路况检测模块32，用于将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；
其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
本发明实施例中提供的车底路况检测装置，实际上是一种车底透明系统，可以向用户显示车底路面状况。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，所述拼接图获取模块，具体包括：
图像获取子模块，用于采集所述目标车辆周围的多个路况图像；
拼接子模块，用于将所述多个路况图像进行拼接，得到所述目标车辆在所述当前时刻的无车底路况拼接图；
所述拼接子模块，还用于基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，所述拼接子模块，具体用于：
将所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行特征点匹配，并基于特征点匹配结果，对所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行拼接，得到所述当前时刻的车底路况拼接图。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，还包括信息获取模块，用于：
获取目标车辆在当前时刻的车速信息；相应地，
所述拼接图获取模块具体用于：
若判断获知所述车速信息小于第一预设阈值，则获取目标车辆在当前时刻的车底路况拼接图；
所述路况检测模块具体用于：若判断获知所述车速信息小于第二预设阈值，则将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述车底路况检测结果；
其中，所述第二预设阈值小于所述第一预设阈值。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，还包括车轮轨迹绘制模块，用于：
获取目标车辆在当前时刻的车速信息、挡位信息以及方向盘转角信息；
基于所述车速信息、所述挡位信息以及所述方向盘转角信息，采用车辆运动学原理确定像素坐标系下的车轮轨迹。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，所述车轮轨迹绘制模块还用于：绘制车轮轨迹。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，还包括显示模块，用于显示车轮轨迹以及当前时刻的车底路况拼接图。本发明实施例中，显示模块可以为目标车辆驾驶室内的中控屏。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，还包括：
距离计算模块，用于若判断获知所述车底路况检测结果为车底路面存在缺陷，则计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离；
提示模块，用于若判断获知所述距离小于第三预设阈值，则进行报警提示。
在上述实施例的基础上，本发明实施例中提供的车底路况检测装置，所述距离计算模块，具体用于：
确定所有缺陷中占地面积最大的目标缺陷；
计算所述像素坐标系下的车轮轨迹与所述目标缺陷之间的距离。
具体地，本发明实施例中提供的车底路况检测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
在上述实施例的基础上，本发明实施例中提供了一种车辆，包括上述的车底路况检测装置，使得该车辆具有车底路况检测的功能。
在上述实施例的基础上，本发明实施例中提供的车辆，可以包括车底路况检测启动按键、车轮轨迹绘制启动按钮和语音提醒启动按钮，分别用来给驾驶员控制是否启动车底路况检测功能、车轮轨迹绘制功能和语音提醒功能。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行上述各实施例中提供的车底路况检测方法，该方法包括：获取目标车辆在当前时刻的车底路况拼接图；将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例中提供的车底路况检测方法，该方法包括：获取目标车辆在当前时刻的车底路况拼接图；将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的车底路况检测方法，该方法包括：获取目标车辆在当前时刻的车底路况拼接图；将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种车底路况检测方法，其特征在于，包括：
获取目标车辆在当前时刻的车底路况拼接图；
将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；
其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
2.根据权利要求1所述的车底路况检测方法，其特征在于，所述获取目标车辆在当前时刻的车底路况拼接图，具体包括：
采集所述目标车辆周围的多个路况图像，并将所述多个路况图像进行拼接，得到所述目标车辆在所述当前时刻的无车底路况拼接图；
基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图。
3.根据权利要求2所述的车底路况检测方法，其特征在于，所述基于所述当前时刻的无车底路况拼接图以及所述目标车辆在所述当前时刻的前一时刻的车底路况拼接图，确定所述当前时刻的车底路况拼接图，具体包括：
将所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行特征点匹配，并基于特征点匹配结果，对所述当前时刻的无车底路况拼接图与所述前一时刻的车底路况拼接图进行拼接，得到所述当前时刻的车底路况拼接图。
4.根据权利要求1-3中任一项所述的车底路况检测方法，其特征在于，还包括：
获取目标车辆在当前时刻的车速信息；相应地，
所述获取目标车辆在当前时刻的车底路况拼接图，还具体包括：
若判断获知所述车速信息小于第一预设阈值，则获取目标车辆在当前时刻的车底路况拼接图；
所述将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果，具体包括：
若判断获知所述车速信息小于第二预设阈值，则将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述车底路况检测结果；
其中，所述第二预设阈值小于所述第一预设阈值。
5.根据权利要求1-3中任一项所述的车底路况检测方法，其特征在于，还包括：
获取目标车辆在当前时刻的车速信息、挡位信息以及方向盘转角信息；
基于所述车速信息、所述挡位信息以及所述方向盘转角信息，采用车辆运动学原理确定像素坐标系下的车轮轨迹。
6.根据权利要求5所述的车底路况检测方法，其特征在于，所述将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果，之后还包括：
若判断获知所述车底路况检测结果为车底路面存在缺陷，则计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离；
若判断获知所述距离小于第三预设阈值，则进行报警提示。
7.根据权利要求6所述的车底路况检测方法，其特征在于，所述计算所述像素坐标系下的车轮轨迹与所述缺陷之间的距离，包括：
确定所有缺陷中占地面积最大的目标缺陷；
计算所述像素坐标系下的车轮轨迹与所述目标缺陷之间的距离。
8.一种车底路况检测装置，其特征在于，包括：
拼接图获取模块，用于获取目标车辆在当前时刻的车底路况拼接图；
路况检测模块，用于将所述当前时刻的车底路况拼接图输入至车底路况检测模型，得到由所述车底路况检测模型输出的所述目标车辆在所述当前时刻的车底路况检测结果；
其中，所述车底路况检测模型基于携带有车底路况标签的车底路况拼接图样本训练得到。
9.一种车辆，其特征在于，包括如权利要求8所述的车底路况检测装置。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述车底路况检测方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车底路况检测方法的步骤。
CN202110699649.7A 2021-06-23 2021-06-23 车底路况检测方法、装置及车辆 Active CN113436164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110699649.7A CN113436164B (zh) 2021-06-23 2021-06-23 车底路况检测方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110699649.7A CN113436164B (zh) 2021-06-23 2021-06-23 车底路况检测方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN113436164A true CN113436164A (zh) 2021-09-24
CN113436164B CN113436164B (zh) 2024-03-15

Family

ID=77753577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110699649.7A Active CN113436164B (zh) 2021-06-23 2021-06-23 车底路况检测方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN113436164B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030256A (zh) * 2006-02-28 2007-09-05 沈阳东软软件股份有限公司 车辆图像分割方法和装置
CN109974734A (zh) * 2019-04-02 2019-07-05 百度在线网络技术（北京）有限公司 一种用于ar导航的事件上报方法、装置、终端及存储介质
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN112455467A (zh) * 2021-01-11 2021-03-09 湖南汽车工程职业学院 智能驾驶汽车对路面坑洼拥包预警方法
CN112896135A (zh) * 2021-01-29 2021-06-04 广州橙行智动汽车科技有限公司 车辆的控制方法、装置、车辆以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030256A (zh) * 2006-02-28 2007-09-05 沈阳东软软件股份有限公司 车辆图像分割方法和装置
CN109974734A (zh) * 2019-04-02 2019-07-05 百度在线网络技术（北京）有限公司 一种用于ar导航的事件上报方法、装置、终端及存储介质
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN112455467A (zh) * 2021-01-11 2021-03-09 湖南汽车工程职业学院 智能驾驶汽车对路面坑洼拥包预警方法
CN112896135A (zh) * 2021-01-29 2021-06-04 广州橙行智动汽车科技有限公司 车辆的控制方法、装置、车辆以及存储介质

Also Published As

Publication number Publication date
CN113436164B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
US11494930B2 (en) Techniques for volumetric estimation
US11847917B2 (en) Fixation generation for machine learning
US11691648B2 (en) Drivable surface identification techniques
US20180068564A1 (en) Parking position identification method, parking position learning method, parking position identification system, parking position learning device, and non-transitory recording medium for recording program
US9990543B2 (en) Vehicle exterior moving object detection system
CN105868696B (zh) 一种检测多车道车道线的方法和装置
CN108227703A (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
CN108931801B (zh) 一种集装箱码头区域的车辆自动驾驶方法和系统
CN113561963B (zh) 一种泊车方法、装置及车辆
CN103448724A (zh) 车道偏离预警方法和装置
AU2014213529A1 (en) Image display system
CN110126820A (zh) 自动泊车系统、泊车方法及车辆
CN107844761A (zh) 交通标志的检测方法及装置
CN115273525A (zh) 一种停车位映射显示方法和系统
CN104268884A (zh) 一种基于车联网的车道偏离预警的标定系统和方法
CN114298908A (zh) 一种障碍物展示方法、装置、电子设备及存储介质
CN114120266A (zh) 车辆变道检测方法、装置、电子设备及存储介质
CN113436164A (zh) 车底路况检测方法、装置及车辆
US20220172490A1 (en) Image processing apparatus, vehicle control apparatus, method, and program
CN111591284A (zh) 基于单目识别的视野盲区避障方法及装置
CN116013100A (zh) 道路状态预警方法、装置、车辆及存储介质
EP4019350A1 (en) Method and device for automatic parking, vehicle and storage medium
TWI684962B (zh) 停車位偵測系統及方法
WO2022230738A1 (ja) 物体追跡装置及び物体追跡方法
CN113096437A (zh) 自动停车方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant