CN115131957A - 路况预警方法及装置 - Google Patents

路况预警方法及装置 Download PDF

Info

Publication number
CN115131957A
CN115131957A CN202110298311.0A CN202110298311A CN115131957A CN 115131957 A CN115131957 A CN 115131957A CN 202110298311 A CN202110298311 A CN 202110298311A CN 115131957 A CN115131957 A CN 115131957A
Authority
CN
China
Prior art keywords
road surface
condition
target vehicle
road
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110298311.0A
Other languages
English (en)
Other versions
CN115131957B (zh
Inventor
张珂
徐建辉
唐笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Automobile Manufacturing Co Ltd
Original Assignee
Sany Automobile Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Automobile Manufacturing Co Ltd filed Critical Sany Automobile Manufacturing Co Ltd
Priority to CN202110298311.0A priority Critical patent/CN115131957B/zh
Publication of CN115131957A publication Critical patent/CN115131957A/zh
Application granted granted Critical
Publication of CN115131957B publication Critical patent/CN115131957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明实施例提供一种路况预警方法及装置,该方法包括:基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;若至少存在一个区域的路面状况为异常状况,则发出预警。本发明实现自动确定每个区域的路面状况,在存在至少一个区域的路面状况为异常状况的情况下,自动发出预警,并在目标车辆到达存在异常状况的区域之前,提前发出预警,提示驾驶员及时调整目标车辆的行车方向或速度,有效保证行车安全。

Description

路况预警方法及装置
技术领域
本发明涉及智能交通技术领域,尤其涉及一种路况预警方法及装置。
背景技术
当公路养护不及时,或公路所在的环境比较恶劣时,公路路面上会出现凹凸不平、落石或其他障碍物,严重影响目标车辆的正常行驶。而且还会对目标车辆造成重大的损耗,影响乘坐的舒适性,严重情况下还会危及驾驶员和乘客的生命安全。
现有技术中,目标车辆在行车过程中,主要依靠驾驶员观察两侧后视镜及倒车影像的显示屏来保证行车安全。但是,由于驾驶员需要驾车,还要观测后视镜及倒车影像显示屏,很难全方位把握路况,而且工作强度较大。且需要驾驶员凭个人经验判断是否避让,但是驾驶员的注意力不能时刻保持集中,很容易撞到石块或陷入凹坑,缩短目标车辆寿命。
此外,当前方路况塌方或有较大石块等障碍物时,或者目标车辆倒车遇到大坑或大石块障碍物时,驾驶员无法提前预测路况,难以及时刹住车,影响行车安全。
发明内容
本发明实施例提供一种路况预警方法及装置,用以解决现有技术中通过驾驶员观测路况很难全方位把握路况、工作强度较大,且不能对路况进行提前预警的缺陷,实现在驾驶过程中,提前对路况进行自动预警,提高行车的安全性。
本发明实施例提供一种路况预警方法,包括:
基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;若至少存在一个区域的路面状况为异常状况,则发出预警。
根据本发明提供的一种路况预警方法,所述基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域,之前还包括:
基于多个摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述多个摄像头的拍摄距离不同。
根据本发明提供的一种路况预警方法,所述基于多个摄像头采集所述当前时刻目标车辆周围的路面图像,包括:
根据所述目标车辆在所述当前时刻的上一时刻的控制器信息,获取所述目标车辆在所述当前时刻的行驶方向;
将所述多个摄像头中拍摄距离大于预设阈值的摄像头作为目标摄像头;
根据所述行驶方向调整所述目标摄像头的拍摄方向;
采用调整后的摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述控制器信息与所述目标车辆的行驶方向相关。
根据本发明提供的一种路况预警方法,所述基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况,之后还包括:
将所述目标摄像头采集的路面图像中各区域的路面状况与预设异常状况进行匹配;
若匹配到,则将所述目标摄像头采集的路面图像显示在所述目标车辆的显示屏上;
若未匹配到,则将除所述目标摄像头外的摄像头采集的路面图像显示在所述目标车辆的显示屏上。
根据本发明提供的一种路况预警方法,所述基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况,之后还包括:
若任一区域的路面状况为异常状况,则根据该区域的异常状况的类型预先关联的标注样式对该区域进行标注,并将标注后的所述路面图像显示在所述目标车辆的显示屏上。
根据本发明提供的一种路况预警方法,所述异常状况的类型包括多种类型的凹坑和多种类型的障碍物。
根据本发明提供的一种路况预警方法,所述控制器信息包括所述目标车辆的行驶方向、速度和轮胎的角度。
本发明还提供一种路况预警装置,包括:
分割模块,用于基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;
分类模块,基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;
预警模块,用于若至少存在一个区域的路面状况为异常状况,则发出预警。
本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述路况预警方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述路况预警方法的步骤。
本发明提供的路况预警方法及装置,通过对目标车辆周围的路面图像中的每个区域进行分类,自动确定每个区域的路面状况,在存在至少一个区域的路面状况为异常状况的情况下,自动发出预警,并在目标车辆到达存在异常状况的区域之前,提前发出预警,提示驾驶员及时调整目标车辆的行车方向或速度,有效保证行车安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的路况预警方法的流程示意图;
图2是本发明提供的路况预警方法中数据传输的结构示意图;
图3是本发明提供的路况预警装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1描述本发明实施例的一种路况预警方法,包括:步骤101,基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;
其中,图像分割算法可以为卷积神经网络算法或特征金字塔算法等,本实施不对图像分割算法作具体的限定。
目标车辆可以为矿车或土方车等车辆,本本实施不对目标车辆的类型作具体的限定。
目标车辆行驶的道路为山区或矿区等。即,本实施例中的预警方法既可以应用于具有复杂环境的矿区,也可以应用于其他特定区域内的道路上。
目标车辆周围的路面图像可以是目标车辆前方或后方特定距离内的路面图像。路面图像的数量为多张,本实施例不限于路面图像的数量。即,本实施可以采用多个图像采集装置对目标车辆周围的路面图像,同时获取多张路面图像。
采用图像处理装置中内嵌的图像分割算法,可以将目标车辆周围的任一路面图像分割成多个区域,分割后的每个区域具有不同的属性。如,可以将路面图像中的每个石块分割成一个区域,将路面图像中的每个凹坑分割成一个区域。
步骤102,基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;
其中,分类算法可以是机器学习算法,如支持向量机或神经网络算法等,本实施例不限于分类算法的类型。
路面状况可以包括正常状况和异常状况。
可选地,异常状况包括路面上有凹坑或障碍物等。障碍物可以是石块、行人或除目标车辆外的其他车辆等。
获取路面图像中的每个区域后,可以通过图像处理装置中内嵌的分类算法直接对每个区域的路面图像进行分类,将其分为正常状况或异常状况。也可采用分类算法先对每个区域的路面图像进行分类,获取每个区域是否存在凹坑或障碍物。若任一区域不存在凹坑和障碍物,则该区域的路面状况为正常状况;若该区域存在凹坑或障碍物,则该区域的路面状况为异常状况。
由于,目标车辆在行驶过程中,行车道路不断变化和/或道路不断维护与拓展。因此,没有可以长期参考的路标或路线进行比对。尤其在夜间行车过程,由于视线模糊,驾驶员很难获取目标车辆周围的路面状况,且驾驶员在驾车过程中注意力高度集中,无法对盲区部分的路面进行有效的观察和判断,难以保障行车安全。
而本实施例通过分类算法对路面图像中的每个区域进行分类,自动获取每个区域的路面状况,不受夜间环境及恶劣天气影响,降低驾驶员操作强度,且分类结果不受驾驶员的经验影响,具有更高的可靠性和精确度。
步骤103,若至少存在一个区域的路面状况为异常状况,则发出预警。
具体地,可以根据每个区域的路面状况,确定路面图像中是否存在一个或多个区域的路面状况为异常状况。
若存在,则表明目标车辆周围的路面发生异常情况,需要通过控制系统向预警模块下发控制指令,控制预警模块发出预警。
若不存在,则继续对下一时刻目标车辆周围的路面状况进行监测。
可选地,预警模块发出预警的方式,为将预警信息显示在目标车辆的显示屏上、产生声音报警和/或产生光报警。本实施例不限于预警的方式。
通过这种预警的方式,可以实时提醒驾驶员及时调整目标车辆的行车方向或速度,以保证行车安全和车辆的平稳性。
本实施例通过对目标车辆周围的路面图像中的每个区域进行分类,自动确定每个区域的路面状况,在存在至少一个区域的路面状况为异常状况的情况下,自动发出预警,并在目标车辆到达存在异常状况的区域之前,提前发出预警,提示驾驶员及时调整目标车辆的行车方向或速度,有效保证行车安全。
在上述实施例的基础上,本实施例中所述基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域,之前还包括:基于多个摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述多个摄像头的拍摄距离不同。
具体地,由于,全景摄像广泛应用于智能交通、运输车监管、智能导航、智能驾驶、无人驾驶、机器人辅助视野、医疗车辆、农业车辆、偏航预警、盲区监测及预警等相关领域,并取得了良好的效果。因此,本实施例中的摄像头可以是360度全景摄像头。
可选地,本实施例中的摄像头还可以是智能摄像头等。本实施例不对摄像头作具体的限定。
可选地,摄像头为红外摄像,可有效确保采集的图像的清晰度,且在夜间和扬尘等恶劣工况下仍可正常使用。
可选地,各摄像头的拍摄距离可以根据摄像头的拍摄角度和摄像头的焦距确定,即可以为多个摄像头设置不同的角度和焦距,以使多个摄像头的拍摄距离不同。
根据摄像头的拍摄距离可以将摄像头分为多种类型的摄像头。如,可以根据拍摄距离将摄像头划分为两种类型,即,将拍摄距离小于设定值的摄像头划分为近距离摄像头,用于采集目标车辆周围的近距离的路面图像;将拍摄距离大于或等于设定值的摄像头划分为远距离摄像头,用于采集目标车辆周围的远距离的路面图像。也可以根据拍摄距离将摄像头划分为三种或四种类型等,本实施例不限摄像头的类型的数量。
可选地,各摄像头安装在目标车辆的前方或后方,可以是前方或后方的顶部,本实施例不限于摄像头的安装位置。
通过安装在目标车辆上的多个摄像头,既可以采集目标车辆周围的远距离的路面图像,又可以采集目标车辆周围的近距离的路面图像
通过多个摄像头可以实时采集当前时刻目标车辆周围的各拍摄距离内的路面图像。其中,路面图像的数量为多个。
本实施例通过在目标车辆上安装多个不同拍摄距离的摄像头,可以采集目标车辆周围的各拍摄距离内的路面图像,且受环境的影响小使得获取的路面图像更加全面,便于实时全面监测目标车辆周边的路面状况,使得监测结果更加准确。
还可以将目标车辆周围的路面图像通过数据传输系统实时上传到图像处理装置,以供图像处理装置准确确定路面图像中的异常状况,以及时提示驾驶员做出判断,保证目标车辆及人员安全。
在上述实施例的基础上,本实施例中所述基于多个摄像头采集所述当前时刻目标车辆周围的路面图像,包括:根据所述目标车辆在所述当前时刻的上一时刻的控制器信息,获取所述目标车辆在所述当前时刻的行驶方向;将所述多个摄像头中拍摄距离大于预设阈值的摄像头作为目标摄像头;根据所述行驶方向调整所述目标摄像头的拍摄方向;采用调整后的摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述控制器信息与所述目标车辆的行驶方向相关。
具体地,由于目标车辆在突然加速或紧急转弯的情况下,由于拍摄距离大于预设阈值的摄像头拍摄距离远,摄像头的拍摄方向不能及时与目标车辆的行驶方向同步,影响拍摄的路面图像的质量。因此,需要对目标摄像头的拍摄方向进行实时调整。其中,预设阈值可以根据实际需求进行设置。
如图2所示,在获取当前时刻目标车辆周围的路面图像之前,可以将目标车辆在当前时刻的上一时刻的控制器信息通过车辆控制模块上传到控制系统。控制系统根据目标车辆的控制信息,模拟出车辆在当前时刻的行驶方向。
根据行驶方向,发出控制指令,控制目标摄像头的拍摄方向,以使目标摄像头的拍摄方向及时与目标车辆的行驶方向同步。
若目标车辆的行驶方向为向前,则根据行驶方向,调整目标车辆前方的目标摄像头的拍摄方向。
若目标车辆的行驶方向为向后,则根据行驶方向,调整目标车辆后方的目标摄像头的拍摄方向。
本实施例通过根据目标车辆的行驶方向,及时对目标摄像头的拍摄方向做出调整,使得目标摄像头与目标车辆的行驶方向同步,保证拍摄质量。
在上述实施例的基础上,本实施例中所述基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况,之后还包括:将所述目标摄像头采集的路面图像中各区域的路面状况与预设异常状况进行匹配;若匹配到,则将所述目标摄像头采集的路面图像显示在所述目标车辆的显示屏上;若未匹配到,则将除所述目标摄像头外的摄像头采集的路面图像显示在所述目标车辆的显示屏上。
其中,预设异常状况为预先设定的重大的异常状况,可以包括凹坑的尺寸大于第一预设尺寸、凹坑的深度大于预设深度和障碍物的尺寸大于第二预设尺寸,本实施例不限于预设异常状况的内容。
可选地,障碍物的尺寸大于第二预设尺寸可以是塌方后土石堆积造成或其他车辆故障停滞不动造成等。
获取每个区域的路面状况后,还可以将目标摄像头采集的路面图像中各区域的路面状况与预设异常状况进行匹配,确定目标摄像头采集的路面图像中是否存在至少一个区域的路面状况与预设异常状匹配。
若不存在,则目标车辆周围的远距离拍摄范围内的路面状况不存在重大异常状况,将拍摄范围小于或等于预设阈值的摄像头采集的路面图像显示在显示屏上,以供驾驶员实时查看目标车辆周围的近距离拍摄范围内的路面图像。
若存在,则目标摄像头采集的路面图像中至少有一个区域的路面状况为重大异常状况,需要及时发出预警,并将当前时刻显示屏上显示的画面切换为目标摄像头采集的路面图像,以供驾驶员及时查看目标车辆周围的远距离拍摄范围内的路面图像,为调整调整行车方向或速度提供参考,及时调整行车方向或调整速度,规避车辆及人员安全的风险。
此外,还可以将目标摄像头采集的路面图像中的重大异常状况信息实时上报给路面管理系统,以供路面维护人员及时对路面进行维护和处理,避免其他车辆前往。
本实施例通过对目标摄像头中采集的路面图像中存在重大异常状况进行实时预警,并及时切换显示屏上的画面,可以及时提醒驾驶员根据路面图像中存在的重大异常状况对行车方向或速度进行及时调整,规避车辆及人员安全的风险。
在上述各实施例的基础上,本实施例中所述基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况,之后还包括:若任一区域的路面状况为异常状况,则根据该区域的异常状况的类型预先关联的标注样式对该区域进行标注,并将标注后的所述路面图像显示在所述目标车辆的显示屏上。
具体地,可以在路面图像中任一区域的路面状况为异常状况,采用与该区域的异常状况的类型对应的标注形式对该区域进行标注,便于驾驶员更加直观地查看路面图像中的路面状况,并根据标注的路面图像对行车方向或速度进行及时调整。
可选地,每种异常状况的类型与每种标注样式预先关联。
可选地,标注样式为颜色标注,可以根据异常状况的严重程度或表现形式设置不同颜色标注。如,若任一区域的异常状况为凹坑的尺寸小于或等于预设深度,则标注为浅红色;若该区域的异常状况为凹坑的尺寸大于预设深度,则标注为深红色;若该区域的异常状况为障碍物的尺寸小于或等于预设深度则标注为浅蓝色;若该区域的异常状况为障碍物的尺寸大于预设深度则标注为深蓝色。
可选地,驾驶员可以根据颜色变化获取路面图像中各区域的路面状况。如,颜色浅且均匀,则目标车辆周围的路况存在异常,但不影响目标车辆的正常行驶。颜色较深且密集,则目标车辆周围的路况存在重大异常,凹凸不平,需高度重视。
标注样式还可以是标签,可以根据异常状况的严重程度或表现形式设置不同的标签。本实施例不限于标注的方式。
本实施例通过对路面图像中具有不同类型异常状况的区域进行标注,便于将路面图像中各种类型的异常状况的区域直观地显示在显示屏上,以使驾驶员根据标注形式可以直观地查看到目标车辆周边的实时路面状况。
在上述实施例的基础上,本实施例中所述异常状况的类型包括多种类型的凹坑和多种类型的障碍物。
具体地,异常状况的类型可以根据异常状况的严重程度和/或异常状况的形式进行划分。
可选地,根据凹坑的尺寸和/深度将凹坑划分为多种类型。如,可以将尺寸小于第一预设阈值的凹坑作为第一类型凹坑,将尺寸大于或等于第一预设阈值的凹坑作为第二类型凹坑;也可以根据凹坑的尺寸将凹坑划分为三种或四种类型,本实施例不限于这种划分方式。
可以根据障碍物的尺寸将障碍物划分为多种类型。本实施例不限于障碍物的类型的数量。
在上述各实施例的基础上,本实施例中所述控制器信息包括所述目标车辆的行驶方向、速度和轮胎的角度。
具体地,可以采用目标车辆的车辆控制模块的行车方向检测系统获取目标车辆的行驶方向,采用车辆控制模块的角度检测系统获取目标车辆的轮胎的角度,采用车辆控制模块的速度传感器获取目标车辆的行驶速度。
此外,车辆控制模块还可以将获取的目标车辆的行驶方向、速度和轮胎的角度发送给控制系统。
本实施例中采用目标车辆原有的器件监测目标车辆的行驶方向、速度和轮胎的角度,可以有效降低成本。
下面对本发明实施例提供的路况预警装置进行描述,下文描述的路况预警装置与上文描述的路况预警方法可相互对应参照。
如图3所示,本实施例提供一种路况预警装置,该装置包括分割模块301、分类模块302和预警模块303,其中:
分割模块301用于基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;
其中,图像分割算法可以为卷积神经网络算法或特征金字塔算法等,本实施不对图像分割算法作具体的限定。
目标车辆可以为矿车或土方车等车辆,本本实施不对目标车辆的类型作具体的限定。
目标车辆行驶的道路为山区或矿区等。即,本实施例中的预警方法既可以应用于具有复杂环境的矿区,也可以应用于其他特定区域内的道路上。
目标车辆周围的路面图像可以是目标车辆前方或后方特定距离内的路面图像。路面图像的数量为多张,本实施例不限于路面图像的数量。即,本实施可以采用多个图像采集装置对目标车辆周围的路面图像,同时获取多张路面图像。
采用图像处理装置中内嵌的图像分割算法,可以将目标车辆周围的任一路面图像分割成多个区域,分割后的每个区域具有不同的属性。如,可以将路面图像中的每个石块分割成一个区域,将路面图像中的每个凹坑分割成一个区域。
分类模块302用于基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;
其中,分类算法可以是机器学习算法,本实施例不限于分类算法的类型。
路面状况可以包括正常状况和异常状况。
可选地,异常状况包括路面上有凹坑或障碍物等。障碍物可以是石块、行人或除目标车辆外的其他车辆等。
获取路面图像中的每个区域后,可以通过图像处理装置中内嵌的分类算法直接对每个区域的路面图像进行分类,将其分为正常状况或异常状况。也可采用分类算法先对每个区域的路面图像进行分类,获取每个区域是否存在凹坑或障碍物。若任一区域不存在凹坑和障碍物,则该区域的路面状况为正常状况;若该区域存在凹坑或障碍物,则该区域的路面状况为异常状况。
由于,目标车辆在行驶过程中,行车道路不断变化和/或道路不断维护与拓展。因此,没有可以长期参考的路标或路线进行比对。尤其在夜间行车过程,由于视线模糊,驾驶员很难获取目标车辆周围的路面状况,且驾驶员在驾车过程中注意力高度集中,无法对盲区部分的路面进行有效的观察和判断,难以保障行车安全。
而本实施例通过分类算法对路面图像中的每个区域进行分类,自动获取每个区域的路面状况,不受夜间环境及恶劣天气影响,降低驾驶员操作强度,且分类结果不受驾驶员的经验影响,具有更高的可靠性和精确度。
预警模块303用于若至少存在一个区域的路面状况为异常状况,则发出预警。
具体地,可以根据每个区域的路面状况,确定路面图像中是否存在一个或多个区域的路面状况为异常状况。
若存在,则表明目标车辆周围的路面发生异常情况,需要通过控制系统向预警模块下发控制指令,控制预警模块发出预警。
若不存在,则继续对下一时刻目标车辆周围的路面状况进行监测。
可选地,预警模块发出预警的方式,为将预警信息显示在目标车辆的显示屏上、产生声音报警和/或产生光报警。本实施例不限于预警的方式。
通过这种预警的方式,可以实时提醒驾驶员及时调整目标车辆的行车方向或速度,以保证行车安全和车辆的平稳性。
本实施例通过对目标车辆周围的路面图像中的每个区域进行分类,自动确定每个区域的路面状况,在存在至少一个区域的路面状况为异常状况的情况下,自动发出预警,并在目标车辆到达存在异常状况的区域之前,提前发出预警,提示驾驶员及时调整目标车辆的行车方向或速度,有效保证行车安全。
在上述实施例的基础上,本实施例中还包括图像采集装置具体用于:基于多个摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述多个摄像头的拍摄距离不同。
在上述实施例的基础上,本实施例中还包括控制系统用于:根据所述目标车辆在所述当前时刻的上一时刻的控制器信息,获取所述目标车辆在所述当前时刻的行驶方向;将所述多个摄像头中拍摄距离大于预设阈值的摄像头作为目标摄像头;根据所述行驶方向调整所述目标摄像头的拍摄方向;图像采集装置还用于采用调整后的摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述控制器信息与所述目标车辆的行驶方向相关。
在上述实施例的基础上,本实施例中控制系统还用于:将所述目标摄像头采集的路面图像中各区域的路面状况与预设异常状况进行匹配;若匹配到,则将所述目标摄像头采集的路面图像显示在所述目标车辆的显示屏上;若未匹配到,则将除所述目标摄像头外的摄像头采集的路面图像显示在所述目标车辆的显示屏上。
在上述各实施例的基础上,本实施例中控制系统还用于:若任一区域的路面状况为异常状况,则根据该区域的异常状况的类型预先关联的标注样式对该区域进行标注,并将标注后的所述路面图像显示在所述目标车辆的显示屏上。
在上述实施例的基础上,本实施例中所述异常状况的类型包括多种类型的凹坑和多种类型的障碍物。
在上述各实施例的基础上,本实施例中所述控制器信息包括所述目标车辆的行驶方向、速度和轮胎的角度。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令,以执行路况预警方法,该方法包括:基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;若至少存在一个区域的路面状况为异常状况,则发出预警。
此外,上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的路况预警方法,该方法包括:基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;若至少存在一个区域的路面状况为异常状况,则发出预警。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的路况预警方法,该方法包括:基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;若至少存在一个区域的路面状况为异常状况,则发出预警。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种路况预警方法,其特征在于,包括:
基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;
基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;
若至少存在一个区域的路面状况为异常状况,则发出预警。
2.根据权利要求1所述的路况预警方法,其特征在于,所述基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域,之前还包括:
基于多个摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述多个摄像头的拍摄距离不同。
3.根据权利要求2所述的路况预警方法,其特征在于,所述基于多个摄像头采集所述当前时刻目标车辆周围的路面图像,包括:
根据所述目标车辆在所述当前时刻的上一时刻的控制器信息,获取所述目标车辆在所述当前时刻的行驶方向;
将所述多个摄像头中拍摄距离大于预设阈值的摄像头作为目标摄像头;
根据所述行驶方向调整所述目标摄像头的拍摄方向;
采用调整后的摄像头采集所述当前时刻目标车辆周围的路面图像;其中,所述控制器信息与所述目标车辆的行驶方向相关。
4.根据权利要求3所述的路况预警方法,其特征在于,所述基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况,之后还包括:
将所述目标摄像头采集的路面图像中各区域的路面状况与预设异常状况进行匹配;
若匹配到,则将所述目标摄像头采集的路面图像显示在所述目标车辆的显示屏上;
若未匹配到,则将除所述目标摄像头外的摄像头采集的路面图像显示在所述目标车辆的显示屏上。
5.根据权利要求1-4任一所述的路况预警方法,其特征在于,所述基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况,之后还包括:
若任一区域的路面状况为异常状况,则根据该区域的异常状况的类型预先关联的标注样式对该区域进行标注,并将标注后的所述路面图像显示在所述目标车辆的显示屏上。
6.根据权利要求5所述的路况预警方法,其特征在于,所述异常状况的类型包括多种类型的凹坑和多种类型的障碍物。
7.根据权利要求3或4所述的路况预警方法,其特征在于,所述控制器信息包括所述目标车辆的行驶方向、速度和轮胎的角度。
8.一种路况预警装置,其特征在于,包括:
分割模块,用于基于图像分割算法将当前时刻目标车辆周围的路面图像分割成多个区域;
分类模块,基于分类算法对所述路面图像中的每个区域进行分类,获取每个区域的路面状况;
预警模块,用于若至少存在一个区域的路面状况为异常状况,则发出预警。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述路况预警方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述路况预警方法的步骤。
CN202110298311.0A 2021-03-19 2021-03-19 路况预警方法及装置 Active CN115131957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110298311.0A CN115131957B (zh) 2021-03-19 2021-03-19 路况预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110298311.0A CN115131957B (zh) 2021-03-19 2021-03-19 路况预警方法及装置

Publications (2)

Publication Number Publication Date
CN115131957A true CN115131957A (zh) 2022-09-30
CN115131957B CN115131957B (zh) 2024-02-23

Family

ID=83374267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110298311.0A Active CN115131957B (zh) 2021-03-19 2021-03-19 路况预警方法及装置

Country Status (1)

Country Link
CN (1) CN115131957B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719325A (zh) * 2022-12-07 2023-02-28 钧捷科技(北京)有限公司 基于无人驾驶的路况图像处理系统

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003002137A (ja) * 2001-06-27 2003-01-08 Honda Motor Co Ltd 画像認識装置
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
US6975246B1 (en) * 2003-05-13 2005-12-13 Itt Manufacturing Enterprises, Inc. Collision avoidance using limited range gated video
US20080007428A1 (en) * 2006-07-05 2008-01-10 Honda Motor Co., Ltd. Driving support apparatus
CN101388145A (zh) * 2008-11-06 2009-03-18 北京汇大通业科技有限公司 道路交通安全自动警示方法及装置
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
KR20120126152A (ko) * 2011-05-11 2012-11-21 (주)엠아이웨어 영상 촬영 장치, 영상 촬영 방법 및 영상정보 추출장치
CN203399216U (zh) * 2013-07-31 2014-01-15 三一汽车制造有限公司 一种车载视频监控系统及搅拌车
CN203793214U (zh) * 2014-03-14 2014-08-27 许佑正 车辆转弯的视觉死角的追踪监视装置
CN104554060A (zh) * 2014-07-30 2015-04-29 浙江吉利控股集团有限公司 一种增加车辆过弯安全性的方法及系统
CN105261224A (zh) * 2015-09-02 2016-01-20 奇瑞汽车股份有限公司 智能车辆控制方法和装置
CN106341591A (zh) * 2015-11-24 2017-01-18 同济大学 一种汽车摄像头的控制方法
CN107635060A (zh) * 2017-08-08 2018-01-26 宇龙计算机通信科技(深圳)有限公司 一种路况危险提醒方法、终端和存储介质
CN107765684A (zh) * 2016-08-16 2018-03-06 三星电子株式会社 基于立体相机的自主驾驶方法和设备
CN108430831A (zh) * 2016-12-30 2018-08-21 华为技术有限公司 一种倒车图像处理的方法及其相关设备
CN108482367A (zh) * 2018-03-13 2018-09-04 京东方科技集团股份有限公司 一种基于智能后视镜辅助驾驶的方法、装置及系统
CN108501806A (zh) * 2018-02-02 2018-09-07 斑马网络技术有限公司 减少视觉盲区的汽车及其后视镜以及减少视觉盲区的方法
CN108810417A (zh) * 2018-07-04 2018-11-13 深圳市歌美迪电子技术发展有限公司 一种图像处理方法、机构及后视镜
CN109552319A (zh) * 2018-12-07 2019-04-02 南京航空航天大学 一种夜间智能辅助驾驶系统及方法
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110502982A (zh) * 2019-07-11 2019-11-26 平安科技(深圳)有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN111539268A (zh) * 2020-04-03 2020-08-14 滴图(北京)科技有限公司 车辆行驶中的路况预警方法、装置和电子设备
CN111695418A (zh) * 2020-04-30 2020-09-22 上汽大众汽车有限公司 一种基于道路状况检测而进行安全驾驶的方法及系统
CN111942282A (zh) * 2019-05-17 2020-11-17 比亚迪股份有限公司 车辆及其驾驶盲区预警方法、装置、系统和存储介质
CN112287910A (zh) * 2020-12-25 2021-01-29 智道网联科技(北京)有限公司 道路异常区域检测方法、装置、电子设备及存储介质

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003002137A (ja) * 2001-06-27 2003-01-08 Honda Motor Co Ltd 画像認識装置
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
US6975246B1 (en) * 2003-05-13 2005-12-13 Itt Manufacturing Enterprises, Inc. Collision avoidance using limited range gated video
US20080007428A1 (en) * 2006-07-05 2008-01-10 Honda Motor Co., Ltd. Driving support apparatus
CN101388145A (zh) * 2008-11-06 2009-03-18 北京汇大通业科技有限公司 道路交通安全自动警示方法及装置
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
KR20120126152A (ko) * 2011-05-11 2012-11-21 (주)엠아이웨어 영상 촬영 장치, 영상 촬영 방법 및 영상정보 추출장치
CN203399216U (zh) * 2013-07-31 2014-01-15 三一汽车制造有限公司 一种车载视频监控系统及搅拌车
CN203793214U (zh) * 2014-03-14 2014-08-27 许佑正 车辆转弯的视觉死角的追踪监视装置
CN104554060A (zh) * 2014-07-30 2015-04-29 浙江吉利控股集团有限公司 一种增加车辆过弯安全性的方法及系统
CN105261224A (zh) * 2015-09-02 2016-01-20 奇瑞汽车股份有限公司 智能车辆控制方法和装置
CN106341591A (zh) * 2015-11-24 2017-01-18 同济大学 一种汽车摄像头的控制方法
CN107765684A (zh) * 2016-08-16 2018-03-06 三星电子株式会社 基于立体相机的自主驾驶方法和设备
CN108430831A (zh) * 2016-12-30 2018-08-21 华为技术有限公司 一种倒车图像处理的方法及其相关设备
CN107635060A (zh) * 2017-08-08 2018-01-26 宇龙计算机通信科技(深圳)有限公司 一种路况危险提醒方法、终端和存储介质
CN108501806A (zh) * 2018-02-02 2018-09-07 斑马网络技术有限公司 减少视觉盲区的汽车及其后视镜以及减少视觉盲区的方法
CN108482367A (zh) * 2018-03-13 2018-09-04 京东方科技集团股份有限公司 一种基于智能后视镜辅助驾驶的方法、装置及系统
CN108810417A (zh) * 2018-07-04 2018-11-13 深圳市歌美迪电子技术发展有限公司 一种图像处理方法、机构及后视镜
CN109552319A (zh) * 2018-12-07 2019-04-02 南京航空航天大学 一种夜间智能辅助驾驶系统及方法
CN111942282A (zh) * 2019-05-17 2020-11-17 比亚迪股份有限公司 车辆及其驾驶盲区预警方法、装置、系统和存储介质
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110502982A (zh) * 2019-07-11 2019-11-26 平安科技(深圳)有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN111539268A (zh) * 2020-04-03 2020-08-14 滴图(北京)科技有限公司 车辆行驶中的路况预警方法、装置和电子设备
CN111695418A (zh) * 2020-04-30 2020-09-22 上汽大众汽车有限公司 一种基于道路状况检测而进行安全驾驶的方法及系统
CN112287910A (zh) * 2020-12-25 2021-01-29 智道网联科技(北京)有限公司 道路异常区域检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
严强;黄增喜;曹丽萍;黄蓉刚;: "光流法在机车安全行驶中的应用", 计算机应用研究, vol. 30, no. 04, 15 April 2013 (2013-04-15), pages 1219 - 1233 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719325A (zh) * 2022-12-07 2023-02-28 钧捷科技(北京)有限公司 基于无人驾驶的路况图像处理系统
CN115719325B (zh) * 2022-12-07 2023-11-17 钧捷科技(北京)有限公司 基于无人驾驶的路况图像处理系统

Also Published As

Publication number Publication date
CN115131957B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
JP7121497B2 (ja) 仮想車路生成装置及び方法
US20220107651A1 (en) Predicting three-dimensional features for autonomous driving
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
US10997461B2 (en) Generating ground truth for machine learning from time series elements
US9507345B2 (en) Vehicle control system and method
US11380105B2 (en) Identification and classification of traffic conflicts
CN109375635A (zh) 一种自动驾驶汽车道路环境感知系统及方法
US11798290B2 (en) Obstacle detection and notification for motorcycles
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
US10369995B2 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
KR102300899B1 (ko) 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트한, 자동차간 통신 기반의 협조적인 블라인드 스팟 경보 방법 및 장치
CN103679838A (zh) 车辆监控系统及方法
CN106114500A (zh) 车辆行驶控制方法及车辆行驶控制装置
CN108163014A (zh) 一种机车乘务员辅助瞭望预警方法及装置
CN112896159A (zh) 行车安全预警方法及系统
CN111145496A (zh) 一种驾驶员行为分析预警系统
US11697346B1 (en) Lane position in augmented reality head-up display system
KR102187021B1 (ko) 전방 저속 차량 알림 시스템
CN115131957B (zh) 路况预警方法及装置
CN114492679A (zh) 一种车辆数据处理方法、装置、电子设备及介质
CN113562005A (zh) 轨道列车司机行为智能监测和障碍物侵限智能侦测系统
CN105679090A (zh) 基于智能手机的夜间司机驾驶辅助系统及驾驶辅助方法
CN114822083B (zh) 智慧车辆编队辅助控制系统
TWI804113B (zh) 智慧軌道監控系統及其方法
CN115440050B (zh) 一种矿山无人驾驶的信息传输优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant