CN117711199A - 一种辅助驾驶方法及相关装置 - Google Patents

一种辅助驾驶方法及相关装置 Download PDF

Info

Publication number
CN117711199A
CN117711199A CN202211083310.5A CN202211083310A CN117711199A CN 117711199 A CN117711199 A CN 117711199A CN 202211083310 A CN202211083310 A CN 202211083310A CN 117711199 A CN117711199 A CN 117711199A
Authority
CN
China
Prior art keywords
vehicle
windshield
partition
area
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211083310.5A
Other languages
English (en)
Inventor
孔令芳
张二艳
王乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211083310.5A priority Critical patent/CN117711199A/zh
Priority to PCT/CN2023/116622 priority patent/WO2024051614A1/zh
Publication of CN117711199A publication Critical patent/CN117711199A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种辅助驾驶方法及相关装置,该方法包括:获取挡风玻璃的图像,该挡风玻璃的图像中包括对挡风玻璃采集到的图像;根据该挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定挡风玻璃被遮挡的等级。通过结合获取到的挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积来确定挡风玻璃被遮挡的情况,相比只通过被遮挡区域的面积来确定挡风玻璃被遮挡的情况,可以有效地避免由于仅考虑被遮挡区域的面积而导致的挡风玻璃被遮挡情况的误判,有利于提高判断挡风玻璃被遮挡情况的准确度,这样一来,可以根据挡风玻璃被遮挡的情况而做出合理的辅助驾驶的措施,进而有利于提高驾驶的安全性。

Description

一种辅助驾驶方法及相关装置
技术领域
本申请涉及车辆安全技术领域,尤其涉及一种辅助驾驶方法及相关装置。
背景技术
随着智能车辆的普及程度越来越高,车辆的传感器(激光/毫米波雷达、摄像头等)、控制器、处理器等装置也更加先进,这使得车辆对周围环境的感知能力也逐渐提高。然而车辆在行驶过程中仍然存在各种可能影响驾驶员的视线的突发情况,例如,挡风玻璃被异物遮挡,这种情况下,驾驶员对前方路况无法做出合理的判断,如果继续驾驶、猛打方向盘或紧急制动等都会带来较大的安全隐患。
因此,希望提供一种方法,在某些特殊情况下(如挡风玻璃被遮挡),辅助驾驶员驾驶车辆,以提高驾驶的安全性。
发明内容
本申请提供了一种辅助驾驶方法及相关装置,以期提高驾驶的安全性。
第一方面,本申请提供了一种辅助驾驶方法,该方法可以由辅助驾驶装置执行,或者,也可以由配置在辅助驾驶装置中的部件(如芯片、芯片系统等)执行,或者,还可以由能够实现全部或部分辅助驾驶装置功能的逻辑模块或软件实现,本申请对此不作限定。
示例性地,该方法包括:获取挡风玻璃的图像,该挡风玻璃的图像中包括对挡风玻璃采集到的图像;根据该挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定挡风玻璃被遮挡的等级。
上述技术方案中,通过结合获取到的挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积来确定挡风玻璃被遮挡的情况,相比只通过被遮挡区域的面积来确定挡风玻璃被遮挡的情况,可以有效地避免由于仅考虑被遮挡区域的面积而导致的挡风玻璃被遮挡情况的误判,有利于提高判断挡风玻璃被遮挡情况的准确度,这样一来,可以根据被遮挡的情况而做出合理的辅助驾驶的措施,进而有利于提高驾驶的安全性。
结合第一方面,在第一方面的某些可能的实现方式中,上述挡风玻璃的图像包括多个分区,该多个分区位于上述挡风玻璃的图像中的不同位置,该多个分区的每个分区预定义有与至少一个遮挡等级对应的至少一个预设区间,该至少一个预设区间与落在所对应的分区内的被遮挡区域的面积相关;以及,上述根据挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定挡风玻璃被遮挡的等级,包括:根据被遮挡区域分布在多个分区中每个分区的面积,确定各个分区被遮挡的等级;将各个分区被遮挡的等级中最高的等级确定为挡风玻璃被遮挡的等级。
将挡风玻璃的图像划分成多个分区,通过被遮挡区域落在每个分区的面积来确定每个分区被遮挡的等级,再根据每个分区被遮挡的等级确定出挡风玻璃被遮挡的等级,充分考虑了被遮挡区域的位置落在挡风玻璃的位置,可以有效地避免由于仅考虑被遮挡区域的面积而导致的挡风玻璃被遮挡情况的误判,有利于提高判断挡风玻璃被遮挡情况的准确度。
结合第一方面,在第一方面的某些可能的实现方式中,上述多个分区包括第一分区和第二分区,第一分区对驾驶员视线的影响程度大于第二分区对驾驶员视线的影响程度,同一遮挡等级下,第一分区对应的预设区间的上限小于第二分区对应的预设区间的上限。
至少一个预设区间与所对应的分区内的被遮挡区域的面积占该分区的面积的比例相关,也即,针对多个分区中某一分区对应的某一遮挡等级,该遮挡等级对应的预设区间是该分区内的被遮挡区域的面积占该分区的面积的比例的取值范围。可选地,这种设计下,多个分区中对驾驶员的视线的影响程度越大的分区,同一遮挡等级下对应的预设区间的上限越小。如此一来,在对驾驶员的视线的影响程度越大的分区,更容易被判定为较高的遮挡等级,进而做出更能辅助驾驶员驾驶车辆的措施,提高驾驶的安全性。
可以理解,针对多个分区中某一分区对应的某一遮挡等级,该遮挡等级对应的预设区间还可以是该分区内的被遮挡区域的面积的取值范围。可选地,这种设计下,多个分区中对驾驶员的视线的影响程度越大的分区,同一遮挡等级对应的预设区间的上限可能越大,也可能越小。该上限与该分区的面积占整个图像的面积的比例相关。例如,某一分区的面积占整个图像的面积的比例远大于其他分区占整个图像的面积的比例,则可能同一遮挡等级下,该分区对应的预设区间的上限可能大于其他分区的预设门限的上限。
结合第一方面,在第一方面的某些可能的实现方式中,上述多个分区包括第一分区和第三分区,该第一分区和第三分区对应的至少一个遮挡等级的数量不同。
第二分区和第三分区可以是同一分区,也可以是不同分区。
可选地,多个分区中对驾驶员的视线的影响程度越大的分区,对应的遮挡等级的数量越多。
结合第一方面,在第一方面的某些可能的实现方式中,在挡风玻璃被遮挡的等级为预设的遮挡等级的情况下,上述方法还包括:基于以下至少一种方式辅助驾驶员驾驶车辆:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯。
在挡风玻璃被遮挡的等级为预设的遮挡等级的情况下,可以通过一项或多项基础方式来辅助驾驶员驾驶车辆,例如,调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。这样有利于提高驾驶的安全性。
在挡风玻璃被遮挡的等级小于预设的遮挡等级的情况下,可以不做任何处理,驾驶员继续行驶即可。
结合第一方面,在第一方面的某些可能的实现方式中,在挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,上述方法还包括:确定车辆的当前车速;根据当前车速,确定用于辅助驾驶员驾驶车辆的处理方式。
在挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,可以继续判断该车辆的当前车速,进而根据当前车速做出合理的处理方式,进而保证驾驶的安全性。
结合第一方面,在第一方面的某些可能的实现方式中,若当前车速小于或等于预设门限,则上述处理方式包括:通过中控显示屏显示车辆的俯视画面和车辆的前视画面;或,若当前车速大于预设门限,则上述处理方式包括:通过中控显示屏显示虚拟路况影像,该虚拟路况影像是基于车辆近场的路况信息以及车辆远场的路况信息绘制的。
可以理解,如果该车辆的当前车速较低,则可以通过中控显示屏显示车辆的俯视画面和车辆的前视画面,也即,显示该车辆近场的一些路况信息,来辅助驾驶员驾驶车辆,此外,还可以再加上以下一项或多项来辅助驾驶:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。如果该车辆的当前车速较高,则只通过上述方式辅助驾驶员驾驶车辆可能无法保证驾驶员的安全,例如,当前车速较高,车辆的制动距离较大,也即,需要行驶较长的距离才能停下来,如果驾驶员只能通过显示屏看见该车辆周围的路况信息,可能由于无法看见远处的路况信息而存在安全隐患,因此,可以通过中控显示屏显示虚拟路况影像来辅助驾驶员驾驶车辆,该虚拟路况影像是基于车辆近场的路况信息以及车辆远场的路况信息绘制的。此外,还可以再加上以下一项或多项来辅助驾驶:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。这样,更有利于提高驾驶的安全性。
结合第一方面,在第一方面的某些可能的实现方式中,在通过中控显示屏显示虚拟路况影像之前,上述方法还包括:通过雷达获取上述车辆近场的路况信息;从车路协同系统的路侧设备获取上述车辆远场的路况信息;基于上述车辆近场的路况信息以及上述车辆远场的路况信息,绘制上述虚拟路况影像。
结合第一方面,在第一方面的某些可能的实现方式中,在当前车速大于预设门限的情况下,上述方法还包括:向车路协同系统的路侧设备发送车辆的故障信息,以使路侧设备广播上述车辆的故障信息。
在当前车速大于预设门限的情况下,还可以向车路协同系统的路侧设备发送车辆的故障信息,以使路侧设备广播上述车辆的故障信息。如此一来,其他车辆听到广播便可以主动避让该车辆,进而有利于保证驾驶的安全性。
结合第一方面,在第一方面的某些可能的实现方式中,在当前车速大于预设门限的情况下,上述方法还包括:在车辆为非自动驾驶的情况下,通过语音提示驾驶员继续行驶并靠边停车;或,在车辆为自动驾驶的情况下,获取车辆的目标车速和靠边停车的路段信息,自动将车速调整至目标车速,并自动在上述路段信息指示的路段靠边停车。
第二方面,本申请提供了一种辅助驾驶方法,该方法可以由辅助驾驶装置执行,或者,也可以由配置在辅助驾驶装置中的部件(如芯片、芯片系统等)执行,或者,还可以由能够实现全部或部分辅助驾驶装置功能的逻辑模块或软件实现,本申请对此不作限定。
示例性地,该方法包括:确定挡风玻璃被遮挡的等级;在挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,确定车辆的当前车速;根据上述当前车速,确定用于辅助驾驶员驾驶车辆的处理方式。
基于上述方案,在挡风玻璃被遮挡的等级较高的情况下,如挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,进一步结合车辆的当前车速,确定辅助驾驶员驾驶车辆的方式,有利于提高辅助驾驶的合理性。
结合第二方面,在第二方面的某些可能的实现方式中,若当前车速小于或等于预设门限,则上述处理方式包括:通过中控显示屏显示车辆的俯视画面和车辆的前视画面;或,若当前车速大于预设门限,则上述处理方式包括:通过中控显示屏显示虚拟路况影像,该虚拟路况影像是基于车辆近场的路况信息以及车辆远场的路况信息绘制的。
可以理解,如果该车辆的当前车速较低,则可以通过中控显示屏显示车辆的俯视画面和车辆的前视画面,也即,显示该车辆近场的一些路况信息,来辅助驾驶员驾驶车辆,此外,还可以再加上以下一项或多项来辅助驾驶:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。如果该车辆的当前车速较高,则只通过上述方式辅助驾驶员驾驶车辆可能无法保证驾驶员的安全,例如,当前车速较高,车辆的制动距离较大,也即,需要行驶较长的距离才能停下来,如果驾驶员只能通过显示屏看见该车辆周围的路况信息,可能由于无法看见远处的路况信息而存在安全隐患,因此,可以通过中控显示屏显示虚拟路况影像来辅助驾驶员驾驶车辆,该虚拟路况影像是基于车辆近场的路况信息以及车辆远场的路况信息绘制的。此外,还可以再加上以下一项或多项来辅助驾驶:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。这样,更有利于提高驾驶的安全性。
结合第二方面,在第二方面的某些可能的实现方式中,在通过中控显示屏显示虚拟路况影像之前,上述方法还包括:通过雷达获取上述车辆近场的路况信息;从车路协同系统的路侧设备获取上述车辆远场的路况信息;基于上述车辆近场的路况信息以及上述车辆远场的路况信息,绘制上述虚拟路况影像。
结合第二方面,在第二方面的某些可能的实现方式中,在当前车速大于预设门限的情况下,上述方法还包括:向车路协同系统的路侧设备发送车辆的故障信息,以使路侧设备广播上述车辆的故障信息。
在当前车速大于预设门限的情况下,还可以向车路协同系统的路侧设备发送车辆的故障信息,以使路侧设备广播上述车辆的故障信息。如此一来,其他车辆听到广播便可以主动避让该车辆,进而有利于保证驾驶的安全性。
结合第二方面,在第二方面的某些可能的实现方式中,在当前车速大于预设门限的情况下,上述方法还包括:在车辆为非自动驾驶的情况下,通过语音提示驾驶员继续行驶并靠边停车;或,在车辆为自动驾驶的情况下,获取车辆的目标车速和靠边停车的路段信息,自动将车速调整至目标车速,并自动在上述路段信息指示的路段靠边停车。
第三方面,本申请提供了一种辅助驾驶装置,可以实现第一方面以及第一方面任一种可能的实现方式中的方法,或,可以实现第二方面以及第二方面任一种可能的实现方式中的方法。该装置包括用于执行上述方法的相应的单元。该装置包括的单元可以通过软件和/或硬件方式实现。
第四方面,本申请提供了一种辅助驾驶装置,该装置包括处理器。该处理器与存储器耦合,可用于执行存储器中的计算机程序,以实现第一方面以及第一方面任一种可能的实现方式中的方法,或,实现第二方面以及第二方面任一种可能的实现方式中的方法。
可选地,该装置还包括存储器。
可选地,该装置还包括通信接口,处理器与通信接口耦合。
第五方面,本申请提供了一种车辆,该车辆可用于实现上述第一方面以及第一方面任一种可能实现方式中所述的方法,或,实现第二方面以及第二方面任一种可能的实现方式中的方法。
示例性地,该车辆包括如第三方面或第四方面所述的辅助驾驶装置。
第六方面,本申请提供了一种芯片系统,该芯片系统包括至少一个处理器,用于支持实现上述第一方面以及第一方面任一种可能实现方式中所涉及的功能,或,支持实现上述第二方面以及第二方面任一种可能实现方式中所涉及的功能,例如,例如接收或处理上述方法中所涉及的数据和/或信息。
在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存程序指令和数据,存储器位于处理器之内或处理器之外。
该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。第四方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,当该计算机程序或指令被执行时,以实现第一方面和第一方面任一种可能的实现方式中的方法,或,实现第二方面和第二方面任一种可能的实现方式中的方法。
第七方面,本申请提供了一种计算机可读存储介质,包括计算机程序,当其在计算机上运行时,使得计算机实现第一方面以及第一方面任一种可能实现方式中的方法,或,实现第二方面以及第二方面任一种可能实现方式中的方法。
第八方面,本申请提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序(也可以称为代码,或指令),当所述计算机程序被运行时,使得计算机执行第一方面以及以及第一方面任一种可能实现方式中的方法,或,执行第二方面以及第二方面任一种可能实现方式中的方法。
应当理解的是,本申请实施例的第三方面至第八方面与本申请的第一方面和第二方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1是适用于本申请实施例提供的方法的场景示意图;
图2是已知技术中检测挡风玻璃的被遮挡情况的流程示意图;
图3是本申请实施例提供的辅助驾驶系统的系统结构示意图;
图4是本申请实施例提供的辅助驾驶方法的示意性流程图;
图5是本申请实施例提供的各个分区的示意图;
图6是本申请实施例提供的确定挡风玻璃被遮挡的等级的详细流程图;
图7是本申请实施例提供的根据挡风玻璃被遮挡的等级确定辅助驾驶方式的流程示意图;
图8是本申请实施例提供的根据车辆的当前车速确定辅助驾驶员驾驶车辆的方式的流程示意图;
图9是本申请实施例提供的环视全景影像和虚拟路况影像的示意图;
图10是本申请实施例提供的辅助驾驶装置的示意性框图;
图11是本申请实施例提供的辅助驾驶装置的又一示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
为便于清楚描述本申请实施例的技术方案,首先做出如下说明。
第一,在本申请中,“至少一项(个)”是指一项(个)或者多项(个)。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系,但并不排除表示前后关联对象是一种“和”的关系的情况,具体表示的含义可以结合上下文进行理解。
第二,在本申请中,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。例如,在本申请中提供的方法中,挡风玻璃的图像包括对挡风玻璃采集到的图像,但该挡风玻璃的图像中还可以包括除挡风玻璃外的其他结构,如用来镶嵌挡风玻璃的车的框架等,本申请对此不作限定。
第三,在本申请中,挡风玻璃可以是指前挡风玻璃,也可以是指后挡风玻璃,本申请对此不作限定。
为便于理解本申请实施例提供的辅助驾驶方法,下面将对本申请实施例提供的辅助驾驶方法的应用场景进行说明。可理解地,本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。
图1是适用于本申请实施例提供的方法的场景示意图。如图1所示,在车辆的行驶过程中,驾驶员可以透过前挡风玻璃101来观察前方路况,通过左后视镜102来观察后方路况,甚至可以透过左前门玻璃来观察左方路况,以保证行车安全。但在某些情况下,如图1中所示,挡风玻璃101可能被异物103遮挡,驾驶员对前方路况无法做出合理的判断,如果继续驾驶、猛打方向盘或紧急制动等都会带来较大的安全隐患。
应理解,图1中仅示出了车辆的部分结构,但不应对本申请构成任何限定,在其他实施例中,车辆可以包括更多或更少的结构。
下面首先结合图2详细描述已知技术中检测挡风玻璃的被遮挡情况的方法。
图2是已知技术中检测挡风玻璃的被遮挡情况的流程示意图。
如图2所示,目前可以通过以下方法来检测挡风玻璃的被遮挡情况:首先,通过摄像头拍摄挡风玻璃的图像。其次,对该图像进行处理,计算得到图像中被遮挡区域的面积。最后,将计算出的被遮挡区域的面积与阈值做比较,该阈值是指被遮挡区域的面积的阈值,如果计算出的被遮挡区域的面积大于阈值,则确定挡风玻璃被遮挡;如果计算出的被遮挡区域的面积小于或等于阈值,则确定挡风玻璃未被遮挡。可以理解,如果挡风玻璃中对驾驶员视线的影响程度较大的某一区域被遮挡,而由于被遮挡区域的面积较小,例如可能小于阈值,因此被判定为未被遮挡,从而不做任何处理,这样一来,可能会严重影响驾驶员的视线,进而影响驾驶员的安全。
为辅助驾驶员驾驶车辆,提高驾驶的安全性,本申请提供了一种辅助驾驶方法,通过结合获取到的挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积来确定挡风玻璃被遮挡的情况,相比只通过被遮挡区域的面积来确定挡风玻璃被遮挡的情况,有利于提高判断挡风玻璃被遮挡情况的准确度,进而有利于提高驾驶的安全性。
为便于理解本申请实施例提供的辅助驾驶方法,下面将结合图3详细描述本申请实施例涉及的辅助驾驶系统。
图3是本申请实施例提供的辅助驾驶系统的结构示意图。
如图3所示,辅助驾驶系统300包括:辅助驾驶装置301、车内中控302、摄像头303、雷达304以及行车记录仪305。其中,车内中控302、摄像头303、雷达304以及行车记录仪305均连接于辅助驾驶装置301,可以和辅助驾驶装置301进行通信。摄像头303和雷达304还连接于车内中控302,下面将详细描述上述辅助驾驶系统300中各部分的功能。
辅助驾驶装置301,可以用于获取挡风玻璃的图像,并根据挡风玻璃的图像中被遮挡区域的位置和被遮挡区域的面积,确定挡风玻璃被遮挡的等级。
车内中控302,是指车辆的控制器,可以用于控制车辆的空调、音箱、车门等,还可以用于通过显示屏显示行车记录仪的影像、雷达采集的车辆近场的路况信息、虚拟路况影像等,其中,虚拟路况影像是基于车辆近场的路况信息和远场的路况信息绘制的。
摄像头303,其数量可以为一个或多个,例如,摄像头303包括安装在车辆前后左右的多个摄像头。摄像头303可以用于拍摄图像。车辆前后左右的多个摄像头组成全景环视系统,上述多个摄像头可以用时拍摄车辆周围的图像,还可以通过控制单元处理,将上述前后左右的摄像头拍摄的图像拼接成一幅全景的车辆的俯视图像,进而通过中控显示屏显示,以供驾驶员参考。
雷达304,其数量可以为一个或多个,例如,雷达304包括安装在车辆前后左右的多个雷达。雷达304可以通过超声波原理,发出超声波,碰到障碍物后反射声波,从而计算出车辆与障碍物的实际距离。雷达304例如可以用于发现障碍物、预测碰撞、自适应巡航控制等。
行车记录仪305,可以用于拍摄车辆前方的画面,对车辆行驶速度、时间、里程以及有关车辆行驶的其他状态信息进行记录、存储,并可以通过接口实现数据输出。
应理解,本申请实施例示意的结构并不构成对辅助驾驶系统300的任何限定,在其他实施例中,该辅助驾驶系统300还可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件、或软件和硬件的组合实现。
还应理解,上文描述的辅助驾驶系统300中各部分的功能仅为示例,在其他实施例中,各部分组成可以包括更多或更少的功能,本申请实施例对此不作限定。
下文将结合实施例具体描述本申请提供的辅助驾驶方法。
应理解,下文示出的实施例以辅助驾驶装置为执行主体来描述,但不应对该方法的执行主体构成任何限定。只要能够运行记录有本申请实施例提供的方法的代码的程序,便可执行本申请实施例提供的方法。
其中,辅助驾驶装置可以单独部署在车辆上,也可以和其他控制器集成在一个域控制器中部署在车辆上,本申请对此不作限定。例如,如图3中所示的系统,辅助驾驶装置单独部署。又例如,辅助驾驶装置也可以和图3中所示的车内中控集成在一个域控制器中。
图4是本申请实施例提供的辅助驾驶方法的示意性流程图。图4所示的辅助驾驶方法400可以包括步骤401和步骤402。下面详细说明方法400中的各个步骤。
步骤401,获取挡风玻璃的图像。
上述挡风玻璃的图像中包括对挡风玻璃采集到的图像。其中,挡风玻璃的图像中除了包括对挡风玻璃拍摄到的图像外,还可能包括少量的用于镶嵌挡风玻璃的车辆的框体的图像、方向盘的图像等,本申请对挡风玻璃的图像中包括的具体结构不作限定,只要图像中包括对挡风玻璃拍摄到的图像即可。
可以理解,如果挡风玻璃被异物遮挡,则在挡风玻璃的图像中挡风玻璃被遮挡区域和其他区域不同。在本申请中,挡风玻璃的某一区域被遮挡,导致挡风玻璃的图像中某一区域被遮挡。
下文示例性地示出了几种辅助驾驶装置获取挡风玻璃的图像的方式。
方式a、辅助驾驶装置可以通过摄像头拍摄挡风玻璃的图像。例如,辅助驾驶装置可以通过前向摄像头拍摄前挡风玻璃的图像。又例如,辅助驾驶装置可以通过后向摄像头拍摄后挡风玻璃的图像。
方式b、辅助驾驶装置可以通过行车记录仪拍摄挡风玻璃的图像。例如,辅助驾驶装置可以通过行车记录仪拍摄前挡风玻璃的图像。
可选地,辅助驾驶装置可以周期性地获取挡风玻璃的图像,以对挡风玻璃被遮挡的情况进行判断。例如,辅助驾驶装置可以每隔5秒获取一次挡风玻璃的图像,并对其被遮挡情况进行判断。辅助驾驶装置还可以实时获取挡风玻璃的图像,并对其被遮挡的情况进行判断,这样一来,有利于提高驾驶的安全性。
步骤402,根据挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定挡风玻璃被遮挡的等级。
其中,挡风玻璃被遮挡的等级可以用于表征挡风玻璃被遮挡的程度,或,对驾驶员的视线的影响程度。例如,挡风玻璃被遮挡的等级越高,可以表征挡风玻璃被遮挡的程度越大,或,对驾驶员的视线的影响程度越大。
可选地,挡风玻璃被遮挡的等级可以通过文字来标识,例如,挡风玻璃被遮挡的等级包括严重遮挡、一般遮挡或未遮挡。其中,严重遮挡的等级最高,未遮挡的等级最低。挡风玻璃被遮挡的等级还可以通过具体的数值来标识,例如,挡风玻璃被遮挡的等级包括1、2或3。其中,挡风玻璃被遮挡的等级越高,数值越大;挡风玻璃被遮挡的等级越低,数值越小。或者,挡风玻璃被遮挡的等级越高,数值越小;挡风玻璃被遮挡的等级越低,数值越高。本申请对于挡风玻璃被遮挡的等级数值与挡风玻璃被遮挡的等级高低的对应关系并不做限定。
相应地,各个分区预定义的遮挡等级可以通过文字来标识,例如,各个分区预定义的遮挡等级包括严重遮挡、一般遮挡和未遮挡。其中,严重遮挡的等级最高,未遮挡的等级最低。各个分区预定义的遮挡等级还可以使用其他形式的遮挡等级,例如,各个分区预定义的遮挡等级也可通过具体的数值来标识,如,遮挡等级越高,数值越大;遮挡等级越低,数值越小。或者,又如,遮挡等级越高,数值越小;遮挡等级越低,数值越高。本申请对于遮挡等级数值与遮挡等级高低的对应关系并不做限定。
下文示例性地提供了几种确定挡风玻璃被遮挡的等级的实现方式。
一种可能的实现方式是,辅助驾驶装置将上述挡风玻璃的图像划分成多个分区,根据被遮挡区域分布在多个分区中每个分区的面积,确定各个分区中被遮挡区域的面积是否超过所对应的阈值,以得到目标分区,该目标分区是各个分区中被遮挡区域的面积超过所对应的阈值的一个或多个分区;根据目标分区对应的遮挡等级,确定挡风玻璃被遮挡的等级,该挡风玻璃被遮挡的等级是目标分区对应的遮挡等级中最高的等级。其中,上述多个分区位于挡风玻璃的图像中的不同位置,多个分区的每个分区预定义有一个遮挡等级以及遮挡等级对应的阈值,该阈值与落在所对应的分区内的被遮挡区域的面积相关。
示例性地,辅助驾驶装置获取到挡风玻璃的图像后,将该图像划分成3个分区,分别为分区1、分区2以及分区3,各个分区对驾驶员的视线的影响程度大小如下:分区2>分区1>分区3,分区2对应的遮挡等级为严重遮挡、分区1对应的遮挡等级为一般遮挡、分区3对应的遮挡等级为未遮挡。进一步地,辅助驾驶装置计算被遮挡区域分布在多个分区中每个分区的面积,如果各个分区中被遮挡区域的面积超过所对应的阈值,则将该分区确定为目标分区,例如,分区1和分区2中被遮挡区域的面积超过所对应的阈值,则目标分区为分区1和分区2,而分区2的遮挡等级高于分区1的遮挡等级,因此,挡风玻璃被遮挡的等级为严重遮挡。
另一种可能的实现方式是,辅助驾驶装置将上述挡风玻璃的图像划分为多个分区,根据被遮挡区域分布在上述多个分区中每个分区的面积,确定各个分区被遮挡的等级,再将各个分区被遮挡的等级中最高的等级确定为挡风玻璃被遮挡的等级。其中,上述多个分区位于挡风玻璃的图像中的不同位置,上述多个分区的每个分区预定义有与至少一个遮挡等级对应的至少一个预设区间,该至少一个预设区间与落在所对应的分区内的被遮挡区域的面积相关。
示例性地,辅助驾驶装置获取到挡风玻璃的图像后,将该图像划分成3个分区,分别为分区1、分区2以及分区3,分区2预定义的遮挡等级包括严重遮挡、一般遮挡和未遮挡,分区1预定义的遮挡等级包括一般遮挡和未遮挡,分区3预定义的遮挡等级包括一般遮挡和未遮挡。进一步地,辅助驾驶装置计算被遮挡区域分布在多个分区中每个分区的面积,根据各个分区中被遮挡区域的面积所属的预设区间,确定各个分区被遮挡的等级,例如,分区1中被遮挡区域的面积所属的预设区间为一般遮挡对应的预设区间,分区2中被遮挡区域的面积所属的预设区间为严重遮挡对应的预设区间,分区3中被遮挡区域的面积所属的预设区间为未遮挡对应的预设区间,则挡风玻璃被遮挡的等级为严重遮挡。
表1给出了被遮挡区域几种分布场景下确定出的挡风玻璃的遮挡等级的示例,下面将结合表1进行详细介绍。
表1
如表1所示,一种可能的场景是,被遮挡区域仅分布于分区1,其中,被遮挡区域分布在分区1中的面积占分区1的面积的百分比为50%,属于一般遮挡,被遮挡区域分布在分区2和分区3的面积为0,故分区2和分区3被遮挡的等级为未遮挡,根据分区1、分区2以及分区3的被遮挡的等级,可以得出挡风玻璃被遮挡的等级为一般遮挡。
另一种可能的场景是,被遮挡区域分布于分区1和分区2,其中,被遮挡区域分布在分区1中的面积占分区1的面积的百分比为70%,属于一般遮挡,被遮挡区域分布在分区2中的面积占分区2的面积的百分比为60%,属于严重遮挡,被遮挡区域分布在分区3的面积为0,属于未遮挡,因此,可以得出挡风玻璃被遮挡的等级为严重遮挡。
又一种可能的场景是,被遮挡区域分布于分区1、分区2以及分区3,其中,被遮挡区域分布在分区1中的面积占分区1的面积的百分比为40%,属于未遮挡,被遮挡区域分布在分区2中的面积占分区2的面积的百分比为15%,属于未遮挡,被遮挡区域分布在分区3中的面积占分区3的面积的百分比为40%,属于未遮挡,因此,可以得出挡风玻璃被遮挡的等级为未遮挡。
再一种可能的场景是,被遮挡区域分布于分区2和分区3,其中,被遮挡区域分布在分区2中的面积占分区2的面积的百分比为30%,属于一般遮挡,被遮挡区域分布在分区3中的面积占分区3的面积的百分比为60%,属于一般遮挡,被遮挡区域分布在分区1的面积为0,属于未遮挡,因此,可以得出挡风玻璃被遮挡的等级为一般遮挡。
可选地,辅助驾驶装置可以根据预定义的规则来将挡风玻璃的图像划分为多个分区。示例性地,预定义的规则包括:多个分区分别为挡风玻璃的图像中上方1/4的区域、挡风玻璃的图像中的中间部分1/2的区域、挡风玻璃的图像中下方1/4的区域。上述预定义的规则仅为示例,不应对本申请实施例构成任何限定。在其他的实施例中,辅助驾驶装置还可以通过其他的规则来将图像进行划分。另外,不同的车型也可以对应不同的规则。
可选地,挡风玻璃的图像可以被划分为更多或更少的分区,挡风玻璃被遮挡的等级数量也可以更多或更少,本申请对此均不做限定。
如图5中的a)所示,辅助驾驶装置获取到前挡风玻璃的图像,该图像包括对前挡风玻璃拍摄到的图像,还包括一些车辆的其他结构(如图中所示的部分方向盘)。如图5中的b)所示,辅助驾驶装置将上述挡风玻璃的图像划分为多个分区,例如,将上述挡风玻璃的图像中上方1/4的区域作为分区1,挡风玻璃的图像中的中间部分1/2的区域作为分区2,挡风玻璃的图像中下方1/4的区域作为分区3。
可选地,本申请所述的多个分区中对驾驶员的视线的影响程度越大的分区,同一遮挡等级对应的预设区间的上限越小。
多个预设区间与所对应的分区内的被遮挡区域的面积占该分区的面积的比例相关,也即,针对多个分区中某一分区对应的某一遮挡等级,该遮挡等级对应的预设区间是该分区内的被遮挡区域的面积占该分区的面积的比例的取值范围。可选地,这种设计下,多个分区中对驾驶员的视线的影响程度越大的分区,同一遮挡等级对应的预设区间的上限越小。如此一来,在对驾驶员的视线的影响程度越大的分区,更容易被判定为较高的遮挡等级,进而做出更能辅助驾驶员驾驶车辆的措施,提高驾驶的安全性。
示例性地,多个分区包括第一分区和第二分区,第一分区对驾驶员视线的影响程度大于第二分区对驾驶员视线的影响程度,同一遮挡等级下,第一分区对应的预设区间的上限小于第二分区对应的预设区间的上限。
可以理解,针对多个分区中某一分区对应的某一遮挡等级,该遮挡等级对应的预设区间还可以是该分区内的被遮挡区域的面积的取值范围。可选地,这种设计下,多个分区中对驾驶员的视线的影响程度越大的分区,同一遮挡等级对应的预设区间的上限可能越大,也可能越小。该上限与该分区的面积占整个图像的面积的比例相关。例如,某一分区的面积占整个图像的面积的比例远大于其他分区占整个图像的面积的比例,则可能同一遮挡等级下,该分区对应的预设区间的上限可能大于其他分区的预设门限的上限。
可选地,上述多个分区包括第一分区和第三分区,该第一分区和第三分区预定义的至少一个遮挡等级的数量不同。
例如,分区1对驾驶员视线的影响程度大于分区2对驾驶员视线的影响程度,分区1预定义的遮挡等级的数量可以大于分区2预定义的遮挡等级的数量。其中,第二分区和第三分区可以是同一分区,也可以是不同分区。
一种可能的设计是,多个分区中对驾驶员的视线的影响程度越大的分区,对应的遮挡等级的数量越多。例如,上述多个分区包括分区1、分区2以及分区3,各个分区对驾驶员的视线的影响程度大小如下:分区2>分区1>分区3,分区2预定义的遮挡等级包括严重遮挡、一般遮挡以及未遮挡,分区1预定义的遮挡等级包括一般遮挡和未遮挡,分区3预定义的遮挡等级包括未遮挡。
应理解,上述各个分区对应的遮挡等级的数量的大小关系仅为示例,不应对本申请实施例构成任何限定。在其他实施例中,对驾驶员的视线的影响程度不同的分区,对应的遮挡等级的数量可能相同。例如,上述多个分区包括分区1、分区2以及分区3,各个分区对驾驶员的视线的影响程度大小如下:分区2>分区1>分区3,分区2预定义的遮挡等级包括严重遮挡、一般遮挡以及未遮挡,分区1预定义的遮挡等级包括一般遮挡和未遮挡,分区3预定义的遮挡等级包括一般遮挡和未遮挡。
图6是本申请实施例提供的确定挡风玻璃被遮挡的等级的详细流程图。在图6所示的实施例中,多个分区包括分区1、分区2以及分区3,其中,分区1预定义的遮挡等级包括未遮挡和一般遮挡,分区2预定义的遮挡等级包括未遮挡、一般遮挡以及严重遮挡,分区3预定义的遮挡等级包括未遮挡和一般遮挡。
步骤601,获取挡风玻璃的图像。
辅助驾驶装置可以通过摄像头拍摄挡风玻璃的图像,还可以通过行车记录仪拍摄挡风玻璃的图像,本申请实施例对获取图像的具体方式不作限定。关于获取挡风玻璃的图像的具体描述可以参看步骤401,此处不再详述。
步骤602,计算被遮挡区域分布在各个分区的面积。
步骤602具体包括:计算被遮挡区域分布在分区1中的面积S1,计算被遮挡区域分布在分区2中的面积S2以及计算被遮挡区域分布在分区3中的面积S3。
步骤603,确定各个分区被遮挡的等级。
针对分区1,辅助驾驶装置判断S1≥a是否成立。若S1≥a,则辅助驾驶装置确定分区1被遮挡的等级为一般遮挡;若S1<a,则辅助驾驶装置确定分区1被遮挡的等级为未遮挡。
针对分区2,辅助驾驶装置判断S2≥b是否成立。其中,被遮挡区域分布在各个分区的面积的计算结果是以百分比的形式表示时,也即,以被遮挡区域分布在各个分区的面积占所对应的分区的面积的比值的形式表示时,a>b。若S2<b,则辅助驾驶装置确定分区2被遮挡的等级为未遮挡;S2≥b,则继续判断S2≥c是否成立。若S2≥c,则辅助驾驶装置确定分区2被遮挡的等级为严重遮挡;若S2<c,则辅助驾驶装置确定分区2被遮挡的等级为一般遮挡。
针对分区3,辅助驾驶装置判断S3≥a是否成立。若S3≥a,则辅助驾驶装置确定分区3被遮挡的等级为一般遮挡;S3<a,则辅助驾驶装置确定分区3被遮挡的等级为未遮挡。
应理解,图6所示的实施例中,以分区1和分区3预定义的遮挡等级的数量以及每个遮挡等级对应的预设区间相同为例,但不应对本申请实施例构成任何限定。例如,在其他的实施例中,分区1和分区3预定义的遮挡等级的数量以及每个遮挡等级对应的预设区间也可以不同。
步骤604,确定挡风玻璃被遮挡的等级为各个分区被遮挡的等级中最高的等级。
示例性地,分区1被遮挡的等级为一般遮挡,分区2被遮挡的等级为严重遮挡,分区3被遮挡的等级为未遮挡,则挡风玻璃被遮挡的等级为严重遮挡。关于确定挡风玻璃被遮挡的等级更具体的描述可以参看步骤402,此处不再详述。
可以理解,辅助驾驶装置确定出挡风玻璃被遮挡的等级后,可以根据挡风玻璃被遮挡的等级,做出相应的处理措施,以辅助驾驶员驾驶车辆,进而提高驾驶的安全性。
可选地,图4所示的方法400还包括:在挡风玻璃被遮挡的等级为预设的遮挡等级的情况下,上述方法还包括:基于以下至少一种方式辅助驾驶员驾驶车辆:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯。
在挡风玻璃被遮挡的等级为预设的遮挡等级的情况下,辅助驾驶装置可以通过一些基础方式来辅助驾驶员驾驶车辆,例如,调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。本申请实施例对上述辅助驾驶员驾驶车辆的具体方式不作任何限定。在实际应用中,辅助驾驶装置还可以通过其他方式来辅助驾驶员驾驶车辆,例如,通过语音提示驾驶员无需过于慌张等。
可以理解,调整车辆的尾灯,用于提醒后车注意车距,比如调整阵列式尾灯的排列、闪光频率等。开启香氛可以舒缓驾驶员紧张、不安的感觉,使驾驶员可以集中精神观察路况继续驾驶。如果当前香氛已经是开启状态,则可以自动更换对应舒缓心情的香氛。
在挡风玻璃被遮挡的等级小于预设的遮挡等级的情况下,辅助驾驶装置可以不做任何处理,驾驶员继续行驶即可。
在挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,图4所示的方法400还可以包括:确定车辆的当前车速;根据当前车速,确定用于辅助驾驶员驾驶车辆的处理方式。
在挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,辅助驾驶装置可以继续判断该车辆的当前车速,进而根据车速做出合理的处理方式,进而保证驾驶的安全性。
一种可能的实现方式是,若当前车速小于或等于预设门限,则上述处理方式可以包括:通过中控显示屏显示车辆的俯视画面和车辆的前视画面;若当前车速大于预设门限,则上述处理方式可以包括:通过中控显示屏显示虚拟路况影像,该虚拟路况影像是基于车辆近场的路况信息以及车辆远场的路况信息绘制的。
可以理解,如果该车辆的当前车速较低,则辅助驾驶装置可以通过中控显示屏显示该车辆近场的一些路况信息,例如车辆的俯视画面和车辆的前视画面,来辅助驾驶员驾驶车辆,此外,辅助驾驶装置还可以再加上以下一项或多项来辅助驾驶:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。
如果该车辆的当前车速较高,则辅助驾驶装置只通过上述方式辅助驾驶员驾驶车辆可能无法保证驾驶员的安全,例如,当前车速较高,车辆的制动距离较大,也即,需要行驶较长的距离才能停下来,如果驾驶员只能通过显示屏看见该车辆周围的路况信息,可能由于无法看见远处的路况信息而存在安全隐患,因此,辅助驾驶装置可以通过中控显示屏显示虚拟路况影像来辅助驾驶员驾驶车辆,该虚拟路况影像是基于车辆近场的路况信息以及车辆远场的路况信息绘制的。
其中,上述虚拟路况影像可以通过以下方式绘制:通过雷达获取上述车辆近场的路况信息,并从车路协同系统的路侧设备获取上述车辆远场的路况信息,更为详细地,通过远程信息处理模块(telematics box,T-BOX)的PC5接口从车路协同系统的路侧设备获取上述车辆远场的路况信息,进而基于上述车辆近场的路况信息以及上述车辆远场的路况信息,绘制上述虚拟路况影像。
近场的路况信息例如包括但不限于:周围车辆的相对距离、相对速度、行驶角度、行驶方向等,远场的路况信息例如包括但不限于:车辆位置、车道信息、车型信息、相对速度、加速度等。
此外,在当前车速大于预设门限的情况下,辅助驾驶装置还可以再加上以下一项或多项来辅助驾驶员驾驶车辆:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。这样,更有利于提高驾驶的安全性。
可选地,在当前车速大于预设门限的情况下,辅助驾驶装置还可以向车路协同系统的路侧设备发送车辆的故障信息,以使路侧设备广播上述车辆的故障信息。
在当前车速大于预设门限的情况下,辅助驾驶装置还可以向车路协同系统的路侧设备发送车辆的故障信息,以使路侧设备广播上述车辆的故障信息。如此一来,其他车辆听到广播便可以主动避让该车辆,进而有利于保证驾驶的安全性。
可选地,在当前车速大于预设门限的情况下,若当前车辆处于非自动驾驶状态,则辅助驾驶装置还可以通过语音提示驾驶员继续行驶并靠边停车,驾驶员可以在合适的情况下靠边停车。若当前车辆处于自动驾驶状态,则辅助驾驶装置还可以获取车辆的目标车速以及靠边停车的路段,并自动调整车速至目标车速,自动在上述路段靠边停车。例如,若当前车辆处于自动驾驶状态,则辅助驾驶装置还可以从车辆的计算平台获取车辆的目标车速和靠边停车的路段,例如计算平台根据自身车辆的车速和其他车辆的车速、以及与其他车辆的相对位置,计算出自身处于怎样的目标车速可以保证安全行驶,获取到上述目标车速和路段后,辅助驾驶装置可以自动调整车速至目标车速,并自动在上述路段靠边停车。
图7是本申请实施例提供的根据挡风玻璃被遮挡的等级确定辅助驾驶方式的流程示意图。
步骤701,获取挡风玻璃被遮挡的等级。
步骤702,根据挡风玻璃被遮挡的等级确定辅助驾驶方式。
若挡风玻璃被遮挡的等级为未遮挡,则不做处理,继续行驶。若挡风玻璃被遮挡的等级为一般遮挡,则通过基础方式辅助驾驶员驾驶车辆。其中,基础方式包括以下一项或多项:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯等。若挡风玻璃被遮挡的等级为严重遮挡,则根据车辆的当前车速确定辅助驾驶员驾驶车辆的方式。下面将结合图8详细描述根据车辆的当前车速确定辅助驾驶员驾驶车辆的方式的过程。
图8是本申请实施例提供的根据车辆的当前车速确定辅助驾驶员驾驶车辆的方式的流程示意图。
步骤801,确定挡风玻璃被遮挡的等级为严重遮挡。
步骤802,确定当前车速≥预设速度是否成立。
若当前车速<预设速度,则辅助驾驶装置执行步骤803和/或步骤804;若当前车速≥预设速度,则辅助驾驶装置执行步骤805至步骤808。可选地,若当前车速≥预设速度,辅助驾驶装置还可以执行步骤803和/或步骤804。
步骤803,调整车辆的尾灯,开启香氛。
调整车辆的尾灯,用于提醒后车注意车距,例如,辅助驾驶装置可以调整阵列式尾灯的排列、闪光频率等。开启香氛可以舒缓驾驶员紧张、不安的感觉,使驾驶员可以集中精神观察路况继续驾驶。可以理解,如果当前香氛已经是开启状态,则可以自动更换可以舒缓心情的香氛。
可选地,辅助驾驶装置还可以开启雨刮或开启双闪警示灯等。其中,开启雨刮可以有助于清除挡风玻璃上的遮挡物,开启双闪警示灯可以用于提醒前车或后车注意车距。
步骤804,通过中控显示屏显示环视全景影像。
其中,环视全景影像包括360度的车辆的俯视画面和车辆的前视画面。上述车辆的俯视画面可以是通过车辆上安装的前后左右的摄像头拍摄的,车辆的前视画面可以是通过车辆上安装的前方的摄像头拍摄的。
步骤805,从雷达获取近场的路况信息。
若当前车速≥预设速度,则辅助驾驶装置从雷达获取近场的路况信息。其中,路况信息例如包括:周围车辆的相对距离、相对速度、行驶角度、行驶方向等。
步骤806,从车路协同系统的路侧设备获取远场的路况信息。
远场的路况信息例如包括:车辆位置、车道信息、车型信息、相对速度、加速度等。
步骤807,根据近场的路况信息和远场的路况信息,绘制虚拟路况影像。
示例性地,辅助驾驶装置根据获取到的该车辆近场的车辆的信息和远场的车辆的信息,融合计算出综合的路况信息,包括车道信息、车辆位置、车型信息、相对速度、加速度等,并绘制虚拟路况影像。
步骤808,通过中控显示屏显示虚拟路况影像。
辅助驾驶装置通过中控显示屏显示虚拟路况影像,使得驾驶员可以从中控显示屏上看见路况信息,这样一来,即使遮挡物影响驾驶员的视线,驾驶员也可以基于中控显示屏显示的虚拟路况影像来驾驶车辆,有利于提高驾驶的安全性。
应理解,图8所示的实施例仅为示例,不应对本申请实施例构成任何限定。在其他的实施例中,可以包括比图8更多或更少的步骤,例如,辅助驾驶装置还可以在当前车速≥预设速度的情况下,如果车辆处于非自动驾驶状态,则通过语音提示驾驶员继续行驶并靠边停车,这样一来,驾驶员可以在合适的情况下靠边停车。如果当前车辆处于自动驾驶状态,则辅助驾驶装置还可以获取车辆的目标车速以及靠边停车的路段,并自动调整车速至目标车速,自动在上述路段靠边停车。又例如,辅助驾驶装置在当前车速<预设速度的情况下,可以略过步骤803,直接执行步骤804。
另外,本申请实施例对图8所示的各个步骤的先后顺序不作限定。例如,在其他的实施例中,辅助驾驶装置可以先执行步骤806,再执行步骤807,或,同时执行步骤806和步骤807。又例如,在其他的实施例中,辅助驾驶装置可以先执行步骤804,再执行步骤803,或,同时执行步骤804和步骤803。为了简洁,此处不再一一列举。
需要说明的是,在其他的实施例中,辅助驾驶装置可以根据已知的确定挡风玻璃被遮挡等级的方法(如图2所示的方法),确定挡风玻璃被遮挡的等级,或,通过本申请提供的确定挡风玻璃被遮挡的等级的方法(如图4所示的方法),确定挡风玻璃被遮挡的等级,进而在挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,确定车辆的当前车速;根据当前车速,确定用于辅助驾驶员驾驶车辆的处理方式。更具体的过程可以参看图7或图8的相关描述,此处不再赘述。
图9是本申请实施例提供的环视全景影像和虚拟路况影像的示意图。
如图9中的a)所示,车辆a为自身车辆,在当前车速<预设速度的情况下,辅助驾驶装置可以通过中控显示屏显示环视全景影像,该环视全景影像可以包括车辆a的俯视画面和前视画面,画面可以分为左右半屏,例如,通过中控显示屏的左半屏显示车辆a的俯视画面,通过右半屏显示车辆a的前视画面。如图9中的b)所示,在当前车速≥预设速度的情况下,辅助驾驶装置可以通过中控显示屏显示虚拟路况影像,该虚拟路况影像可以包括车辆a的周围的车辆以及远场的车辆的车型信息、车速信息等,还可以包括车道信息等。
应理解,图9中的虚拟路况影像仅示例性地示出了车道信息、车辆a的周围的部分车辆等,在实际应用中,中控显示屏上还可以显示每辆车辆的车速、加速度等,本申请实施例对此不作限定。
基于上述技术方案,通过结合获取到的挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积来确定挡风玻璃被遮挡的情况,相比只通过被遮挡区域的面积来确定挡风玻璃被遮挡的情况,可以有效地避免由于仅考虑被遮挡区域的面积而导致的挡风玻璃被遮挡情况的误判,有利于提高判断挡风玻璃被遮挡情况的准确度,这样一来,才能根据被遮挡的情况而做出合理的辅助驾驶的措施,进而有利于提高驾驶的安全性。
图10是本申请实施例提供的辅助驾驶装置的示意性框图。
如图10所示,该装置1000可以包括:收发单元1010和处理单元1020。该装置1000可用于实现图4、图6、图7或图8所示实施例中所述的方法。
示例性地,当该装置1000用于实现图4所示实施例所述的方法时,所述收发单元1010可以用于获取挡风玻璃的图像,该挡风玻璃的图像包括对挡风玻璃采集到的图像;处理单元1020可以用于根据上述挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定挡风玻璃被遮挡的等级。
各单元执行上述相应步骤的具体过程在上述方法实施例中已经详细说明,为了简洁,在此不再赘述。
应理解,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
图11是本申请实施例提供的辅助驾驶装置的又一示意性框图。
该装置1100可用于实现上述图4、图6、图7或图8所示的实施例中所述的方法。该装置1100可以为芯片系统。本申请实施例中,芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
如图11所示,该装置1100可以包括至少一个处理器1110,用于实现图4、图6、图7或图8所示的实施例中所述的方法。
示例性地,当该装置1100用于实现图4所示实施例中所述的方法时,处理器1110可以用于获取挡风玻璃的图像,该挡风玻璃的图像包括对挡风玻璃采集到的图像;根据上述挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定挡风玻璃被遮挡的等级。具体参见方法示例中的详细描述,此处不做赘述。
该装置1100还可以包括至少一个存储器1120,可以用于存储程序指令和/或数据。存储器1120和处理器1110耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。处理器1110可能和存储器1120协同操作。处理器1110可能执行存储器1120中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。
该装置1100还可以包括通信接口1130,用于通过传输介质和其它设备进行通信,从而使得该装置1100可以和其它设备进行通信。所述通信接口1130例如可以是收发器、接口、总线、电路或者能够实现收发功能的装置。处理器1110可利用通信接口1130收发数据和/或信息,并用于实现图4、图6、图7或图8所示的实施例中所述的方法。
本申请实施例中不限定上述处理器1110、存储器1120以及通信接口1130之间的具体连接介质。本申请实施例在图11中以处理器1110、存储器1120以及通信接口1130之间通过总线1140连接。总线1140在图11中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请还提供了一种芯片系统,所述芯片系统包括至少一个处理器,用于实现上述图4、图6、图7或图8所示实施例中所述的方法。
在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存程序指令和数据,存储器位于处理器之内或处理器之外。
该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
本申请还提供一种车辆,该车辆可用于实现如图4、图6、图7或图8所示的实施例中所述的方法。该车辆可对应于图10或图11所示的辅助驾驶装置,例如可以是上述辅助驾驶装置,或者,可以包括上述辅助驾驶装置。
本申请还提供一种计算机程序产品,所述计算机程序产品包括:计算机程序(也可以称为代码,或指令),当所述计算机程序被运行时,使得计算机执行如图4、图6、图7或图8所示的实施例中所述的方法。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)。当所述计算机程序被运行时,使得计算机执行如图4、图6、图7或图8所示的实施例中所述的方法。
应理解,本申请实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本说明书中使用的术语“单元”、“模块”等,可用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step),能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。在本申请所提供的几个实施例中,应该理解到,所揭露的装置、设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上单元集成在一个模块中。
在上述实施例中,各功能模块的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令(程序)。在计算机上加载和执行所述计算机程序指令(程序)时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种辅助驾驶方法,其特征在于,包括:
获取挡风玻璃的图像,所述挡风玻璃的图像中包括对所述挡风玻璃采集到的图像;
根据所述挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定所述挡风玻璃被遮挡的等级。
2.如权利要求1所述的方法,其特征在于,所述挡风玻璃的图像包括多个分区,所述多个分区位于所述挡风玻璃的图像中的不同位置,所述多个分区的每个分区预定义有与至少一个遮挡等级对应的至少一个预设区间,所述至少一个预设区间与落在所对应的分区内的被遮挡区域的面积相关;以及,
所述根据所述挡风玻璃的图像中被遮挡区域的位置以及被遮挡区域的面积,确定所述挡风玻璃被遮挡的等级,包括:
根据所述被遮挡区域分布在所述多个分区中每个分区的面积,确定各个分区被遮挡的等级;
将所述各个分区被遮挡的等级中最高的等级确定为所述挡风玻璃被遮挡的等级。
3.如权利要求2所述的方法,其特征在于,所述多个分区包括第一分区和第二分区,所述第一分区对驾驶员视线的影响程度大于所述第二分区对驾驶员视线的影响程度,同一遮挡等级下,所述第一分区对应的预设区间的上限小于所述第二分区对应的预设区间的上限。
4.如权利要求2所述的方法,其特征在于,所述多个分区包括第一分区和第三分区,所述第一分区和所述第三分区对应的至少一个遮挡等级的数量不同。
5.如权利要求1至4中任一项所述的方法,其特征在于,在所述挡风玻璃被遮挡的等级为预设的遮挡等级的情况下,所述方法还包括:
基于以下至少一种方式辅助驾驶员驾驶车辆:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯。
6.如权利要求1至5中任一项所述的方法,其特征在于,在所述挡风玻璃被遮挡的等级大于预设的遮挡等级的情况下,所述方法还包括:
确定车辆的当前车速;
根据所述当前车速,确定用于辅助驾驶员驾驶所述车辆的处理方式。
7.如权利要求6所述的方法,其特征在于,若所述当前车速小于或等于预设门限,则所述处理方式包括:通过中控显示屏显示所述车辆的俯视画面和所述车辆的前视画面;或,
若所述当前车速大于预设门限,则所述处理方式包括:通过中控显示屏显示虚拟路况影像,所述虚拟路况影像是基于所述车辆近场的路况信息以及所述车辆远场的路况信息绘制的。
8.如权利要求7所述的方法,其特征在于,在所述通过中控显示屏显示所述虚拟路况影像之前,所述方法还包括:
通过雷达获取所述车辆近场的路况信息;
从车路协同系统的路侧设备获取所述车辆远场的路况信息;
基于所述车辆近场的路况信息以及所述车辆远场的路况信息,绘制所述虚拟路况影像。
9.如权利要求7或8所述的方法,其特征在于,在所述当前车速大于预设门限的情况下,所述方法还包括:
向车路协同系统的路侧设备发送所述车辆的故障信息,以使所述路侧设备广播所述车辆的故障信息。
10.如权利要求7至9中任一项所述的方法,其特征在于,在所述当前车速大于预设门限的情况下,所述方法还包括:
当所述车辆为非自动驾驶时,通过语音提示驾驶员继续行驶并靠边停车;或,
当所述车辆为自动驾驶时,获取所述车辆的目标车速和靠边停车的路段信息;
自动将车速调整至所述目标车速,并自动在所述路段信息指示的路段靠边停车。
11.如权利要求6至10中任一项所述的方法,其特征在于,所述方法还包括:
基于以下至少一种方式辅助驾驶员驾驶车辆:调整车辆的尾灯、开启香氛、开启雨刮或开启双闪警示灯。
12.一种辅助驾驶装置,其特征在于,包括用于实现如权利要求1至11中任一项所述的方法的单元。
13.一种辅助驾驶装置,其特征在于,包括处理器和存储器,其中,
所述存储器用于存储计算机程序;
所述处理器用于调用所述计算机程序,以使得所述装置执行权利要求1至11中任一项所述的方法。
14.一种车辆,其特征在于,包括辅助驾驶装置,所述辅助驾驶装置用于实现如权利要求1至11中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序或指令,当所述计算机程序或指令被计算机执行时,实现如权利要求1至11中任一项所述的方法。
16.一种计算机程序产品,其特征在于,所述计算机程序产品包括指令,当所述指令被计算机运行时,实现如权利要求1至11中任一项所述的方法。
CN202211083310.5A 2022-09-06 2022-09-06 一种辅助驾驶方法及相关装置 Pending CN117711199A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211083310.5A CN117711199A (zh) 2022-09-06 2022-09-06 一种辅助驾驶方法及相关装置
PCT/CN2023/116622 WO2024051614A1 (zh) 2022-09-06 2023-09-01 一种辅助驾驶方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211083310.5A CN117711199A (zh) 2022-09-06 2022-09-06 一种辅助驾驶方法及相关装置

Publications (1)

Publication Number Publication Date
CN117711199A true CN117711199A (zh) 2024-03-15

Family

ID=90152098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211083310.5A Pending CN117711199A (zh) 2022-09-06 2022-09-06 一种辅助驾驶方法及相关装置

Country Status (2)

Country Link
CN (1) CN117711199A (zh)
WO (1) WO2024051614A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5359175B2 (ja) * 2008-10-16 2013-12-04 株式会社デンソー 視界状態検知装置および視界確保装置
DE102016224332B4 (de) * 2016-12-07 2021-07-08 Audi Ag Kraftfahrzeug
CN107554485B (zh) * 2017-07-18 2019-05-31 上海禹点电子科技有限公司 挡风玻璃遮挡区域擦拭控制系统及方法
EP3483781B1 (en) * 2017-11-13 2021-10-06 Continental Automotive GmbH Device for detecting windshield blockage
CN110775028B (zh) * 2019-10-29 2022-05-24 长安大学 一种汽车挡风玻璃遮挡物检测及辅助驾驶系统和方法
CN113511140A (zh) * 2020-04-11 2021-10-19 杭州光力美电子科技有限公司 一种汽车驾驶盲区摄像头
CN111775890B (zh) * 2020-05-29 2021-11-09 恒大新能源汽车投资控股集团有限公司 车窗玻璃的遮挡检测方法、装置和系统以及存储介质
CN111703371B (zh) * 2020-06-16 2023-04-07 阿波罗智联(北京)科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
CN113353025B (zh) * 2021-07-14 2022-12-27 恒大恒驰新能源汽车研究院(上海)有限公司 一种车辆除霜除雾方法和装置
CN113657277A (zh) * 2021-08-18 2021-11-16 南京佑驾科技有限公司 一种车辆被遮挡状态判断系统及方法
CN113911034A (zh) * 2021-11-04 2022-01-11 无锡睿勤科技有限公司 驾驶视野保障设备、方法及计算机可读存储介质
CN114312672A (zh) * 2022-01-27 2022-04-12 中国第一汽车股份有限公司 一种雨刷控制方法及系统、行车记录仪

Also Published As

Publication number Publication date
WO2024051614A1 (zh) 2024-03-14

Similar Documents

Publication Publication Date Title
US8339253B2 (en) Methods and systems for displaying vehicle rear camera images in different modes
CN109153359B (zh) 一种汽车盲区的监测方法及系统
US9798937B2 (en) Vehicle control method for safety driving and device thereof
JP4852941B2 (ja) 車載警報装置
US10232772B2 (en) Driver assistance system
JP2011076630A (ja) 車載用画像表示装置
JP6332383B2 (ja) 車両用物標検出システム
CN108297879A (zh) 一种汽车预警系统
JP4696792B2 (ja) 車載警報装置
JP2018054470A (ja) 車両用物標検出システム
KR20190046579A (ko) 다중 카메라 제어 시스템 및 다중 카메라 영상 출력 제어 방법
JP2007072630A (ja) 車載警報装置
JP3970486B2 (ja) 車両用走行制御装置
JP2007072632A (ja) 車載警報装置
CN117711199A (zh) 一种辅助驾驶方法及相关装置
JP7202195B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
EP4371822A1 (en) Auxiliary driving system and vehicle
CN107640111B (zh) 基于百核微处理器控制的汽车视觉图像处理系统及方法
CN116252712A (zh) 驾驶员辅助设备、车辆及控制车辆的方法
JP6372556B2 (ja) 車載用画像表示装置
US20090115593A1 (en) Vehicular warning system and method
CN111845347B (zh) 车辆行车安全的提示方法、车辆和存储介质
CN113240940A (zh) 汽车提醒监控方法、电子设备及存储介质
US20060103509A1 (en) Alarm system for a vehicle
KR20190069643A (ko) 차량의 영상 출력 제어 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination