CN116373910A - 一种自动驾驶辅助方法及系统 - Google Patents
一种自动驾驶辅助方法及系统 Download PDFInfo
- Publication number
- CN116373910A CN116373910A CN202310580782.XA CN202310580782A CN116373910A CN 116373910 A CN116373910 A CN 116373910A CN 202310580782 A CN202310580782 A CN 202310580782A CN 116373910 A CN116373910 A CN 116373910A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- dimensional image
- automatic driving
- contact time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及自动驾驶技术领域,提供了一种自动驾驶辅助方法及系统,所述方法包括获取点云数据,点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息;根据点云数据生成二维图像,二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;利用神经网络模型对二维图像进行特征提取,得到特征信息,特征信息包括的二维图像中每个前景点的特征信息;基于特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;根据实例分割后的二维图像辅助用户对所述第一车辆进行接管,本发明实现了自动驾驶车辆对周围环境精确、快速感知,根据感知结果辅助驾驶人员对自动驾驶中的车辆进行接管,提高自动驾驶的安全性。
Description
技术领域
本发明涉及自动驾驶技术领域,具体而言,涉及一种自动驾驶辅助方法及系统。
背景技术
随着自动驾驶车辆行业的飞速发展,自动驾驶技术日益成熟,自动化程度也越高,当车辆在自动驾驶时需要对周围环境进行感知,以辅助车辆自动驾驶,避免驾驶人员发生意外,目前,通常采用车载的传感器对自动驾驶车辆周围的车辆进行识别,但是该方法存在识别准确率低、检测速度慢的问题,因此亟需一种自动驾驶辅助方法可以用于精确并快速的识别自动驾驶车辆的周围环境以辅助驾驶人员驾驶。
发明内容
本发明的目的在于提供一种自动驾驶辅助方法及系统,以改善上述问题。
为了实现上述目的,本申请实施例提供了如下技术方案:
一方面,本申请实施例提供了一种自动驾驶辅助方法,所述方法包括:
获取点云数据,所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息,所述第一车辆为自动驾驶中的车辆;
根据所述点云数据生成二维图像,所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;
利用神经网络模型对所述二维图像进行特征提取,得到特征信息,所述特征信息包括的二维图像中每个前景点的特征信息;
基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;
根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。
第二方面,本申请实施例提供了一种自动驾驶辅助系统,所述系统包括:
获取模块,用于获取点云数据,所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息,所述第一车辆为自动驾驶中的车辆;
生成模块,用于根据所述点云数据生成二维图像,所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;
第一处理模块,用于利用神经网络模型对所述二维图像进行特征提取,得到特征信息,所述特征信息包括的二维图像中每个前景点的特征信息;
第二处理模块,用于基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;
第三处理模块,用于根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。
第三方面,本申请实施例提供了一种自动驾驶辅助设备,所述设备包括存储器和处理器。存储器用于存储计算机程序;处理器用于执行所述计算机程序时实现上述自动驾驶辅助方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述自动驾驶辅助方法的步骤。
本发明的有益效果为:
本发明通过车载激光雷达获取得到周围环境的点云数据,再将点云数据转化为稠密的二维图像,再利用实例分割算法对二维图像进行实例分割得到实例分割后的二维图像,实现自动驾驶车辆对周围环境精确、快速的检测和感知,最后根据感知结果辅助驾驶人员对自动驾驶中的车辆进行接管,以提高自动驾驶的安全性,避免驾驶人员发送危险,保障驾驶人员的人身安全。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的自动驾驶辅助方法流程示意图。
图2为本发明实施例中所述的自动驾驶辅助系统结构示意图。
图3为本发明实施例中所述的自动驾驶辅助设备结构示意图。
图中标注:901、获取模块;902、生成模块;903、第一处理模块;904、第二处理模块;905、第三处理模块;800、自动驾驶辅助设备;801、处理器;802、存储器;803、多媒体组件;804、I/O接口;805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种自动驾驶辅助方法,可以理解的是,在本实施例中可以铺设一个场景,例如:在交通道路上处于自动驾驶状态中的车辆,后方或侧后方来车时,需要驾驶员对自动驾驶中的车辆进行接管的场景。
参见图1,图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
步骤S1、获取点云数据,所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息,所述第一车辆为自动驾驶中的车辆;
可以理解的是,在车辆上安装激光雷达,激光雷达发射探测信号来感应周围环境,收集数据。
步骤S2、根据所述点云数据生成二维图像,所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;
可以理解的是,所述步骤S2中还包括步骤S21、步骤S22和步骤S23,其中具体为:
步骤S21、获取激光雷达安装的水平角度和垂直角度;
步骤S22、根据所述点云数据得到每个点的三维坐标值、深度值和反射率;
步骤S23、根据每个所述点的坐标值、所述深度值、所述反射率、所述激光雷达安装的水平角度和垂直角度生成点云数据对应的二维图像。
在本实施例中,将点云数据投射至二维平面生成二维图像具体为:
n=l
F(m,n)=[x,y,z,r,d,1]T
上式中,F为生成的二维图像,m、n分别为三维点投影到二维图像上对应的坐标,x、y和z分别为三维点在激光雷达坐标系下的三维坐标,l为线号,α为激光雷达安装的水平角度、R为二维图像水平角分辨率,r为反射强度、d为深度值、1为标志符,需要说明的是,数字1是标志符,代表这个像素上被点投影上。标志符0代表该像素没有被点投影上其中,x、y和z的计算公式为:
x=d*cos(β)cos(α)
y=d*cos(β)sin(α)
z=d*sin(β)
上式中,β为激光雷达安装的垂直角度,根据上述公式即可确定点云数据在激光雷达坐标系下的三维坐标值。
在本实施例中,有效的解决了现有技术中,由于将点云数据转换为稀疏的二维图像造成后续不利于特征提取的问题,通过将点云数据转化为稠密的二维图像,实现后续对二维图像的特征进行充分提取,从而确保自动驾驶车辆对周围环境精确感知。
步骤S3、利用神经网络模型对所述二维图像进行特征提取,得到特征信息,所述特征信息包括的二维图像中每个前景点的特征信息;
可以理解的是,利用神经网络模型对所述二维图像进行特征提取为本领域技术人员所熟知的技术方案,故不在此赘述。
步骤S4、基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;
可以理解的是,通过对二维图像中的每个前景点进行聚类得到实例分割后的二维图像,可以精准的识别道路上的车辆和障碍物,避免了现有技术中容易将道路中的障碍物识别为前景从而识别错误的问题。
步骤S5、根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。
可以理解的是,通过实例分割后的二维图像可以精确、快速的感知识别第一车辆周围的环境,最后根据感知结果辅助驾驶人员对自动驾驶中的车辆进行接管,以提高自动驾驶的安全性,避免驾驶人员发送危险,保障驾驶人员的人身安全。
可以理解的是,所述步骤S5中还包括步骤S51和步骤S52,其中具体为:
步骤S51、根据所述实例分割后的二维图像得到第二车辆的行驶信息,所述第二车辆包括所述第一车辆周围感知到的车辆,所述行驶信息包括第二车辆的轨迹信息、速度信息和位置信息;
可以理解的是,根据实例分割后的二维图像可以精准、快速的得到第一车辆周围所感知到的车辆的位置信息和速度信息,根据第二车辆连续多个帧的实例分割后的二维图像即可根据车辆轨迹预测模型推测出车辆的轨迹信息,需要说明的是,车辆轨迹预测模型为本领域人员所熟知的技术方案,故不在此赘述。
步骤S52、根据所述第二车辆的轨迹信息判断所述第一车辆与所述第二车辆是否存在接触点,其中,若所述第一车辆与所述第二车辆存在接触点,则根据所述第二车辆的速度信息和位置信息进行计算,得到第一车辆与第二车辆之间的接触时间;若所述第一车辆与所述第二车辆不存在接触点,则所述第一车辆无需驾驶人员进行接管。
可以理解的是,根据第二车辆的轨迹信息即可判断第二车辆是否与第一车辆相交,即接触,通过第二车辆的轨迹信息可以实现自动驾驶车辆是否需要驾驶人接管的初步判断。
可以理解的是,所述步骤S52中还包括步骤S521、步骤S522、步骤S523和步骤S524,其中具体为:
步骤S521、获取第一车辆预设的速度信息;
可以理解的是,第一车辆预设的速度信息为车辆自动驾驶时每一时刻的速度值。
步骤S522、根据所述第二车辆的位置信息确定第二车辆的第一方位信息,所述第一方位信息包括所述第二车辆位于所述第一车辆的后方或侧方;
可以理解的是,根据第二车辆的位置信息即可得到第二车辆的坐标位置,根据第二车辆的坐标位置即可得到第二车辆相对于第一车辆的位置信息,即第二车辆位于第一车辆的后方还是侧方,同时还可以得到第二车辆与第一车辆之间的距离。
步骤S523、根据所述第一车辆预设的速度信息和所述第二车辆的速度信息进行计算,得到所述第一车辆与所述第二车辆之间的相对速度信息;
可以理解的是,第二车辆的速度信息包括每一时刻第二车辆的速度值,根据车辆自动驾驶时每一时刻的速度值和每一时刻第二车辆的速度值,即可计算得到每一时刻第一车辆与所述第二车辆的相对速度,得到第一车辆与第二车辆之间的相对速度信息。
步骤S524、根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第一方位信息进行计算,得到第一接触时间信息或第二接触时间信息,所述第一接触时间信息包括所述第二车辆位于所述第一车辆的后方时的接触时间,所述第二接触时间信息包括所述第二车辆位于所述第一车辆的侧方时的接触时间。
可以理解的是,由于已知第一车辆与第二车辆之间每一时刻的相对速度值,根据第一车辆与第二车辆之间的距离即可计算第一车辆与第二车辆之间的接触时间,需要说明的是,当第二车辆位于第一车辆的后方时,此时第一车辆与第二车辆接触的接触时间只需计算纵向接触时间即第一接触时间;当第二车辆位于第一车辆的侧方时,此时第一车辆与第二车辆接触的接触时间只需计算横向接触时间即第二接触时间。
可以理解的是,所述步骤S524之后还包括步骤S525、步骤S526以及步骤S527,其中具体为:
步骤S525、获取第一车辆驾驶人员的接管时间信息;
可以理解的是,所述步骤S525中还包括步骤S5251、步骤S5252和步骤S5253,其中具体为:
步骤S5251、获取历史接管时间信息和当前时刻的气象数据;
步骤S5252、将所述当前时刻的气象数据发送至训练后的天气预测模型,得到当前时刻的天气信息;
可以理解的是,对天气预测模型进行训练为本领域技术人员所熟知的技术方案,故不在此赘述,通过将当前时刻的气象数据发送至训练后的天气预测模型即可实现对当前天气的预测,通过考虑天气情况对驾驶员接管时间的影响,有效的提高了接管时间选取的准确性,从而达到提高驾驶员自动驾驶安全性的目的。
步骤S5253、根据所述当前时刻的天气信息判断所述第一车辆驾驶人员的接管时间信息,其中,若天气信息为恶劣天气时,则提取所述历史接管时间信息中的最大接管时间,得到所述第一车辆的接管时间信息,所述恶劣环境包括雪天、雾天和雨天;若第一车辆所处的环境为正常天气时,则根据所述历史接管时间信息计算,得到平均接管时间,并将所述平均接管时间作为所述第一车辆驾驶人员的接管时间信息。
可以理解的是,当根据当前时刻的气象数据预测天气为正常天气时,通过将每一个接管时间进行相加求取均值,从而得到平均接管时间作为第一车辆的接管时间,有效的保证了驾驶人员在正常天气时对车辆安全接管;当处于恶劣天气中,则选取述历史接管时间信息中的最大接管时间作为第一车辆的接管时间,有效的保证了在恶劣天气驾驶人员有足够的接管时间完成对车辆的安全接管,需要说明的是恶劣天气包括雨天、雾天和雨天但不限于雨天、雾天和雨天。
步骤S526、根据所述第一车辆驾驶人员的接管时间信息、所述第一接触时间信息和所述第二接触时间信息判断所述第一车辆是否处于危险区域,得到第一判断结果;
可以理解的是,当第二车辆位于第一车辆的后方时,此时通过计算得到第一车辆与第二车辆之间的第一接触时间记为t1,第一车辆驾驶人员的接管时间记为t0,当t1≤t0时,第一车辆处于极度危险区域;当第二车辆位于第一车辆的侧方时,此时通过计算得到第一车辆与第二车辆之间的第二接触时间记为t2,当t2≤t0时,第一车辆处于极度危险区域。
步骤S527、根据所述第一判断结果向第一车辆的驾驶人员发送预警信息,所述预警信息用于辅助驾驶人员对所述第一车辆进行接管。
可以理解的是,所述步骤S52中还包括步骤S528、步骤S529、步骤S5210以及步骤S5211,其中具体为:
步骤S528、获取第一车辆预设的速度信息;
步骤S529、根据所述第二车辆的位置信息确定第二车辆的第二方位信息,所述第二方位信息包括所述第二车辆位于所述第一车辆的侧后方;
步骤S5210、根据所述第一车辆预设的速度信息和所述第二车辆的速度信息进行计算,得到所述第一车辆与所述第二车辆之间的相对速度信息;
步骤S5211、根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第二方位信息进行计算,得到第三接触时间信息,所述第三接触时间信息包括所述第二车辆位于所述第一车辆的侧后方的接触时间。
可以理解的是,当第二车辆位于第一车辆的侧后方时,此时第一车辆与第二车辆接触的接触时间需要同时计算纵向接触时间和横向接触时间作为第三接触时间信息,通过第一车辆与第二车辆的第三接触时间即可判断驾驶人员是否需要对车辆进行接管。
可以理解的是,所述步骤S5211之后还包括步骤S5212、步骤S5213以及步骤S5214,其中具体为:
步骤S5212、获取第一车辆驾驶人员的接管时间信息;
步骤S5213、根据所述第一车辆驾驶人员的接管时间信息和所述第三接触时间信息和判断所述第一车辆是否处于危险区域,得到第二判断结果;
可以理解的是,当第二车辆位于第一车辆的侧后方时,此时通过计算得到第一车辆与第二车辆之间的纵向接触时间记为t1和横向接触时间记为t2,第一车辆驾驶人员的接管时间记为t0,当t1≤t0,且t2≤t0时,第一车辆处于极度危险区域,当t1≤t0,且t2>t0时,第一车辆处于普通危险区域;当t1>t0,且t2≤t0时,第一车辆处于普通危险区域。
步骤S5214、根据所述第二判断结果向第一车辆的驾驶人员发送预警信息,所述预警信息用于辅助驾驶人员对所述第一车辆进行接管。
可以理解的是,当第一车辆处于极度危险区域和普通危险区域时采用不同的方式对驾驶人员进行预警,其中具体为:当车辆处于普通危险区域时,自动驾驶车辆智能语音系统进行语音提醒;当车辆处于极度危险区域时,自动驾驶车辆中预设区域显示预设颜色刺激驾驶人员唤醒驾驶意识的同时智能语音系统进行语音提醒,通过在自动驾驶车辆中预设区域显示预设颜色刺激驾驶人员唤醒驾驶意识可以有效的提醒驾驶人员迅速对自动驾驶中的车辆进行接管。
实施例2:
如图2所示,本实施例提供了一种自动驾驶辅助系统,所述系统包括获取模块901、生成模块902、第一处理模块903、第二处理模块904和第三处理模块905,其中具体为:
获取模块901,用于获取点云数据,所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息,所述第一车辆为自动驾驶中的车辆;
生成模块902,用于根据所述点云数据生成二维图像,所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;
第一处理模块903,用于利用神经网络模型对所述二维图像进行特征提取,得到特征信息,所述特征信息包括的二维图像中每个前景点的特征信息;
第二处理模块904,用于基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;
第三处理模块905,用于根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。
实施例3:
相应于上面的方法实施例,本实施例中还提供了一种自动驾驶辅助设备,下文描述的一种自动驾驶辅助设备与上文描述的一种自动驾驶辅助方法可相互对应参照。
图3是根据示例性实施例示出的一种自动驾驶辅助设备800的框图。如图3所示,该自动驾驶辅助设备800可以包括:处理器801,存储器802。该自动驾驶辅助设备800还可以包括多媒体组件803,I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该自动驾驶辅助设备800的整体操作,以完成上述的自动驾驶辅助方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该自动驾驶辅助设备800的操作,这些数据例如可以包括用于在该自动驾驶辅助设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该自动驾驶辅助设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,自动驾驶辅助设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的自动驾驶辅助方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的自动驾驶辅助方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由自动驾驶辅助设备800的处理器801执行以完成上述的自动驾驶辅助方法。
实施例4:
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种自动驾驶辅助方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的自动驾驶辅助方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种自动驾驶辅助方法,其特征在于,包括:
获取点云数据,所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息,所述第一车辆为自动驾驶中的车辆;
根据所述点云数据生成二维图像,所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;
利用神经网络模型对所述二维图像进行特征提取,得到特征信息,所述特征信息包括的二维图像中每个前景点的特征信息;
基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;
根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。
2.根据权利要求1所述的自动驾驶辅助方法,其特征在于,根据所述点云数据生成二维图像,包括:
获取激光雷达安装的水平角度和垂直角度;
根据所述点云数据得到每个点的三维坐标值、深度值和反射率;
根据每个所述点的坐标值、所述深度值、所述反射率、所述激光雷达安装的水平角度和垂直角度生成点云数据对应的二维图像。
3.根据权利要求1所述的自动驾驶辅助方法,其特征在于,根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管,包括:
根据所述实例分割后的二维图像得到第二车辆的行驶信息,所述第二车辆包括所述第一车辆周围感知到的车辆,所述行驶信息包括第二车辆的轨迹信息、速度信息和位置信息;
根据所述第二车辆的轨迹信息判断所述第一车辆与所述第二车辆是否存在接触点,其中,若所述第一车辆与所述第二车辆存在接触点,则根据所述第二车辆的速度信息和位置信息进行计算,得到第一车辆与第二车辆之间的接触时间;若所述第一车辆与所述第二车辆不存在接触点,则所述第一车辆无需驾驶人员进行接管。
4.根据权利要求3所述的自动驾驶辅助方法,其特征在于,根据所述第二车辆的速度信息和位置信息进行计算,得到第一车辆与第二车辆之间的接触时间,包括:
获取第一车辆预设的速度信息;
根据所述第二车辆的位置信息确定第二车辆的第一方位信息,所述第一方位信息包括所述第二车辆位于所述第一车辆的后方或侧方;
根据所述第一车辆预设的速度信息和所述第二车辆的速度信息进行计算,得到所述第一车辆与所述第二车辆之间的相对速度信息;
根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第一方位信息进行计算,得到第一接触时间信息或第二接触时间信息,所述第一接触时间信息包括所述第二车辆位于所述第一车辆的后方时的接触时间,所述第二接触时间信息包括所述第二车辆位于所述第一车辆的侧方时的接触时间。
5.根据权利要求3所述的自动驾驶辅助方法,其特征在于,根据所述第二车辆的速度信息和位置信息进行计算,得到第一车辆与第二车辆之间的接触时间,包括:
获取第一车辆预设的速度信息;
根据所述第二车辆的位置信息确定第二车辆的第二方位信息,所述第二方位信息包括所述第二车辆位于所述第一车辆的侧后方;
根据所述第一车辆预设的速度信息和所述第二车辆的速度信息进行计算,得到所述第一车辆与所述第二车辆之间的相对速度信息;
根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第二方位信息进行计算,得到第三接触时间信息,所述第三接触时间信息包括所述第二车辆位于所述第一车辆的侧后方的接触时间。
6.根据权利要求4所述的自动驾驶辅助方法,其特征在于,根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第一方位信息进行计算,得到第一接触时间信息或第二接触时间信息之后,包括:
获取第一车辆驾驶人员的接管时间信息;
根据所述第一车辆驾驶人员的接管时间信息、所述第一接触时间信息和所述第二接触时间信息判断所述第一车辆是否处于危险区域,得到第一判断结果;
根据所述第一判断结果向第一车辆的驾驶人员发送预警信息,所述预警信息用于辅助驾驶人员对所述第一车辆进行接管。
7.根据权利要求5所述的自动驾驶辅助方法,其特征在于,根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第二方位信息进行计算,得到第三接触时间信息之后,包括:
获取第一车辆驾驶人员的接管时间信息;
根据所述第一车辆驾驶人员的接管时间信息和所述第三接触时间信息和判断所述第一车辆是否处于危险区域,得到第二判断结果;
根据所述第二判断结果向第一车辆的驾驶人员发送预警信息,所述预警信息用于辅助驾驶人员对所述第一车辆进行接管。
8.一种自动驾驶辅助系统,其特征在于,包括:
获取模块,用于获取点云数据,所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息,所述第一车辆为自动驾驶中的车辆;
生成模块,用于根据所述点云数据生成二维图像,所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像;
第一处理模块,用于利用神经网络模型对所述二维图像进行特征提取,得到特征信息,所述特征信息包括的二维图像中每个前景点的特征信息;
第二处理模块,用于基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像;
第三处理模块,用于根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。
9.一种自动驾驶辅助设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述自动驾驶辅助方法的步骤。
10.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述自动驾驶辅助方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310580782.XA CN116373910A (zh) | 2023-05-22 | 2023-05-22 | 一种自动驾驶辅助方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310580782.XA CN116373910A (zh) | 2023-05-22 | 2023-05-22 | 一种自动驾驶辅助方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116373910A true CN116373910A (zh) | 2023-07-04 |
Family
ID=86961843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310580782.XA Pending CN116373910A (zh) | 2023-05-22 | 2023-05-22 | 一种自动驾驶辅助方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116373910A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117765499A (zh) * | 2023-12-30 | 2024-03-26 | 武汉奥思工业设计有限公司 | 一种车辆辅助驾驶智能决策方法及系统 |
-
2023
- 2023-05-22 CN CN202310580782.XA patent/CN116373910A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117765499A (zh) * | 2023-12-30 | 2024-03-26 | 武汉奥思工业设计有限公司 | 一种车辆辅助驾驶智能决策方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11694430B2 (en) | Brake light detection | |
CN110688992B (zh) | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN112417967A (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
CN110400478A (zh) | 一种路况通知方法及装置 | |
CN110246183B (zh) | 车轮接地点检测方法、装置及存储介质 | |
CN113379805A (zh) | 一种交通节点的多信息资源融合处理方法 | |
CN111198371A (zh) | 前视障碍物检测系统 | |
KR20130007243A (ko) | 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템 | |
CN107977654B (zh) | 一种道路区域检测方法、装置及终端 | |
CN108016445B (zh) | 用于交通流量的车辆应用的系统和方法 | |
CN116373910A (zh) | 一种自动驾驶辅助方法及系统 | |
CN110647801A (zh) | 设置感兴趣区域的方法、装置、存储介质及电子设备 | |
US20200047751A1 (en) | Cooperative vehicle safety system and method | |
CN111985388A (zh) | 行人注意力检测驾驶辅助系统、装置和方法 | |
CN114694108A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN111332306A (zh) | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 | |
CN117011830B (zh) | 图像识别方法、装置、计算机设备、存储介质 | |
CN110727269B (zh) | 车辆控制方法及相关产品 | |
CN114872735B (zh) | 基于神经网络算法的自动驾驶物流车辆决策方法和装置 | |
US20230215184A1 (en) | Systems and methods for mitigating mis-detections of tracked objects in the surrounding environment of a vehicle | |
CN114954442A (zh) | 一种车辆控制方法、系统和车辆 | |
CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
CN113030976A (zh) | 一种利用激光雷达消除金属井盖对毫米波雷达干扰的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |