CN110979321A - 一种用于无人驾驶车辆的障碍物躲避方法 - Google Patents

一种用于无人驾驶车辆的障碍物躲避方法 Download PDF

Info

Publication number
CN110979321A
CN110979321A CN201911393035.5A CN201911393035A CN110979321A CN 110979321 A CN110979321 A CN 110979321A CN 201911393035 A CN201911393035 A CN 201911393035A CN 110979321 A CN110979321 A CN 110979321A
Authority
CN
China
Prior art keywords
obstacle
data
main controller
unmanned vehicle
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911393035.5A
Other languages
English (en)
Other versions
CN110979321B (zh
Inventor
朱翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhen Survey Technology Co Ltd
Original Assignee
Beijing Shenzhen Survey Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhen Survey Technology Co Ltd filed Critical Beijing Shenzhen Survey Technology Co Ltd
Priority to CN201911393035.5A priority Critical patent/CN110979321B/zh
Publication of CN110979321A publication Critical patent/CN110979321A/zh
Application granted granted Critical
Publication of CN110979321B publication Critical patent/CN110979321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种用于无人驾驶车辆的障碍物躲避方法,包括设置于无人驾驶车辆上的飞行时间TOF相机根据图像采集指令对行驶环境进行拍摄,得到三维点云数据并发送给主控制器;主控制器根据障碍物识别得到的障碍物的识别信息判断障碍物在无人驾驶车辆的行驶路径范围内时,将障碍物的位置信息发送给局部路径规划模块,根据障碍物的位置信息、行驶状态数据和原始全局路径数据进行计算得到避障路径数据;主控制器判断避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值时,主控制器根据避障路径和车辆行驶数据进行计算,得到目标速度和目标转向角度并发送给车身控制器;车身控制器根据目标速度和目标转向角度进行车辆的行驶控制。

Description

一种用于无人驾驶车辆的障碍物躲避方法
技术领域
本发明涉数据处理领域,尤其涉及一种用于无人驾驶车辆的障碍物躲避方法。
背景技术
近年来现随着城市化的发展和汽车的普及,由于超速行驶、占到行驶、疲劳驾驶、酒后驾驶、避让不及时等原因导致的交通事故问题也越来越严重。无人驾驶车辆的出现为提高车辆行驶安全,较少交通事故提供了可能。目前对无人驾驶的研发热情日益高涨,但一般是针对车辆内部控制技术和环境识别技术,对于无人驾驶车辆智能行为的研究还不够多。
为了更好的保证车辆在复杂坏境下也能安全行驶,紧急避让的功能就显得非常重要。避让功能的好坏代表无人驾驶车辆的关键性能指标,也是无人驾驶车辆可靠行驶的重要保障。
因此,在车辆行驶过程中,车辆采集行驶数据,根据采集的数据进行障碍物检测,并根据检测到的障碍物信息进行避让是丞待解决的一个问题。目前也有一些技术通过使用雷达检测和双目视觉的方式采集车辆行驶环境图像,并经过分析,进行障碍物躲避,并且也取得了一定成果。但是基于双目视觉的检测方法计算量大,且对外界环境的光照要求也相对较高。
发明内容
针对现有技术缺陷,本发明实施例的目的是提供一种用于无人驾驶车辆的障碍物躲避方法,通过安装在飞行时间(Time Of Flight,TOF)相机进行行驶环境图像,生成三维点云数据,经过障碍物识别分析,使无人驾驶车辆能够安全有效的进行避让,提高无人驾驶车辆的安全性能,降低事故发生率。
为了实现上述目的,本发明实施例提供了一种用于无人驾驶车辆的障碍物躲避方法,包括:
设置于无人驾驶车辆上的飞行时间TOF相机根据图像采集指令对行驶环境进行拍摄,得到三维点云数据;
所述TOF相机将所述三维点云数据发送给主控制器;
所述主控制器对所述三维点云数据进行去噪处理器,得到去噪三维点云数据;
所述主控制器对所述去噪三维点云数据进行障碍物识别处理,得到障碍物的识别信息;其中,所述障碍物的识别信息包括障碍物的类别信息和位置信息;
所述主控制器根据所述障碍物的识别信息判断所述障碍物是否在所述无人驾驶车辆的行驶路径范围内;
当所述障碍物在所述无人驾驶车辆的行驶路径范围内时,所述主控制器将所述障碍物的位置信息发送给局部路径规划模块;
所述局部路径规划模块获取无人驾驶车辆的行驶状态数据;
所述局部路径规划模块根据所述障碍物的位置信息、所述行驶状态数据和原始全局路径数据进行计算,得到由多个关键点顺序连接组成的避障路径数据;其中,避障路径的起始点和终止点与所述原始全局路径上的点重合;
所述主控制器判断所述避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值时,所述主控制器根据所述避障路径和所述车辆行驶数据进行计算,得到目标速度和目标转向角度;
所述主控制器将所述目标速度和所述目标转向角度发送给车身控制器;
所述车身控制器根据所述目标速度和所述目标转向角度进行车辆的行驶控制。
优选的,所述主控制器对所述去噪三维点云数据进行障碍物识别处理,得到障碍物的识别信息具体为:
所述主控制器将所述去噪三维点云图像输入到图像识别单元;
所述图像识别单元通过深度残差网络ResNet50提取所述去噪三维点云图像的第一特征向量;
将所述第一特征向量作为特征图金字塔网络FPN的输入,通过FPN提取特征金字塔各层的候选框proposals;
通过区域特征聚集层ROI Align获取所述候选框proposals被缩放致预设尺寸后的第二特征向量;
将所述第二特征向量分别输出给掩码识别分支、类别识别分支和位置识别分支,得到至少一个障碍物的识别信息;其中,所述障碍物的识别信息包括障碍物的类别信息、位置信息和掩码信息;
所述图像识别单元将所述障碍物的识别信息输出给所述主控制器。
优选的,所述主控制器根据所述障碍物的识别信息判断所述障碍物是否在所述无人驾驶车辆的行驶路径范围内具体为:
所述主控制器将所述去噪三维点云图像输出给图像识别单元;
所述图像识别单元使用实例分割模型Mask R-CNN对所述去噪三维点云数据进行车道线识别,得到车道线的识别信息;其中,所述车道线的识别信息包括类别信息、位置信息;
所述图像识别单元对所述车道线的识别信息进行合成组合处理,得到完整车道线信息;
所述图像识别单元根据完整车道线信息确定所述无人驾驶车辆的行驶路径范围;
所述图像识别单元将所述无人驾驶车辆的行驶路径范围输出给所述主控制器;
所述主控制器根据所述障碍物的位置信息判断所述障碍物是否在所述无人驾驶车辆的行驶路径范围内。
优选的,所述主控制器判断所述避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值具体为:
所述主控制器确定所述原始全局路径数据中与避障路径数据对应的局部路段数据;
所述主控制器计算避障路径中各关键点与所述局部路段的最短距离;
所述主控制器确定各最短距离中的最大值为所述避障路径数据与原始全局路径数据的偏移量;
所述主控制器判断所述偏移量是否小于所述预设偏移阈值;
当所述偏移量小于所述预设偏移阈值时,确定所述避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值。
优选的,所述障碍物躲避方法还包括:
所述主控制器将所述去噪三维点云数据发送给云服务器;
所述云服务器对所述去噪三维点云数据进行障碍物检测处理,得到障碍物数据;
所述云服务器将所述障碍物数据与障碍物数据库中的障碍物数据进行一一匹配;
当所述障碍物数据与第一障碍物数据相一致时,所述云服务器将所述障碍物确定为第一障碍物。
进一步优选的,所述方法还包括:
当所述障碍物数据未与所述障碍物数据库中的障碍物数据匹配成功时,所述云服务器将所述障碍物数据保存在所述障碍物数据库中。
优选的,所述车身控制系统包括动力系统和转向系统,所述车身控制器根据所述目标速度和所述目标转向角度进行车辆的行驶控制具体包括:
所述动力系统获取所述无人驾驶车辆的当前行驶速度,并判断所述当前行驶速度与所述目标速度的大小关系;
当所述当前行驶速度大于所述目标速度时,所述动力系统进行制动处理;
当所述当前行驶速度小于所述目标速度时,所述动力系统进行加速处理;
所述转向系统将设定转向角度设定为所述目标转向角度。
本发明实施例提供的一种用于无人驾驶车辆的障碍物躲避方法,通过使用设置于无人驾驶车辆上的飞行时间(Time Of Flight,TOF)相机采集车辆行驶环境图像,并通过主控制器对TOF相机采集生成的三维点云数据进行分析识别处理,得到障碍物的识别信息,无人驾驶车辆通过局部路径规划得到避障路径数据,并根据避障路径数据控制车辆行驶,达到自动躲避障碍物的目的。本发明的用于无人驾驶车辆的障碍物躲避方法,使用TOF相机对行驶环境图像进行拍摄,不受驾驶环境照明光照的影响,能够实现是在照明状态不佳或者无照明的黑暗情况下躲避障碍物的功能。
附图说明
图1为本发明实施例提供的一种用于无人驾驶车辆的障碍物躲避方法流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种用于无人驾驶车辆的障碍物躲避方法,用于无人车在交通道路上行驶时,对行驶环境进行图像采集并根据对采集到的数据进行障碍物识别,当识别到障碍物时及时采取躲避措施。图1为本发明实施例提供的一种用于无人驾驶车辆的障碍物躲避方法流程图。如图所示,包括以下步骤:
步骤101,设置于无人驾驶车辆上的飞行时间TOF相机根据图像采集指令对行驶环境进行拍摄,得到三维点云数据。
具体的,无人驾驶车辆通过外部输入的无人驾驶启动指令,根据无人驾驶启动指令生成图像采集指令,发送给TOF相机,TOF相机在接收到图像采集指令,实时的对无人驾驶车辆周边的行驶环境进行拍摄,经过TOF相机的处理单元,对采集到的环境图像信息进行分析处理,生成三维点云数据。
TOF相机设置在无人驾驶车的前部适当的位置,设置位置根据TOF相机拍摄的视野进行调整,使得TOF相机能够采集到车辆周边行驶环境的图像。在本发明实施例的可选方案中,为了拍摄车辆周边所有行驶环境的图像,可以根据情况在无人驾驶车辆上设置多个TOF相机或者采用大广角的TOF相机,使得通过TOF相机可以拍摄到车辆前方超出车辆宽度一定范围的所有环境图像。
本发明实施例中采用的TOF相机通过内置激光发射模块发射光信号,并通过内置的互补金属氧化物半导体(Complementary Metal OxideSemiconductor,CMOS)像素阵列来获取三维场景的距离景深数据,成像率可达上百帧每秒,同时结构紧凑,功耗低。对于目标场景的三维数据获取方式为:TOF相机使用振幅调制的光源,该光源主动地照射目标场景,并与锁定在同一频率的每个像素上的相关传感器耦合。其内置激光发射的发射光和发射光照射到场景物体上后发射的反射光具有相移,通过检测发射光和反射光之间的不同的相移量获得多次测量。内置激光发射器的振幅调制在10-100MH的调制频率区间,而频率控制着TOF相机传感器深度范围和深度分辨率。同时TOF相机的处理单元在每个像素上单独地执行相位差进行计算,得出目标场景的深度数据,TOF相机的处理单元经过对反射光的反射强度进行分析计算,得出目标场景的强度数据,再结合获取的二维数据进行分析处理后得到目标场景的三维点云数据。
本发明实施例的具体例子中,TOF相机采用固态激光器或者LED阵列发射波长在850nm附近的光波发射器作为内置激光发射器。发射光源为通过连续调制方式得到的连续方波或正弦波。TOF相机处理单元通过计算多个采样样本中的发射光与反射光的相位角以及目标物体的距离,并对反射光强度转换的电流强度进行分析计算得到强度数据,然后再结合光学相机得到的二维图像数据进行融合处理,得到目标场景的三维点云数据。
在对行驶环境进行图像采集过程中,由于是通过TOF相机主动发射的非可见光进行场景拍摄,所以即使在黑暗情况下也能得到清晰的行驶环境的三维点云数据。因此,本发明实施例提供的方法在夜间或者照明状态不佳,甚至没有照明的黑暗环境中也适用。
步骤102,TOF相机将三维点云数据发送给主控制器。
具体的,TOF相机将采集生成的三维点云数据发送给主控制器。其中,如果无人驾驶车辆安装多个TOF相机,那么每个相机都具有相机ID,TOF相机将相机ID和三维点云数据同时发送给主控制器。
步骤103,主控制器对三维点云数据进行去噪处理器,得到去噪三维点云数据。
具体的,主控制器选用特定的滤波方式对接收到的三维点云数据进行滤波处理,去除其中的噪点。例如使用如下方法对三维点云数据进行滤波处理:
本发明实施例中的TOF相机分辨率为M×N(M、N都为正整数),所以其获取的一帧三维点云数据具有M×N个像素点,每个像素点进一步包括X、Y、Z三维坐标值。其中,TOF相机原始深度数据到需要的三维点云数据的步骤:首先,对原始深度数据做初步校正和温度校准;其次,对图像做畸变校正处理;再次,深度图像坐标系(x0,y0,z0)转化成相机坐标系(x1,y1,z1),及把图像上的深度信息转化成以相机为原点的三维坐标系;最后,相机坐标系(x1,y1,z1)转化成需要的世界坐标系(x2,y2,z2),再把相机的坐标系转化成项目需要的坐标系,也就是最终的点云的坐标系。X轴、Y轴的数据值表示场景点的平面坐标位置,Z轴的数据值表示采集到的获取到的场景的实际深度值。
主控制器将三维点云数据转化为M×N×3的矩阵,每一行代表飞行时间传感器中排列的一个像素。通过将M×N×3的矩阵重置为M×N的矩阵,并且用深度值表示重置矩阵中的每个元素的值,三维点云数据就转化成二维平面图像数据。
监控处理器采用基于三维点云的3×3空间滤波算子,对二维平面图像数据的各像素点的深度值进行计算,并计算中心点像素与周围像素的深度差。用深度差与预设全局阈值进行比较,当深度差大于预设全局阈值时,判断该像素点测得的深度值为噪点,将其对应的三维点云数据中的像素点滤除。否则,保留其对应的三维点云数据中的像素点。经过处理后得到去噪后的三维点云数据。
步骤104,主控制器对去噪三维点云数据进行障碍物识别处理,得到障碍物的识别信息。
其中,障碍物的识别信息包括障碍物的类别信息和位置信息。
具体的,主控制器使用现有的障碍物检测方法对去噪三维点云数据进行障碍物识别处理,得到障碍物的识别信息。包括障碍物的类别信息和位置信息。
本发明实施例的优选方案中,主控制器将去噪三维点云图像输入到图像识别单元。图像识别单元使用深度学习网络Mask R-CNN对去噪后的三维点云数据进行障碍物识别。主要包括以下几个步骤:
首先,图像识别单元通过深度残差网络ResNet50提取去噪三维点云图像的第一特征向量。
其次,将第一特征向量作为特征图金字塔网络FPN的输入,通过FPN提取特征金字塔各层的候选框proposals。
再次,通过区域特征聚集层ROI Align获取候选框proposals被缩放致预设尺寸后的第二特征向量。
最后,将第二特征向量分别输出给掩码识别分支、类别识别分支和位置识别分支,得到至少一个障碍物的识别信息。
进一步具体的,通过掩码识别分支得到掩码信息,通过类别分支得到类别信息,通过位置识别分支得到位置信息。因此,障碍物的识别信息包括障碍物的类别信息、位置信息和掩码信息。
图像识别单元将识别得到的障碍物的识别信息输出给主控制器。
本发明实施例中的深度学习网络Mask R-CNN使用的数据集是在本发明实施例的实验阶段,通过采集大量的行驶环境图像生成的三维点云数据进行训练得到的。
步骤105,主控制器根据障碍物的识别信息判断障碍物是否在无人驾驶车辆的行驶路径范围内。
具体的,主控制器选用现有的图像识别方法对去噪三维点云数据进行车道线识别,得到车道线的识别信息,然后对车道线的识别信息进行处理得到完整车道线信息,在根据完整车道线信息确定无人驾驶车辆的行驶路径范围。之后,根据障碍物的位置信息判断其是否在无人车辆的行驶路径范围内。
本发明实施例的优选方案中,主控制器将去噪三维点云图像输出给图像识别单元进行车道线识别和处理,得到无人驾驶车辆的行驶路径范围。图像识别单元使用实例分割模型Mask R-CNN对去噪三维点云数据进行车道线识别,得到车道线的识别信息。其中,车道线的识别信息包括类别信息、位置信息。然后,图像识别单元对车道线的识别信息进行合成组合处理,得到完整车道线信息,之后,图像识别单元根据完整车道线信息确定无人驾驶车辆的行驶路径范围。最后,图像识别单元将无人驾驶车辆的行驶路径范围输出给主控制器。其中,车道线的类别主要是将道路可行驶区域与护栏、人行道等道路外区域进行区分。可以避免道路以外区域障碍物的干扰。并且,本步骤中车道线的识别信息和步骤104中的障碍物的识别可以通过一次Mask R-CNN识别同时得到。
主控制器根据障碍物的位置信息判断障碍物是否在无人驾驶车辆的行驶路径范围内。本发明实施例的优选方案中,障碍物的位置信息指障碍物相对于行驶环境图像的位置信息,在一个具体例子中,包括左上角位置坐标x和y以及障碍物最大外界矩形的宽和高。掩码信息为障碍物的轮廓信息。车道线的位置信息与障碍物的位置信息意义相同,所以,根据车道线的位置信息和障碍物的位置信息可以判断出障碍物是否在无人驾驶车辆的行驶路径范围内。
当障碍物在无人驾驶车辆的行驶路径范围内时,执行步骤106。否则,继续处理下一次获得的数据,即执行步骤103。
步骤106,主控制器将障碍物的位置信息发送给局部路径规划模块。
具体的,局部路径规划模块在无人驾驶车辆进行全局路径规划完成后,对全局路径上的每个局部路段进行路径规划,得到局部路径数据。当无人驾驶车辆检测到障碍物,并确定障碍物在行驶路径范围内时,需要对局部路径进行重新规划。此时,主控制器将识别得到的所有障碍物的位置信息发送给局部路径规划模块。
步骤107,局部路径规划模块获取无人驾驶车辆的行驶状态数据。
具体的,局部路径规划模块获取车辆当前的瞬时速度信息,转向角信息、车辆位置信息和原始全局路径数据。
步骤108,局部路径规划模块根据障碍物的位置信息、行驶状态数据和原始全局路径数据进行计算,得到由多个关键点顺序连接组成的避障路径数据。
其中,避障路径的起始点和终止点与原始全局路径上的两个点分别重合。
具体的,局部路径规划模块通过根据车辆位置信息确定车辆当前在原始全局路径中的局部路段数据,包括起始点和终止点。并将起始点和终止点作为避障路径的起始点和终止点。之后,根据预设局部路径规划算法进行计算,得到多个关键点数据,并将多个关键点顺序连接,得到避障路径数据。
步骤109,主控制器判断避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值时,主控制器根据避障路径和车辆行驶数据进行计算,得到目标速度和目标转向角度。
具体的,主控制器根据避障路径数据和原始全局路径数据的计算避障路径的偏移量,并判断偏移量与预设阈值的大小。本发明实施例的优选方案中,主控制器采用以下步骤进行判断。
首先,主控制器确定原始全局路径数据中与避障路径数据对应的局部路段数据。
其次,主控制器计算避障路径中各关键点与局部路段的最短距离。
具体的,局部路段中包括多个关键点,主控制器计算避障路径上A关键点与局部路段中每个关键点的距离,从中确定最小的距离作为A关键点与局部路段的最短距离。
再次,主控制器确定各最短距离中的最大值为避障路径数据与原始全局路径数据的偏移量。
进一步具体的,主控制器从得到的多个最短距离中确定最大的值为避障路径数据与原始全局路径数据的偏移量。
最后,主控制器判断偏移量是否小于预设偏移阈值。
当偏移量小于预设偏移阈值时,确定避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值。此时,主控制器通过预设行驶控制算法对避障路径和车辆行驶数据进行计算,得到目标速度和目标转向角度。
步骤110,主控制器将目标速度和目标转向角度发送给车身控制器。
步骤111,车身控制器根据目标速度和目标转向角度进行车辆的行驶控制。
具体的,车身控制系统包括动力系统和转向系统,车身控制器根据目标速度和目标转向角度进行车辆的行驶控制具体包括:
动力系统获取无人驾驶车辆的当前行驶速度,并判断当前行驶速度与目标速度的大小关系。
当当前行驶速度大于目标速度时,所述动力系统进行制动处理。
具体的,动力系统判断当前行驶速度大于目标速度时,计算当前行驶速度与目标速度的差值,并对差值进行判断,当差值超出值预设阈值,进行制动处理,否则不做速度变更处理。例如,在本发明的一个具体例子中,当前行驶速度为48km/h,目标速度为40km/h,预设阈值为3km/h,那么,当前行驶速度与目标速度的差值为8km/h,大于3km/h,所以此时动力系统进行制动处理。在本发明的另一个具体例子中,当前车速为42km/h,目标速度为40km/h,预设阈值为3km/h,那么,当前行驶速度与目标速度的差值为2km/h,小于3km/h,所以此时动力系统不进行车速调整。
当所述当前行驶速度小于所述目标速度时,所述动力系统进行加速处理。
具体的,动力系统判断当前行驶速度小于目标速度时,计算目标速度与当前行驶速度的差值,并对差值进行判断,当差值超出值预设阈值,进行加速处理,否则不做速度变更处理。例如,在本发明的一个具体例子中,当前行驶速度为40km/h,目标速度为48km/h,预设阈值为3km/h,那么,目标速度与当前行驶速度的差值为8km/h,大于3km/h,所以此时动力系统进行加速处理。在本发明的另一个具体例子中,当前车速为40km/h,目标速度为42km/h,预设阈值为3km/h,那么,目标速度与当前行驶速度的差值为2km/h,小于3km/h,所以此时动力系统不进行车速调整。
所述转向系统将设定转向角度设定为所述目标转向角度。
为了提高无人驾驶车辆更可靠的方案,本发明实施例还将无人驾驶车采集得到的三维点云数据发送给云服务器,以完善云服务器的障碍物数据采集。
具体的实施包括以下步骤:
首先,主控制器将去噪三维点云数据发送给云服务器。
其次,云服务器对去噪三维点云数据进行障碍物检测处理,得到障碍物数据。
再次,云服务器将障碍物数据与障碍物数据库中的障碍物数据进行一一匹配。
最后,根据匹配结果进行障碍物的数据信息进行确定或者保存。当障碍物数据与第一障碍物数据相一致时,云服务器将障碍物确定为第一障碍物。当障碍物数据未与障碍物数据库中的障碍物数据匹配成功时,云服务器将障碍物数据保存在障碍物数据库中。
本发明实施例提供的一种用于无人驾驶车辆的障碍物躲避方法,通过使用设置于无人驾驶车辆上的TOF相机采集车辆行驶环境图像,并通过主控制器对TOF相机采集生成的三维点云数据进行分析识别处理,得到障碍物的识别信息,无人驾驶车辆通过局部路径规划得到避障路径数据,并根据避障路径数据控制车辆行驶,达到自动躲避障碍物的目的。本发明的用于无人驾驶车辆的障碍物躲避方法,使用TOF相机对行驶环境图像进行拍摄,不受驾驶环境照明光照的影响,能够实现是在照明状态不佳或者无照明的黑暗情况下躲避障碍物的功能。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述方法包括:
设置于无人驾驶车辆上的飞行时间TOF相机根据图像采集指令对行驶环境进行拍摄,得到三维点云数据;
所述TOF相机将所述三维点云数据发送给主控制器;
所述主控制器对所述三维点云数据进行去噪处理器,得到去噪三维点云数据;
所述主控制器对所述去噪三维点云数据进行障碍物识别处理,得到障碍物的识别信息;其中,所述障碍物的识别信息包括障碍物的类别信息和位置信息;
所述主控制器根据所述障碍物的识别信息判断所述障碍物是否在所述无人驾驶车辆的行驶路径范围内;
当所述障碍物在所述无人驾驶车辆的行驶路径范围内时,所述主控制器将所述障碍物的位置信息发送给局部路径规划模块;
所述局部路径规划模块获取无人驾驶车辆的行驶状态数据;
所述局部路径规划模块根据所述障碍物的位置信息、所述行驶状态数据和原始全局路径数据进行计算,得到由多个关键点顺序连接组成的避障路径数据;其中,避障路径的起始点和终止点与所述原始全局路径上的点重合;
所述主控制器判断所述避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值时,所述主控制器根据所述避障路径和所述车辆行驶数据进行计算,得到目标速度和目标转向角度;
所述主控制器将所述目标速度和所述目标转向角度发送给车身控制器;
所述车身控制器根据所述目标速度和所述目标转向角度进行车辆的行驶控制。
2.根据权利要求1所述用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述主控制器对所述去噪三维点云数据进行障碍物识别处理,得到障碍物的识别信息具体为:
所述主控制器将所述去噪三维点云图像输入到图像识别单元;
所述图像识别单元通过深度残差网络ResNet50提取所述去噪三维点云图像的第一特征向量;
将所述第一特征向量作为特征图金字塔网络FPN的输入,通过FPN提取特征金字塔各层的候选框proposals;
通过区域特征聚集层ROI Align获取所述候选框proposals被缩放致预设尺寸后的第二特征向量;
将所述第二特征向量分别输出给掩码识别分支、类别识别分支和位置识别分支,得到至少一个障碍物的识别信息;其中,所述障碍物的识别信息包括障碍物的类别信息、位置信息和掩码信息;
所述图像识别单元将所述障碍物的识别信息输出给所述主控制器。
3.根据权利要求1所述用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述主控制器根据所述障碍物的识别信息判断所述障碍物是否在所述无人驾驶车辆的行驶路径范围内具体为:
所述主控制器将所述去噪三维点云图像输出给图像识别单元;
所述图像识别单元使用实例分割模型Mask R-CNN对所述去噪三维点云数据进行车道线识别,得到车道线的识别信息;其中,所述车道线的识别信息包括类别信息、位置信息;
所述图像识别单元对所述车道线的识别信息进行合成组合处理,得到完整车道线信息;
所述图像识别单元根据完整车道线信息确定所述无人驾驶车辆的行驶路径范围;
所述图像识别单元将所述无人驾驶车辆的行驶路径范围输出给所述主控制器;
所述主控制器根据所述障碍物的位置信息判断所述障碍物是否在所述无人驾驶车辆的行驶路径范围内。
4.根据权利要求1所述用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述主控制器判断所述避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值具体为:
所述主控制器确定所述原始全局路径数据中与避障路径数据对应的局部路段数据;
所述主控制器计算避障路径中各关键点与所述局部路段的最短距离;
所述主控制器确定各最短距离中的最大值为所述避障路径数据与原始全局路径数据的偏移量;
所述主控制器判断所述偏移量是否小于所述预设偏移阈值;
当所述偏移量小于所述预设偏移阈值时,确定所述避障路径数据与原始全局路径数据的偏移量小于预设偏移阈值。
5.根据权利要求1所述用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述障碍物躲避方法还包括:
所述主控制器将所述去噪三维点云数据发送给云服务器;
所述云服务器对所述去噪三维点云数据进行障碍物检测处理,得到障碍物数据;
所述云服务器将所述障碍物数据与障碍物数据库中的障碍物数据进行一一匹配;
当所述障碍物数据与第一障碍物数据相一致时,所述云服务器将所述障碍物确定为第一障碍物。
6.根据权利要求5所述用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述方法还包括:
当所述障碍物数据未与所述障碍物数据库中的障碍物数据匹配成功时,所述云服务器将所述障碍物数据保存在所述障碍物数据库中。
7.根据权利要求1所述用于无人驾驶车辆的障碍物躲避方法,其特征在于,所述车身控制系统包括动力系统和转向系统,所述车身控制器根据所述目标速度和所述目标转向角度进行车辆的行驶控制具体包括:
所述动力系统获取所述无人驾驶车辆的当前行驶速度,并判断所述当前行驶速度与所述目标速度的大小关系;
当所述当前行驶速度大于所述目标速度时,所述动力系统进行制动处理;
当所述当前行驶速度小于所述目标速度时,所述动力系统进行加速处理;
所述转向系统将设定转向角度设定为所述目标转向角度。
CN201911393035.5A 2019-12-30 2019-12-30 一种用于无人驾驶车辆的障碍物躲避方法 Active CN110979321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911393035.5A CN110979321B (zh) 2019-12-30 2019-12-30 一种用于无人驾驶车辆的障碍物躲避方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393035.5A CN110979321B (zh) 2019-12-30 2019-12-30 一种用于无人驾驶车辆的障碍物躲避方法

Publications (2)

Publication Number Publication Date
CN110979321A true CN110979321A (zh) 2020-04-10
CN110979321B CN110979321B (zh) 2021-03-19

Family

ID=70078891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393035.5A Active CN110979321B (zh) 2019-12-30 2019-12-30 一种用于无人驾驶车辆的障碍物躲避方法

Country Status (1)

Country Link
CN (1) CN110979321B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507339A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种基于强度图像的目标点云获取方法
CN111653113A (zh) * 2020-04-20 2020-09-11 浙江吉利汽车研究院有限公司 车辆的局部路径确定方法、装置、终端和存储介质
CN111791887A (zh) * 2020-07-03 2020-10-20 北京理工大学 一种基于分层式车速规划的车辆节能驾驶方法
CN111854783A (zh) * 2020-06-22 2020-10-30 北京九曜智能科技有限公司 一种绕障路径规划方法及装置
CN112214026A (zh) * 2020-10-26 2021-01-12 广州小鹏自动驾驶科技有限公司 一种行车障碍检测方法、装置、车辆、可读介质
CN112232201A (zh) * 2020-10-15 2021-01-15 广州富港万嘉智能科技有限公司 车辆避障路线规划方法、车辆避障方法、计算机可读存储介质及agv小车
CN112487984A (zh) * 2020-11-30 2021-03-12 贵州北斗空间信息技术有限公司 一种点云数据轻量化快速生成方法
CN112711255A (zh) * 2020-12-24 2021-04-27 南方科技大学 移动机器人避障方法、控制设备及存储介质
CN113085901A (zh) * 2021-05-13 2021-07-09 京东鲲鹏(江苏)科技有限公司 无人车控制方法、装置、电子设备及存储介质
CN113215261A (zh) * 2021-06-29 2021-08-06 北京泱深生物信息技术有限公司 胰腺癌的预后预测诊断用基因标记物及其用途
CN113359758A (zh) * 2021-06-30 2021-09-07 山东新一代信息产业技术研究院有限公司 一种基于人工势场法的环境代价地图生成方法及系统
CN113682322A (zh) * 2021-08-26 2021-11-23 北京京东乾石科技有限公司 一种车辆行驶路径的确定方法和装置
CN114355921A (zh) * 2021-12-28 2022-04-15 北京易航远智科技有限公司 车辆循迹轨迹生成方法、装置、电子设备及存储介质
WO2022142997A1 (zh) * 2020-12-30 2022-07-07 微网优联科技(成都)有限公司 基于物联网的车辆自动驾驶方法及终端
CN115147789A (zh) * 2022-06-16 2022-10-04 禾多科技(北京)有限公司 分合流道路信息检测方法、装置、设备和计算机可读介质
CN115311850A (zh) * 2022-07-15 2022-11-08 重庆长安汽车股份有限公司 一种基于众包模式的抛洒物识别与预警方法及系统
CN115601972A (zh) * 2022-11-28 2023-01-13 青岛慧拓智能机器有限公司(Cn) 无人矿山行驶区域的障碍物处理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298298A (ja) * 2001-03-30 2002-10-11 Honda Motor Co Ltd 車両の周辺監視装置
US20130179047A1 (en) * 2012-01-10 2013-07-11 Ford Global Technologies, Llc Intersection collision avoidance with adaptable vehicle dimensions
CN103231708A (zh) * 2013-04-12 2013-08-07 安徽工业大学 一种基于双目视觉的智能车辆避障方法
CN105235680A (zh) * 2015-11-13 2016-01-13 浪潮(北京)电子信息产业有限公司 一种基于云计算的避让行人的方法及系统
US20170120905A1 (en) * 2015-03-05 2017-05-04 Horizon Hobby, LLC Optical spread spectrum detection and ranging
JP2017200182A (ja) * 2011-09-06 2017-11-02 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited 車両および車両ドライバのための地形視覚化
CN108318895A (zh) * 2017-12-19 2018-07-24 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
CN109521756A (zh) * 2017-09-18 2019-03-26 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的障碍物运动信息生成方法和装置
CN109804223A (zh) * 2016-10-11 2019-05-24 御眼视觉技术有限公司 基于检测到的障碍物导航车辆
CN110033621A (zh) * 2019-05-22 2019-07-19 北京经纬恒润科技有限公司 一种危险车辆检测方法、装置及系统
US20190337509A1 (en) * 2018-03-20 2019-11-07 Mobileye Vision Technologies Ltd. Path prediction to compensate for control delay

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298298A (ja) * 2001-03-30 2002-10-11 Honda Motor Co Ltd 車両の周辺監視装置
JP2017200182A (ja) * 2011-09-06 2017-11-02 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited 車両および車両ドライバのための地形視覚化
US20130179047A1 (en) * 2012-01-10 2013-07-11 Ford Global Technologies, Llc Intersection collision avoidance with adaptable vehicle dimensions
CN103231708A (zh) * 2013-04-12 2013-08-07 安徽工业大学 一种基于双目视觉的智能车辆避障方法
US20170120905A1 (en) * 2015-03-05 2017-05-04 Horizon Hobby, LLC Optical spread spectrum detection and ranging
CN105235680A (zh) * 2015-11-13 2016-01-13 浪潮(北京)电子信息产业有限公司 一种基于云计算的避让行人的方法及系统
CN109804223A (zh) * 2016-10-11 2019-05-24 御眼视觉技术有限公司 基于检测到的障碍物导航车辆
CN109521756A (zh) * 2017-09-18 2019-03-26 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的障碍物运动信息生成方法和装置
CN108318895A (zh) * 2017-12-19 2018-07-24 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
US20190337509A1 (en) * 2018-03-20 2019-11-07 Mobileye Vision Technologies Ltd. Path prediction to compensate for control delay
CN110033621A (zh) * 2019-05-22 2019-07-19 北京经纬恒润科技有限公司 一种危险车辆检测方法、装置及系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507339A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种基于强度图像的目标点云获取方法
CN111507339B (zh) * 2020-04-16 2023-07-18 北京深测科技有限公司 一种基于强度图像的目标点云获取方法
CN111653113A (zh) * 2020-04-20 2020-09-11 浙江吉利汽车研究院有限公司 车辆的局部路径确定方法、装置、终端和存储介质
CN111653113B (zh) * 2020-04-20 2022-09-27 浙江吉利汽车研究院有限公司 车辆的局部路径确定方法、装置、终端和存储介质
CN111854783A (zh) * 2020-06-22 2020-10-30 北京九曜智能科技有限公司 一种绕障路径规划方法及装置
CN111791887A (zh) * 2020-07-03 2020-10-20 北京理工大学 一种基于分层式车速规划的车辆节能驾驶方法
CN112232201A (zh) * 2020-10-15 2021-01-15 广州富港万嘉智能科技有限公司 车辆避障路线规划方法、车辆避障方法、计算机可读存储介质及agv小车
CN112214026A (zh) * 2020-10-26 2021-01-12 广州小鹏自动驾驶科技有限公司 一种行车障碍检测方法、装置、车辆、可读介质
CN112487984A (zh) * 2020-11-30 2021-03-12 贵州北斗空间信息技术有限公司 一种点云数据轻量化快速生成方法
CN112487984B (zh) * 2020-11-30 2024-04-26 贵州北斗空间信息技术有限公司 一种点云数据轻量化快速生成方法
CN112711255B (zh) * 2020-12-24 2024-01-19 南方科技大学 移动机器人避障方法、控制设备及存储介质
CN112711255A (zh) * 2020-12-24 2021-04-27 南方科技大学 移动机器人避障方法、控制设备及存储介质
WO2022142997A1 (zh) * 2020-12-30 2022-07-07 微网优联科技(成都)有限公司 基于物联网的车辆自动驾驶方法及终端
CN113085901A (zh) * 2021-05-13 2021-07-09 京东鲲鹏(江苏)科技有限公司 无人车控制方法、装置、电子设备及存储介质
CN113215261A (zh) * 2021-06-29 2021-08-06 北京泱深生物信息技术有限公司 胰腺癌的预后预测诊断用基因标记物及其用途
CN113359758A (zh) * 2021-06-30 2021-09-07 山东新一代信息产业技术研究院有限公司 一种基于人工势场法的环境代价地图生成方法及系统
CN113682322A (zh) * 2021-08-26 2021-11-23 北京京东乾石科技有限公司 一种车辆行驶路径的确定方法和装置
CN114355921B (zh) * 2021-12-28 2022-10-18 北京易航远智科技有限公司 车辆循迹轨迹生成方法、装置、电子设备及存储介质
CN114355921A (zh) * 2021-12-28 2022-04-15 北京易航远智科技有限公司 车辆循迹轨迹生成方法、装置、电子设备及存储介质
CN115147789A (zh) * 2022-06-16 2022-10-04 禾多科技(北京)有限公司 分合流道路信息检测方法、装置、设备和计算机可读介质
CN115311850A (zh) * 2022-07-15 2022-11-08 重庆长安汽车股份有限公司 一种基于众包模式的抛洒物识别与预警方法及系统
CN115601972A (zh) * 2022-11-28 2023-01-13 青岛慧拓智能机器有限公司(Cn) 无人矿山行驶区域的障碍物处理系统

Also Published As

Publication number Publication date
CN110979321B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
CN110487562B (zh) 一种用于无人驾驶的车道保持能力检测系统及方法
CN108572663B (zh) 目标跟踪
US11427193B2 (en) Methods and systems for providing depth maps with confidence estimates
US8611585B2 (en) Clear path detection using patch approach
CN105313782B (zh) 车辆行驶辅助系统及其方法
US8634593B2 (en) Pixel-based texture-less clear path detection
US8699754B2 (en) Clear path detection through road modeling
CN110065494B (zh) 一种基于车轮检测的车辆防碰撞方法
WO2018058356A1 (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
US20090268948A1 (en) Pixel-based texture-rich clear path detection
CN106845332B (zh) 利用轮胎旁溅的基于视觉的潮湿路面状况检测
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
Sehestedt et al. Robust lane detection in urban environments
WO2017094300A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
EP3555854B1 (en) A method of tracking objects in a scene
JP2016206721A (ja) 路面標示検出装置及び路面標示検出方法
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
JP3562278B2 (ja) 環境認識装置
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
JP6763198B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP7312275B2 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant