CN117706942B - 一种环境感知与自适应驾驶辅助电子控制方法及系统 - Google Patents
一种环境感知与自适应驾驶辅助电子控制方法及系统 Download PDFInfo
- Publication number
- CN117706942B CN117706942B CN202410164827.XA CN202410164827A CN117706942B CN 117706942 B CN117706942 B CN 117706942B CN 202410164827 A CN202410164827 A CN 202410164827A CN 117706942 B CN117706942 B CN 117706942B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- motor vehicle
- laser radar
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000001105 regulatory effect Effects 0.000 claims abstract description 4
- 230000007613 environmental effect Effects 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 229910052698 phosphorus Inorganic materials 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 229910052757 nitrogen Inorganic materials 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 9
- 230000001276 controlling effect Effects 0.000 abstract description 2
- 230000016776 visual perception Effects 0.000 description 7
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及自动驾驶技术领域,公开了一种环境感知与自适应驾驶辅助电子控制方法及系统。本发明通过在机动车内安装对应的物联网设备,并通过安装各个物联网设备之间的配合实现对机动车周围环境数据的收集;同时基于对实时收集的机动车周围环境数据的处理,通过对相机和激光雷达收集到数据的融合检测以及特征提取,实时确定机动车周围环境状态;最后基于确定的周围环境状态和输入的目的地对机动车行驶路径进行规划,并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整,根据行驶过程机动车和周围环境中障碍物之间的距离对机动车的速度进行调控,确保驾驶辅助过程中行驶的安全性和可靠性。
Description
技术领域
本发明涉及自动驾驶技术领域,具体为一种环境感知与自适应驾驶辅助电子控制方法及系统。
背景技术
无人驾驶汽车主要由三大系统构成:环境感知系统、路径规划系统和运动控制系统。环境感知是路径规划和运动控制的前提,也是无人驾驶汽车最亟待解决和优化的关键技术难题,正确识别车辆周身环境是无人驾驶汽车的运行的基础。
当前,环境感知技术主要分为两种,分别为激光感知和视觉感知。其中,激光感知是选用激光雷达为目标检测的主要传感器,并选择其他雷达如超声波雷达、毫米波雷达等作为辅助传感器进行环境感知。视觉感知则是选择摄像头为目标检测的主要传感器,其他作为辅助传感器进行环境感知。相对于激光感知的方式,视觉感知操作简单,能够获取丰富的信息量,此外,视觉感知的成本相对于低廉。因此,视觉感知成为当前使用范围最广,占主导地位的环境感知方法,但是视觉感知相对与激光感知检测的范围和精度都存在一定差距,且夜间工作能力差同时无法提供深度信息。
发明内容
针对现有技术的不足,本发明提供了一种环境感知与自适应驾驶辅助电子控制方法及系统,具备成本低,精度高等优点,解决了视觉感知夜间工作能力差同时无法提供深度信息的问题。
为解决上述视觉感知夜间工作能力差同时无法提供深度信息的技术问题,本发明提供如下技术方案:
本实施例公开一种环境感知与自适应驾驶辅助电子控制方法具体包括以下步骤:
S1、在机动车内安装对应的物联网设备,所述物联网设备包括,定位传感器,相机、激光雷达;
S2、基于安装的物联网设备实时对机动车周围环境数据进行收集;
S3、对物联网设备收集到的环境数据进行处理,得到融合后的周围环境数据;
S4、当机动车通过安装的物联网设备感知得到周围环境数据后,输入需要到达的地点;
S5、基于输入需要到达的地点对机动车行驶路径进行规划,得到最优路径;并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整;
S6、基于得到的最优路径对机动车驾驶过程进行控制辅助;
优选地,所述对物联网设备收集到的环境数据进行处理,得到融合后的周围环境数据步骤包括:
S31、将收集到的点云数据和图像数据输入至目标检测模块中;
S32、目标检测模块通过使用融合算法,检测点云数据和图像数据中的障碍物目标数据。
优选地,所述目标检测模块通过使用融合算法,检测点云数据和图像数据中的障碍物目标数据包括以下步骤:
S321、基于图像的语义分割,计算逐像素分割分数;
S322、用语义分割像素分割分数的方式绘制激光雷达点云,得到绘制好的点云数据;
S323、基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测。
优选地,所述基于图像的语义分割,计算逐像素分割分数包括:
基于拍摄的图像数据设定二维张量并进行条形池化,其中,H为图像数据的高,W为图像数据的宽;
在条形池化中,通过对一行或一列中的所有像素特征值进行平均运算;
所得的垂直条形池化后的输出为:
其中,yi h表示第i列的平均像素特征值,xi,j表示第i列第j行;
所得的水平条形池化后的输出为:
其中,yj w表示第j列的平均像素特征值,xj,i表示第j列第i行;
设定为输入张量,其中C表示通道数;
将x输入到两个平行路径,每个路径包含一个水平或者垂直池化层;
将水平或者垂直池化层的输出结果输入到一个卷积核为3×1的一维卷积层;通过一维卷积层对输入数据进行调制,输出
将yw和yh组合到一起产生通过矩阵的乘法然后有:
和/>都是一行或者一列则可表示为/>和/>
根据矩阵乘法H×1×W×1=H×W;
其中,表示通道c输出的第i列平均像素特征值,/>表示表示通道c输出的第j列平均像素特征值,yc,i,j表示通道c输出像素特征值;
通过公式对输出进行处理输出优化后的全局输出语义分割像素分割分数
S=Scale(x,σ(q(y)))
其中,Scale表示逐元素乘法函数,σ为Sigmoid函数,q为1×1卷积核。
优选地,所述用语义分割分数绘制激光雷达点云包括:
设定输入激光雷达点云数据:语义分割像素分割分数/>齐次变换矩阵/>相机矩阵/>
激光雷达点云中的每个点的维度信息为(x,y,z,r,t),其中(x,y,z)为每个激光雷达点的空间坐标位置,r为反射率,t是激光雷达点的相对时间戳;
激光雷达点通过齐次变化进行转换,然后投影到图像中,转换过程是:
其中,T(lidar→ego)表示将激光雷达坐标转化为以车为原点的坐标,表示将t1时刻激光雷达捕获数据时的以车为原点的坐标变换到tc时刻相机捕获数据时的以车为原点的坐标,T(ego→camera)表示将以车为原点的坐标再变换到相机坐标,通过坐标相机坐标与激光雷达坐标进行转化的方式将相机坐标与激光雷达坐标比较,取平均值,得到绘制好的点云数据;
基于激光雷达坐标和相机坐标的融合构建点云数据;
优选地,所述基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测包括:
基于处理后的带有分割分数的点云数据,对处理后的带有分割分数的点云数据进行点云编码;
以激光雷达自身为坐标原点,激光雷达感应范围为半径,并在点云X-Y平面中划分一个个固定大小的格子,结合Z轴构建点云柱,每个点云柱包含若干个点,设定N为点数,D为维度数;
点云中每个激光点有8个维度的信息(x,y,z,r,s1,s2,s3,s4),其中(x,y,z)表示点的三维坐标,r表示激光点的反射强度,s1,s2,s3,s4分别表示4个通道的语义分数。
将点云数据的信息维度扩充至13维:(x,y,z,r,xc,yc,zc,xp,yp,s1,s2,s3,s4),(xc,yc,zc)表示当前点相对于点云柱内所有点平均值的偏差,(xp,yp)表示当前点相对于点云柱中心的距离,偏差计算公式如下:
其中,N表示点云柱内点的数量,设定最大值为100,不足100的点云柱补0,超过100的点云柱随机采样100个点,设定P为当前帧点云X-Y平面能划分的点云柱数,将点云数据信息转化为(D,P,N)形式的张量;
通过设置64个全连接输出节点将13维度的点云数据升至64维;
全连接运算:
a1=W×x+W×y+W×z+b
其中,W为权值参数,权值参数=输入的一维数组大小×全连接输出节点数,b为偏置参数;
取点云柱内的中心点,在点云数据转化为(D,P,N)形式的张量的基础上将点云数据转化为(C,P),C为通道数;
将所有的点云柱尺寸相加得到当前帧点云数据的总尺寸(H,W),每个H×W大小的空间内存放着一帧内所有点云柱的一个特征维度的数据,总共有64个特征维度,因此点云数据转化为(64,H,W);
将转化后的点云数据输入卷积神经网络进行特征提取;
卷积计算公式如下所述:
f(x)=I(x)×w+b
其中,I(x)表示输入特征,w表示对应卷积核的权值,b表示偏置参数;
基于提取的特征数据与绘制好的点云数据进行比较,判断障碍物目标的类型。
优选地,所述基于输入需要到达的地点对机动车行驶路径进行规划,得到最优路径包括:
基于输入需要到达的地点将目标地点划分为一个个目标节点;
S51、对相机与激光雷达实时感知的周围环境进行栅格化,并将对周围环境特征提取得到的环境特征在栅格空间内进行显示,所述环境特征包括道路以及障碍物目标;
S52、根据机动车在栅格空间内的坐标位置以及系统输入的到达点的坐标位置通过A*算法寻找最短路径;
所述A*算法通过预测模拟栅格内进行路径所消耗的代价进行最短路径预测;
综合代价f(n)计算方法如下:
f(n)=g(n)+h(n)
其中,g(n)表示当前节点到目标节点的真实路径距离,h(n)表示当前节点到目标节点的预估路径距离;
设定当存在一条路径的预估代价小于或等于从当前节点到目标节点的真实代价时,设定此路径为最优路径;
每到达一个小目标节点,就将当前目标节点作为当前节点,下一个小目标节点作为新的目标节点,不断迭代寻找最优路线,直至到达最后一个小目标节点。
优选地,所述基于得到的最优路径对机动车驾驶过程进行控制辅助包括:
在机动车按照最优路径行驶过程中,设定机动车与障碍物之间的距离阈值,当机动车与障碍物之间的距离小于阈值时,对机动车进行减速操作,当机动车与障碍物之间的距离小于阈值时,对机动车进行加速操作。
本实施例还公开一种环境感知与自适应驾驶辅助电子控制系统,具体包括:
物联网设备、数据采集模块、目标检测模块、路径规划模块以及辅助控制模块;
所述物联网设备包括:相机、激光雷达、定位传感器;
所述相机用于实时拍摄机动车周围环境图像数据;
所述激光雷达用于实时监测机动车周围环境点云数据;
所述定位传感器用于对机动车进行实时定位;
所述数据采集模块用于通过安装的物联网设备对周围环境进行环境数据采集;
所述目标检测模块用于根据数据采集模块收集到的环境数据进行目标检测;
所述路径规划模块用于根据输入需要到达的地点以及实时检测的环境进行路径规划;
所述辅助控制模块用于对机动车行驶过程中的速度进行调整。
与现有技术相比,本发明提供了一种环境感知与自适应驾驶辅助电子控制方法及系统,具备以下有益效果:
1、本发明通过将相机拍摄的周围环境数据与激光雷达检测到的周围环境数据进行融合的方式实现对周围环境数据的精确检测,通过将相机拍摄的周围环境数据与激光雷达检测到的周围环境数据进行融合的方式可以使周围环境数据有更多维度的信息,有利于网络提高检测的精度。
2、本发明通过对激光雷达点云数据进行编码的方式通过增加点云数据维度的方式提高点云数据的精度,并对于编码后的点云数据可直接输入卷积神经网络,提高了卷积神经网络卷积运算的速度,有利于提高对周围环境感知的实时性。
3、本发明通过先对周围环境的感知实现对周围环境的栅格化,并在栅格空间内确定各个环境障碍物的位置,再通过判断综合代价的方式寻求初始节点到目标节点的最优路线,保证了规划路线的可行性,并且由于实时的对周围环境的感知,加快了对机动车周围环境数据的更新速度,减少了路径规划的时间,并提高了路径规划的准确性。
4、本发明通过设定机动车与环境障碍物之间的距离,为机动车行驶留出了足够的安全距离,并通过实时监测机动车与环境障碍物之间的距离实现对机动车速度的控制。
附图说明
图1为本发明的基于环境感知与自适应驾驶辅助流程结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例公开一种环境感知与自适应驾驶辅助电子控制方法,具体包括以下步骤:
S1、在机动车内安装对应的物联网设备,所述物联网设备包括,定位传感器,相机、激光雷达;
S2、基于安装的物联网设备实时对机动车周围环境数据进行收集;
S3、对物联网设备收集到的环境数据进行处理,得到融合后的周围环境数据;
所述对物联网设备收集到的环境数据进行处理,得到融合后的周围环境数据步骤包括:
S31、将收集到的点云数据和图像数据输入至目标检测模块中;
S32、目标检测模块通过使用融合算法,检测点云数据和图像数据中的障碍物目标数据;
进一步地,所述目标检测模块通过使用融合算法,检测点云数据和图像数据中的障碍物目标数据包括以下步骤:
S321、基于图像的语义分割,计算逐像素分割分数;
进一步地,基于拍摄的图像数据设定二维张量并进行条形池化,其中,H为图像数据的高,W为图像数据的宽;
进一步地,在条形池化中,通过对一行或一列中的所有像素特征值进行平均运算;
所得的垂直条形池化后的输出为:
其中,yi h表示第i列的平均像素特征值,xi,j表示第i列第j行;
所得的水平条形池化后的输出为:
其中,yj w表示第j列的平均像素特征值,xj,i表示第j列第i行;
设定为输入张量,其中C表示通道数;
进一步地,将x输入到两个平行路径,每个路径包含一个水平或者垂直池化层;
进一步地,将水平或者垂直池化层的输出结果输入到一个卷积核为3×1的一维卷积层;
通过一维卷积层对输入数据进行调制,输出
进一步地,将yw和yh组合到一起产生然后有:
其中,表示通道c输出的第i列平均像素特征值,/>表示表示通道c输出的第j列平均像素特征值,yc,i,j表示通道c输出像素特征值;
进一步地,通过公式对输出进行处理输出优化后的全局输出语义分割像素分割分数
S=Scale(x,σ(q(y)))
其中,Scale表示逐元素乘法函数,σ为Sigmoid函数,q为1×1卷积核;
S322、用语义分割像素分割分数的方式绘制激光雷达点云,得到绘制好的点云数据;
设定输入激光雷达点云数据:语义分割像素分割分数/>齐次变换矩阵/>相机矩阵/>所述点云数据为激光雷达扫描得到的数据;
进一步地,激光雷达点云中的每个点的维度信息为(x,y,z,r,t),其中(x,y,z)为每个激光雷达点的空间坐标位置,r为反射率,t是激光雷达点的相对时间戳;
进一步地,激光雷达点通过齐次变化进行转换,然后投影到图像中,转换过程是:
其中,T(lidar→ego)表示将激光雷达坐标转化为以车为原点的坐标,表示将t1时刻激光雷达捕获数据时的以车为原点的坐标变换到tc时刻相机捕获数据时的以车为原点的坐标,T(ego→camera)表示将以车为原点的坐标再变换到相机坐标,通过坐标相机坐标与激光雷达坐标进行转化的方式将相机坐标与激光雷达坐标比较,取平均值,得到绘制好的点云数据;
S323、基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测;
基于处理后的带有分割分数的点云数据,对处理后的带有分割分数的点云数据进行点云编码;
进一步地,以激光雷达自身为坐标原点,激光雷达感应范围为半径,并在点云X-Y平面中划分一个个固定大小的格子,结合Z轴构建点云柱,每个点云柱包含若干个点,设定N为点数,D为维度数;
进一步地,点云中每个激光点有8个维度(D)的信息(x,y,z,r,s1,s2,s3,s4),其中(x,y,z)表示点的三维坐标,r表示激光点的反射强度,s1,s2,s3,s4分别表示4个通道的语义分数。
进一步地,将点云数据的信息维度扩充至13维:(x,y,z,r,xc,yc,zc,xp,yp,s1,s2,s3,s4),(xc,yc,zc)表示当前点相对于点云柱内所有点平均值的偏差,(xp,yp)表示当前点相对于点云柱中心的距离,偏差计算公式如下:
其中,N表示点云柱内点的数量,设定最大值为100,不足100的点云柱补0,超过100的点云柱随机采样100个点,设定P为当前帧点云X-Y平面能划分的点云柱数,将点云数据信息转化为(D,P,N)形式的张量;
进一步地,通过设置64个全连接输出节点将13维度的点云数据升至64维;
全连接运算:
a1=W×x+W×y+W×z+b
其中,W为权值参数,权值参数=输入的一维数组大小×全连接输出节点数,b为偏置参数;
进一步地,取点云柱内的中心点,将点云数据转化为(C,P),C位通道数;
进一步地,将所有的点云柱尺寸相加得到当前帧点云数据的总尺寸(H,W),每个H×W大小的空间内存放着一帧内所有点云柱的一个特征维度的数据,总共有64个特征维度,因此点云数据转化为(C,H,W);
进一步地,将转化后的点云数据输入卷积神经网络进行特征提取。
卷积计算公式如下所述:
f(x)=I(x)×w+b
其中,I(x)表示输入特征,w表示对应卷积核的权值,b表示偏置参数;
基于提取的特征数据与绘制好的点云数据进行比较,判断障碍物目标的类型;
S4、当机动车通过安装的物联网设备感知得到周围环境数据后,输入需要到达的地点;
S5、基于输入需要到达的地点对机动车行驶路径进行规划,得到最优路径;并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整;
所述基于输入需要到达的地点对机动车行驶路径进行规划,得到最优路径包括:
基于输入需要到达的地点将目标地点划分为一个个目标节点;
S51、对相机与激光雷达实时感知的周围环境进行栅格化,并将对周围环境特征提取得到的环境特征在栅格空间内进行显示,所述环境特征包括道路以及障碍物目标;
S52、根据机动车在栅格空间内的坐标位置以及系统输入的到达点的坐标位置通过A*算法寻找最短路径;
所述A*算法通过预测模拟栅格内进行路径所消耗的代价进行最短路径预测;
综合代价f(n)计算方法如下:
f(n)=g(n)+h(n)
其中,g(n)表示当前节点到目标节点的真实路径距离,h(n)表示当前节点到目标节点的预估路径距离;
设定当存在一条路径的预估代价小于或等于从当前节点到目标节点的真实代价时,设定此路径为最优路径;
进一步地,每到达一个小目标节点,就将当前目标节点作为当前节点,下一个小目标节点作为新的目标节点,不断迭代寻找最优路线,直至到达最后一个小目标节点;
S6、基于得到的最优路径对机动车驾驶过程进行控制辅助;
进一步地,在机动车按照最优路径行驶过程中,设定机动车与障碍物之间的距离阈值,当机动车与障碍物之间的距离小于阈值时,对机动车进行减速操作,当机动车与障碍物之间的距离小于阈值时,对机动车进行加速操作。
本实施例还公开一种环境感知与自适应驾驶辅助电子控制系统,具体包括:物联网设备、数据采集模块、目标检测模块、路径规划模块以及辅助控制模块;
所述物联网设备包括:相机、激光雷达、定位传感器;
所述相机用于实时拍摄机动车周围环境图像数据;
所述激光雷达用于实时监测机动车周围环境点云数据;
所述定位传感器用于对机动车进行实时定位;
所述数据采集模块用于通过安装的物联网设备对周围环境进行环境数据采集;
所述目标检测模块用于根据数据采集模块收集到的环境数据进行目标检测;
所述路径规划模块用于根据输入需要到达的地点以及实时检测的环境进行路径规划;
所述辅助控制模块用于对机动车行驶过程中的速度进行调整。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种环境感知与自适应驾驶辅助电子控制方法,其特征在于,包括:
S1、在机动车内安装对应的物联网设备,所述物联网设备包括:定位传感器、相机、激光雷达;
S2、基于安装的物联网设备实时对机动车周围环境数据进行收集;
S3、对物联网设备收集到的环境数据进行处理,得到融合后的周围环境数据;
S4、当机动车通过安装的物联网设备感知得到周围环境数据后,输入需要到达的地点;
S5、基于输入需要到达的地点对机动车行驶路径进行规划,得到最优路径;并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整;
S6、基于得到的最优路径对机动车驾驶过程进行控制辅助;
所述对物联网设备收集到的环境数据进行处理,得到融合后的周围环境数据步骤包括:
S31、将收集到的点云数据和图像数据输入至目标检测模块中;
S32、目标检测模块通过使用融合算法,检测点云数据和图像数据中的障碍物目标数据;
所述目标检测模块通过使用融合算法,检测点云数据和图像数据中的障碍物目标数据包括以下步骤:
S321、基于图像的语义分割,计算各像素分割分数;
S322、用语义分割像素分割分数的方式绘制激光雷达点云,得到绘制好的点云数据;
S323、基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测;
所述基于图像的语义分割,计算各像素分割分数包括:
基于拍摄的图像数据设定二维张量并进行条形池化,其中,H为图像数据的高,W为图像数据的宽;
在条形池化中,通过对一行或一列中的所有像素特征值进行平均运算;
所得的垂直条形池化后的输出为:
其中,yi h表示第i列的平均像素特征值,xi,j表示第i列第j行;
所得的水平条形池化后的输出为:
其中,yj w表示第j列的平均像素特征值,xj,i表示第j列第i行;
设定为输入张量,其中C表示通道数;
将x输入到两个平行路径,每个路径包含一个水平或者垂直池化层;
将水平或者垂直池化层的输出结果输入到一个卷积核为3×1的一维卷积层;
将yw和yh组合到一起产生通过矩阵的乘法然后有:
和/>可表示为/>和/>
根据矩阵乘法H×1×W×1=H×W;
其中,表示通道c输出的第i列平均像素特征值,/>表示表示通道c输出的第j列平均像素特征值,yc,i,j表示通道c输出像素特征值;
通过公式对输出进行处理输出优化后的全局输出语义分割像素分割分数S∈RH×W×C;
S=Scale(x,σ(q(y)))
其中,Scale表示逐元素乘法函数,σ为Sigmoid函数,q为1×1卷积核;
所述用语义分割像素分割分数的方式绘制激光雷达点云,得到绘制好的点云数据包括:
设定输入激光雷达点云数据:语义分割像素分割分数/>齐次变换矩阵相机矩阵/>所述点云数据为激光雷达扫描得到的数据;
激光雷达点云中的每个点的维度信息为(x,y,z,r,t),其中(x,y,z)为每个激光雷达点的空间坐标位置,r为反射率,t是激光雷达点的相对时间戳;
激光雷达点通过齐次变化进行转换,然后投影到图像中,转换过程是:
其中,T(lidar→ego)表示将激光雷达坐标转化为以车为原点的坐标,表示将t1时刻激光雷达捕获数据时的以车为原点的坐标变换到tc时刻相机捕获数据时的以车为原点的坐标,T(ego→camera)表示将以车为原点的坐标再变换到相机坐标,通过坐标相机坐标与激光雷达坐标进行转化的方式将相机坐标与激光雷达坐标比较,取平均值,得到绘制好的点云数据;
所述基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测包括:
基于处理后的带有分割分数的点云数据,对处理后的带有分割分数的点云数据进行点云编码;
以激光雷达自身为坐标原点,激光雷达感应范围为半径,并在点云X-Y平面中划分一个个固定大小的格子,结合Z轴构建点云柱,每个点云柱包含若干个点,设定N为点数,D为维度数;
点云中每个激光点有8个维度的信息(x,y,z,r,s1,s2,s3,s4),其中(x,y,z)表示点的三维坐标,r表示激光点的反射强度,s1,s2,s3,s4分别表示4个通道的语义分数;
将点云数据的信息维度扩充至13维:(x,y,z,r,xc,yc,zc,xp,yp,s1,s2,s3,s4),(xc,yc,zc)表示当前点相对于点云柱内所有点平均值的偏差,(xp,yp)表示当前点相对于点云柱中心的距离,偏差计算公式如下:
其中,N表示点云柱内点的数量,设定最大值为100,不足100的点云柱补0,超过100的点云柱随机采样100个点,设定P为当前帧点云X-Y平面能划分的点云柱数,将点云数据转化为(D,P,N)形式的张量;
通过设置64个全连接输出节点将13维度的点云数据升至64维;
全连接运算:
a1=W×x+W×y+W×z+b
其中,W为权值参数,权值参数=输入的一维数组大小×全连接输出节点数,b为偏置参数;
取点云柱内的中心点,在点云数据转化为(D,P,N)形式的张量的基础上将点云数据转化为(C,P),C为通道数;
将所有的点云柱尺寸相加得到当前帧点云数据的总尺寸(H,W),每个H×W大小的空间内存放着一帧内所有点云柱的一个特征维度的数据,总共有64个特征维度,因此点云数据转化为(64,H,W);
将转化后的点云数据输入卷积神经网络进行特征提取;
卷积计算公式如下所述:
f(x)=I(x)×w+b
其中,I(x)表示输入特征,w表示对应卷积核的权值,b表示偏置参数;
基于提取的特征数据与绘制好的点云数据进行比较,判断障碍物目标的类型。
2.根据权利要求1所述的一种环境感知与自适应驾驶辅助电子控制方法,其特征在于,所述基于输入需要到达的地点对机动车行驶路径进行规划,得到最优路径包括:
基于输入需要到达的地点将目标地点划分为一个个目标节点;
S51、对相机与激光雷达实时感知的周围环境进行栅格化,并将对周围环境特征提取得到的环境特征在栅格空间内进行显示,所述环境特征包括道路以及障碍物目标;
S52、根据机动车在栅格空间内的坐标位置以及系统输入的到达点的坐标位置通过A*算法寻找最短路径;
所述A*算法通过预测模拟栅格内进行路径所消耗的代价进行最短路径预测;
综合代价f(n)计算方法如下:
f(n)=g(n)+h(n)
其中,g(n)表示当前节点到目标节点的真实路径距离,h(n)表示当前节点到目标节点的预估路径距离;
设定当存在一条路径的预估代价小于或等于从当前节点到目标节点的真实代价时,设定此路径为最优路径;
每到达一个小目标节点,就将当前目标节点作为当前节点,下一个小目标节点作为新的目标节点,不断迭代寻找最优路线,直至到达最后一个小目标节点。
3.根据权利要求1所述的一种环境感知与自适应驾驶辅助电子控制方法,其特征在于,所述基于得到的最优路径对机动车驾驶过程进行控制辅助包括:
在机动车按照最优路径行驶过程中,设定机动车与障碍物之间的距离阈值,当机动车与障碍物之间的距离小于阈值时,对机动车进行减速操作,当机动车与障碍物之间的距离小于阈值时,对机动车进行加速操作。
4.一种实现权利要求1-3中任一项所述的环境感知与自适应驾驶辅助电子控制方法的环境感知与自适应驾驶辅助电子控制系统,其特征在于:包括:数据采集模块、目标检测模块、路径规划模块以及辅助控制模块;
所述数据采集模块用于通过安装的物联网设备对周围环境进行环境数据采集;
所述目标检测模块用于根据数据采集模块收集到的环境数据进行目标检测;
所述路径规划模块用于根据输入需要到达的地点以及实时检测的环境进行路径规划;
所述辅助控制模块用于对机动车行驶过程中的速度进行调整。
5.根据权利要求4所述的环境感知与自适应驾驶辅助电子控制系统,其特征在于,还包括物联网设备,所述物联网设备包括:相机、激光雷达、定位传感器;
所述相机用于实时拍摄机动车周围环境图像数据;
所述激光雷达用于实时监测机动车周围环境点云数据;
所述定位传感器用于对机动车进行实时定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410164827.XA CN117706942B (zh) | 2024-02-05 | 2024-02-05 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410164827.XA CN117706942B (zh) | 2024-02-05 | 2024-02-05 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117706942A CN117706942A (zh) | 2024-03-15 |
CN117706942B true CN117706942B (zh) | 2024-04-26 |
Family
ID=90148285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410164827.XA Active CN117706942B (zh) | 2024-02-05 | 2024-02-05 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117706942B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109343537A (zh) * | 2018-11-22 | 2019-02-15 | 东南大学 | 全自主驾驶竞速小车及运行方法 |
WO2020088165A1 (zh) * | 2018-10-30 | 2020-05-07 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
CN111815709A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
KR20210111052A (ko) * | 2020-03-02 | 2021-09-10 | 건국대학교 산학협력단 | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 |
CN113447948A (zh) * | 2021-05-28 | 2021-09-28 | 淮阴工学院 | 一种基于ros机器人的相机与多激光雷达融合方法 |
CN113724387A (zh) * | 2021-08-10 | 2021-11-30 | 浙江工业大学 | 一种激光与相机融合的地图构建方法 |
CN114114312A (zh) * | 2021-11-24 | 2022-03-01 | 重庆邮电大学 | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 |
WO2022086739A2 (en) * | 2020-10-23 | 2022-04-28 | Argo AI, LLC | Systems and methods for camera-lidar fused object detection |
CN114419591A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于c-v2x的多传感器信息融合车辆检测方法 |
WO2022104296A1 (en) * | 2021-12-29 | 2022-05-19 | Innopeak Technology, Inc. | Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone |
CN114898322A (zh) * | 2022-06-13 | 2022-08-12 | 中国第一汽车股份有限公司 | 行车环境识别方法、装置、车辆及存储介质 |
WO2022241345A1 (en) * | 2021-05-10 | 2022-11-17 | Qualcomm Incorporated | Radar and camera data fusion |
CN116203956A (zh) * | 2023-02-27 | 2023-06-02 | 南京邮电大学 | 一种融合安全距离和全局信息的速度障碍规划方法、系统 |
KR20230079855A (ko) * | 2021-11-29 | 2023-06-07 | 주식회사 와이즈오토모티브 | 자율 주행 차량의 장애물 인지 성능 평가 장치 및 방법 |
CN117215316A (zh) * | 2023-11-08 | 2023-12-12 | 四川大学 | 基于协同控制与深度学习的驾驶环境感知的方法和系统 |
WO2024001093A1 (zh) * | 2022-07-01 | 2024-01-04 | 北京京东乾石科技有限公司 | 语义分割、环境感知方法、装置和无人车 |
WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
WO2024021194A1 (zh) * | 2022-07-28 | 2024-02-01 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11940804B2 (en) * | 2019-12-17 | 2024-03-26 | Motional Ad Llc | Automated object annotation using fused camera/LiDAR data points |
CA3177645A1 (en) * | 2021-05-11 | 2022-11-11 | Strong Force Vcn Portfolio 2019, Llc | Systems, methods, kits, and apparatuses for edge-distributed storage and querying in value chain networks |
-
2024
- 2024-02-05 CN CN202410164827.XA patent/CN117706942B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020088165A1 (zh) * | 2018-10-30 | 2020-05-07 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
CN109343537A (zh) * | 2018-11-22 | 2019-02-15 | 东南大学 | 全自主驾驶竞速小车及运行方法 |
CN111815709A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
KR20210111052A (ko) * | 2020-03-02 | 2021-09-10 | 건국대학교 산학협력단 | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 |
WO2022086739A2 (en) * | 2020-10-23 | 2022-04-28 | Argo AI, LLC | Systems and methods for camera-lidar fused object detection |
WO2022241345A1 (en) * | 2021-05-10 | 2022-11-17 | Qualcomm Incorporated | Radar and camera data fusion |
CN113447948A (zh) * | 2021-05-28 | 2021-09-28 | 淮阴工学院 | 一种基于ros机器人的相机与多激光雷达融合方法 |
CN113724387A (zh) * | 2021-08-10 | 2021-11-30 | 浙江工业大学 | 一种激光与相机融合的地图构建方法 |
CN114114312A (zh) * | 2021-11-24 | 2022-03-01 | 重庆邮电大学 | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 |
KR20230079855A (ko) * | 2021-11-29 | 2023-06-07 | 주식회사 와이즈오토모티브 | 자율 주행 차량의 장애물 인지 성능 평가 장치 및 방법 |
WO2022104296A1 (en) * | 2021-12-29 | 2022-05-19 | Innopeak Technology, Inc. | Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone |
CN114419591A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于c-v2x的多传感器信息融合车辆检测方法 |
CN114898322A (zh) * | 2022-06-13 | 2022-08-12 | 中国第一汽车股份有限公司 | 行车环境识别方法、装置、车辆及存储介质 |
WO2024001093A1 (zh) * | 2022-07-01 | 2024-01-04 | 北京京东乾石科技有限公司 | 语义分割、环境感知方法、装置和无人车 |
WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
WO2024021194A1 (zh) * | 2022-07-28 | 2024-02-01 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
CN116203956A (zh) * | 2023-02-27 | 2023-06-02 | 南京邮电大学 | 一种融合安全距离和全局信息的速度障碍规划方法、系统 |
CN117215316A (zh) * | 2023-11-08 | 2023-12-12 | 四川大学 | 基于协同控制与深度学习的驾驶环境感知的方法和系统 |
Non-Patent Citations (2)
Title |
---|
Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review;Shanliang Yao,等;IEEE;20240131;2094-2128 * |
可学习深度位置编码引导的车前图像道路可行驶区域检测;韩汀,等;武汉大学学报(信息科学版);20231025;1-17 * |
Also Published As
Publication number | Publication date |
---|---|
CN117706942A (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111429574B (zh) | 基于三维点云和视觉融合的移动机器人定位方法和系统 | |
CN112149550B (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
US20200148215A1 (en) | Method and system for generating predicted occupancy grid maps | |
CN115917559A (zh) | 轨迹预测方法、装置、计算机设备和存储介质 | |
JP2023549036A (ja) | 点群からの効率的な三次元物体検出 | |
CN115187964A (zh) | 基于多传感器数据融合的自动驾驶决策方法及SoC芯片 | |
US20220301099A1 (en) | Systems and methods for generating object detection labels using foveated image magnification for autonomous driving | |
CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
EP3764124A1 (en) | Distance measuring apparatus, method for measuring distance, on-vehicle apparatus, and mobile object | |
CN116740146A (zh) | 无人驾驶挖掘机动态目标检测跟踪方法、装置及设备 | |
JP7321983B2 (ja) | 情報処理システム、情報処理方法、プログラムおよび車両制御システム | |
JP2024019629A (ja) | 予測装置、予測方法、プログラムおよび車両制御システム | |
Jiang et al. | Obstacle detection and tracking for intelligent agricultural machinery | |
CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
CN117706942B (zh) | 一种环境感知与自适应驾驶辅助电子控制方法及系统 | |
Liu et al. | Precise Positioning and Prediction System for Autonomous Driving Based on Generative Artificial Intelligence | |
Ouyang et al. | Semantic slam for mobile robot with human-in-the-loop | |
EP4160269A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion | |
US20230105331A1 (en) | Methods and systems for semantic scene completion for sparse 3d data | |
CN114581748A (zh) | 基于机器学习的多智能体感知融合系统及其实现方法 | |
CN113269118A (zh) | 一种基于深度估计的单目视觉前向车辆距离检测方法 | |
Cherif et al. | Aerial LiDAR-based 3D Object Detection and Tracking for Traffic Monitoring | |
RU2782662C1 (ru) | Способ обработки данных и система технического зрения для роботизированного устройства | |
EP4148600A1 (en) | Attentional sampling for long range detection in autonomous vehicles | |
US20230230389A1 (en) | Method for detecting information about at least one object and/or at least a part of free space in a representation of the environment of a system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |