CN117706942A - 一种环境感知与自适应驾驶辅助电子控制方法及系统 - Google Patents
一种环境感知与自适应驾驶辅助电子控制方法及系统 Download PDFInfo
- Publication number
- CN117706942A CN117706942A CN202410164827.XA CN202410164827A CN117706942A CN 117706942 A CN117706942 A CN 117706942A CN 202410164827 A CN202410164827 A CN 202410164827A CN 117706942 A CN117706942 A CN 117706942A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- motor vehicle
- column
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000001105 regulatory effect Effects 0.000 claims abstract description 4
- 230000007613 environmental effect Effects 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 9
- 230000001276 controlling effect Effects 0.000 abstract description 2
- 230000016776 visual perception Effects 0.000 description 7
- 230000001131 transforming effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及自动驾驶技术领域，公开了一种环境感知与自适应驾驶辅助电子控制方法及系统。本发明通过在机动车内安装对应的物联网设备，并通过安装各个物联网设备之间的配合实现对机动车周围环境数据的收集；同时基于对实时收集的机动车周围环境数据的处理，通过对相机和激光雷达收集到数据的融合检测以及特征提取，实时确定机动车周围环境状态；最后基于确定的周围环境状态和输入的目的地对机动车行驶路径进行规划，并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整，根据行驶过程机动车和周围环境中障碍物之间的距离对机动车的速度进行调控，确保驾驶辅助过程中行驶的安全性和可靠性。
Description
技术领域
本发明涉及自动驾驶技术领域，具体为一种环境感知与自适应驾驶辅助电子控制方法及系统。
背景技术
无人驾驶汽车主要由三大系统构成：环境感知 系统、路径规划系统和运动控制系统。环境感知是路径规划和运动控制的前提，也是无人驾驶汽车最亟待解决和优化的关键技术难题，正确识别车辆周身环境是无人驾驶汽车的运行的基础。
当前，环境感知技术主要分为两种，分别为激光感知和视觉感知。其中，激光感知是选用激光雷达为目标检测的主要传感器，并选择其他雷达如超声波雷达、毫米波雷达等作为辅助传感器进行环境感知。视觉感知则是选择摄像头为目标检测的主要传感器， 其他作为辅助传感器进行环境感知。相对于激光感知的方式，视觉感知操作简单，能够获取丰富的信息量，此外，视觉感知的成本相对低廉。因此，视觉感知成为当前使用范围最广，占主导地位的环境感知方法，但是视觉感知相对与激光感知检测的范围和精度都存在一定差距，且夜间工作能力差同时无法提供深度信息。
发明内容
针对现有技术的不足，本发明提供了一种环境感知与自适应驾驶辅助电子控制方法及系统，具备成本低，精度高等优点，解决了视觉感知夜间工作能力差同时无法提供深度信息的问题。
为解决上述视觉感知夜间工作能力差同时无法提供深度信息的技术问题，本发明提供如下技术方案：
本实施例公开一种环境感知与自适应驾驶辅助电子控制方法具体包括以下步骤：
S1、在机动车内安装对应的物联网设备，所述物联网设备包括，定位传感器，相机、激光雷达；
S2、基于安装的物联网设备实时对机动车周围环境数据进行收集；
S3、对物联网设备收集到的环境数据进行处理，得到融合后的周围环境数据；
S4、当机动车通过安装的物联网设备感知得到周围环境数据后，输入需要到达的地点；
S5、基于输入需要到达的地点对机动车行驶路径进行规划，得到最优路径；并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整；
S6、基于得到的最优路径对机动车驾驶过程进行控制辅助。
优选地，所述对物联网设备收集到的环境数据进行处理，得到融合后的周围环境数据步骤包括：
S31、将收集到的点云数据和图像数据输入至目标检测模块中；
S32、目标检测模块通过使用融合算法，检测点云数据和图像数据中的障碍物目标数据。
优选地，所述目标检测模块通过使用融合算法，检测点云数据和图像数据中的障碍物目标数据包括以下步骤：
S321、基于图像的语义分割，计算逐像素分割分数；
S322、用语义分割像素分割分数的方式绘制激光雷达点云，得到绘制好的点云数据；
S323、基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测。
优选地，所述基于图像的语义分割，计算逐像素分割分数包括：
基于拍摄的图像数据设定二维张量x∈ℝ H×W ，并进行条形池化，其中，H为图像数据的高，W为图像数据的宽；
在条形池化中，通过对一行或一列中的所有像素特征值进行平均运算；
所得的垂直条形池化后的输出y h ∈ℝ H 为：
；
其中，y i h 表示第i列的平均像素特征值，x i，j 表示第i列第j行；
所得的水平条形池化后的输出y h ∈ℝ W 为：
；
其中，y j w 表示第j列的平均像素特征值，x j，i 表示第j列第i行；
设定x∈ℝ C×H×W 为输入张量，其中C表示通道数；
将x输入到两个平行路径，每个路径包含一个水平或者垂直池化层；
将水平或者垂直池化层的输出结果输入到一个卷积核为3×1的一维卷积层；
通过一维卷积层对输入数据进行调制，输出y h ∈ℝ H×C ，y w ∈ℝ W×C ；
将y w 和y h 组合到一起产生y∈ℝ H×W×C ，通过矩阵的乘法然后有：
y h ∈ℝ H×C 和y w ∈ℝ W×C 都是一行或者一列则可表示为y h ∈ℝ H×1×C 和y w ∈ℝ W×1×C ；
根据矩阵乘法H×1×W×1=H×W；
；
其中，表示通道c输出的第i列平均像素特征值，/>表示通道c输出的第j列平均像素特征值，/>表示通道c输出像素特征值；
通过公式对输出进行处理输出优化后的全局输出语义分割像素分割分数S∈ ℝ H×W×C ；
；
其中，Scale表示逐元素乘法函数，σ为Sigmoid函数，q为1×1卷积核。
优选地，所述用语义分割分数绘制激光雷达点云包括：
设定输入激光雷达点云数据：L∈ℝ，语义分割像素分割分数S∈ℝ H×W×C ；齐次变换矩阵T∈ℝ 4,4 ；相机矩阵M∈ℝ 3,4 ；
激光雷达点云中的每个点的维度信息为（x,y,z,r,t)，其中（x，y，z）为每个激光雷达点的空间坐标位置，r为反射率，t是激光雷达点的相对时间戳；
激光雷达点通过齐次变化进行转换，然后投影到图像中，转换过程是：
；
其中，表示将激光雷达坐标转化为以车为原点的坐标，/>表示将t1时刻激光雷达捕获数据时的以车为原点的坐标变换到tc时刻相机捕获数据时的以车为原点的坐标，/>表示将以车为原点的坐标再变换到相机坐标，通过坐标相机坐标与激光雷达坐标进行转化的方式将相机坐标与激光雷达坐标比较，取平均值，得到绘制好的点云数据；
基于激光雷达坐标和相机坐标的融合构建点云数据；
优选地，所述基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测包括：
基于处理后的带有分割分数的点云数据，对处理后的带有分割分数的点云数据进行点云编码；
以激光雷达自身为坐标原点，激光雷达感应范围为半径，并在点云X-Y平面中划分一个个固定大小的格子，结合Z轴构建点云柱，每个点云柱包含若干个点，设定N为点数，D为维度数；
点云中每个激光点有8个维度的信息（x，y，z，r,s 1 ,s 2 ,s 3 ,s 4 )，其中（x，y，z）表示点的三维坐标，r表示激光点的反射强度，s 1 ,s 2 ,s 3 ,s 4 分别表示4个通道的语义分数。
将点云数据的信息维度扩充至13维：（x，y，z，r,x c ，y c ，z c ，x p ，y p ，s 1 ,s 2 ,s 3 ,s 4 )，（x c ， y c ，z c） 表示当前点相对于点云柱内所有点平均值的偏差，（x p ，y p） 表示当前点相对于点云柱中心的距离，偏差计算公式如下：
；
其中，N表示点云柱内点的数量，设定最大值为100，不足100的点云柱补0，超过100的点云柱随机采样100个点，设定P为当前帧点云X-Y平面能划分的点云柱数，将点云数据信息转化为（D，P，N）形式的张量；
通过设置64个全连接输出节点将13维度的点云数据升至64维；
全连接运算：
；
其中，W为权值参数，权值参数=输入的一维数组大小×全连接输出节点数，b为偏置参数；
取点云柱内的中心点，在点云数据转化为（D，P，N）形式的张量的基础上将点云数据转化为（C，P），C为通道数；
将所有的点云柱尺寸相加得到当前帧点云数据的总尺寸（H,W)，每个H×W大小的空间内存放着一帧内所有点云柱的一个特征维度的数据，总共有 64 个特征维度因 此点云数据转化为（64,H,W）；
将转化后的点云数据输入卷积神经网络进行特征提取；
卷积计算公式如下所示：
；
其中，表示输入特征，/>表示对应卷积核的权值，b表示偏置参数；
基于提取的特征数据与绘制好的点云数据进行比较，判断障碍物目标的类型。
优选地，所述基于输入需要到达的地点对机动车行驶路径进行规划，得到最优路径包括：
基于输入需要到达的地点将目标地点划分为一个个目标节点；
S51、对相机与激光雷达实时感知的周围环境进行栅格化，并将对周围环境特征提取得到的环境特征在栅格空间内进行显示，所述环境特征包括道路以及障碍物目标；
S52、根据机动车在栅格空间内的坐标位置以及系统输入的到达点的坐标位置通过A*算法寻找最短路径；
所述A*算法通过预测模拟栅格内进行路径所消耗的代价进行最短路径预测；
综合代价f(n）计算方法如下：
；
其中，g(n）表示当前节点到目标节点的真实路径距离，h(n）表示当前节点到目标节点的预估路径距离；
设定当存在一条路径的预估代价小于或等于从当前节点到目标节点的真实代价时，设定此路径为最优路径；
每到达一个小目标节点，就将当前目标节点作为当前节点，下一个小目标节点作为新的目标节点，不断迭代寻找最优路线，直至到达最后一个小目标节点。
优选地，所述基于得到的最优路径对机动车驾驶过程进行控制辅助包括：
在机动车按照最优路径行驶过程中，设定机动车与障碍物之间的距离阈值，当机动车与障碍物之间的距离小于阈值时，对机动车进行减速操作，当机动车与障碍物之间的距离小于阈值时，对机动车进行加速操作。
本实施例还公开一种环境感知与自适应驾驶辅助电子控制系统，具体包括：物联网设备、数据采集模块、目标检测模块、路径规划模块以及辅助控制模块；
所述物联网设备包括：相机、激光雷达、定位传感器；
所述相机用于实时拍摄机动车周围环境图像数据；
所述激光雷达用于实时监测机动车周围环境点云数据；
所述定位传感器用于对机动车进行实时定位；
所述数据采集模块用于通过安装的物联网设备对周围环境进行环境数据采集；
所述目标检测模块用于根据数据采集模块收集到的环境数据进行目标检测；
所述路径规划模块用于根据输入需要到达的地点以及实时检测的环境进行路径规划；
所述辅助控制模块用于对机动车行驶过程中的速度进行调整。
与现有技术相比，本发明提供了一种环境感知与自适应驾驶辅助电子控制方法及系统，具备以下有益效果：
1、本发明通过将相机拍摄的周围环境数据与激光雷达检测到的周围环境数据进行融合的方式实现对周围环境数据的精确检测，通过将相机拍摄的周围环境数据与激光雷达检测到的周围环境数据进行融合的方式可以使周围环境数据有更多维度的信息，有利于网络提高检测的精度。
2、本发明通过对激光雷达点云数据进行编码的方式通过增加点云数据维度的方式提高点云数据的精度，并对于编码后的点云数据可直接输入卷积神经网络，提高了卷积神经网络卷积运算的速度，有利于提高对周围环境感知的实时性。
3、本发明通过先对周围环境的感知实现对周围环境的栅格化，并在栅格空间内确定各个环境障碍物的位置，再通过判断综合代价的方式寻求初始节点到目标节点的最优路线，保证了规划路线的可行性，并且由于实时的对周围环境的感知，加快了对机动车周围环境数据的更新速度，减少了路径规划的时间，并提高了路径规划的准确性。
4、本发明通过设定机动车与环境障碍物之间的距离，为机动车行驶留出了足够的安全距离，并通过实时监测机动车与环境障碍物之间的距离实现对机动车速度的控制。
附图说明
图1为本发明的基于环境感知与自适应驾驶辅助流程结构示意图。
实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例公开一种环境感知与自适应驾驶辅助电子控制方法，具体包括以下步骤：
S1、在机动车内安装对应的物联网设备，所述物联网设备包括，定位传感器，相机、激光雷达；
S2、基于安装的物联网设备实时对机动车周围环境数据进行收集；
S3、对物联网设备收集到的环境数据进行处理，得到融合后的周围环境数据；
所述对物联网设备收集到的环境数据进行处理，得到融合后的周围环境数据步骤包括：
S31、将收集到的点云数据和图像数据输入至目标检测模块中；
S32、目标检测模块通过使用融合算法，检测点云数据和图像数据中的障碍物目标数据；
进一步地，所述目标检测模块通过使用融合算法，检测点云数据和图像数据中的障碍物目标数据包括以下步骤：
S321、基于图像的语义分割，计算逐像素分割分数；
进一步地，基于拍摄的图像数据设定二维张量x∈ℝ H×W ，并进行条形池化，其中，H为图像数据的高，W为图像数据的宽；
进一步地，在条形池化中，通过对一行或一列中的所有像素特征值进行平均运算；
所得的垂直条形池化后的输出y h ∈ℝ H 为：
；
其中，y i h 表示第i列的平均像素特征值，x i，j 表示第i列第j行；
所得的水平条形池化后的输出y h ∈ℝ W 为：
；
其中，y j w 表示第i列的平均像素特征值，x j，i 表示第j列第i行；
设定x∈ℝ C×H×W 为输入张量，其中C表示通道数；
进一步地，将x输入到两个平行路径，每个路径包含一个水平或者垂直池化层；
进一步地，将水平或者垂直池化层的输出结果输入到一个卷积核为3×1的一维卷积层；
通过一维卷积层对输入数据进行调制，输出y h ∈ℝ H×C ，y w ∈ℝ W×C ；
进一步地，将y w 和y h 组合到一起产生y∈ℝ H×W×C ，然后有：
；
其中，表示通道c输出的第i列平均像素特征值，/>表示通道c输出的第j列平均像素特征值，/>表示通道c输出像素特征值；
进一步地，通过公式对输出进行处理输出优化后的全局输出语义分割像素分割分数S∈ℝ H×W×C ；
；
其中，Scale表示逐元素乘法函数，σ为Sigmoid函数，q为1×1卷积核。
S322、用语义分割像素分割分数的方式绘制激光雷达点云，得到绘制好的点云数据；
设定输入激光雷达点云数据：L∈ℝ，语义分割像素分割分数S∈ℝ H×W×C ；齐次变换矩阵T∈ℝ 4,4 ；相机矩阵M∈ℝ 3,4 ，所述点云数据为激光雷达扫描得到的数据；
进一步地，激光雷达点云中的每个点的维度信息为（x,y,z,r,t)，其中（x，y，z）为每个激光雷达点的空间坐标位置，r为反射率，t是激光雷达点的相对时间戳；
；
其中，表示将激光雷达坐标转化为以车为原点的坐标，/>表示将t1时刻激光雷达捕获数据时的以车为原点的坐标变换到tc时刻相机捕获数据时的以车为原点的坐标，/>表示将以车为原点的坐标再变换到相机坐标，通过坐标相机坐标与激光雷达坐标进行转化的方式将相机坐标与激光雷达坐标比较，取平均值，得到绘制好的点云数据；
S323、基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测；
基于处理后的带有分割分数的点云数据，对处理后的带有分割分数的点云数据进行点云编码；
进一步地，以激光雷达自身为坐标原点，激光雷达感应范围为半径，并在点云X-Y平面中划分一个个固定大小的格子，结合Z轴构建点云柱，每个点云柱包含若干个点，设定N为点数，D为维度数；
进一步地，点云中每个激光点有8个维度（D）的信息（x，y，z，r,s 1 ,s 2 ,s 3 ,s 4 )，其中（x，y，z）表示点的三维坐标，r表示激光点的反射强度，s 1 ,s 2 ,s 3 ,s 4 分别表示4个通道的语义分数。
进一步地，将点云数据的信息维度扩充至13维：（x，y，z，r,x c ，y c ，z c ，x p ，y p ，s 1 ,s 2 , s 3 ,s 4 )，（x c ，y c ，z c） 表示当前点相对于点云柱内所有点平均值的偏差，（x p ，y p） 表示当前点相对于点云柱中心的距离，偏差计算公式如下：
；
其中，N表示点云柱内点的数量，设定最大值为100，不足100的点云柱补0，超过100的点云柱随机采样100个点，设定P为当前帧点云X-Y平面能划分的点云柱数，将点云数据信息转化为（D，P，N）形式的张量；
进一步地，通过设置64个全连接输出节点将13维度的点云数据升至64维；
全连接运算：
；
其中，W为权值参数，权值参数=输入的一维数组大小×全连接输出节点数，b为偏置参数；
进一步地，取点云柱内的中心点，将点云数据转化为（C，P），C位通道数；
进一步地，将所有的点云柱尺寸相加得到当前帧点云数据的总尺寸（H,W)，每个H ×W大小的空间内存放着一帧内所有点云柱的一个特征维度的数据，总共有 64 个特征维度因 此点云数据转化为（C,H,W）；
进一步地，将转化后的点云数据输入卷积神经网络进行特征提取。
卷积计算公式如下所述：
；
其中，表示输入特征，/>表示对应卷积核的权值，b表示偏置参数；
基于提取的特征数据与绘制好的点云数据进行比较，判断障碍物目标的类型；
S4、当机动车通过安装的物联网设备感知得到周围环境数据后，输入需要到达的地点；
S5、基于输入需要到达的地点对机动车行驶路径进行规划，得到最优路径；并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整；
所述基于输入需要到达的地点对机动车行驶路径进行规划，得到最优路径包括：
基于输入需要到达的地点将目标地点划分为一个个目标节点；
S51、对相机与激光雷达实时感知的周围环境进行栅格化，并将对周围环境特征提取得到的环境特征在栅格空间内进行显示，所述环境特征包括道路以及障碍物目标；
S52、根据机动车在栅格空间内的坐标位置以及系统输入的到达点的坐标位置通过A*算法寻找最短路径；
所述A*算法通过预测模拟栅格内进行路径所消耗的代价进行最短路径预测；
综合代价f(n）计算方法如下：
；
其中，g(n）表示当前节点到目标节点的真实路径距离，h(n）表示当前节点到目标节点的预估路径距离；
设定当存在一条路径的预估代价小于或等于从当前节点到目标节点的真实代价时，设定此路径为最优路径；
进一步地，每到达一个小目标节点，就将当前目标节点作为当前节点，下一个小目标节点作为新的目标节点，不断迭代寻找最优路线，直至到达最后一个小目标节点；
S6、基于得到的最优路径对机动车驾驶过程进行控制辅助；
进一步地，在机动车按照最优路径行驶过程中，设定机动车与障碍物之间的距离阈值，当机动车与障碍物之间的距离小于阈值时，对机动车进行减速操作，当机动车与障碍物之间的距离小于阈值时，对机动车进行加速操作。
本实施例还公开一种环境感知与自适应驾驶辅助电子控制系统，具体包括：物联网设备、数据采集模块、目标检测模块、路径规划模块以及辅助控制模块；
所述物联网设备包括：相机、激光雷达、定位传感器；
所述相机用于实时拍摄机动车周围环境图像数据；
所述激光雷达用于实时监测机动车周围环境点云数据；
所述定位传感器用于对机动车进行实时定位；
所述数据采集模块用于通过安装的物联网设备对周围环境进行环境数据采集；
所述目标检测模块用于根据数据采集模块收集到的环境数据进行目标检测；
所述路径规划模块用于根据输入需要到达的地点以及实时检测的环境进行路径规划；
所述辅助控制模块用于对机动车行驶过程中的速度进行调整。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种环境感知与自适应驾驶辅助电子控制方法，其特征在于，包括：
S1、在机动车内安装对应的物联网设备，所述物联网设备包括：定位传感器、相机、激光雷达；
S2、基于安装的物联网设备实时对机动车周围环境数据进行收集；
S3、对物联网设备收集到的环境数据进行处理，得到融合后的周围环境数据；
S4、当机动车通过安装的物联网设备感知得到周围环境数据后，输入需要到达的地点；
S5、基于输入需要到达的地点对机动车行驶路径进行规划，得到最优路径；并基于行驶过程中对周围环境的实时感知对机动车进行辅助调整；
S6、基于得到的最优路径对机动车驾驶过程进行控制辅助。
2.根据权利要求1所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于：所述对物联网设备收集到的环境数据进行处理，得到融合后的周围环境数据步骤包括：
S31、将收集到的点云数据和图像数据输入至目标检测模块中；
S32、目标检测模块通过使用融合算法，检测点云数据和图像数据中的障碍物目标数据。
3.根据权利要求2所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于：所述目标检测模块通过使用融合算法，检测点云数据和图像数据中的障碍物目标数据包括以下步骤：
S321、基于图像的语义分割，计算各像素分割分数；
S322、用语义分割像素分割分数的方式绘制激光雷达点云，得到绘制好的点云数据；
S323、基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测。
4.根据权利要求3所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于：所述基于图像的语义分割，计算各像素分割分数包括：
基于拍摄的图像数据设定二维张量x∈ℝ H×W ，并进行条形池化，其中，H为图像数据的高，W为图像数据的宽；
在条形池化中，通过对一行或一列中的所有像素特征值进行平均运算；
所得的垂直条形池化后的输出y h ∈ℝ H 为：
；
其中，y i h 表示第i列的平均像素特征值，x i，j 表示第i列第j行；
所得的水平条形池化后的输出y h ∈ℝ W 为：
；
其中，y j w 表示第j列的平均像素特征值，x j，i 表示第j列第i行；
设定x∈ℝ C×H×W 为输入张量，其中C表示通道数；
将x输入到两个平行路径，每个路径包含一个水平或者垂直池化层；
将水平或者垂直池化层的输出结果输入到一个卷积核为3×1的一维卷积层；
将y w 和y h 组合到一起产生y∈ℝ H×W×C ，通过矩阵的乘法然后有：
y h ∈ℝ H×C 和y w ∈ℝ W×C 可表示为y h ∈ℝ H×1×C 和y w ∈ℝ W×1×C ；
根据矩阵乘法H×1×W×1=H×W；
；
其中，表示通道c输出的第i列平均像素特征值，/>表示通道c输出的第j列平均像素特征值，/>表示通道c输出像素特征值；
通过公式对输出进行处理输出优化后的全局输出语义分割像素分割分数S∈ℝ H×W×C ；
；
其中，Scale表示逐元素乘法函数，σ为Sigmoid函数，q为1×1卷积核。
5.根据权利要求3所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于：所述用语义分割像素分割分数的方式绘制激光雷达点云，得到绘制好的点云数据包括：
设定输入激光雷达点云数据：L∈ℝ，语义分割像素分割分数S∈ℝ H×W×C ；齐次变换矩阵T∈ℝ 4,4 ；相机矩阵M∈ℝ 3,4 ，所述点云数据为激光雷达扫描得到的数据；
激光雷达点云中的每个点的维度信息为(x,y,z,r,t)，其中(x，y，z)为每个激光雷达点的空间坐标位置，r为反射率，t是激光雷达点的相对时间戳；
激光雷达点通过齐次变化进行转换，然后投影到图像中，转换过程是：
；
其中，表示将激光雷达坐标转化为以车为原点的坐标，/>表示将t1时刻激光雷达捕获数据时的以车为原点的坐标变换到tc时刻相机捕获数据时的以车为原点的坐标，/>表示将以车为原点的坐标再变换到相机坐标，通过坐标相机坐标与激光雷达坐标进行转化的方式将相机坐标与激光雷达坐标比较，取平均值，得到绘制好的点云数据。
6.根据权利要求3所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于：所述基于绘制好的点云数据通过卷积神经网络进行障碍物目标检测包括：
基于处理后的带有分割分数的点云数据，对处理后的带有分割分数的点云数据进行点云编码；
以激光雷达自身为坐标原点，激光雷达感应范围为半径，并在点云X-Y平面中划分一个个固定大小的格子，结合Z轴构建点云柱，每个点云柱包含若干个点，设定N为点数，D为维度数；
点云中每个激光点有8个维度的信息（x，y，z，r,s 1 ,s 2 ,s 3 ,s 4 )，其中（x，y，z）表示点的三维坐标，r表示激光点的反射强度，s 1 ,s 2 ,s 3 ,s 4 分别表示4个通道的语义分数；
将点云数据的信息维度扩充至13维：（x，y，z，r,x c ，y c ，z c ，x p ，y p ，s 1 ,s 2 ,s 3 ,s 4 )，（x c ，y c ，z c） 表示当前点相对于点云柱内所有点平均值的偏差，(x p ，y p )表示当前点相对于点云柱中心的距离，偏差计算公式如下：
；
其中，N表示点云柱内点的数量，设定最大值为100，不足100的点云柱补0，超过100的点云柱随机采样100个点，设定P为当前帧点云X-Y平面能划分的点云柱数，将点云数据转化为(D，P，N)形式的张量；
通过设置64个全连接输出节点将13维度的点云数据升至64维；
全连接运算：
；
其中，W为权值参数，权值参数=输入的一维数组大小×全连接输出节点数，b为偏置参数；
取点云柱内的中心点，在点云数据转化为（D，P，N）形式的张量的基础上将点云数据转化为（C，P），C为通道数；
将所有的点云柱尺寸相加得到当前帧点云数据的总尺寸（H,W)，每个H×W大小的空间内存放着一帧内所有点云柱的一个特征维度的数据，总共有 64 个特征维度，因此点云数据转化为（64,H,W）；
将转化后的点云数据输入卷积神经网络进行特征提取；
卷积计算公式如下所示：
；
其中，表示输入特征，/>表示对应卷积核的权值，b表示偏置参数；
基于提取的特征数据与绘制好的点云数据进行比较，判断障碍物目标的类型。
7.根据权利要求1所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于，所述基于输入需要到达的地点对机动车行驶路径进行规划，得到最优路径包括：
基于输入需要到达的地点将目标地点划分为一个个目标节点；
S51、对相机与激光雷达实时感知的周围环境进行栅格化，并将对周围环境特征提取得到的环境特征在栅格空间内进行显示，所述环境特征包括道路以及障碍物目标；
S52、根据机动车在栅格空间内的坐标位置以及系统输入的到达点的坐标位置通过A*算法寻找最短路径；
所述A*算法通过预测模拟栅格内进行路径所消耗的代价进行最短路径预测；
综合代价f(n）计算方法如下：
；
其中，g(n）表示当前节点到目标节点的真实路径距离，h(n）表示当前节点到目标节点的预估路径距离；
设定当存在一条路径的预估代价小于或等于从当前节点到目标节点的真实代价时，设定此路径为最优路径；
每到达一个小目标节点，就将当前目标节点作为当前节点，下一个小目标节点作为新的目标节点，不断迭代寻找最优路线，直至到达最后一个小目标节点。
8.根据权利要求1所述的一种环境感知与自适应驾驶辅助电子控制方法，其特征在于，所述基于得到的最优路径对机动车驾驶过程进行控制辅助包括：
在机动车按照最优路径行驶过程中，设定机动车与障碍物之间的距离阈值，当机动车与障碍物之间的距离小于阈值时，对机动车进行减速操作，当机动车与障碍物之间的距离小于阈值时，对机动车进行加速操作。
9.一种实现权利要求1-8中任一项所述的环境感知与自适应驾驶辅助电子控制方法的环境感知与自适应驾驶辅助电子控制系统，其特征在于：包括：数据采集模块、目标检测模块、路径规划模块以及辅助控制模块；
所述数据采集模块用于通过安装的物联网设备对周围环境进行环境数据采集；
所述目标检测模块用于根据数据采集模块收集到的环境数据进行目标检测；
所述路径规划模块用于根据输入需要到达的地点以及实时检测的环境进行路径规划；
所述辅助控制模块用于对机动车行驶过程中的速度进行调整。
10.根据权利要求9所述的环境感知与自适应驾驶辅助电子控制系统，其特征在于，还包括物联网设备，所述物联网设备包括：相机、激光雷达、定位传感器；
所述相机用于实时拍摄机动车周围环境图像数据；
所述激光雷达用于实时监测机动车周围环境点云数据；
所述定位传感器用于对机动车进行实时定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410164827.XA CN117706942B (zh) | 2024-02-05 | 2024-02-05 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410164827.XA CN117706942B (zh) | 2024-02-05 | 2024-02-05 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117706942A true CN117706942A (zh) | 2024-03-15 |
| CN117706942B CN117706942B (zh) | 2024-04-26 |
Family
ID=90148285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410164827.XA Active CN117706942B (zh) | 2024-02-05 | 2024-02-05 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117706942B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109343537A (zh) * | 2018-11-22 | 2019-02-15 | 东南大学 | 全自主驾驶竞速小车及运行方法 |
| WO2020088165A1 (zh) * | 2018-10-30 | 2020-05-07 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
| CN111815709A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
| US20210181745A1 (en) * | 2019-12-17 | 2021-06-17 | Motional Ad Llc | Automated object annotation using fused camera/lidar data points |
| KR20210111052A (ko) * | 2020-03-02 | 2021-09-10 | 건국대학교 산학협력단 | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 |
| CN113447948A (zh) * | 2021-05-28 | 2021-09-28 | 淮阴工学院 | 一种基于ros机器人的相机与多激光雷达融合方法 |
| CN113724387A (zh) * | 2021-08-10 | 2021-11-30 | 浙江工业大学 | 一种激光与相机融合的地图构建方法 |
| CN114114312A (zh) * | 2021-11-24 | 2022-03-01 | 重庆邮电大学 | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 |
| WO2022086739A2 (en) * | 2020-10-23 | 2022-04-28 | Argo AI, LLC | Systems and methods for camera-lidar fused object detection |
| CN114419591A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于c-v2x的多传感器信息融合车辆检测方法 |
| WO2022104296A1 (en) * | 2021-12-29 | 2022-05-19 | Innopeak Technology, Inc. | Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone |
| CN114898322A (zh) * | 2022-06-13 | 2022-08-12 | 中国第一汽车股份有限公司 | 行车环境识别方法、装置、车辆及存储介质 |
| WO2022241345A1 (en) * | 2021-05-10 | 2022-11-17 | Qualcomm Incorporated | Radar and camera data fusion |
| US20230080545A1 (en) * | 2021-05-11 | 2023-03-16 | Strong Force Vcn Portfolio 2019, Llc | Distributed Additive Manufacturing Platform for Value Chain Networks |
| CN116203956A (zh) * | 2023-02-27 | 2023-06-02 | 南京邮电大学 | 一种融合安全距离和全局信息的速度障碍规划方法、系统 |
| KR20230079855A (ko) * | 2021-11-29 | 2023-06-07 | 주식회사 와이즈오토모티브 | 자율 주행 차량의 장애물 인지 성능 평가 장치 및 방법 |
| CN117215316A (zh) * | 2023-11-08 | 2023-12-12 | 四川大学 | 基于协同控制与深度学习的驾驶环境感知的方法和系统 |
| WO2024001093A1 (zh) * | 2022-07-01 | 2024-01-04 | 北京京东乾石科技有限公司 | 语义分割、环境感知方法、装置和无人车 |
| WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
| WO2024021194A1 (zh) * | 2022-07-28 | 2024-02-01 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
-
2024
- 2024-02-05 CN CN202410164827.XA patent/CN117706942B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020088165A1 (zh) * | 2018-10-30 | 2020-05-07 | 上海禾赛光电科技有限公司 | 一种摄像头与激光雷达融合系统 |
| CN109343537A (zh) * | 2018-11-22 | 2019-02-15 | 东南大学 | 全自主驾驶竞速小车及运行方法 |
| CN111815709A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
| US20210181745A1 (en) * | 2019-12-17 | 2021-06-17 | Motional Ad Llc | Automated object annotation using fused camera/lidar data points |
| KR20210111052A (ko) * | 2020-03-02 | 2021-09-10 | 건국대학교 산학협력단 | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 |
| WO2022086739A2 (en) * | 2020-10-23 | 2022-04-28 | Argo AI, LLC | Systems and methods for camera-lidar fused object detection |
| WO2022241345A1 (en) * | 2021-05-10 | 2022-11-17 | Qualcomm Incorporated | Radar and camera data fusion |
| KR20240006531A (ko) * | 2021-05-10 | 2024-01-15 | 퀄컴 인코포레이티드 | 레이더 및 카메라 데이터 융합 |
| US20230080545A1 (en) * | 2021-05-11 | 2023-03-16 | Strong Force Vcn Portfolio 2019, Llc | Distributed Additive Manufacturing Platform for Value Chain Networks |
| CN113447948A (zh) * | 2021-05-28 | 2021-09-28 | 淮阴工学院 | 一种基于ros机器人的相机与多激光雷达融合方法 |
| CN113724387A (zh) * | 2021-08-10 | 2021-11-30 | 浙江工业大学 | 一种激光与相机融合的地图构建方法 |
| CN114114312A (zh) * | 2021-11-24 | 2022-03-01 | 重庆邮电大学 | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 |
| KR20230079855A (ko) * | 2021-11-29 | 2023-06-07 | 주식회사 와이즈오토모티브 | 자율 주행 차량의 장애물 인지 성능 평가 장치 및 방법 |
| WO2022104296A1 (en) * | 2021-12-29 | 2022-05-19 | Innopeak Technology, Inc. | Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone |
| CN114419591A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于c-v2x的多传感器信息融合车辆检测方法 |
| CN114898322A (zh) * | 2022-06-13 | 2022-08-12 | 中国第一汽车股份有限公司 | 行车环境识别方法、装置、车辆及存储介质 |
| WO2024001093A1 (zh) * | 2022-07-01 | 2024-01-04 | 北京京东乾石科技有限公司 | 语义分割、环境感知方法、装置和无人车 |
| WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
| WO2024021194A1 (zh) * | 2022-07-28 | 2024-02-01 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
| CN116203956A (zh) * | 2023-02-27 | 2023-06-02 | 南京邮电大学 | 一种融合安全距离和全局信息的速度障碍规划方法、系统 |
| CN117215316A (zh) * | 2023-11-08 | 2023-12-12 | 四川大学 | 基于协同控制与深度学习的驾驶环境感知的方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| SHANLIANG YAO，等: "Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review", IEEE, 31 January 2024 (2024-01-31), pages 2094 - 2128 * |
| 韩汀，等: "可学习深度位置编码引导的车前图像道路可行驶区域检测", 武汉大学学报(信息科学版), 25 October 2023 (2023-10-25), pages 1 - 17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117706942B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9990736B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
| CN111429574A (zh) | 基于三维点云和视觉融合的移动机器人定位方法和系统 | |
| EP4058984A1 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
| CN115187964A (zh) | 基于多传感器数据融合的自动驾驶决策方法及SoC芯片 | |
| CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| Song et al. | End-to-end learning for inter-vehicle distance and relative velocity estimation in adas with a monocular camera | |
| CN116740146A (zh) | 无人驾驶挖掘机动态目标检测跟踪方法、装置及设备 | |
| JP2024019629A (ja) | 予測装置、予測方法、プログラムおよび車両制御システム | |
| JP7321983B2 (ja) | 情報処理システム、情報処理方法、プログラムおよび車両制御システム | |
| CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
| CN117706942B (zh) | 一种环境感知与自适应驾驶辅助电子控制方法及系统 | |
| Aswini et al. | Drone to obstacle distance estimation using YOLO V3 network and mathematical principles | |
| US20220371606A1 (en) | Streaming object detection and segmentation with polar pillars | |
| Xu et al. | Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles | |
| CN115861944A (zh) | 一种基于激光雷达的交通目标检测系统 | |
| CN115457497A (zh) | 一种基于3d目标检测和多目标追踪检测车辆速度的方法 | |
| US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
| CN116508071A (zh) | 用于注释汽车雷达数据的系统和方法 | |
| US20230105331A1 (en) | Methods and systems for semantic scene completion for sparse 3d data | |
| US20230230389A1 (en) | Method for detecting information about at least one object and/or at least a part of free space in a representation of the environment of a system | |
| US20240087139A1 (en) | Target object tracking method, device, apparatus, and storage medium | |
| Zhang et al. | Development and Key Technologies of the Cognition system of Autonomous Driving | |
| CN117409393A (zh) | 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统 | |
| TK et al. | DETECTING AND TRACKING MOVING OBJECTS USING STATISTICAL ADAPTIVE THRESHOLDING APPROACH WITH SOM & GMA TRACKING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |