CN114155511A - 一种用于自动驾驶汽车在公共道路的环境信息采集方法 - Google Patents
一种用于自动驾驶汽车在公共道路的环境信息采集方法 Download PDFInfo
- Publication number
- CN114155511A CN114155511A CN202111513620.1A CN202111513620A CN114155511A CN 114155511 A CN114155511 A CN 114155511A CN 202111513620 A CN202111513620 A CN 202111513620A CN 114155511 A CN114155511 A CN 114155511A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned aerial
- aerial vehicle
- pedestrian
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000007613 environmental effect Effects 0.000 title claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005299 abrasion Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000004888 barrier function Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004347 surface barrier Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种用于自动驾驶汽车在公共道路的环境信息采集方法，通过无人机长时间平稳伴飞测试车辆，利用无人机的机载环境信息采集设备采集前方路面信息，对所采集的视频帧进行预处理，对预处理后的视频帧进行车道线检、行人目标检测跟踪和车辆目标检测跟踪。本发明以更高的视角、更大的范围获取车辆周围路面信息，有效的避免了因车辆自身传感器感知范围不够远和被路面障碍物与其他交通参与者遮挡的情况，在保证测试真实度的同时，还可获取更加完备的公共道路场景信息；所得数据可以离线分析，获得更为精准的性能评测；所获取的公共道路场景信息可用作虚拟测试的场景输入，重复测试自动驾驶汽车的相关性能，增强了公共道路测试可重复性。
Description
技术领域
本发明涉及一种道路的环境信息采集方法，特别涉及一种用于自动驾驶汽车在公共道路的环境信息采集方法。
背景技术
随着智能辅助驾驶技术的发展，汽车的智能化程度不断提高，测试需求也更加多样。自动驾驶汽车测试方式主要包括模型在环测试、驾驶模拟器测试、硬件在环测试和车辆在环测试等在虚拟环境中进行的虚拟测试，以及在封闭试验场和公共道路进行的实车测试。虚拟测试测试成本较低，可重复性强，但其测试真实度取决于模型的真实度，相较而言真实度低；封闭场地测试虽较为真实，但缺少其他交通参与者的动态变化要素；公共道路测试与实际上路的自动驾驶汽车环境一致，是最真实的测试方法，但其可重复性差，同时公共道路测试的测试环节和评价环节都是实时发生的，对一些容易忽略的评价细节问题难以发现。
目前针对智能车辆环境感知技术已产生了两种技术路线，一种是以相机为主导的纯视觉感知方案，典型企业代表是特斯拉；另一种是以激光雷达为主导，其他传感器为辅的多传感器融合感知技术方案，典型企业代表如百度、谷歌等。但现有的两种方法都是以本车视角对周车环境进行感知，由于视角和传感器感知原理和感知范围的限制，只能感知一定范围内未被遮挡的物体，对被遮挡的物体或较远的物体无能为力，因此利用感知系统感知信息复现获得的场景不够完备且准确率较低。
基于此，如今自动驾驶汽车有必要使用一种用于在公共道路测试下的环境信息采集方法，获取真实的交通参与者动态变化要素，以最真实完备地评测自动驾驶汽车相关性能。
发明内容
为了解决上述技术问题，本发明提供一种用于自动驾驶汽车在公共道路的环境信息采集方法，通过无人机长时间平稳伴飞测试车辆，采集步骤如下：
(1)无人机定位系统采用实时动态载波相位差分定位(RTK)方法，进行无人机的精准定位，无人机定位系统输出无人机位置信息，作为无人机控制系统的输入信息；
(2)无人机控制系统接收测试车辆自车定位系统和无人机定位系统传来的自车位置信息和无人机位置信息，判断无人机的控制策略，进而下达控制指令，使无人机与测试车辆在较长时间跨度上保持同步伴飞状态；
(3)在无人机与车辆的伴飞过程中利用无人机的机载环境信息采集设备采集前方路面信息，获得包含路面环境信息的视频帧；
(4)对相机进行标定去畸变，对步骤(3)所采集的视频帧进行预处理，由图像像素坐标变换成三维世界坐标；
(5)对预处理后的视频帧进行车道线检测，以获取路面结构信息；
(6)对行人目标进行检测：根据预处理后的视频帧，应用基于方向梯度直方图(HOG)和线性支持向量机(SVM)算法，检测是否存在行人目标，当检测到行人目标时，获取行人目标的全局位置坐标Global_X、Global_Y，时间戳Global_Time，并在初次识别到行人目标时分配一个行人识别号Pedestrian_ID；
(7)对行人进行跟踪，跟踪到的相同行人，行人识别号将不会改变，由此生成行人位置的时间序列，获得行人轨迹信息，根据行人轨迹信息获取行人速度v_Pedestrian、加速度a_Pedestrian；
(8)对车辆目标进行检测，根据预处理后的视频帧，应用YOLOv3算法检测车辆目标，当检测到车辆目标时，获取车辆目标的全局坐标位置Global_X、Global_Y、车辆长度Vehicle_Length、车辆宽度Vehicle_Width、车辆种类Vehicle_Type、时间戳Global_Time和当前车道位置Line_ID，并在初次识别到车辆目标时分配一个车辆识别号Vehicle_ID；
(9)对车辆进行跟踪，由此生成车辆轨迹信息，进而获取车辆速度v_Pedestrian、加速度a_Pedestrian。
进一步的，步骤(2)中，所述的无人机与测试车辆在较长时间跨度上保持同步伴飞状态的方法如下：以车道方向切向为纵向，以车道方向法向为横向，无人机保持水平高度不变，不产生或少产生横向位移(横向位移＜0.1m)，获取上一段时间T(T＞30s)内自车纵向速度均值作为本段时间T内的无人机纵向速度。
进一步的，步骤(3)中，所述的环境信息采集设备为无人机搭载的相机图像传感器。
进一步的，步骤(4)中，三维世界坐标到图像像素坐标的关系如下：
其中图像像素坐标系为(u，v)，世界坐标系为(XW，YW，ZW)，像素单位长度尺寸大小为dx和dy，主点的像素坐标为(u0，ν0)，f为归一化焦距，R为旋转矩阵，T为平移向量，等式右侧的内参矩阵和外参矩阵都由张正友棋盘标定法得出，由步骤(1)中的无人机定位模块可知无人机距离地面的高度H，求出ZC，确定像素坐标与世界坐标之间的坐标变换关系。
进一步的，步骤(5)中，车道线检测步骤具体如下：
(5.1)将预处理的视频帧转化为灰度图：该步骤可以直接将图像三个颜色通道值取均值或加权平均；
(5.2)进行高斯平滑：消除采集视频帧时不可避免的噪声和一些不重要的细小线条对车道线检测效果的影响；对于窗口模板的大小为(2k+1)×(2k+1)，模板中各个位置对应权值的计算公式如下：
Hi，j表示以模板中心为基准第i行第j列的权值，σ为方差，k由窗口模板大小获得。使用获得的位置对应权值与灰度图进行卷积，即可获得高斯平滑处理后的图像。
(5.3)边缘检测：通过点乘一个Sobel或其他算子得到不同方向的梯度gx(m，n)，gy(m，n)，由以下公式计算综合梯度值和梯度方向：
G(m，n)为综合梯度值，θ为梯度方向；
再将在梯度方向上梯度值不是最大的边缘点过滤，最后使用上下阈值法来检测边缘；
(5.4)霍夫转换：将笛卡尔坐标系中的点变换到霍夫空间内，选择霍夫空间内尽可能多的直线汇聚成的点作为笛卡尔坐标系下车道线变换而来的点，获取车道线；
(5.5)线条提取：实际道路上的车道线由于虚线、磨损以及障碍物的遮挡会使步骤(5.4)获取的车道线有许多间断，故而对霍夫转换而得的车道线进行线条提取以获得完整车道线。
进一步的，步骤(7)中，对行人进行跟踪的过程使用SORT算法，由步骤(6)的目标检测结果与卡尔曼滤波、匈牙利算法实现：
卡尔曼滤波算法是使用数学模型对系统进行状态最优估计，将预测值与测量值融合，算法分为状态向量预测和量测更新两部分，状态向量预测用来预测当前状态向量和状态向量协方差矩阵的取值，量测更新的目的则是更新状态向量，状态向量预测方程如下：
X＝FXt-1
P＝FPt-1FT+Q
量测更新方程如下：
Kt＝PHT[HPHT+R]-1
Xt＝X+Kt(Zt-HX)
Pt＝(I-KtH)P
其中，X为当前状态的预测状态向量；F表示转换矩阵；Xt-1表示前一时刻的状态向量，P为X对应的协方差；Q为系统噪声协方差；Kt为当前的卡尔曼增益；H表示状态变量到测量的转换矩阵；R为观测噪声；Xt为当前时刻状态向量；Zt为当前观测值；
上一帧图片在经过卡尔曼滤波算法预测之后，会在当前帧预测出多个矩形框，匈牙利算法的任务就是将当前帧检测出的矩形框与卡尔曼滤波预测的矩形框进行匹配，判断是否为同一目标，从而达到跟踪的目的。
进一步的，步骤(9)中，对车辆进行跟踪使用CamShift算法，该算法是基于前方运动车辆的颜色特征来实现已有检测车辆结果的跟踪，将检测结果中车辆区域的颜色直方图作为匹配基础，通过对图像的颜色直方图的计算得到跟踪车辆区域的概率分布相近的区域，推算出跟踪区域的偏移量，经过多次迭代运算，当偏移量小于阈值或迭代次数超过阈值时，完成对车辆目标区域的跟踪。
本发明的有益效果：
本发明旨在提供一种用于自动驾驶汽车在公共道路测试下的环境信息采集方法，以更高的视角、更大的范围获取车辆周围路面信息，有效的避免了因车辆自身传感器感知范围不够远和被路面障碍物与其他交通参与者遮挡的情况，在保证测试真实度的同时，还可获取更加完备的公共道路场景信息；所得数据可以离线分析，获得更为精准的性能评测；所获取的公共道路场景信息可用作虚拟测试的场景输入，重复测试自动驾驶汽车的相关性能，增强了公共道路测试可重复性。
附图说明
图1为本发明的场景示意图；
图2为本发明实施例的系统架构图；
图3为本发明的坐标变换关系图；
图4为本发明的车道线检测流程图。
具体实施方式
请参阅图1-4所示：
本发明提供一种用于自动驾驶汽车在公共道路的环境信息采集方法，以无人机长时间平稳伴飞测试车辆，无人机机载系统中包括：无人机定位模块、无人机运动控制模块、环境信息采集模块、环境信息预处理模块、车道线检测模块、行人检测模块、行人跟踪模块、车辆检测模块和车辆跟踪模块；
环境信息采集方法包括以下步骤：
(1)无人机定位模块采用实时动态载波相位差分定位(RTK)方法，实时处理两个测量站载波相位观测量的差分，定位精度可以达到厘米级，以达到无人机的精准定位，无人机定位模块输出无人机位置信息，作为无人机控制模块的输入信息；
(2)无人机控制模块接收测试车辆自车定位模块和无人机定位模块传来的自车位置信息和无人机位置信息，判断无人机的控制策略，进而下达控制指令，使无人机与测试车辆在较长时间跨度上保持同步伴飞状态；
由于无人机在与车辆完全同步伴飞情况下会使自身的飞行轨迹过于复杂，导致场景边界变化过多，处在场景边界位置的动态交通参与者在采集到的视频帧中时有时无，造成后续目标检测和目标跟踪过程不必要的错检漏检，也使后续的场景复现更为困难，故而在无人机控制模块中提出了“使无人机与车辆在较长时间跨度上同步伴飞”的方式：以车道方向切向为纵向，以车道方向法向为横向，无人机保持水平高度不变，不产生或少产生横向位移(横向位移＜0.1m)，获取上一段时间T(T＞30s)内自车纵向速度均值作为本段时间T内的无人机纵向速度。
(3)在无人机与车辆的伴飞过程中利用无人机的机载环境信息采集模块采集前方路面信息，获得包含路面环境信息的视频帧；所述的环境信息采集模块为无人机搭载的相机图像传感器；
(4)利用环境信息预处理模块对相机进行标定去畸变，对步骤(3)所采集的视频帧进行预处理，由图像像素坐标变换成三维世界坐标；
三维世界坐标到图像像素坐标的关系如图3所示，坐标变换关系如下：
其中图像像素坐标系为(u，v)，世界坐标系为(XW，YW，ZW)，像素单位长度尺寸大小为dx和dy，主点的像素坐标为(u0，ν0)，f为归一化焦距，R为旋转矩阵，T为平移向量，等式右侧的内参矩阵和外参矩阵都由张正友棋盘标定法得出，由步骤(1)中的无人机定位模块可知无人机距离地面的高度H，求出ZC，确定像素坐标与世界坐标之间的坐标变换关系。
(5)利用车道线检测模块对预处理后的视频帧进行车道线检测，以获取路面结构信息，如图4所示，车道线检测步骤具体如下：
(5.1)将预处理的视频帧转化为灰度图：该步骤可以直接将图像三个颜色通道值取均值或加权平均；
(5.2)进行高斯平滑：消除采集视频帧时不可避免的噪声和一些不重要的细小线条对车道线检测效果的影响；对于窗口模板的大小为(2k+1)×(2k+1)，模板中各个位置对应权值的计算公式如下：
Hi，j表示以模板中心为基准第i行第j列的权值，σ为方差，k由窗口模板大小获得。使用获得的位置对应权值与灰度图进行卷积，即可获得高斯平滑处理后的图像。
(5.3)边缘检测：通过点乘一个Sobel或其他算子得到不同方向的梯度gx(m，n)，gy(m，n)，由以下公式计算综合梯度值和梯度方向：
G(m，n)为综合梯度值，θ为梯度方向；
再将在梯度方向上梯度值不是最大的边缘点过滤，最后使用上下阈值法来检测边缘；
(5.4)霍夫转换：将笛卡尔坐标系中的点变换到霍夫空间内，选择霍夫空间内尽可能多的直线汇聚成的点作为笛卡尔坐标系下车道线变换而来的点，获取车道线；
(5.5)线条提取：实际道路上的车道线由于虚线、磨损以及障碍物的遮挡会使步骤(5.4)获取的车道线有许多间断，故而对霍夫转换而得的车道线进行线条提取以获得完整车道线。
(6)利用行人检测模块对行人目标进行检测：根据预处理后的视频帧，应用基于方向梯度直方图(HOG)和线性支持向量机(SVM)算法，检测是否存在行人目标，当检测到行人目标时，获取行人目标的全局位置坐标Global_X、Global_Y，时间戳Global_Time，并在初次识别到行人目标时分配一个行人识别号Pedestrian_ID；
(7)利用行人跟踪模块对行人进行跟踪，跟踪到的相同行人，行人识别号将不会改变，由此生成行人位置的时间序列，获得行人轨迹信息，根据行人轨迹信息获取行人速度v_Pedestrian，加速度a_Pedestrian；所述行人跟踪模块使用SORT算法，由步骤(6)的目标检测结果与卡尔曼滤波、匈牙利算法实现；
卡尔曼滤波算法是使用数学模型对系统进行状态最优估计，将预测值与测量值融合，算法分为状态向量预测和量测更新两部分，状态向量预测用来预测当前状态向量和状态向量协方差矩阵的取值，量测更新的目的则是更新状态向量，状态向量预测方程如下：
X＝FXt-1
P＝FPt-1FT+Q
量测更新方程如下：
Kt＝PHT[HPHT+R]-1
Xt＝X+Kt(Zt-HX)
Pt＝(I-KtH)P
其中，X为当前状态的预测状态向量；F表示转换矩阵；Xt-1表示前一时刻的状态向量，P为X对应的协方差；Q为系统噪声协方差；Kt为当前的卡尔曼增益；H表示状态变量到测量的转换矩阵；R为观测噪声；Xt为当前时刻状态向量；Zt为当前观测值；
上一帧图片在经过卡尔曼滤波算法预测之后，会在当前帧预测出多个矩形框，匈牙利算法的任务就是将当前帧检测出的矩形框与卡尔曼滤波预测的矩形框进行匹配，判断是否为同一目标，从而达到跟踪的目的。
(8)利用车辆检测模块对车辆目标进行检测，根据预处理后的视频帧，应用YOLOv3算法检测车辆目标，当检测到车辆目标时，获取车辆目标的全局坐标位置Global_X、Global_Y、车辆长度Vehicle_Length、车辆宽度Vehicle_Width、车辆种类Vehicle_Type、时间戳Global_Time和当前车道位置Line_ID(该车所在第几车道)，并在初次识别到车辆目标时分配一个车辆识别号Vehicle_ID；
(9)利用车辆跟踪模块对车辆进行跟踪，由此生成车辆轨迹信息，进而获取车辆速度v_Pedestrian、加速度a_Pedestrian。所述车辆跟踪模块使用CamShift算法，该算法是基于前方运动车辆的颜色特征来实现已有检测车辆结果的跟踪，将检测结果中车辆区域的颜色直方图作为匹配基础，通过对图像的颜色直方图的计算得到跟踪车辆区域的概率分布相近的区域，推算出跟踪区域的偏移量，经过多次迭代运算，当偏移量小于阈值或迭代次数超过阈值时，完成对车辆目标区域的跟踪。
Claims (7)
1.一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：通过无人机长时间平稳伴飞测试车辆，采集步骤如下：
(1)无人机定位系统采用实时动态载波相位差分定位方法，进行无人机的精准定位，无人机定位系统输出无人机位置信息，作为无人机控制系统的输入信息；
(2)无人机控制系统接收测试车辆自车定位系统和无人机定位系统传来的自车位置信息和无人机位置信息，判断无人机的控制策略，进而下达控制指令，使无人机与测试车辆在较长时间跨度上保持同步伴飞状态；
(3)在无人机与车辆的伴飞过程中利用无人机的机载环境信息采集设备采集前方路面信息，获得包含路面环境信息的视频帧；
(4)对相机进行标定去畸变，对步骤(3)所采集的视频帧进行预处理，由图像像素坐标变换成三维世界坐标；
(5)对预处理后的视频帧进行车道线检测，以获取路面结构信息；
(6)对行人目标进行检测：根据预处理后的视频帧，应用基于方向梯度直方图(HOG)和线性支持向量机(SVM)算法，检测是否存在行人目标，当检测到行人目标时，获取行人目标的全局位置坐标Global_X、Global_Y、时间戳Global_Time，并在初次识别到行人目标时分配一个行人识别号Pedestrian_ID；
(7)对行人进行跟踪，跟踪到的相同行人，行人识别号将不会改变，由此生成行人位置的时间序列，获得行人轨迹信息，根据行人轨迹信息获取行人速度v_Pedestrian、加速度a_Pedestrian；
(8)对车辆目标进行检测，根据预处理后的视频帧，应用YOLOv3算法检测车辆目标，当检测到车辆目标时，获取车辆目标的全局坐标位置Global_X、Global_Y、车辆长度Vehicle_Length、车辆宽度Vehicle_Width、车辆种类Vehicle_Type、时间戳Global_Time和当前车道位置Line_ID，并在初次识别到车辆目标时分配一个车辆识别号Vehicle_ID；
(9)对车辆进行跟踪，由此生成车辆轨迹信息，进而获取车辆速度v_Pedestrian、加速度a_Pedestrian。
2.根据权利要求1所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(2)中，所述的无人机与测试车辆在较长时间跨度上保持同步伴飞状态的方法如下：以车道方向切向为纵向，以车道方向法向为横向，无人机保持水平高度不变，不产生或少产生横向位移，获取上一段时间T内自车纵向速度均值作为本段时间T内的无人机纵向速度。
3.根据权利要求1所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(3)中，所述的环境信息采集设备为无人机搭载的相机图像传感器。
4.根据权利要求1所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(4)中，三维世界坐标到图像像素坐标的关系如下：
其中图像像素坐标系为(u,v)，世界坐标系为(XW,YW,ZW)，像素单位长度尺寸大小为dx和dy，主点的像素坐标为(u0，v0)，f为归一化焦距，R为旋转矩阵，T为平移向量，等式右侧的内参矩阵和外参矩阵都由张正友棋盘标定法得出，由步骤(1)中的无人机定位系统可知无人机距离地面的高度H，求出ZC，确定像素坐标与世界坐标之间的坐标变换关系。
5.根据权利要求4所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(5)车道线检测步骤具体如下：
(5.1)将预处理的视频帧转化为灰度图：该步骤可以直接将图像三个颜色通道值取均值或加权平均；
(5.2)进行高斯平滑：消除采集视频帧时不可避免的噪声和一些不重要的细小线条对车道线检测效果的影响；对于窗口模板的大小为(2k+1)×(2k+1)，模板中各个位置对应权值的计算公式如下：
Hi,j表示以模板中心为基准第i行第j列的权值，σ为方差，k由窗口模板大小获得；使用获得的位置对应权值与灰度图进行卷积，即可获得高斯平滑处理后的图像；
(5.3)边缘检测：通过点乘一个Sobel或其他算子得到不同方向的梯度gx(m,n),gy(m,n)，由以下公式计算综合梯度值和梯度方向：
G(m,n)为综合梯度值，θ为梯度方向；
再将在梯度方向上梯度值不是最大的边缘点过滤，最后使用上下阈值法来检测边缘；
(5.4)霍夫转换：将笛卡尔坐标系中的点变换到霍夫空间内，选择霍夫空间内尽可能多的直线汇聚成的点作为笛卡尔坐标系下车道线变换而来的点，获取车道线；
(5.5)线条提取：实际道路上的车道线由于虚线、磨损以及障碍物的遮挡会使步骤(5.4)获取的车道线有许多间断，故而对霍夫转换而得的车道线进行线条提取以获得完整车道线。
6.根据权利要求1或5所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(7)中，对行人进行跟踪的过程使用SORT算法，由步骤(6)的目标检测结果与卡尔曼滤波、匈牙利算法实现：
卡尔曼滤波算法是使用数学模型对系统进行状态最优估计，将预测值与测量值融合，算法分为状态向量预测和量测更新两部分，状态向量预测用来预测当前状态向量和状态向量协方差矩阵的取值，量测更新的目的则是更新状态向量，状态向量预测方程如下：
X＝FXt-1
P＝FPt-1FT+Q
量测更新方程如下：
Kt＝PHT[HPHT+R]-1
Xt＝X+Kt(Zt-HX)
Pt＝(I-KtH)P
其中，X为当前状态的预测状态向量；F表示转换矩阵；Xt-1表示前一时刻的状态向量，P为X对应的协方差；Q为系统噪声协方差；Kt为当前的卡尔曼增益；H表示状态变量到测量的转换矩阵；R为观测噪声；Xt为当前时刻状态向量；Zt为当前观测值；
上一帧图片在经过卡尔曼滤波算法预测之后，会在当前帧预测出多个矩形框，匈牙利算法的任务就是将当前帧检测出的矩形框与卡尔曼滤波预测的矩形框进行匹配，判断是否为同一目标，从而达到跟踪的目的。
7.根据权利要求6所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(9)中，对车辆进行跟踪使用CamShift算法，该算法是基于前方运动车辆的颜色特征来实现已有检测车辆结果的跟踪，将检测结果中车辆区域的颜色直方图作为匹配基础，通过对图像的颜色直方图的计算得到跟踪车辆区域的概率分布相近的区域，推算出跟踪区域的偏移量，经过多次迭代运算，当偏移量小于阈值或迭代次数超过阈值时，完成对车辆目标区域的跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513620.1A CN114155511A (zh) | 2021-12-13 | 2021-12-13 | 一种用于自动驾驶汽车在公共道路的环境信息采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513620.1A CN114155511A (zh) | 2021-12-13 | 2021-12-13 | 一种用于自动驾驶汽车在公共道路的环境信息采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155511A true CN114155511A (zh) | 2022-03-08 |
Family
ID=80450821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111513620.1A Pending CN114155511A (zh) | 2021-12-13 | 2021-12-13 | 一种用于自动驾驶汽车在公共道路的环境信息采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155511A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015089867A1 (zh) * | 2013-12-17 | 2015-06-25 | 东莞中国科学院云计算产业技术创新与育成中心 | 一种交通违章检测方法 |
| CN105825713A (zh) * | 2016-04-08 | 2016-08-03 | 重庆大学 | 车载无人机辅助驾驶系统及运行方式 |
| CN110298216A (zh) * | 2018-03-23 | 2019-10-01 | 中国科学院沈阳自动化研究所 | 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测系统及方法 |
| CN112990128A (zh) * | 2021-04-27 | 2021-06-18 | 电子科技大学 | 一种基于视频跟踪的多车辆测速方法 |
| CN113370977A (zh) * | 2021-05-06 | 2021-09-10 | 上海大学 | 一种基于视觉的智能车辆前向碰撞预警方法及系统 |
| WO2021189507A1 (zh) * | 2020-03-24 | 2021-09-30 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
-
2021
- 2021-12-13 CN CN202111513620.1A patent/CN114155511A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015089867A1 (zh) * | 2013-12-17 | 2015-06-25 | 东莞中国科学院云计算产业技术创新与育成中心 | 一种交通违章检测方法 |
| CN105825713A (zh) * | 2016-04-08 | 2016-08-03 | 重庆大学 | 车载无人机辅助驾驶系统及运行方式 |
| CN110298216A (zh) * | 2018-03-23 | 2019-10-01 | 中国科学院沈阳自动化研究所 | 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测系统及方法 |
| WO2021189507A1 (zh) * | 2020-03-24 | 2021-09-30 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
| CN112990128A (zh) * | 2021-04-27 | 2021-06-18 | 电子科技大学 | 一种基于视频跟踪的多车辆测速方法 |
| CN113370977A (zh) * | 2021-05-06 | 2021-09-10 | 上海大学 | 一种基于视觉的智能车辆前向碰撞预警方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张家旭;赵健;施正堂;杨雄;: "基于回旋曲线的垂直泊车轨迹规划与跟踪控制", 东南大学学报(自然科学版), no. 01, 20 January 2020 (2020-01-20) * |
| 赵健康;崔超;朱建斌;: "一种基于两级EKF的9-D MIMU/GPS微型无人机组合导航系统的鲁棒性设计", 飞控与探测, no. 02, 25 March 2019 (2019-03-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964054B2 (en) | Method and device for positioning | |
| CN109521756B (zh) | 用于无人驾驶车辆的障碍物运动信息生成方法和装置 | |
| WO2018177026A1 (zh) | 确定道路边沿的装置和方法 | |
| Geiger et al. | Are we ready for autonomous driving? the kitti vision benchmark suite | |
| CN109471096B (zh) | 多传感器目标匹配方法、装置及汽车 | |
| CN111179300A (zh) | 障碍物检测的方法、装置、系统、设备以及存储介质 | |
| CN106096525A (zh) | 一种复合型车道识别系统及方法 | |
| CN104766058A (zh) | 一种获取车道线的方法和装置 | |
| Levinson | Automatic laser calibration, mapping, and localization for autonomous vehicles | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN106295459A (zh) | 基于机器视觉和级联分类器的车辆检测和预警方法 | |
| CN112904395B (zh) | 一种矿用车辆定位系统及方法 | |
| CN112149550A (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN108711172B (zh) | 基于细粒度分类的无人机识别与定位方法 | |
| US11151729B2 (en) | Mobile entity position estimation device and position estimation method | |
| Konrad et al. | Localization in digital maps for road course estimation using grid maps | |
| CN115113206B (zh) | 井下有轨车辅助驾驶的行人与障碍物检测方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN114755662A (zh) | 一种路车融合感知的激光雷达和gps的标定方法和装置 | |
| Sakic et al. | Camera-LIDAR object detection and distance estimation with application in collision avoidance system | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| CN114155511A (zh) | 一种用于自动驾驶汽车在公共道路的环境信息采集方法 | |
| CN115902839A (zh) | 港口激光雷达标定方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |