CN110850880A - 一种基于视觉传感的自动驾驶系统及方法 - Google Patents

一种基于视觉传感的自动驾驶系统及方法 Download PDF

Info

Publication number
CN110850880A
CN110850880A CN201911142019.9A CN201911142019A CN110850880A CN 110850880 A CN110850880 A CN 110850880A CN 201911142019 A CN201911142019 A CN 201911142019A CN 110850880 A CN110850880 A CN 110850880A
Authority
CN
China
Prior art keywords
vehicle
human body
module
automatic driving
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911142019.9A
Other languages
English (en)
Inventor
张毅
秦小林
张婉婷
徐江
母江东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronics Technology Group Corp Chongqing Acoustic Optic Electronic Co ltd
Chengdu Information Technology Co Ltd of CAS
Original Assignee
China Electronics Technology Group Corp Chongqing Acoustic Optic Electronic Co ltd
Chengdu Information Technology Co Ltd of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronics Technology Group Corp Chongqing Acoustic Optic Electronic Co ltd, Chengdu Information Technology Co Ltd of CAS filed Critical China Electronics Technology Group Corp Chongqing Acoustic Optic Electronic Co ltd
Priority to CN201911142019.9A priority Critical patent/CN110850880A/zh
Publication of CN110850880A publication Critical patent/CN110850880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶技术领域，特别涉及一种基于视觉传感的自动驾驶系统及方法，方法包括基于骨架识别对车辆采集到的人体信息预测人体下一个时刻的位置；采集地图数据、车辆传感器数据、以及车辆当前位置和目的地位置信息；根据采集的信息建立路径模型，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线；判断车辆是否到达目的地，若到达则结束自动驾驶；本发明克服了单独使用粒子群算法时求解速度慢的问题和单独使用人工势场算法时容易陷入局部最优解或在局部震荡的情况，并极大的提高了车辆行驶的安全性。

Description

一种基于视觉传感的自动驾驶系统及方法
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种基于视觉传感的自动驾驶系统及方法。
背景技术
自动驾驶的路径规划，是在有环境模型的基础上(如拓扑地图)，用户设定了起始点和目的地，车辆能够根据环境模型及观测到的周边路况计算出最佳的到达目的地的路径，以此为下一步行动的命令指导自动驾驶系统前往目的地。
目前流行的路径规划算法有：Dijkstra、Floyd-Warshall、A+算法、层次法、动作行为法、势场域法、栅格法、模糊逻辑法、拓扑法、惩罚函数法、遗传算法、模拟退火法、蚁群法和神经网络法等。上述算法在车辆路径规划时都存在以下多个或单个问题：
1、不能进行动态求解与路径更新，在行驶过程中对路径进行实时的调整；
2、求解速度慢，函数收敛速度慢，需要耗费大量计算资源，从而导致路径规划的实时性不好；
3、容易出现局部最优解，从而导致路径规划失败；
4、不能进行实时的障碍规避；
5、对人体行为的判断力差，缺乏有效避开人体行为的方法。
发明内容
为了提高了车辆行驶的安全性，本发明提出一种基于视觉传感的自动驾驶系统及方法，所述方法包括：
S1、通过车辆前方的摄像头采集视频数据；
S2、采集视频数据中每一帧中人体的K个关节的二维位置坐标，并将多个帧的位置信息组成一个序列；
S3、将S2得到的序列输入神经网络分别对骨架坐标的时间动态特性和空间相对关系建模；
S4、将两个神经网络的输入进行融合，并使用支持向量机方法对人体行为进行分类，预测下一时刻人体位置；
S5、采集地图数据、车辆传感器数据、以及车辆当前位置和目的地位置信息；
S6、根据采集的信息建立路径模型，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线；
S7、判断车辆是否到达目的地，若到达则结束自动驾驶；否则返回步骤S5。
进一步的，对骨架坐标的时间动态特性进行建模包括：
每个时刻的关键点坐标拼接成一个向量，采用RNN网络学习坐标随着时间的变化；
使用多层RNN模型将RNN网络堆叠起来，上一层RNN网络的输出作为下一层RNN网络的输入，堆叠层数为2～3层，学习整人体运动规律，RNN网络表示为：
T(T1,T2,...,Tk,...,TK)＝H(g(T1,W1),g(T2,W2),...,g(Tk,Wk),...,g(TK,WK))；
其中，T(T1,T2,...,Tk,...,TK)表示时间序列，为从视频流中等间隔抽取出来的序列，Tk为关键点k在时间序列上的位置拼接成的向量；Wk为向量Tk对应的网络参数；g(·)为RNN网络的激活函数；H(·)为RNN网络的Softmax函数。
进一步的，对骨架坐标的空间相对关系进行建模包括：
使用chain sequence方法，根据物理连接关系，将人体关键点根据关节点位于双手、躯干和双脚划分为三个序列把这三个序列串接成一个序列数据，利用RNN网络学习不同坐标点之间的连接关系，表示为：
S(S1,S2,...,Sk,...,SK)＝H(g(S1,W1),g(S2,W2),...,g(Sk,Wk),...,g(SK,WK))；
其中，S(S1,S2,...,Sk,...,SK)表示空间序列，为一帧中所有关键点在空间坐标上位置拼成的向量，Sk为所有关键点在第k时刻的空间坐标向量。
进一步的，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线包括：
使用随机粒子来当作车辆未来行进方向，跟踪最好位置的粒子记作gbest，进行多次迭代后得到此时刻车辆的速度和位置；
针对预测的人体位置，利用人工势场对此时刻车辆的速度和位置进行优化，得到此时刻车辆最优的速度和位置。
进一步的，第n+1次迭代中粒子的速度和位置的更新表示为：
Figure BDA0002281201280000031
其中，
Figure BDA0002281201280000033
表示n+1次迭代第i个粒子第d维的速度；rand()是[0,1]范围内变化的随机函数；c1、c2为学习因子；w为惯性权重；
Figure BDA0002281201280000034
表示n次迭代第i个粒子第d维的个人最优解；
Figure BDA0002281201280000035
表示n次迭代第i个粒子第d维的全局最优解；
Figure BDA0002281201280000036
表示n+1次迭代第i个粒子第d维的位置。
进一步的，利用人工势场对此时刻车辆的速度和位置进行优化表示为：
U(W)＝Ua(W)+Uo(W)；
其中，U(W)表示利用人工势场优化后车辆的位置；Ua(W)表示目的地对车辆的引力；Uo(W)表示障碍物对车辆的斥力。
本发明提出的一种基于视觉传感的自动驾驶系统，包括摄像头传感器、雷达传感器、用户指令模块、车辆中央处理单元、地图数据获取模块以及行驶路线规划模块；其中：
摄像头传感器，用于图像数据获取；
雷达传感器，用于目标位置信息获取；
用户指令模块，用于用户输入目的地信息；
车辆中央处理单元，用于控制车辆根据行驶路线规划合理的行驶路径进行行驶
地图数据获取模块，用于获取车辆起始地与目的地之间的路径信息；
行驶路线规划模块，用于根据获取的起始地和目的地信息规划车辆的行驶路线。
本发明车辆自动驾驶行驶路径实时规划方法，创新之处在于计算车辆路径时，使用了粒子群算法和人工势场相结合的路径规划方法，克服了单独使用粒子群算法时求解速度慢的问题和单独使用人工势场算法时容易陷入局部最优解或在局部震荡的情况，在此基础上，增加视频图像车辆及行人识别预测功能，对车辆和行人未来的动作及行驶路径作出预测，从而提前预知车辆将来可能发生的碰撞事故，修改车辆下一步行驶的路径，极大的提高了车辆行驶的安全性。与传统路径规划算法相比，能更快更安全的达到最终目的地。
附图说明
图1为本发明一种基于骨架识别的人类行为预测的自动驾驶方法优选实施例流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于骨架识别的人类行为预测的自动驾驶方法，包括以下步骤：
S1、通过车辆前方的摄像头采集视频数据；
S2、采集视频数据中每一帧中人体的K个关节的二维位置坐标，并将多个帧的位置信息组成一个序列；
S3、将S2得到的序列输入神经网络分别对骨架坐标的时间动态特性和空间相对关系建模；
S4、将两个神经网络的输入进行融合，并使用支持向量机方法对人体行为进行分类，预测下一时刻人体位置；
S5、采集地图数据、车辆传感器数据、以及车辆当前位置和目的地位置信息；
S6、根据采集的信息建立路径模型，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线；
S7、判断车辆是否到达目的地，若到达则结束自动驾驶；否则返回步骤S5。
本实施例在进行自动驾驶之前，需要采集视频数据，对人体行为进行预测，如图1，包括：
视频数据采集，通过车辆前方的摄像头采集视频数据；
车辆及行人目标检测，检测视屏数据中车辆和行人，并分类存储；
位置信息提取，采集视频数据中每一帧中人体的K个关节的二维位置坐标，并将多个帧的位置信息组成一个序列；本实施例中关键点即为人体骨架点；
特征组合，根据时间信息，将关键点在时间序列上的位置拼接成向量；根据位置信息，将所有关键点在一个时刻的位置信息拼接成向量；
时间流网络，即对骨架坐标的时间动态特性进行建模得到的网络，建模过程包括：
每个时刻的关键点坐标拼接成一个向量，采用RNN网络学习坐标随着时间的变化；
使用多层RNN模型将RNN网络堆叠起来，上一层RNN网络的输出作为下一层RNN网络的输入，堆叠层数为2～3层，学习整人体运动规律，RNN网络表示为：
T(T1,T2,...,Tk,...,TK)＝H(g(T1,W1),g(T2,W2),...,g(Tk,Wk),...,g(TK,WK))；
其中，T(T1,T2,...,Tk,...,TK)表示时间序列，为从视频流中等间隔抽取出来的序列，Tk为关键点k在时间序列上的位置拼接成的向量；Wk为向量Tk对应的网络参数；g(·)为RNN网络的激活函数；H(·)为RNN网络的Softmax函数；
空间流网络，即对骨架坐标的空间相对关系进行建模得到的网络，建模过程包括：
使用chain sequence方法，根据物理连接关系，将人体关键点根据关节点位于双手、躯干和双脚划分为三个序列把这三个序列串接成一个序列数据，本实施例中，人体关键点取的是人体的骨架点，骨架点位置的获取为现有技术，获取方法包括基于Kinect的骨架提取及姿势识别等，本发明不在赘述；利用RNN网络学习不同坐标点之间的连接关系，表示为：
S(S1,S2,...,Sk,...,SK)＝H(g(S1,W1),g(S2,W2),...,g(Sk,Wk),...,g(SK,WK))；
其中，S(S1,S2,...,Sk,...,SK)表示空间序列，为一帧中所有关键点在空间坐标上位置拼成的向量，Sk为所有关键点在第k时刻的空间坐标向量；
行为分类，即将两个神经网络的输入进行融合，并使用支持向量机方法对人体行为进行分类；
行为判断，即根据融合后的网络进行人体行为判断；
位置预测，即根据当前人体位置以及对人体行为的判断，得到下一时刻人体的位置。
得到上述对人体行为判断的预测模型之后，即可进行自动驾驶，如图1，包括以下步骤：
300、采集地图数据、车辆传感器、车辆摄像头以及用户指令；
301、根据采集的数据建立路径模型和势场模型；
302、初始化粒子群；
303、更新粒子群位置、速度，该步骤表示为：
Figure BDA0002281201280000061
Figure BDA0002281201280000062
其中，
Figure BDA0002281201280000063
表示n+1次迭代第i个粒子第d维的速度；rand()是[0,1]范围内变化的随机函数；c1、c2为学习因子；w为惯性权重；
Figure BDA0002281201280000071
表示n次迭代第i个粒子第d维的个人最优解；
Figure BDA0002281201280000072
表示n次迭代第i个粒子第d维的全局最优解；
Figure BDA0002281201280000073
表示n+1次迭代第i个粒子第d维的位置。
304、根据预测得到的行人位置以及车辆位置计算位置的得分，此时烤炉人工势场以及碰撞预测权值，表示为：
U(W)＝Ua(W)+Uo(W)；
其中，U(W)表示利用人工势场优化后车辆的位置；Ua(W)表示目的地对车辆的引力；Uo(W)表示障碍物对车辆的斥力；
目的地对车辆的引力Ua(W)表示为：
Figure BDA0002281201280000074
其中，α为引力增益函数，W为当前车辆在二维空间中的坐标，Wα为目标点位置，(W-Wa)为车辆与目的地之间的相对距离。
障碍物对车辆的斥力Uo(W)表示为：
Figure BDA0002281201280000075
其中，β为斥力增益函数；ρ0是障碍物的影响距离；ρ为车辆与障碍物的最短距离；
305、判断迭代次数是否达到最大值或粒子之间的最大距离差是否小于全局搜索范围的2％，若是，则进行306，否则返回303；
306、进行下一步行驶；
307、判断是否到达目的地，若到达则结束行驶，否则返回步骤301。
本发明还提出一种基于骨架识别的人类行为预测的自动驾驶系统，包括摄像头传感器、雷达传感器、用户指令模块、车辆中央处理单元、地图数据获取模块以及行驶路线规划模块；其中：
摄像头传感器，用于图像数据获取；
雷达传感器，用于目标位置信息获取；
用户指令模块，用于用户输入目的地信息；
车辆中央处理单元，用于控制车辆根据行驶路线规划合理的行驶路径进行行驶
地图数据获取模块，用于获取车辆起始地与目的地之间的路径信息；
行驶路线规划模块，用于根据获取的起始地和目的地信息规划车辆的行驶路线。
进一步的，行驶路线规划模块包括障碍检测模块、路径规划模块、基于粒子群的车辆位置及速度更新模块、人体行为预测模块以及人工势场修正模块，其中：
障碍检测模块，用于检测非人体的障碍物；
路径模型模块，用于根据地图数据以及车辆起始位置、目的地位置的信息建立路径模型；
基于粒子群的车辆位置及速度更新模块，用于根据粒子群算法得到车辆在路径模型中的行驶路径以及车辆在行进路线上的速度以及位置信息进行更新；
人体行为预测模块，用于根据当前时刻的人体行为对下一时刻人体行为进行预测；
人工势场修正模块，用于根据障碍检测模块以及人体行为预测模块检测到的人体以及其他障碍物对车辆当前行驶路径进行修正，得到最优的车辆行驶路线。
本发明用于具备自动驾驶功能的车辆上，计算方法的执行单元为中央信息处理单元。中央信息处理单元从与其相连接的各个组件获取相关信息，之后按照路径规划算法得到最终的车辆行驶路线。
本发明在建立路径模型时，央处理单元需要首先获取道路环境模型，该模型可以通过拓扑级地图来实现。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于视觉传感的自动驾驶方法，其特征在于，包括以下步骤：
S1、通过车辆前方的摄像头采集视频数据；
S2、采集视频数据中每一帧中人体的K个关节的二维位置坐标，并将多个帧的位置信息组成一个序列；
S3、将S2得到的序列输入神经网络分别对骨架坐标的时间动态特性和空间相对关系建模；
S4、将两个神经网络的输入进行融合，并使用支持向量机方法对人体行为进行分类，预测下一时刻人体位置；
S5、采集地图数据、车辆传感器数据、以及车辆当前位置和目的地位置信息；
S6、根据采集的信息建立路径模型，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线；
S7、判断车辆是否到达目的地，若到达则结束自动驾驶；否则返回步骤S5。
2.根据权利要求1所述的一种基于视觉传感的自动驾驶方法，其特征在于，对骨架坐标的时间动态特性进行建模包括：
每个时刻的关键点坐标拼接成一个向量，采用RNN网络学习坐标随着时间的变化；
使用多层RNN模型将RNN网络堆叠起来，上一层RNN网络的输出作为下一层RNN网络的输入，堆叠层数为2～3层，学习整人体运动规律，RNN网络表示为：
T(T1,T2,...,Tk,...,TK)＝H(g(T1,W1),g(T2,W2),...,g(Tk,Wk),...,g(TK,WK))；
其中，T(T1,T2,...,Tk,...,TK)表示时间序列，为从视频流中等间隔抽取出来的序列，Tk为关键点k在时间序列上的位置拼接成的向量；Wk为向量Tk对应的网络参数；g(·)为RNN网络的激活函数；H(·)为RNN网络的Softmax函数。
3.利要求1所述的一种基于视觉传感的自动驾驶方法，其特征在于，对骨架坐标的空间相对关系进行建模包括：
使用chain sequence方法，根据物理连接关系，将人体关键点根据关节点位于双手、躯干和双脚划分为三个序列把这三个序列串接成一个序列数据，利用RNN网络学习不同坐标点之间的连接关系，表示为：
S(S1,S2,...,Sk,...,SK)＝H(g(S1,W1),g(S2,W2),...,g(Sk,Wk),...,g(SK,WK))；
其中，S(S1,S2,...,Sk,...,SK)表示空间序列，为一帧中所有关键点在空间坐标上位置拼成的向量，Sk为所有关键点在第k时刻的空间坐标向量；Wk为向量Tk对应的网络参数；g(·)为RNN网络的激活函数；H(·)为RNN网络的Softmax函数。
4.根据权利要求1所述的一种基于视觉传感的自动驾驶方法，其特征在于，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线包括：
使用随机粒子来当作车辆未来行进方向，跟踪最好位置的粒子记作gbest，进行多次迭代后得到此时刻车辆的速度和位置；
针对预测的人体位置，利用人工势场对此时刻车辆的速度和位置进行优化，得到此时刻车辆最优的速度和位置。
5.根据权利要求4所述的一种基于视觉传感的自动驾驶方法，其特征在于，第n+1次迭代中粒子的速度和位置的更新表示为：
Figure FDA0002281201270000021
其中，
Figure FDA0002281201270000023
表示n+1次迭代第i个粒子第d维的速度；rand()是[0,1]范围内变化的随机函数；c1、c2为学习因子；w为惯性权重；
Figure FDA0002281201270000024
表示n次迭代第i个粒子第d维的个人最优解；
Figure FDA0002281201270000025
表示n次迭代第i个粒子第d维的全局最优解；
Figure FDA0002281201270000026
表示n+1次迭代第i个粒子第d维的位置。
6.根据权利要求4所述的一种基于视觉传感的自动驾驶方法，其特征在于，利用人工势场对此时刻车辆的速度和位置进行优化表示为：
U(W)＝Ua(W)+Uo(W)；
其中，U(W)表示利用人工势场优化后车辆的位置；Ua(W)表示目的地对车辆的引力；Uo(W)表示障碍物对车辆的斥力。
7.根据权利要求6所述的一种基于视觉传感的自动驾驶方法，其特征在于，目的地对车辆的引力Ua(W)表示为：
Figure FDA0002281201270000031
其中，α为引力增益函数，W为当前车辆在二维空间中的坐标，Wα为目标点位置，(W-Wa)为车辆与目的地之间的相对距离。
8.根据权利要求6所述的一种基于视觉传感的自动驾驶方法，其特征在于，障碍物对车辆的斥力Uo(W)表示为：
其中，β为斥力增益函数；ρ0是障碍物的影响距离；ρ为车辆与障碍物的最短距离。
9.一种基于视觉传感的自动驾驶系统，其特征在于，包括摄像头传感器、雷达传感器、用户指令模块、车辆中央处理单元、地图数据获取模块以及行驶路线规划模块；其中：
摄像头传感器，用于图像数据获取；
雷达传感器，用于目标位置信息获取；
用户指令模块，用于用户输入目的地信息；
车辆中央处理单元，用于控制车辆根据行驶路线规划合理的行驶路径进行行驶
地图数据获取模块，用于获取车辆起始地与目的地之间的路径信息；
行驶路线规划模块，用于根据获取的起始地和目的地信息规划车辆的行驶路线。
10.根据权利要求9所述的一种基于视觉传感的自动驾驶系统，其特征在于，行驶路线规划模块包括障碍检测模块、路径规划模块、基于粒子群的车辆位置及速度更新模块、人体行为预测模块以及人工势场修正模块，其中：
障碍检测模块，用于检测非人体的障碍物；
路径模型模块，用于根据地图数据以及车辆起始位置、目的地位置的信息建立路径模型；
基于粒子群的车辆位置及速度更新模块，用于根据粒子群算法得到车辆在路径模型中的行驶路径以及车辆在行进路线上的速度以及位置信息进行更新；
人体行为预测模块，用于根据当前时刻的人体行为对下一时刻人体行为进行预测；
人工势场修正模块，用于根据障碍检测模块以及人体行为预测模块检测到的人体以及其他障碍物对车辆当前行驶路径进行修正，得到最优的车辆行驶路线。
CN201911142019.9A 2019-11-20 2019-11-20 一种基于视觉传感的自动驾驶系统及方法 Pending CN110850880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911142019.9A CN110850880A (zh) 2019-11-20 2019-11-20 一种基于视觉传感的自动驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911142019.9A CN110850880A (zh) 2019-11-20 2019-11-20 一种基于视觉传感的自动驾驶系统及方法

Publications (1)

Publication Number Publication Date
CN110850880A true CN110850880A (zh) 2020-02-28

Family

ID=69602867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911142019.9A Pending CN110850880A (zh) 2019-11-20 2019-11-20 一种基于视觉传感的自动驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN110850880A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114460936A (zh) * 2022-01-13 2022-05-10 华中科技大学 基于离线增量学习的自动驾驶汽车路径规划方法及系统
CN115164931A (zh) * 2022-09-08 2022-10-11 南开大学 一种盲人出行辅助系统、方法及设备
CN116380088A (zh) * 2023-06-05 2023-07-04 小米汽车科技有限公司 车辆定位方法、装置、车辆及存储介质
CN117152258A (zh) * 2023-11-01 2023-12-01 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117492450A (zh) * 2024-01-02 2024-02-02 深圳前海格致科技有限公司 一种自动驾驶路线规划方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901153A1 (en) * 2006-09-12 2008-03-19 OFFIS e.V. Control system for unmanned 4-rotor-helicopter
CN105511457A (zh) * 2014-09-25 2016-04-20 科沃斯机器人有限公司 机器人静态路径规划方法
CN105911992A (zh) * 2016-06-14 2016-08-31 广东技术师范学院 一种移动机器人的自动规划路径方法及移动机器人
CN108958028A (zh) * 2018-05-24 2018-12-07 大连理工大学 基于改进粒子群算法的群机器人协同搜索方法
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901153A1 (en) * 2006-09-12 2008-03-19 OFFIS e.V. Control system for unmanned 4-rotor-helicopter
CN105511457A (zh) * 2014-09-25 2016-04-20 科沃斯机器人有限公司 机器人静态路径规划方法
CN105911992A (zh) * 2016-06-14 2016-08-31 广东技术师范学院 一种移动机器人的自动规划路径方法及移动机器人
CN108958028A (zh) * 2018-05-24 2018-12-07 大连理工大学 基于改进粒子群算法的群机器人协同搜索方法
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
GAKUTO MASUYAMA: "Robot Motion Planning Utilizing Local Propagation of Information Based on Particle Swarm and Its Internal Parameters", 《PROCEEDINGS OF THE 2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 *
ZHIYU ZHOUA: "Tangent navigated robot path planning strategy using particle swarm optimized artificial potential field", 《OPTIK》 *
李国进: "基于改进人工势场法的移动机器人导航控制", 《计算机技术与自动化》 *
薛颂东: "《群机器人协调控制》", 30 November 2016 *
郝志峰: "《数据科学与数学建模》", 31 January 2019 *
高剑: "《无人水下航行器自适应非线性控制技术》", 31 December 2016 *
黄剑: "基于人工势场和量子粒子群的机械臂避障轨迹规划", 《PROCEEDINGS OF THE 36TH CHINESE CONTROL CONFERENCE》 *
黄孝平: "《当代机器深度学习方法与应用研究》", 30 November 2017 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114460936A (zh) * 2022-01-13 2022-05-10 华中科技大学 基于离线增量学习的自动驾驶汽车路径规划方法及系统
CN114460936B (zh) * 2022-01-13 2024-04-02 华中科技大学 基于离线增量学习的自动驾驶汽车路径规划方法及系统
CN115164931A (zh) * 2022-09-08 2022-10-11 南开大学 一种盲人出行辅助系统、方法及设备
CN116380088A (zh) * 2023-06-05 2023-07-04 小米汽车科技有限公司 车辆定位方法、装置、车辆及存储介质
CN116380088B (zh) * 2023-06-05 2023-08-29 小米汽车科技有限公司 车辆定位方法、装置、车辆及存储介质
CN117152258A (zh) * 2023-11-01 2023-12-01 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117152258B (zh) * 2023-11-01 2024-01-30 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117492450A (zh) * 2024-01-02 2024-02-02 深圳前海格致科技有限公司 一种自动驾驶路线规划方法和系统
CN117492450B (zh) * 2024-01-02 2024-04-05 深圳前海格致科技有限公司 一种自动驾驶路线规划方法和系统

Similar Documents

Publication Publication Date Title
CN110850880A (zh) 一种基于视觉传感的自动驾驶系统及方法
US11726477B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
Prakash et al. Multi-modal fusion transformer for end-to-end autonomous driving
WO2021135554A1 (zh) 一种无人车全局路径规划方法和装置
Sathyamoorthy et al. Densecavoid: Real-time navigation in dense crowds using anticipatory behaviors
Bandyopadhyay et al. Intention-aware pedestrian avoidance
US11364899B2 (en) Driving assistance method and system
Sales et al. Adaptive finite state machine based visual autonomous navigation system
US11472444B2 (en) Method and system for dynamically updating an environmental representation of an autonomous agent
Hu et al. Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
Hirose et al. ExAug: Robot-conditioned navigation policies via geometric experience augmentation
Chen et al. Automatic overtaking on two-way roads with vehicle interactions based on proximal policy optimization
Chen et al. Cognitive map-based model: Toward a developmental framework for self-driving cars
Souza et al. Vision-based waypoint following using templates and artificial neural networks
Jaafra et al. Robust reinforcement learning for autonomous driving
Gaydashenko et al. A comparative evaluation of machine learning methods for robot navigation through human crowds
CN111176324B (zh) 一种多无人机分布式协同编队规避动态障碍的方法
Cao et al. Unmanned rescue vehicle navigation with fused DQN algorithm
Seiya et al. Point grid map-based mid-to-mid driving without object detection
Tasaki Perception and Decision Making for the Autonomous Driving System
CN112347819B (zh) 一种基于全图与局部检测的车辆路径变换方法及装置
US20230152810A1 (en) Methods, devices and systems for facilitating operations of mobile robots
Yao et al. Model-based trajectory prediction approach using an improved dynamic window approach and an interactive behaviour model
de Almeida Afonso et al. Autonomous Navigation of Wheelchairs in Indoor Environments using Deep Reinforcement Learning and Computer Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228