CN111178584A - 一种基于双层融合模型的无人驾驶行为预测方法 - Google Patents

一种基于双层融合模型的无人驾驶行为预测方法 Download PDF

Info

Publication number
CN111178584A
CN111178584A CN201911225102.2A CN201911225102A CN111178584A CN 111178584 A CN111178584 A CN 111178584A CN 201911225102 A CN201911225102 A CN 201911225102A CN 111178584 A CN111178584 A CN 111178584A
Authority
CN
China
Prior art keywords
driving
data
behavior prediction
vehicle
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911225102.2A
Other languages
English (en)
Other versions
CN111178584B (zh
Inventor
伏玉琛
卫梦
钟珊
李子成
蔡德佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN201911225102.2A priority Critical patent/CN111178584B/zh
Publication of CN111178584A publication Critical patent/CN111178584A/zh
Application granted granted Critical
Publication of CN111178584B publication Critical patent/CN111178584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双层融合模型的无人驾驶行为预测方法，包括步骤1、数据采集系统获取当前汽车的驾驶记录数据，所述驾驶记录数据包括当前汽车行驶的状态与汽车过去行驶的数据记录；步骤2、对数据采集系统获取的数据进行处理，以符合训练驾驶行为预测模型的输入要求；步骤3、数据处理的结果输入驾驶行为预测模型，在改进后的VGG‑LSTM和FCN‑LSTM双任务网络架构上对图片进行训练；步骤4、车辆下一行为预测，根据车辆过去时刻的运动状态和所述驾驶行为预测模型训练的结果输出汽车在下一时刻的运动状态。本发明既不需要给无人驾驶汽车规定特定场景，也无需给出汽车驾驶的条件规则库，在给定汽车过去时刻运动状态的前提下实现下一时刻的行为预测。

Description

一种基于双层融合模型的无人驾驶行为预测方法
技术领域
本发明涉及一种无人驾驶行为预测方法，特别是涉及一种基于双层融合模型的无人驾驶行为预测方法。
背景技术
无人驾驶作为汽车未来发展的研究方向，对于汽车行业甚至是交通运输业有着深远的影响。无人驾驶让汽车自己拥有环境感知、路径规划能力，并让车辆自主实现对下一行为的决策和控制。无人驾驶汽车除了具有高安全性、强便捷性的特性之外，还具有缓解交通压力等优势。同时随着人工智能、传感检测等核心技术的突破和不断推进，无人驾驶必将更加智能化，也终将实现无人驾驶汽车的产业化。
虽然无人驾驶目前在关键技术上已经有所突破，但它距离大规模投入商用的目标还相距甚远。在传统的机器视觉研究中，基于边缘检测实现的道路检测，基于HOG/SIFT特征的行人、车辆检测，基于HSV空间区域色彩判定实现红绿灯检测，这些都是已经被实现的技术，然而，这些方法太过专精，只对特定区域有效。此外，这些方法也都不考虑受控车辆的先前历史状态，只是为每个离散假设分配相等的可能性会导致保守估计，这不利于受控汽车综合考虑现实环境中复杂多样的驾驶环境。
发明内容
针对上述现有技术的缺陷，本发明提供了一种基于双层融合模型的无人驾驶行为预测方法，从大规模未校准的数据集中联合学习道路的视觉状态和先前汽车的驾驶行为，通过获取当前道路的视觉状态和先前车辆的运动状态，对车辆信息进行自我学习，以实现车辆下一时刻的行为预测。
本发明技术方案如下：一种基于双层融合模型的无人驾驶行为预测方法，包括以下步骤：
步骤1、数据采集系统获取当前汽车的驾驶记录数据，所述驾驶记录数据包括当前汽车行驶的状态与汽车过去行驶的数据记录；
步骤2、数据预处理系统对数据采集系统获取的数据进行处理，以符合训练驾驶行为预测模型的输入要求；
步骤3、数据处理的结果输入驾驶行为预测模型，在改进后的VGG-LSTM和FCN-LSTM双任务网络架构上对图片进行训练；
步骤4、车辆下一行为预测，根据车辆过去时刻的运动状态和所述驾驶行为预测模型训练的结果输出汽车在下一时刻的运动状态。
进一步地，所述改进后的VGG-LSTM网络使用3*3的感受野最小尺寸的卷积核，使用1*1的卷积层代替全连接层，用于融合跨通道的全局信息，所述FCN-LSTM网络是去除第二池化层和第五池化层的变形AlexNet模型。
进一步地，所述FCN-LSTM网络的第三卷积层至第七全连接层使用空洞卷积。
进一步地，所述改进后的VGG-LSTM网络中通过上采样的方式融合卷积网络不同深度的特征描述符，所述特征描述符是指网络卷积层的输出，对每一个特征融合层的输出结果使用金字塔池化的方式将其映射在相同维度的空间上；使用加性融合函数合并特征描述符组。
进一步地，所述步骤4中根据车辆过去时刻的运动状态和所述驾驶行为预测模型训练的结果输出汽车在下一时刻的运动状态是将改进后的VGG-LSTM网络以及FCN-LSTM网络的概率输出集合作为决策级融合的输入，使用加性融合函数对两个子网络做出的决策进行融合，并采用预测概率值最大的一个动作作为汽车下一行为的预测值输出。
进一步地，所述步骤2中对数据进行处理包括：首先，将所有视频数据截断，其次，将帧进行分辨率和时间下采样，接着，将经过下采样后的帧图片转化成json格式的文件，并将从json文件中读取的数据重新压缩成为所述步骤3中输入所需图片的大小。
本发明所提供的技术方案的优点在于：
(1)本发明的网络结构，采用了3*3的感受野最小尺寸的卷积核，不仅增加了卷积层数，也因此增加了卷积网络的非线性操作。在本发明的网络中使用1*1的卷积层代替全连接层，加强了不同通道之间特征描述符的相关性，还在连接不同通道特征描述符的基础上加入了非线性操作，使得网络的表达能力进一步增强。
(2)本发明对子网络2卷积过程中学习到的特征描述符进行了增强的特征级融合，通过上采样的方式融合卷积网络不同深度的特征描述符，以消除网络不同层次之间因相关性而产生的冗余信息，同时强化那些最具辨别特性的特征描述符。
(3)本发明在网络中使用了决策融合技术，为不同的特征分类器分配了不同的权重，让网络在最终决策时能够充分利用各分类器的优势，选择最优的预测行为作为模型的输出，有利于无人车应对复杂的加时环境。
本发明通过借助车辆行驶记录仪以及GPS定位系统采集数据，通过使用有标签的数据集，基于改进后的VGG-LSTM和FCN-LSTM双任务网络架构对当前汽车所处环境的视觉观察图像进行学习，在给定汽车过去时刻运动状态的前提下，预测出汽车在下一时刻的行为。本发明采用了人工智能的方法，既不需要给无人驾驶汽车规定特定场景，也无需给出汽车驾驶的条件规则库就可以实现汽车在下一时刻的行为预测，具有更为广泛的应用性。
附图说明
图1为基于双层融合模型的无人驾驶行为预测方法的流程图。
图2为VGG-LSTM和FCN-LSTM双任务网络的整体架构图。
图3为FCN-LSTM编码器(子网络1)的网络结构图。
图4为VGG-LSTM编码器(子网络2)的网络结构图。
图5为子网络2的特征融合结构图。
图6为VGG-LSTM和FCN-LSTM双任务网络的决策融合结构图。
具体实施方式
下面结合实施例对本发明作进一步说明，但不作为对本发明的限定。
请结合图1所示，本实施例所涉及的一个基于改进后的VGG-LSTM(VGG-长短期记忆网络)和FCN-LSTM(全卷积-长短期记忆网络)双任务网络架构的汽车驾驶行为预测模型系统如下：
步骤1、数据采集系统，无人驾驶汽车上的行车记录仪和GPS用于获取当前汽车的驾驶记录数据。
步骤2、数据预处理系统对数据采集系统获取的数据进行处理，以符合训练驾驶行为预测模型的输入要求。
步骤3、数据处理的结果输入驾驶行为预测模型，在基于改进后的VGG-LSTM和FCN-LSTM双任务网络架构上对图片进行训练。
步骤4、车辆下一行为预测，根据车辆过去时刻的运动状态和上述驾驶行为预测模型训练的结果输出汽车在下一时刻的运动状态。
其中，数据采集系统负责为汽车驾驶行为预测模型提供数据源，即当前汽车行驶的状态与汽车过去行驶的数据记录。数据预处理系统接受数据采集系统获取的数据，并将其处理为驾驶行为预测模型网络所需的json格式。驾驶行为预测模型对数据预处理系统的输出图像进行训练，学习并提取汽车当前所处环境的特征。车辆下一行为预测通过结合过去时刻车辆行为信息和驾驶行为预测模型学习到的当前车辆状态预测出下一时刻车辆的可行性动作。
基于改进后的VGG-LSTM和FCN-LSTM双任务网络架构的驾驶行为预测方法的实现具体包括以下步骤：
步骤1：数据采集
通过无人驾驶汽车上的行车记录仪和GPS获取真实的驾驶数据集，数据集中可包含各种地区、天气和道路状况。
步骤2：数据预处理
为了让数据以图片的形式输入网络，本发明将视频做离散化处理。首先，通过步骤一所获取的数据是.mov的视频格式，每个视频的长度约为40秒，由于一小部分视频的持续时间不到40秒，本发明将所有视频截断为36秒。其次，本发明将帧下采样到640×360，在时间上将视频下采样到3Hz，以避免将近似重复的帧送入驾驶行为预测模型。接着，本发明将经过下采样后的图片转化成json格式的文件，并将从json文件中读取的数据重新压缩成为网络输入所需图片的大小，作为步骤三编码器-解码器的输入数据。
步骤3：使用编码器-解码器学习图像特征
为了根据过去车辆的运动状态和当前车辆的道路环境预测下一时刻汽车的可行性动作，于是，该驾驶行为预测模型F可定义为如下函数形式：
F(s,a)∶S×A→R
其中，s表示汽车当前时刻的状态；
a∈A，A＝{straight(直行),stop(停止),left-turn(左转),right-turn(右转)}，表示汽车所有可能做出的动作；
F(s,a)称为驱动模型，表示汽车在状态s下的做出动作a的可行性分数。
为了学习汽车下一时刻可行的动作行为分布，本发明使用图像编码器来学习每个输入帧中的视觉特征。请结合图2所示，本发明使用一种基于改进后的VGG-LSTM和FCN-LSTM双任务网络架构作为图像编码器。其中，FCN-LSTM编码器(子网络1)如图3所示，FCN网络是AlexNet模型的变形，去除了POOL2和POOL5层，以获得一个更具有辨别能力的编码器。该网络中包含7个卷积层和一个池化层(第2层)，最后两个卷积层充当传统卷积网络的全连接层。接着，用包含64个神经元的长短期记忆网络来融合卷积层的输出结果和汽车过去的驾驶数据记录。最后，用一个全连接层作为网络的分类器，全连接层由6个神经元组成，代表模型对车辆下一时刻要做出的动作预测的概率。)FCN网络是AlexNet模型的变形，去除了POOL2和POOL5层，本发明又对FCN-LSTM编码器进行了优化，即改进后的VGG-LSTM编码器(子网络2)，如图4所示，该网络中包含10个卷积层和2个池化层(第3和第7层)，其中，最后两个卷积层充当传统卷积网络的全连接层。接着，用包含64个神经元的长短期记忆网络来融合卷积层的输出结果和汽车过去的驾驶数据记录。最后，用一个全连接层作为网络的分类器，全连接层由6个神经元组成，代表模型对车辆下一时刻要做出的动作预测的概率。该编码器采用了3*3的感受野最小尺寸的卷积核，这样不仅加深了网络的层次，同时随着卷积层数的增加也因此增加了卷积网络的非线性操作。
在本发明的网络中使用1*1的卷积层代替全连接层，使之用于融合跨通道的全局信息。相比于传统的全连接层，1*1的卷积核不仅能够专注于融合不同通道之间的信息，加强不同通道之间特征描述符的相关性，还在连接不同通道特征描述符的基础上加入了非线性操作，使得网络的表达能力进一步增强。
本发明的FCN-LSTM编码器在conv3到fc7层中还使用了空洞卷积技术。空洞卷积使得网络在不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。
在两个编码器中，本发明使用LSTM网络来融合子网络学习到的当前道路的视觉特征和先前车辆的驾驶行为，形成一个新的且完整的状态s。状态s通过网络结构的解码器预测出车辆在下一时刻可能执行动作a的概率分布。
此外，本发明对子网络2卷积过程中学习到的特征描述符进行了增强的特征级融合，如图5所示。通过上采样的方式融合卷积网络不同深度的特征描述符，以消除网络不同层次之间因相关性而产生的冗余信息，同时强化那些最具辨别特性的特征描述符。其中，特征描述符是指网络卷积层的输出。然后对每一个特征融合层的输出结果使用金字塔池化的方式将其映射在相同维度的空间上，为合并不同特征融合层的输出结果提供相同的特征维度。具体来讲，在特征融合层，对来自同一组神经网络的不同层次的特征描述符使用特征融合函数进行上采样，得到三组不同大小的特征描述符组。将特征融合函数定义为：
f∶a*Xm+Xn→yr
其中:Xm表示第m个卷积层的特征描述符组，Xn表示第n个卷积层的特征描述符组，我们称他们为原特征描述符组。a表示对原特征描述符组进行上采样计算的反卷积核，a*Xm就对应于上采样运算的结果。yr表示第r个特征融合层，即上采样运算的结果与第n个卷积层的特征描述符组相加后的结果。Xm、Xn∈RHWD，而H、W和D分别表示特征图的长度、宽度和通道数量。
然后分别对这三组不同大小的特征融合层进行金字塔池化操作，以获得相同大小的输出特征。最后，使用加性融合函数来合并这三组特征描述符组，这一层称之为缓冲层。加性融合函数将3组特征融合层的输出特征对应位置的元素值相加，如下式所示，融合后特征描述符的通道数不变。
Figure BDA0002301974680000051
其中：wn(n∈[1,2,3])是为不同特征融合层加入的自适应权重,i∈[1,H]，j∈[1,W]，d∈[1,D]。
缓冲层的加入充分利用了深层网络结构的优势，对图像的可辩别深层特征进行了增强的特征级表达，强化了图片的信息，为不同路况提取出了更具辨别力的特征表示。作为特征融合的结果，所构造的网络输出结果比仅使用FCN网络的得到输出结果更具有辨别性。缓冲层融合了不同深度特征描述符之间的差异，使得加权特征描述符组的显著性特征在图像中被加强表示，同时又根据权重弱化了那些冗余的特征，为后续的决策任务提供了更有效的可辩别特征。
FCN-LSTM编码器和VGG-LSTM编码器能够在学习当前视觉图像信息的同时结合被控车辆的历史驾驶数据，联合学习当前道路的可辩别特征信息和先前车辆运动状态，双任务网络架构可以有效应对在不同驾驶场景下无人车的决策问题。
步骤4：车辆下一行为预测
使用决策融合策略可以为具有不同特性的概率输出分类器分配不同的权重，从而为最终决策提供更大的灵活性。在测试和训练集之间存在较大差异时，使用决策级融合技术有利于无人车应对复杂的驾驶环境，提升模型的鲁棒性。在本发明中使用决策级融合的方式来合并上述两个子网络特征分类器输出的概率集合的结果，如图6所示。具体来讲，FCN-LSTM和VGG-LSTM分别生成不同的概率输出集合，将其作为决策级融合的输入，使用加性融合函数对两个子网络做出的决策进行融合，并采用预测概率值最大apre＝arg maxaF(s,a)的一个动作作为车辆下一行为的预测值输出，获得综合两个子网络优势的决策结果。决策融合策略增强了网络的泛化能力，提高了网络应对不同驾驶场景的灵活性，同时也提升了无人车在下一时刻道路行为的决策能力。本发明在两个子网络的分类器中加入了权重层，训练其自适应的权重，以提升网络预测准确率从下表记录的实验结果可以看到，相比于未加入权重层的网络，加入权重层的网络在准确率上有了提升。
模型配置 图像 时序 损失值 准确率
FCN-LSTM FCN LSTM 0.452 83.10％
FCN-权重决策 FCN LSTM 0.442 83.60％
FCN-权重决策+特征融合 FCN LSTM 0.448 83.60％
VGG-LSTM VGG LSTM 0.468 82.60％
改进后VGG-LSTM VGG LSTM 0.415 84.40％
改进后VGG-LSTM-决策权重 VGG LSTM 0.409 84.80％
改进后VGG-决策权重特征融合 VGG LSTM 0.408 84.80％
FCN+VGG+特征融合+决策融合 FCN+VGG LSTM 0.421 85.00％

Claims (6)

1.一种基于双层融合模型的无人驾驶行为预测方法，其特征在于：包括以下步骤：
步骤1、数据采集系统获取当前汽车的驾驶记录数据，所述驾驶记录数据包括当前汽车行驶的状态与汽车过去行驶的数据记录；
步骤2、数据预处理系统对数据采集系统获取的数据进行处理，以符合训练驾驶行为预测模型的输入要求；
步骤3、数据处理的结果输入驾驶行为预测模型，在改进后的VGG-LSTM和FCN-LSTM双任务网络架构上对图片进行训练；
步骤4、车辆下一行为预测，根据车辆过去时刻的运动状态和所述驾驶行为预测模型训练的结果输出汽车在下一时刻的运动状态。
2.根据权利要求1所述的基于双层融合模型的无人驾驶行为预测方法，其特征在于，所述改进后的VGG-LSTM网络使用3*3的感受野最小尺寸的卷积核，使用1*1的卷积层代替全连接层，用于融合跨通道的全局信息，所述FCN-LSTM网络是去除第二池化层和第五池化层的变形AlexNet模型。
3.根据权利要求1所述的基于双层融合模型的无人驾驶行为预测方法，其特征在于，所述FCN-LSTM网络的第三卷积层至第七全连接层使用空洞卷积。
4.根据权利要求1所述的基于双层融合模型的无人驾驶行为预测方法，其特征在于，所述改进后的VGG-LSTM网络中通过上采样的方式融合卷积网络不同深度的特征描述符，所述特征描述符是指网络卷积层的输出，对每一个特征融合层的输出结果使用金字塔池化的方式将其映射在相同维度的空间上；使用加性融合函数合并特征描述符组。
5.根据权利要求1所述的基于双层融合模型的无人驾驶行为预测方法，其特征在于，所述步骤4中根据车辆过去时刻的运动状态和所述驾驶行为预测模型训练的结果输出汽车在下一时刻的运动状态是将改进后的VGG-LSTM网络以及FCN-LSTM网络的概率输出集合作为决策级融合的输入，使用加性融合函数对两个子网络做出的决策进行融合，并采用预测概率值最大的一个动作作为汽车下一行为的预测值输出。
6.根据权利要求1所述的基于双层融合模型的无人驾驶行为预测方法，其特征在于，所述步骤2中对数据进行处理包括：首先，将所有视频数据截断，其次，将帧进行分辨率和时间下采样，接着，将经过下采样后的帧图片转化成json格式的文件，并将从json文件中读取的数据重新压缩成为所述步骤3中输入所需图片的大小。
CN201911225102.2A 2019-12-04 2019-12-04 一种基于双层融合模型的无人驾驶行为预测方法 Active CN111178584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911225102.2A CN111178584B (zh) 2019-12-04 2019-12-04 一种基于双层融合模型的无人驾驶行为预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911225102.2A CN111178584B (zh) 2019-12-04 2019-12-04 一种基于双层融合模型的无人驾驶行为预测方法

Publications (2)

Publication Number Publication Date
CN111178584A true CN111178584A (zh) 2020-05-19
CN111178584B CN111178584B (zh) 2021-12-07

Family

ID=70656153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911225102.2A Active CN111178584B (zh) 2019-12-04 2019-12-04 一种基于双层融合模型的无人驾驶行为预测方法

Country Status (1)

Country Link
CN (1) CN111178584B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487954A (zh) * 2020-11-26 2021-03-12 东南大学 一种面向平面交叉口的行人过街行为预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131348A (zh) * 2018-07-24 2019-01-04 大连理工大学 一种基于生成式对抗网络的智能车驾驶决策方法
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
CN109131348A (zh) * 2018-07-24 2019-01-04 大连理工大学 一种基于生成式对抗网络的智能车驾驶决策方法
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田萱等: "《基于深度学习的图像语义分割方法综述》", 《软件学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487954A (zh) * 2020-11-26 2021-03-12 东南大学 一种面向平面交叉口的行人过街行为预测方法
CN112487954B (zh) * 2020-11-26 2023-12-05 东南大学 一种面向平面交叉口的行人过街行为预测方法

Also Published As

Publication number Publication date
CN111178584B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN111126453B (zh) 基于注意力机制和切割填充的细粒度图像分类方法及系统
US20180157972A1 (en) Partially shared neural networks for multiple tasks
US11458987B2 (en) Driver-centric risk assessment: risk object identification via causal inference with intent-aware driving models
DE102019113856A1 (de) Systeme, verfahren und steuerungen für ein autonomes fahrzeug, die autonome fahreragenten und fahrrichtlinienlernende implementieren, um richtlinien basierend auf kollektiven fahrerfahrungen der autonomen fahreragenten zu erstellen und zu verbessern
KR20210031427A (ko) 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN113312954A (zh) 用于经由因果推理进行风险对象识别的系统及其方法
CN110281949B (zh) 一种自动驾驶统一分层决策方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
Patil et al. Speed bump segmentation an application of conditional generative adversarial network for self-driving vehicles
WO2024193334A1 (zh) 一种基于图时空金字塔的自动轨迹预测方法
CN111178584B (zh) 一种基于双层融合模型的无人驾驶行为预测方法
CN115520223A (zh) 网联环境下基于驾驶员交互行为特征的车辆轨迹预测方法
Gautam et al. Image-based automatic traffic lights detection system for autonomous cars: a review
Ma et al. Cemformer: Learning to predict driver intentions from in-cabin and external cameras via spatial-temporal transformers
US20230154198A1 (en) Computer-implemented method for multimodal egocentric future prediction
CN114743126A (zh) 一种基于图注意力机制网络的车道线标志分割方法
CN114332797A (zh) 一种带自评测机制的道路场景语义分割方法及系统
US10735660B2 (en) Method and device for object identification
CN111242044B (zh) 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN115171428A (zh) 一种基于视觉感知的车辆切入预警方法
Diaz-Zapata et al. Instance segmentation with unsupervised adaptation to different domains for autonomous vehicles
WO2020010517A1 (zh) 轨迹预测方法及装置
CN117218157B (zh) 一种基于空地协同的目标跟踪方法及系统
CN114639125B (zh) 基于视频图像的行人意图预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant