CN111597961B - 面向智能驾驶的移动目标轨迹预测方法、系统、装置 - Google Patents
面向智能驾驶的移动目标轨迹预测方法、系统、装置 Download PDFInfo
- Publication number
- CN111597961B CN111597961B CN202010400600.2A CN202010400600A CN111597961B CN 111597961 B CN111597961 B CN 111597961B CN 202010400600 A CN202010400600 A CN 202010400600A CN 111597961 B CN111597961 B CN 111597961B
- Authority
- CN
- China
- Prior art keywords
- feature
- predicted
- target
- module
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000007418 data mining Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100366336 Caenorhabditis elegans spe-39 gene Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 101150106549 VIPAS39 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数据挖掘、智能驾驶领域，具体涉及一种面向智能驾驶的移动目标轨迹预测方法、系统、装置，旨在解决现有的移动目标轨迹预测方法预测精度较低的问题。本系统方法包括：获取输入视频中的图像帧；获取各图像帧中所有移动目标对应的检测区域，并分别计算第一影响；提取各第一影响、各第一位置信息的特征分别构建第一特征序列、第二特征序列；通过注意力机制分别对第一特征序列、第二特征序列中的各特征进行时间维度上的加权求和；结合待预测目标在待预测时刻上一时刻的位置信息提取的特征，进行加权求和，并通过解码器得到待预测目标待预测时刻的预测位置；迭代获取设定时间段内的多个预测位置，构建预测轨迹。本发明提高了轨迹预测的精度。
Description
技术领域
本发明属于数据挖掘、智能驾驶领域，具体涉及一种面向智能驾驶的移动目标轨迹预测方法、系统、装置。
背景技术
移动目标轨迹预测是智能驾驶中的重要组成部分，对移动目标未来的轨迹进行预测，可以保证智能驾驶系统能够提前做出正确的决策，降低交通中发生意外的可能性，提高行驶过程的安全性和舒适性。
在智能驾驶系统中，基于循环神经网络的移动目标轨迹预测方法成为了主流。传统的轨迹预测方法只能处理一些简单的交互场景，而行人和自行车人与车辆相比，受到交通规则的约束和规范较弱，具有很强的主观性和随机性，在这种情况下，基于深度学习的移动目标轨迹预测方法是智能驾驶中一种有效的方法。目前已有的基于循环神经网络的移动目标轨迹预测方法过多的注重多个目标之间的空间关系，而忽略了目标在不同时间点上的历史轨迹信息对未来轨迹的影响，尤其是在周围移动目标少的情况下，空间关系对未来轨迹的影响大幅下降。因此有必要提出一种结合时间和空间信息的移动目标轨迹预测方法，对目标未来的运动轨迹做出预测，便于智能驾驶系统做出正确的决策，预防交通事故发生。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的基于循环神经网络的移动目标轨迹预测方法过多的注重目标之间的空间关系，而忽略了目标在不同时间点的历史信息对未来轨迹的影响，导致预测精度较低的问题，本发明第一方面，提出了一种面向智能驾驶的移动目标轨迹预测方法，该方法包括：
步骤S100，获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻；
步骤S200，获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；
步骤S300，通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息；
步骤S400，令t'＝tnow+1；t'表示待预测时刻；
步骤S500，通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征；
步骤S600，基于所述第三特征、所述第四特征，结合t'-1时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置；
步骤S700，令t'＝t'+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
在一些优选的实施方式中，步骤S200中“获取各图像帧中所有移动目标对应的检测区域”，其方法为：
提取各图像帧的多尺度特征，并分别通过RPN网络获取移动目标不同比例的候选检测区域；
基于各候选检测区域，通过检测网络得到各图像帧中所有移动目标的检测区域；所述检测网络基于卷积神经网络构建。
在一些优选的实施方式中，步骤S200中“通过预设的第一方法计算第一影响”，其方法为：
其中，
为第一影响，
为移动目标对待预测目标的影响程度，
为t时刻第j个移动目标的检测区域
经过编码器的嵌入层得到的向量，
为t时刻待预测目标的检测区域、
通过多层感知机映射的向量，Wr为编码器嵌入层的权重，φ(·)表示嵌入函数，j表示待预测目标周围移动目标的数量，<·,·>表示向量的内积操作，t表示时刻。
在一些优选的实施方式中，步骤S500中“通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征”，其方法为：
基于所述第一特征序列、所述第二特征序列中的各特征，结合所述解码器待预测时刻上一时刻LSTM的隐藏层状态，通过预设的第二方法计算各特征的注意力分数；
基于所述注意力分数，通过预设的第三方法获取各特征的权重；
基于所述权重，对所述第一特征序列、所述第二特征序列中的各特征进行加权求和，得到第三特征、第四特征。
在一些优选的实施方式中，“通过预设的第二方法计算各特征的注意力分数”，其方法为：
score(st′-1,hk)＝vTtanh(W1st′-1+W2hk),
其中，score(st′-1,hk)为各特征的注意力分数，hk为特征序列中的第k个特征，st′-1为待预测时刻上一时刻解码器LSTM的隐藏层状态，v、W1、W2为预设的权重，T表示转置。
在一些优选的实施方式中，“通过预设的第三方法获取各特征的权重”，其方法为：
其中，βt′k表示各特征的权重，
表示取注意力分数的最大值。
在一些优选的实施方式中，步骤S600中“通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置”，其方法为：
基于所述第五特征，通过解码器的LSTM得到隐藏层状态；
基于所述隐藏层状态，通过解码器全连接层获取所述待预测目标在待预测时刻的预测位置。
本发明的第二方面，提出了一种面向智能驾驶的移动目标轨迹预测系统，该系统包括图像帧获取模块、第一影响计算模块、特征序列构建模块、预定义模块、加权求和模块、位置预测模块、迭代模块；
所述图像帧获取模块，配置为获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻；
所述第一影响计算模块，配置为获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；
所述特征序列构建模块，配置为通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息；
所述预定义模块，配置为令t'＝tnow+1；t'表示待预测时刻；
所述加权求和模块，配置为通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征；
所述位置预测模块，配置为基于所述第三特征、所述第四特征，结合t'-1时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置；
所述迭代获取模块，配置为令t'＝t'+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的面向智能驾驶的移动目标轨迹预测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的面向智能驾驶的移动目标轨迹预测方法。
本发明的有益效果：
本发明通过结合待预测目标历史轨迹的时间和空间信息，提高了轨迹预测的精度。本发明利用Long-Short Term Memory(LSTM)作为基本框架，根据各图像帧获取移动目标的检测区域，捕获待预测目标和周围移动目标的交互关系，在空间维度上进行加权求和，构建第一特征序列。并基于待预测目标的位置信息捕获待预测目标的运动属性，构建第二特征序列。
通过注意力机制分别对第一特征序列、第二特征序列中不同时刻的特征赋予不同的权重，进行时间维度上加权求和，结合空间信息和时间信息，进行待预测目标的轨迹预测，提高了轨迹预测的精度。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的面向智能驾驶的移动目标轨迹预测方法的流程示意图；
图2是本发明一种实施例的面向智能驾驶的移动目标轨迹预测系统的框架示意图；
图3是本发明一种实施例的提取移动目标检测区域的流程示意图；
图4是本发明一种实施例的轨迹预测模型预测移动目标轨迹的详细流程示意图；
图5是本发明一种实施例的待预测目标预测轨迹与真实运动轨迹标签对比的效果示意图；
图6是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的面向智能驾驶的移动目标轨迹预测方法，如图1所示，包括以下步骤：
步骤S100，获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻；
步骤S200，获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；
步骤S300，通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息；
步骤S400，令t'＝tnow+1；t'表示待预测时刻；
步骤S500，通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征；
步骤S600，基于所述第三特征、所述第四特征，结合t'-1时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置；
步骤S700，令t'＝t'+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
为了更清晰地对本发明面向智能驾驶的移动目标轨迹预测方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
下文优选实施例中，先对编码器和解码器的训练方法进行详述，再对面向智能驾驶的移动目标轨迹预测方法获取待预测目标的预测轨迹进行详述。
1、训练方法
步骤B10，获取训练样本
本发明的训练样本集包括行人轨迹数据集ETH、UCY、ActEV/VIRAT以及自行车人轨迹数据集Apollo，根据提供的标签信息，提取目标行人的序号(ID)、帧数(frame)以及位置信息(x,y)。本发明中优先考虑连续6s出现的目标，前3s作为历史轨迹，后3s作为预测轨迹，在其他实施例中可以根据实际情况进行设定。
其中，ETH和UCY是公开数据集，其中ETH数据集包含750个行人，分为eth和hotel两个子数据集，UCY数据集包含786个行人，分为univ、zara1以及zara2三个子数据集。在ETH、UCY数据集上做训练测试时，本发明采用leave-one-out(留一法交叉验证)策略，即在4个子数据集上完成训练，在剩余的一个子数据集上测试。
ActEV/VIRAT是用于人类活动研究的基准数据集，包括400多段视频，在视频监控领域很有挑战性，视频图像真实、自然且分辨率高。在ActEV/VIRAT数据集上做训练测试时，本发明选用57个视频当作训练集，5个视频当作验证集，55个视频当作测试集。
Apollo数据集时长为103min，包括53min训练数据和50min的测试数据，我们提取出自行车人的轨迹数据来训练及测试。由于测试数据中无连续6s出现的目标，我们考虑在训练数据中选取一部分作为测试集。
步骤B20，获取输入视频中的图像帧，通过目标检测模型获取图像帧中所有移动目标的检测区域
目标检测模型基于3部分构成，特征提取网络、候选区域网络、检测网络。其中，特征提取网络由多个卷积层堆叠构成，为了提取更有效的图像特征和减少训练时间，采用ImageNet与训练网络VGG16作为初始网络提取特征。特征提取网络包含13个卷积层和5个池化层，为说明特征提取网络的结构，分别用Convi，Poolj表示第i个卷积层和j个池化层，i＝1,2,...,19，j＝1,2,...,5。那么模型中CNN部分的结构可以简单的用卷积层和池化层堆叠表示：Conv1->Conv2->Pool1->Conv3->Conv4->Pool2->Conv5->Conv6->Conv7->Pool3->Conv8->Conv9->Conv10->Pool4->Conv11->Conv12->Conv13->Pool5。
图像帧经过每一个卷积层和池化层之后都会得到二维图像特征图，这些图像特征图包含目标类别的特征信息。本发明从这5个特征图中用RPN(候选区域网络)提取不同比例的候选检测区域，以适应不同长宽比的物体。因为存在池化层，池化操作使特征图变小，不同层的特征图中的每个像素点对于与原图的区域不同，即感受野不同，经过池化层越多，感受野越大。在不同的特征图中提取候选检测区域可以检测到不同大小的物体。最后，通过一个卷积检测网络(即基于卷积神经网络构建的检测网络)输出移动目标的检测区域，如图3所示。
步骤B30，对编码器、解码器进行训练。
在本发明中，编码器和解码器构成了轨迹预测模型，如图4所示，编码器包括自我模块和交互模块，解码器包括注意力模块和预测模块(LSTM和fc)，fc为全连接层。在训练过程中用的符号如表1所示：
表1
其中，表1中的图像帧数根据采样频率确定，若0.5s采一帧，3s就是有6帧。
自我模块的输入是待预测目标在历史轨迹中的位置信息，旨在捕获待预测目标的运动属性如速度、加速度等。例如，对于移动目标pi，可通过一个嵌入层和LSTM层得到隐藏层状态ht，如公式(1)(2)所示：
ht＝LSTM(ht-1,et；Wen) (2)
其中，φ(·)表示嵌入函数，We表示编码器嵌入层的权重，Wen表示LSTM层的权重。基于隐含层状态，得到一个尺寸为Tobs×d的特征向量
交互模块的输入为步骤B20得到的移动目标的检测区域，旨在捕获预测目标和周围移动目标的交互关系，在空间维度上进行加权和。假设pi是待预测的目标，pj是周围的移动目标，给定待预测目标pi在t时刻的检测区域
通过一个多层感知机把
映射成向量
pj同理，通过计算可得到周围所有移动目标对待预测目标的影响程度
如公式(3)所示：
其中，<·,·>表示内积操作，内积后经过softmax函数标准化后得到t时刻pj对pi的影响权重。另外，
会经过一个嵌入层得到向量
那么在t时刻周围移动目标对待预测目标的总影响
可通过加权和得到，如公式(4)(5)所示：
其中，Wr是交互模块中嵌入层的权重。根据
得到尺寸为Tobs×d的特征向量
自我模块和交互模块的输出尺寸都是Tobs×d，考虑到不同历史时刻的状态对未来运动轨迹的影响程度是不一样的，注意力模块可以对不同时刻的状态赋予不同的权重，在时间维度上进行加权和。以自我模块的输出
为例，设t'为预测的任一时刻，给定编码器状态hk和解码器状态st'-1，则计算得到hk的注意力分数，如公式(6)所示：
score(st′-1,hk)＝vTtanh(W1st′-1+W2hk) (6)
其中，hk表示
中的第k个特征，st'-1表示t′-1时刻(若为第一次预测，t′-1等同于tnow，即当前时刻)解码器LSTM的隐藏层状态，W1、W2和v是预设的权重，为可学习的参数，则hk的影响权重βt'k的获取，如公式(7)(8)所示：
其中，βt'k反映了编码器状态hk对于预测t'时刻轨迹的重要程度。接着得到解码器特征向量
如公式(9)所示：
预测模块旨在获取待预测目标在待预测时刻的位置。通过注意力机制，自我模块和交互模块分别产生一个d维的解码器特征向量
及
此外，t'-1时刻的位置坐标经过嵌入层会产生另一个特征向量
然后这三个特征向量再经过一个注意力模块，计算得到这三个特征的影响权重γ1，γ2，γ3，分别代表自我特征、交互特征、待预测时刻上一时刻轨迹特征对于预测时刻轨迹的影响程度，影响权重与对应的特征向量相乘后得到向量qt′，如果其中的某个特征对预测结果影响较大，那么其特征向量就会在qt′中占有较大的比重。接着qt′传入解码器LSTM，得到解码器的隐藏层状态st'，如公式(10)(11)所示：
st'＝LSTM(st'-1,qt'；Wde) (11)
则在st'后接一个全连接层便可得到移动目标pi在t'时刻所预测的位置
基于待预测目标的位置预测信息，结合编码器提取的历史轨迹的特征信息，轨迹预测模型的解码器循环获取待预测目标未来一段时间内的位置信息(即编码器的提取的特征部分不变，不断结合预测的位置信息，解码器不断进行待预测目标的位置预测)，构成预测轨迹，如图5所示，其中深色实线为历史轨迹，浅色实线为真实标签(待预测目标的真实运动轨迹)，虚线是本实例提出模型的预测结果。从图中可以看出，本发明提出的方法可以有效的捕获移动目标的方向和速度，从而更好的预测移动目标的运动轨迹。
另外，轨迹预测模型的损失函数如公式(12)所示：
其中，Lt为模型输出的预测结果，
为真实的轨迹标签。通过最小化Loss，利用随机梯度下降法训练轨迹预测模型，使模型能够预测移动目标未来的运动轨迹。
2、面向智能驾驶的移动目标轨迹预测方法
步骤S100，获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻。
在本实施例中，先从输入视频中获取设定时长内的图像帧。
步骤S200，获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和。
在本实施例中，通过目标检测模型，得到各图像帧中所有移动目标的检测框，即检测区域。并通过预设的第一方法计算第一影响；第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；第一方法为上述计算
的方法，此处不再详述。其中，本实施例中的移动目标为行人和自行车人，在其他实施例中，可以根据实际情况进行选取。
步骤S300，通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息。
本发明中，基于编码器和解码器构建了轨迹预测模型，分别通过训练后的轨迹预测模型的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列。
步骤S400，令t'＝tnow+1；t'表示待预测时刻。
步骤S500，通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征。
在本实施例中，基于第一特征序列、第二特征序列中的各特征，结合解码器待预测时刻上一时刻LSTM的隐藏层状态，通过预设的第二方法计算各特征的注意力分数；预设的第二方法即上文中的公式(6)。
基于注意力分数，通过预设的第三方法获取各特征的权重；第三方法即上文中的公式(7)和(8)。
基于权重，对第一特征序列、第二特征序列中的各特征进行加权求和，得到第三特征、第四特征。
本步骤结合待预测目标历史轨迹的时间和空间信息，进一步提高预测精度。
步骤S600，基于所述第三特征、所述第四特征，结合tnow时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标tnow+1时刻的预测位置。
在本实施例中，基于第三特征、第四特征，结合待预测时刻上一时刻待预测目标的位置信息提取的特征，进行加权求和，得到第五特征；
基于第五特征，通过解码器的LSTM层和全连接层，得到所述预测目标下一时刻的预测位置
步骤S700，令tnow＝tnow+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
本发明主要是根据待预测目标的历史轨迹，预测未来一段时间内的移动轨迹，因此，编码器部分的输入不变，在解码的时候，根据编码器提取待预测目标在时间和空间位置上的特征，并结合预测的位置信息，预测下下时刻的位置信息，然后一直迭代，获取设定时间段内的多个位置信息，构建待预测目标的预测轨迹。
本发明第二实施例的一种面向智能驾驶的移动目标轨迹预测系统，如图2所示，包括：图像帧获取模块100、第一影响计算模块200、特征序列构建模块300、预定义模块400、加权求和模块500、位置预测模块600、迭代模块700；
所述图像帧获取模块100，配置为获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻；
所述第一影响计算模块200，配置为获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；
所述特征序列构建模块300，配置为通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息；
所述预定义模块400，配置为令t'＝tnow+1；t'表示待预测时刻；
所述加权求和模块500，配置为通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征；
所述位置预测模块600，配置为基于所述第三特征、所述第四特征，结合t'-1时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置；
所述迭代获取模块700，配置为令t'＝t'+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的面向智能驾驶的移动目标轨迹预测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的面向智能驾驶的移动目标轨迹预测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的面向智能驾驶的移动目标轨迹预测方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种面向智能驾驶的移动目标轨迹预测方法，其特征在于，该方法包括：
步骤S100，获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻；
步骤S200，获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；
步骤S300，通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息；
步骤S400，令t'＝tnow+1；t'表示待预测时刻；
步骤S500，通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征；
步骤S600，基于所述第三特征、所述第四特征，结合t'-1时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置；
步骤S700，令t'＝t'+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
2.根据权利要求1所述的面向智能驾驶的移动目标轨迹预测方法，其特征在于，步骤S200中“获取各图像帧中所有移动目标对应的检测区域”，其方法为：
提取各图像帧的多尺度特征，并分别通过RPN网络获取移动目标不同比例的候选检测区域；
基于各候选检测区域，通过检测网络得到各图像帧中所有移动目标的检测区域；所述检测网络基于卷积神经网络构建。
3.根据权利要求2所述的面向智能驾驶的移动目标轨迹预测方法，其特征在于，步骤S200中“通过预设的第一方法计算第一影响”，其方法为：
其中，
为第一影响，
为移动目标对待预测目标的影响程度，rt j为t时刻第j个移动目标的检测区域
经过编码器的嵌入层得到的向量，
为t时刻待预测目标的检测区域、
通过多层感知机映射的向量，Wr为编码器嵌入层的权重，φ(·)表示嵌入函数，j表示待预测目标周围移动目标的数量，<·,·>表示向量的内积操作，t表示时刻。
4.根据权利要求3所述的面向智能驾驶的移动目标轨迹预测方法，其特征在于，步骤S500中“通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征”，其方法为：
基于所述第一特征序列、所述第二特征序列中的各特征，结合所述解码器待预测时刻上一时刻LSTM的隐藏层状态，通过预设的第二方法计算各特征的注意力分数；
基于所述注意力分数，通过预设的第三方法获取各特征的权重；
基于所述权重，对所述第一特征序列、所述第二特征序列中的各特征进行加权求和，得到第三特征、第四特征。
5.根据权利要求4所述的面向智能驾驶的移动目标轨迹预测方法，其特征在于，“通过预设的第二方法计算各特征的注意力分数”，其方法为：
score(st′-1,hk)＝vTtanh(W1st′-1+W2hk),
其中，score(st′-1,hk)为各特征的注意力分数，hk为特征序列中的第k个特征，st′-1为待预测时刻上一时刻解码器LSTM的隐藏层状态，v、W1、W2为预设的权重，T表示转置。
6.根据权利要求5所述的面向智能驾驶的移动目标轨迹预测方法，其特征在于，“通过预设的第三方法获取各特征的权重”，其方法为：
其中，βt′k表示各特征的权重，
表示取注意力分数的最大值。
7.根据权利要求6所述的面向智能驾驶的移动目标轨迹预测方法，其特征在于，步骤S600中“通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置”，其方法为：
基于所述第五特征，通过解码器的LSTM得到隐藏层状态；
基于所述隐藏层状态，通过解码器全连接层获取所述待预测目标在待预测时刻的预测位置。
8.一种面向智能驾驶的移动目标轨迹预测系统，其特征在于，该系统包括：图像帧获取模块、第一影响计算模块、特征序列构建模块、预定义模块、加权求和模块、位置预测模块、迭代模块；
所述图像帧获取模块，配置为获取输入视频中tnow-N至tnow时刻的图像帧；其中，N为正整数，tnow表示当前时刻；
所述第一影响计算模块，配置为获取各图像帧中所有移动目标对应的检测区域，并分别通过预设的第一方法计算第一影响；所述第一影响为各图像帧中所有移动目标对待预测目标影响程度的加权和；
所述特征序列构建模块，配置为通过预训练的编码器的LSTM层提取各第一影响的特征向量构建第一特征序列，并提取各第一位置信息的特征向量构建第二特征序列；所述第一位置信息为待预测目标的位置信息；
所述预定义模块，配置为令t'＝tnow+1；t'表示待预测时刻；
所述加权求和模块，配置为通过注意力机制分别对所述第一特征序列、所述第二特征序列中的各特征进行时间维度上的加权求和，得到第三特征、第四特征；
所述位置预测模块，配置为基于所述第三特征、所述第四特征，结合t'-1时刻所述待预测目标的位置信息提取的特征，进行加权求和，得到第五特征，并通过预训练的解码器的LSTM层和全连接层，得到所述待预测目标t'时刻的预测位置；
所述迭代获取模块，配置为令t'＝t'+1，跳转步骤S500，迭代获取所述待预测目标设定时间段内的多个预测位置，构建预测轨迹。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的面向智能驾驶的移动目标轨迹预测方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的面向智能驾驶的移动目标轨迹预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010400600.2A CN111597961B (zh) | 2020-05-13 | 2020-05-13 | 面向智能驾驶的移动目标轨迹预测方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010400600.2A CN111597961B (zh) | 2020-05-13 | 2020-05-13 | 面向智能驾驶的移动目标轨迹预测方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111597961A CN111597961A (zh) | 2020-08-28 |
| CN111597961B true CN111597961B (zh) | 2023-04-25 |
Family
ID=72188761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010400600.2A Active CN111597961B (zh) | 2020-05-13 | 2020-05-13 | 面向智能驾驶的移动目标轨迹预测方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597961B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112086196B (zh) * | 2020-09-16 | 2023-11-28 | 中国科学院自动化研究所 | 多选择性注意力评估与训练的方法及系统 |
| CN112118143B (zh) * | 2020-11-18 | 2021-02-19 | 迈普通信技术股份有限公司 | 流量预测模型训练方法、流量预测方法、装置、设备及介质 |
| CN112697146B (zh) * | 2020-11-19 | 2022-11-22 | 北京电子工程总体研究所 | 一种基于稳健回归的航迹预测方法 |
| CN112634328B (zh) * | 2020-12-24 | 2022-11-08 | 电子科技大学长三角研究院(衢州) | 基于自定中心星状图和注意力机制预测行人轨迹的方法 |
| CN112949597B (zh) * | 2021-04-06 | 2022-11-04 | 吉林大学 | 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法 |
| CN116774590B (zh) * | 2023-08-17 | 2023-11-07 | 山东金彭新能源科技有限公司 | 一种影响干扰用自适应调控方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
| CN111091708A (zh) * | 2019-12-13 | 2020-05-01 | 中国科学院深圳先进技术研究院 | 车辆轨迹预测方法及装置 |
-
2020
- 2020-05-13 CN CN202010400600.2A patent/CN111597961B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
| CN111091708A (zh) * | 2019-12-13 | 2020-05-01 | 中国科学院深圳先进技术研究院 | 车辆轨迹预测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Thangarajah Akilan 等."A 3D CNN-LSTM-Based Image-to-Image Foreground Segmentation".《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》.2019,全文. * |
| 张显炀 等."基于高斯混合-变分自编码器的轨迹预测算法 ".《计算机工程 》.2017,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111597961A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111597961B (zh) | 面向智能驾驶的移动目标轨迹预测方法、系统、装置 | |
| JP7335274B2 (ja) | ジオロケーションの予測のためのシステムおよび方法 | |
| CN110458107B (zh) | 用于图像识别的方法和装置 | |
| US20180114071A1 (en) | Method for analysing media content | |
| CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
| US20190251396A1 (en) | Method for processing input on basis of neural network learning and apparatus therefor | |
| CN111210446B (zh) | 一种视频目标分割方法、装置和设备 | |
| CN111782840B (zh) | 图像问答方法、装置、计算机设备和介质 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN113011562A (zh) | 一种模型训练方法及装置 | |
| CN113781519A (zh) | 目标跟踪方法和目标跟踪装置 | |
| CN116597336A (zh) | 视频处理方法、电子设备、存储介质及计算机程序产品 | |
| CN115376103A (zh) | 一种基于时空图注意力网络的行人轨迹预测方法 | |
| CN111783716A (zh) | 基于姿态信息的行人检测方法、系统、装置 | |
| CN114943937A (zh) | 行人重识别方法、装置、存储介质及电子设备 | |
| Sviatov et al. | Scenes segmentation in self-driving car navigation system using neural network models with attention | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| CN116861262A (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN115205855B (zh) | 融合多尺度语义信息的车辆目标识别方法、装置及设备 | |
| Kothandaraman et al. | Differentiable frequency-based disentanglement for aerial video action recognition | |
| Kang et al. | ETLi: Efficiently annotated traffic LiDAR dataset using incremental and suggestive annotation | |
| CN114387465A (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
| CN116030507A (zh) | 一种电子设备、识别图像中人脸是否佩戴口罩的方法 | |
| CN113327265A (zh) | 一种基于指导学习策略的光流估计方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |