CN110333517A - 障碍物感知方法、装置及存储介质 - Google Patents

Abstract

本申请提供了一种障碍物感知方法、装置及存储介质，在利用自动驾驶过程中的时间维度信息，通过历史时刻的障碍物特征信息，来修正当前时刻的障碍物输出信息，对同一时刻采集到的多路感知数据进行融合，无需增加跟踪环节，利用递归网络只需要对多路感知数据进行单次运算，相对于现有技术对每一路感知数据都进行一次网络运算相比，极大节约了计算开销，克服了单帧检测跟踪融合方法的冗余运算问题，提高了检测效率，保证了多感知数据输入时的感知实时性能，即保证了下一时刻障碍物信息获取的及时性及可靠性。

Description

障碍物感知方法、装置及存储介质

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种障碍物感知方法、装置及系统。

背景技术

随着深度学习、机器学习以及大数据云计算等技术的崛起，作为人工智能发展的一个重要方向，自动驾驶也成为计算机行业发展和研究的重要领域，也是未来车辆行业的重点发展方向。

实际应用中，车辆要想实现自动驾驶，感知、决策和控制三大系统缺一不可，其中，感知系统作为自动驾驶车辆的“耳目”，是保证自动驾驶车辆行驶安全的关键。现有的感知系统通常是利用如摄像机、激光雷达等感知设备，采集车辆周围的环境信息，以检测车辆周围的障碍物，确定当前时刻各障碍物的位置、速度、运动朝向等信息，并给出紧密贴合障碍物的矩形图，如图1a和图1b所示。

可见，现有的这种障碍物感知方法是对物理时间序列上的每个时间节点的各传感输入进行处理，得到相应时刻的障碍物信息。由于真实场景中行驶的车辆周围往往会有行人，若当前时刻发生行人漏检或检测不准确等问题，现有的这种检测方法将无法进行修正，将会影响所得障碍物信息的准确性，进而降低了自动驾驶的可靠性。

发明内容

有鉴于此，本申请实施例提供了一种障碍物感知方法、装置及存储介质，考虑真实场景中时间维度的上下文信息，将同一时刻采集到的各路感知数据进行融合，并利用递归网络进行处理，得到当前时刻的上下文信息，由此准确且及时地预测下一时刻的障碍物信息，保证自动驾驶车辆安全可靠行驶。

为实现上述目的，本申请实施例提供如下技术方案：

本申请提供了一种障碍物感知方法，所述方法包括：

获取监测对象的多个感知设备采集到的感知数据；

对获取的多个感知数据进行特征提取，得到相应的特征信息；

将得到的多个特征信息映射至嵌入隐层空间，得到嵌入向量；

将所述嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息；

利用所述当前时刻的上下文信息，得到所述监测对象下一时刻的障碍物信息。

可选的，所述将所述嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息，包括：

将所述嵌入向量输入递归网络的相应递归单元，其中，不同时刻得到的嵌入向量输入递归网络中自链接的不同递归单元；

利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行融合处理，得到当前时刻的上下文信息。

可选的，所述利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行融合处理，得到当前时刻的上下文信息，包括：

利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行处理，得到所述相应递归单元的输出向量；

获取当前时刻及当前时刻之前的各时刻对应的递归单元的输出向量；

基于注意力机制，对获取的多个输出向量进行编码，得到编码向量；

基于注意力机制，对得到的编码向量进行解码，得到当前时刻的上下文信息。

本申请还提供了一种障碍物感知装置，所述方法包括：

感知数据获取模块，用于获取监测对象的多个感知设备采集到的感知数据；

特征提取模块，用于对获取的多个感知数据进行特征提取，得到相应的特征信息；

映射模块，用于将得到的多个特征信息映射至嵌入隐层空间，得到嵌入向量；

递归学习模块，用于将所述嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息；

障碍物信息预测模块，用于对所述当前时刻的上下文信息，得到所述监测对象下一时刻的障碍物信息。

本申请还提供了一种存储介质，其上存储有程序，所述程序被处理器调用并执行，实现上述的障碍物感知方法。

由此可见，本申请提供了一种障碍物感知方法、装置及系统，在利用自动驾驶过程中的时间维度信息，通过历史时刻的障碍物特征信息，来修正当前时刻的障碍物输出信息，对多路感知数据进行融合，无需增加跟踪缓解，且对多路感知数据进行单次网络运算，极大节约了计算开销，克服了单帧检测跟踪融合方法的冗余运算问题，提高了检测效率，保证了多感知数据输入时的感知实时性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1a和图1b分别示出了不同自动驾驶车辆场景示意图；

图2示出了实现本申请提供的障碍物感知方法的一种系统架构示意图；

图3示出了实现本申请提供的障碍物感知方法的一种可选示例的结构示意图；

图4示出了本申请提供的障碍物感知方法的一种可选示例的流程图；

图5示出了实现本申请提供的障碍物感知方法中，使用的一种递归单元的网络结构示意图；

图6示出了本申请提供的障碍物感知方法的另一种可选示例的流程图；

图7示出了实现本申请提供的障碍物感知方法的另一种可选示例的结构示意图；

图8示出了本申请提供的障碍物感知方法中，使用的一种注意力编码方式的可选示意图；

图9示出了本申请提供的障碍物感知装置的一种可选示例的结构示意图；

图10示出了实现本申请提供的障碍物感知方法的一种控制设备的硬件结构示意图。

具体实施方式

结合背景技术部分的分析，目前通常是基于深度学习算法来实现物体检测，而深度学习的感知方法从本质上来说，就是采用深度神经网络对所关注的传感输入进行特征提取，再对所关注的传感输出进行建模的过程。现有的自动驾驶车辆的感知系统是针对单时间节点的感知，因此，其输入深度神经网络的传感输入是单帧传感输入，输出也就是单帧的传感输出，这样，在获得当前时刻各感知设备的单帧传感输出后，需要对各单帧传感输出进行融合处理，才能够得到当前时刻最终的障碍物信息，如障碍物的位置、运动速度、运动朝向等。

本申请的发明人注意到，在真实自动驾驶车辆感知环境中，传感输入是具有天然的时间维度的上下文信息的，这种时间上下文信息往往对于自动驾驶车辆周围的障碍物有着强约束性质，例如，在获取当前时刻的行人相对自动驾驶车辆的位置信息过程中，考虑到行人本身的运动速度，在下一时刻不会发生剧变，而应处于相对前一时刻变化较小的位置，且时间片切的越细，该变化量越小。若对行人进行单帧检测，一旦出现当前时刻行人漏检或检测不准确，深度神经网络将无法利用该行人前一时刻的信息，也就影响了输出结果的准确性，即降低了物体检测准确性。

可见，现有的这种单帧检测方式并未利用上文描述的时间上下文信息，丢失了自动驾驶车辆真实场景中的重要参考信息，导致检测结果不准确。针对这一时间上下文缺失的问题，提出通过跟踪的方法进行弥补。即在获得一定帧数(一定时间)的检测结果后，利用得到的信息对下一时刻的检测结果进行修正，从而尽可能的补全漏检物体和修复检测偏差，以提高最终检测结果的准确性及可靠性。

然而，这种先检测后跟踪的方式，对检测和跟踪这两个环节中的每一个步骤都有着强依赖性，即检测的性能好坏直接影响着跟踪的效果，而跟踪的性能好坏直接影响最终的障碍物信息输出结果。而且，自动驾驶车辆的感知设备较多，现有的这种先检测后跟踪的融合方案，需要对每一种传感输入进行一次单帧时刻的检测和跟踪运算，极大限制了多传感输入时的感知实时性能。

为了进一步改善上述问题，本申请的发明人提出一种结合深度卷积神经网络和深度递归神经网络实现的障碍物感知方法，具体将时序信息引入到模型中，利用时间上下文信息，对自动驾驶车辆的多个感知设备的传感输入进行融合建模，通过嵌入层的表征，将各路传感输入映射到相同的高维隐层空间中，从而实现对多路传感输入进行单次运算，极大节约了计算开销，且由于有效地利用到时间维度的上下文信息，来约束车辆周围的障碍物的输出信息，无须再增加跟踪环节，也就解决了因增加跟踪环节带来的问题，且本申请提出的这种物体检测方案不再受限于自动驾驶车辆的感知设备的部署方法，能够应用到任何传感配置中。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图2，为实现本申请提供的障碍物感知方法的系统架构示意图，该系统可以包括多个感知设备100及与多个感知设备100通信连接的控制设备200，其中：

多个感知设备100可以包括多种类型的感知设备，如摄像机、激光雷达、毫米波雷达等等，本申请对感知设备的类型及数量不作限定。且针对不同应用场景，各感知设备100的安装位置可以不同，本申请在此不作一一详述，以自动驾驶车辆为例，各感知设备可以安装在该自动驾驶车辆的车体外侧周围，以实现对自动驾驶车辆周围环境的检测。

需要说明，针对应用场景中的多个感知设备100的各种配置，均可以适用于本申请提出的障碍物感知方法，满足各应用场景下的检测需求。

控制设备200可以是实现自动驾驶的决策及控制的设备，可以是自动驾驶车辆中安装的车载工控机，由该车载工控机实现对各路感知数据的处理，并承担自动驾驶车辆的决策与控制，具体实现方法不做详述，且本申请对该车载工控机的硬件结构不做限定应该理解，本申请可以根据具体应用场景的需求，选择所需的控制设备200的类型及结构，可以包括但并不局限于上文列举的实现方法，且在其他应用场景中，控制设备200可以指安装多个感知设备的监测对象中的控制器，该对象并不局限于自动驾驶车辆的车载工控机。

另外，对于实现障碍物感知方法的系统组成，并不局限于上文列举的感知设备和控制设备，根据实际应用场景的需求，还可以包括报警设备、显示设备等等，本申请不再一一详述。

下面将结合图2所示的系统架构，对本申请的障碍物感知方法进行解释，结合图3示出的实现障碍物感知方法的一种可选示例的结构示意图，以及图4示出的障碍物感知方法的一种可选示例的流程示意图，该方法可以应用于控制设备，如上述系统中的控制设备200，本申请对该控制设备200的产品类型及组成结构不做限定，如图4所示，该方法可以包括但并不局限于以下步骤：

步骤S11，获取监测对象的多个感知设备采集到的感知数据；

本实施例中，多个感知设备可以包括不同类型的感知设备，且同一类型的感知设备的数量可以是一个或多个，不同类型的感知设备的数量可以相同，也可以不同，本申请对监测对象(如自动驾驶车辆等)上安装的多个感知设备的配置不作限定。

需要说明的是，为了保证检测结果的准确性，这多个感知设备在硬件层面上可以先进行时间同步，即在某时刻t，各感知设备所采集到的感知数据在物理意义上是保持时间一致性的，也就是说，这多个感知设备每次进行数据采集，可以在同一时刻完成，具体实现方法不做限定。

其中，各感知设备采集到的感知数据可以是各模态的数据，以监测对象是自动驾驶车辆(即具有自主驾驶能力的车辆)为例，模态可以指：对车辆周围环境信息的观察和收集的某种方法或视角。因此，对于不同感知设备，进行数据采集时所使用的方法或视角可以不同，以保证采集到的车辆周围环境信息的完整及可靠。

为了方便方案的描述，本实施例可以将M＝{m₁，m₂，…，m_N}表示车辆中各感知设备所采集到的感知数据的集合，N表示感知设备的数量，m_i表示第i个感知设备所采集到的感知数据(即该感知设备采集到的原始数据)。需要说明的是，感知设备i和感知设备j不一定属于同一类感知设备，且感知设备i和感知设备j所采集到的感知数据的维度可以不同。

且，若令t表示时间信息，t∈[0，T]，0可以表示起始时刻，T可以表示截止时刻，本申请对T的具体数值不作限定。仍以自动驾驶车辆场景为例，t∈[0，T]可以表示一次完整的自动驾驶过程，0为车辆启动时刻，T为车辆到达目的地后的停止时刻，因此，在对于应用场景下，该t∈[0，T]所表示的物理意义可能会有所不同，但本质含义及其使用方法是类似的，本申请在此可以令m_i ^t表示第i个感知设备在第t时刻的模态数据，即感知数据。

基于此，参照图3，安装在监测对象(如自动驾驶车辆等)中的多个感知设备(如图3中的感知设备1～感知设备N)，在t时刻完成一次数据采集，将得到相应的感知数据m₁～感知数据m_N，此时可以这多个感知数据也即为多模态信息，如图3表示的t时刻的模态数据m₁ ^t～模态数据m_N ^t。

步骤S12，将获取的多个感知数据分别映射到高维表征空间中，得到对应的表征特征；

本实施例中，由于不同类型的感知设备所采集到的传输数据表示方式可能不同，如图像、数值等，对此，为了方便后续对这多个感知设备所采集到的感知数据进行融合建模，本申请可以将所获取的各感知数据作进一步的表征，如映射到高维表征空间中，具体映射方法不作限定。

其中，对于不同模态的感知数据，可以采用相同或不同的表征模型(对感知数据进一步表征即所采用的表征方法)，将其映射到高维表征空间中，在此，可以将表征模型记为R_i，即第i种模态的表征模型，也就是对第i个感知设备所采集到的感知数据m_i做进一步表征所使用的表征模型，将感知数据m_i映射到高维表征空间，得到的表征特征可以记为x_i，即x_i＝R_i(m_i)。基于此，参照图3，本申请可以将第i个感知设备在第t时刻采集到的模态数据m_i ^t，映射到高维表征空间，得到的对应的表征特征可以记为x_i ^t。

由上述分析可知，步骤S21实际上是对获取的多个感知数据分别进行特征提取，以得到相应的特征信息，本实施例步骤S21可以是实现该特征提取的一种实现方式，但并不局限于本实施例描述的这种实现方法。

且，对于实现步骤S21描述的特征提取方法所使用的表征模型，可以是但并不局限于利用神经网络实现的表征方法，如多层感知机、深度神经网络等，具体实现过程本实施例不做详述。

应该理解，由于本申请对多个感知设备的硬件底层进行了时间同步，因此，在数据采集过程中，这多个感知设备是在同一时刻对相应感知数据进行采集，得到同一时刻的多个感知数据，经过上述处理后，所得的多个表征特征也是同一时刻的特征信息。

步骤S13，将同一时刻的多个表征特征进行关联后映射至嵌入隐层空间，得到相应时刻的嵌入向量；

结合上文对本申请发明构思的描述，本实施例在得到各感知设备所采集到的模态信息(即感知数据)的特征表征后，可以对各模态的时间序列数据(即在时间维度上连续存在的数据)进行建模。因此，本申请获取不同时刻的多模态信息后，可以先对同一时刻的多模态信息进行联合表征，得到相应时刻的嵌入向量，再对不同时刻的嵌入向量进行分析，得到时间维度的上下文信息的检测结果。

具体的，针对每一个时刻获取的多个感知数据的表征特征，可以先进行关联处理，再映射到高维度的嵌入隐层空间(即深度学习网络中的隐层空间)，得到该时刻对应的一个嵌入向量，对同一时刻获取的各个模态的表征特征的关联方法不做限定。

可选的，可以采用强关联操作方式实现各模态的表征特征的关联，如对各表征特征进行拼接操作，或对各表征特征的各组成元素比较取最大等等；根据不同感知任务需求进行选择操作，即采用弱关联操作方式，实现各模态的表征特征的关联，具体如直接保留各个模态(即同一时刻各感知设备采集到的感知数据)的特征信息等等，本申请对步骤S13的具体实现方法不做限定。

下面以感知设备包括摄像机和激光雷达为例进行说明，摄像机能够采集监测对象(如自动驾驶车辆)周围环境的图像信息；激光雷达是以发射激光束探测监测对象周围的障碍物的位置、速度等特征量的雷达系统，因此，该激光雷达所采集到的可以是障碍物反射回来的光信号，对于图像信息和光信号这两种模态信息，在用来综合确定障碍物信息时，可以按照上述方式对这两种模态信息进行表征，得到相应的表征特征后，可以采用词嵌入方式，对这两种模态信息的表征特征进行关联，具体可以采用特征链接、多层传感机操作方式实现，以获取图像和激光雷达这两种模态在高维度空间的表征。

应该理解，对于其他模态信息的处理过程与上述举例类似，本申请不再一一详述。

步骤S14，将该嵌入向量输入递归网络进行处理，得到相应时刻的上下文信息；

本实施例按照上述方式得到各模态在t时刻的嵌入表征后，即得到t时刻的嵌入向量，该嵌入向量包含的元素可以是各模态的表征特征，之后，可以利用递归网络引入自链接的方式，对嵌入向量中的各元素建立时间上的关联，具体实现方法不做限定。

可选的，本申请使用的递归网络可以包括但并不局限于深度递归神经网络，且该深度递归神经网络的网络节点可以包括GRU(Gated Recurrent Unit，一种LSTM变体)单元或LSTM(Long Short-Term Memory，长短期记忆网络)单元，或者其他能够有效建立时序关系的网络单元，本申请仅以LSTM网络单元为例进行说明，如图5所示的一种典型LSTM单元网络结构，可以将t时刻得到的嵌入向量输入该LSTM单元，得到输出向量h_t，用以实现t+1时刻的递归运算，c_t可以表示t时刻的上下文信息。

可见，图4中的h_t-1可以表示t-1时刻的嵌入向量输入递归网络的递归单元得到的输出向量，h_t表示t时刻的嵌入向量输入递归网络的递归单元得到的输出向量，如图4所示的网络结构，将t时刻的嵌入向量输入相应的递归单元进行运算时，除了需要t时刻的嵌入向量X_t，往往还需要上一时刻递归单元运算得到的输出向量h_t-1，本申请对每个递归单元的运算过程不做详述。

其中，由于递归网络中的各递归单元是自链接的，因此，上一时刻递归单元也就是与t时刻的嵌入向量输入的递归单元链接的上一递归单元，通常情况下，各递归单元的权值可以相同，本申请可以通过预先训练确定递归单元的目标权值，以提高递归网络对输入的嵌入向量的运算准确性，本申请对递归网络中各递归单元的权值的训练方法不做限定，如有监督训练方式等。

此外，需要说明，本实施例上文仅是以LSTM单元这种递归单元为例进行运算说明，但并不局限于这种类型的递归单元，可以依据选用递归网络确定，本申请不再一一详述。

步骤S15，利用该上下文信息，得到监测对象下一时刻的障碍物信息。

结合上文分析，本申请通过如LSTM单元、GRU单元等递归单元，建立了每个时间节点的多个感知数据的联合表征的关联，得到时间维度的上下文信息，因此，该上下文信息可以是对相应时刻获取的多个感知数据的融合表征，且该上下文信息本质上可以是一个矩阵，包含当前时刻融合信息的数值信息，所谓上下文是指，该矩阵的数值通过之前的各个时刻递归表征所得，因此，本申请通过对得到的上下文信息进行分析，能够准确且高效地得到下一时刻监测对象的障碍物信息，以便据此规划监测对象的下一时刻的运动参数，保证自动驾驶的安全。

另外，对不同时刻的嵌入向量按照上述方式进行处理，所得到的上下文信息可以是一个预测模型，用来表征监测对象周围障碍物的概率分布，针对不同输入，相应得到的输出表征的物理含义可能不同，如对于视觉图像输入，模型输出可以表示图像中物体的概率分布；对于视觉和激光雷达的两种输入，模型输出可以表示三维空间中物体的概率分布。因此，本申请可以利用得到的当前时刻的上下文信息输入该预测模型，得到下一时刻监测对象的障碍物信息。

综上，本实施例在利用自动驾驶过程中的时间维度信息，通过历史时刻的障碍物特征信息，来修正当前时刻的障碍物输出信息，对多路感知数据进行融合，无需增加跟踪环节，且由于本实施例是对同一时刻的多路感知数据进行联合表征后，输入递归网络进行一次网络运算，不需要针对每一路感知数据进行一次网络运算，极大节约了计算开销，克服了单帧检测跟踪融合方法的冗余运算问题，提高了检测效率，保证了多感知数据输入时的感知实时性能。

另外，本申请提出的这种障碍物感知方法，并不受限于自动驾驶车辆的感知设备的配置方案，能够有效地嵌入到任一感知设备配置方案中，同时也易于扩展，能够在现有感知方案基础上，通过增加表征节点的方式，增加感知设备，满足新增需求。

作为本申请一可选示例，上述步骤S14的具体实现过程可以包括但并不局限于：将嵌入向量输入递归网络的相应递归单元，再利用与该相应递归单元链接的上一递归单元的输出向量，对该嵌入向量进行融合处理，得到当前时刻的上下文信息，其中，不同时刻得到的嵌入向量输入递归网络中自链接的不同递归单元，关于递归网络中各递归单元的关系可以参照上文实施例相应部分的描述。

由此可见，将当前时刻的嵌入向量输入相应的递归单元后，可以按照图3所示的处理方式，由多个自链接的递归单元构成的递归网络直接对该嵌入向量进行融合处理，得到当前时刻的上下文信息，具体融合处理过程不做详述。

然而，在利用递归网络直接对当前时刻的嵌入向量进行融合处理的方法，在时间序列过长的情况下，该递归网络中，处于早期时间节点的输出向量信息往往无法有效传递至后期的时间节点的递归单元，使得这种处理方法无法有效利用长期的信息依赖性质。对此，本申请提出在上文描述的障碍物感知方法的基础上，即在上述递归网络的基础上，增加注意力机制，从而利用注意力机制和递归网络，实现对嵌入向量的处理，得到上下文信息。

具体的，参照图6示出的本申请提出的障碍物感知方法的另一种可选示例的流程图，以及图7示出的实现该障碍物感知方法的结构示意图，本实施例主要对得到t时刻的嵌入向量之后的步骤进行描述，关于如何得到嵌入向量的过程，可以参照上述实施例相应部分的描述，本实施例不再赘述，如图6所示，该方法可以包括但并不局限于以下步骤：

步骤S21，将t时刻的嵌入向量输入递归网络的相应递归单元；

其中，t时刻是可以[0,T]中的任一时刻，也是自动驾驶车辆行驶过程中，进行障碍物感知的当前时刻。

步骤S22，利用与该相应递归单元链接的上一递归单元的输出向量，对当前时刻的嵌入向量进行处理，得到该相应递归单元的输出向量；

关于t时刻的嵌入向量输入相应递归单元后的处理过程，可以参照上述实施例相应部分的描述，本实施例不再赘述。

步骤S23，获取该t时刻及其之前各时刻对应的递归单元的输出向量；

本实施例中，可以基于递归网络中各递归单元之间的信息依赖性，确定一时间阈值，其具体数值不做限定。在障碍物感知过程中，从开始进行障碍物感知到当前时刻的时间未超过该时间阈值，即t时刻未超过该时间阈值，可以认为由该时间内的时刻构成的时间序列不算太长，递归网络中早期的递归单元的输出向量的依赖性并未缺失，此时可以采用上文描述的方式，直接由递归网络对t时刻的嵌入向量进行融合处理，得到上下文信息。

若开始进行障碍物感知到当前时刻的时间超过该时间阈值，即t时刻超过该时间阈值，可以认为因时间序列过长，导致递归网络中早期的递归单元的输出向量依赖性缺失，此时再利用上文描述处理方式，将会导致所得上下文信息不准确，进而降低了对下一时刻障碍物信息预测准确性及可靠性。因此，这种情况下，可以采用本实施例描述的利用递归网络和注意力机制，来获取t时刻的上下文信息。

基于此，本申请在进行t时刻的感知数据的采集后，可以判断该t时刻是否超过时间阈值，若未超过，按照上文描述的方式，只利用递归网络获取t时刻的上下文信息；若超过，按照本实施例提供的方式，利用递归网络和注意力机制，来获取t时刻的上下文信息。

作为本申请另一可选示例，在实际应用中，本申请也可以不用关注时间序列长短，即不用对t时刻进行判断，直接采用本实施例提供的利用递归网络和注意力机制，来获取t时刻的上下文信息。

步骤S24，基于注意力机制，对获取的多个输出向量进行编码，得到编码向量；

参照图7，对于每一时刻获取的多个感知设备所采集到的感知数据，均可以按照上文描述的方法进行处理，得到相应时刻的嵌入向量，再输入递归网络的自链接的相应递归单元进行处理，将各递归单元的输出向量可以作为注意力编码单元的输入，由该注意力编码单元基于注意力机制，对不同时刻对应的递归单元的输出向量进行编码，具体编码方法不做限定，如可以以任意符合任务需求的非线性映射，包括但并不局限于多层感知机、卷积神经网络等深度学习网络，实现对各输出向量的编码。

可见，本实施例通过增加的注意力编码单元来缓解递归网络中存在的梯度消失问题，即缓解时间过长时早期节点和后期节点之间的相关性减弱的问题。如7所示，本实施例可以沿着时间维度，将递归网络的多个递归单元展开，并由注意力编码单元与每个递归单元链接，通过训练学习出各个递归单元的贡献度，并据此调整各递归单元输出向量的权值分配，以便获得更加准确的上下文信息。

步骤S25，基于注意力机制，对得到的编码向量进行解码，得到t时刻的上下文信息；

继上文描述，图7中的注意力解码单元可以是线性映射或非线性映射，具体表达形式不做限定，可以依据具体的任务确定。例如，在自动驾驶场景中，当前时刻上下文信息可以表征下一时刻车辆环境中各障碍物的预测集合信息，集合中的每个元素可以是一个障碍物物体表征多元组，多元组的各个元素可以为决策控制所需的障碍物信息，如障碍物运动速度、加速度、距离等信息。

可选的，参照图8所示的注意力编解码方式的一种可选示例，对于输入各递归单元的输出向量，可以先采用双曲函数tanh进行处理，对于处理得到的结果u_i ^t可以输入softmax函数进行运算，得到各障碍物的概率分布，即预测下一时刻障碍物信息。基于此，本实施例可以利用以下公式来预测障碍物的概率分析，以便预测下一时刻障碍物信息，该公式可以为：

p_t＝softmax(W_C(out_t))；

out_t＝Concat(d_t,d_t')；

a_i ^t＝softmax(u_i ^t)；

u_i ^t＝V^T·tanh(W_Hh_i+W_Dd_t)；

在上述公式中，p_t可以表示解码时刻t时得到的物体概率分布，softmax()可以表示获取对分类结果的概率分布的函数，本申请对其具体运算过程不做详述；Concat()返回结果为连续参数产生的字符串，使用该Concat()可以将多个数组结合起来，具体实现方法不做详述；tanh()表示双曲函数；W_C、W_H、W_D、V可以表示权值矩阵，具体内容不做限定；out_t、d_t'、a_i ^t及u_i ^t均是运算过程中的中间向量，本申请对其内容不做详述，该h_i可以表示相应递归单元的输出向量，d_t也是递归单元中的某参数，对其内容不做限定。

需要说明，本申请对基于注意力机制，实现编码和解码的方法不作限定，图8仅是一种可选示例，并不局限于这种实现方法。

步骤S26，利用该t时刻的上下文信息，得到监测对象t+1时刻的障碍物信息。

关于步骤S26的实现，可以参照上文实施例相应部分的描述，不做赘述。

综上，本实施例考虑了真实场景中天然的时间上下文关联信息，对多个感知数据进行融合，无需增加跟踪环节，极大减小的运算量，且在运算过程中，结合了注意力编解码处理，即在递归单元的基础上，通过对各个递归单元的表征空间的信息进行处理，有效缓解了因时间序列过长而导致的早期信息依赖缺失问题，进一步提高了障碍物感知的可靠性及准确性。

对于上述各实施例中用来获取上下文信息的递归网络，为了保证障碍物感知结果的实时性及可靠性，本申请通常会预先对递归网络中的权值进行训练，具体可以采用有监督训练方式，实现对递归网络中的权值的训练，具体训练方法不做限定。

可选的，对于递归网络的权值的训练，可以按照上文各实施例描述的方法，来获取不同时刻的嵌入向量，同时，获取相应时刻的障碍物标注信息，用以作为训练过程中的约束条件，即利用得到嵌入向量及该障碍物标注信息，对递归网络的权值进行训练，得到该递归网络的目标权值，这样，在障碍物感知的实际应用中，得到当前时刻的嵌入向量后，可以输入具有该目标权值的递归网络进行处理，以保证所得上下文信息的准确性，进而保证预测得到的下一时刻的障碍物信息的可靠性。

其中，由于递归网络中各递归单元的权值可以相同，本申请可以利用某一时刻得到的嵌入向量及下一时刻的障碍物标注信息，实现对各递归单元的训练，具体实现方法不做限定，如按照上述实施例描述的方式，预测得到下一时刻的障碍物信息，再将其与对应时刻的障碍物标注信息进行比对，若比对结果不满足误差要求，可以调整递归单元的权值，重新按照上述方法进行处理，直至预测得到的障碍物信息与相应时刻的障碍物标注信息的差值满足误差要求，将最后一次训练使用的递归单元的权值作为目标权值，此时也可以由具有该目标权值的递归网络作为预测模型，用来实现障碍物感知。

需要说明，关于对递归网络的训练过程，并不局限于上文描述的方法，可以根据实际场景的需求，灵活调整，本申请不再一一详述。

基于上文各实施例对采集到的各路感知数据的处理，以及获取时间维度上的上下文信息过程的描述可知，本申请充分利用人工智能中的机器学习、计算机视觉等技术，在图像识别、机器视觉、神经网络、机器人学等应用中的优势。以汽车应用场景为例，相对于人工驾驶车辆对驾驶员的高要求，自动驾驶车辆，利用人工智能技术构建了自动驾驶系统并安装于车辆中，无需人类驾驶，能够完全自动化地完成所有人类驾驶者所能够应付的道路和环境条件，甚至因自动驾驶系统不存在人类驾驶员操作不熟练、驾驶疲劳等问题，且按照本申请提出的障碍物感知方法，能够更加全面且准确预测车辆周围行人、其他车辆、物体运行情况，相对于人类驾驶员眼睛有限的观察范围，更加保证了自动驾驶车辆的安全、稳定运行。

参照图9，为本申请提出的障碍物感知装置的一种可选示例的结构图，该装置可以应用于控制设备，如图9所示，该装置可以包括：

感知数据获取模块210，用于获取监测对象的多个感知设备采集到的感知数据；

需要说明，监测对象中的多个感知设备可以包含的感知设备类型数量为至少一个，且这多个感知设备可以是在同一时刻完成一次感知数据的采集。

特征提取模块220，用于对获取的多个感知数据进行特征提取，得到相应的特征信息；

映射模块230，用于将得到的多个特征信息映射至嵌入隐层空间，得到嵌入向量；

可选的，上述特征提取模块220可以包括：

第一映射单元，用于将获取的多个感知数据分别映射到高维表征空间，得到相应的表征特征；

相应地，映射模块230可以包括：

特征关联单元，用于对同一时刻得到的多个表征特征进行关联；

第二映射单元，用于将关联后的特征信息映射到嵌入隐层空间，得到相应时刻的嵌入向量。

递归学习模块240，用于将该嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息；

障碍物信息预测模块250，用于利用当前时刻的上下文信息，得到该监测对象下一时刻的障碍物信息。

可选的，该递归学习模块240可以包括：

第一输入单元，用于将所述嵌入向量输入递归网络的相应递归单元，其中，不同时刻得到的嵌入向量输入递归网络中自链接的不同递归单元；

上下文信息获取单元，用于利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行融合处理，得到当前时刻的上下文信息。

作为本申请另一可选示例，上下文信息获取单元242可以包括：

嵌入向量处理单元，用于利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行处理，得到所述相应递归单元的输出向量；

输出向量获取单元，用于获取当前时刻及当前时刻之前的各时刻对应的递归单元的输出向量；

编码单元，用于基于注意力机制，获取的多个输出向量进行编码，得到编码向量；

解码单元，用于基于注意力机制，对得到的编码向量进行解码，得到当前时刻的上下文信息。

在上述各实施例的基础上，该装置还可以包括：

标注信息获取模块，用于获取所述监测对象在不同时刻的障碍物标注信息；

网络训练模块，用于利用得到的所述嵌入向量及障碍物标注信息，对所述递归网络的权值进行训练，确定所述递归网络的目标权值。

应该理解，关于上述装置实施例中的各模块和单元均可以是应用程序构成的功能模块，其实现相应功能的具体过程可以参照上述方法实施例相应部分的描述，本实施例不做赘述。

本申请实施例还提供了一种存储介质，其上存储有程序，该程序可以被处理器调用并执行，实现上述障碍物感知方法的各个步骤，具体实现方法可以参照上述实施例相应部分的描述。

参照图10，本申请还提供了实现障碍物感知方法的控制设备的一种可选示例的硬件结构示意图，本申请对该控制设备的产品类型不做限定，在自动驾驶车辆的场景中，其可以是车载工控机，但并不局限于此，如图10所示，该控制设备可以包括：通信接口31、存储器32和处理器33；

在本申请实施例中，通信接口31、存储器32、处理器33可以通过通信总线实现相互间的通信，且该通信接口31、存储器32、处理器33及通信总线的数量可以为至少一个。

可选的，通信接口31可以为通信模块的接口，如GSM模块的接口等，本申请对该通信接口类型及数量不作限定，可以用来实现对各感知设备的数据通信，接收相应感知设备采集到的感知数据等，也可以用来实现对感知设备的控制，以及与其他设备的数据交互，可以依据具体场景的需求确定，本申请不做详述。

存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

处理器33可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器2存储有程序，处理器33调用存储器32所存储的程序，以实现上述障碍物感知方法的各步骤，具体实现过程可以参照上述方法实施例相应部分的描述。

另外，存储器还可以用来存储各感知设备采集到的感知数据、各时刻的上下文信息以及障碍物信息等等，根据实际需求确定。

在自动驾驶车辆场景中，控制设备还可以实现对决策及控制功能，具体实现过程不做详述。

最后，需要说明，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种障碍物感知方法，其特征在于，所述方法包括：

获取监测对象的多个感知设备采集到的感知数据；

对获取的多个感知数据进行特征提取，得到相应的特征信息；

将得到的多个特征信息映射至嵌入隐层空间，得到嵌入向量；

将所述嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息；

利用所述当前时刻的上下文信息，得到所述监测对象下一时刻的障碍物信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息，包括：

将所述嵌入向量输入递归网络的相应递归单元，其中，不同时刻得到的嵌入向量输入递归网络中自链接的不同递归单元；

利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行融合处理，得到当前时刻的上下文信息。

3.根据权利要求2所述的方法，其特征在于，所述利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行融合处理，得到当前时刻的上下文信息，包括：

利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行处理，得到所述相应递归单元的输出向量；

获取当前时刻及当前时刻之前的各时刻对应的递归单元的输出向量；

基于注意力机制，对获取的多个输出向量进行编码，得到编码向量；

基于注意力机制，对得到的编码向量进行解码，得到当前时刻的上下文信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述监测对象在不同时刻的障碍物标注信息；

利用得到的所述嵌入向量及障碍物标注信息，对所述递归网络的权值进行训练，确定所述递归网络的目标权值。

5.根据权利要求1所述的方法，其特征在于，所述对获取的多个感知数据进行特征提取，得到相应的特征信息，包括：

将获取的多个感知数据分别映射到高维表征空间，得到相应的表征特征；

所述将得到的多个特征信息映射至嵌入隐层空间，得到嵌入向量，包括：

对同一时刻得到的多个表征特征进行关联；

将关联后的特征信息映射到嵌入隐层空间，得到相应时刻的嵌入向量。

6.根据权利要求1～5任一项所述的方法，其特征在于，所述多个感知设备包含的感知设备类型数量为至少一个，且所述多个感知设备是在同一时刻完成一次感知数据的采集。

7.一种障碍物感知装置，其特征在于，所述方法包括：

感知数据获取模块，用于获取监测对象的多个感知设备采集到的感知数据；

特征提取模块，用于对获取的多个感知数据进行特征提取，得到相应的特征信息；

映射模块，用于将得到的多个特征信息映射至嵌入隐层空间，得到嵌入向量；

递归学习模块，用于将所述嵌入向量输入递归网络进行处理，得到当前时刻的上下文信息；

障碍物信息预测模块，用于对所述当前时刻的上下文信息，得到所述监测对象下一时刻的障碍物信息。

8.根据权利要求7所述的装置，其特征在于，所述递归学习模块包括：

第一输入单元，用于将所述嵌入向量输入递归网络的相应递归单元，其中，不同时刻得到的嵌入向量输入递归网络中自链接的不同递归单元；

上下文信息获取单元，用于利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行融合处理，得到当前时刻的上下文信息。

9.根据权利要求8所述的装置，其特征在于，所述上下文信息获取单元包括：

嵌入向量处理单元，用于利用与所述相应递归单元链接的上一递归单元的输出向量，对所述嵌入向量进行处理，得到所述相应递归单元的输出向量；

输出向量获取单元，用于获取当前时刻及当前时刻之前的各时刻对应的递归单元的输出向量；

编码单元，用于基于注意力机制，获取的多个输出向量进行编码，得到编码向量；

解码单元，用于基于注意力机制，对得到的编码向量进行解码，得到当前时刻的上下文信息。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被处理器调用并执行，实现如权利要求1～6任一项所述的障碍物感知方法。