CN111081045A

CN111081045A - 姿态轨迹预测方法及电子设备

Info

Publication number: CN111081045A
Application number: CN201911419215.6A
Authority: CN
Inventors: 黄浴
Original assignee: Zhiche Youxing Technology Shanghai Co ltd
Current assignee: Zhiche Youxing Technology Shanghai Co ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-04-28

Abstract

本公开的实施例公开了一种姿态轨迹预测方法及电子设备。该方法包括：获取车辆的基础感知定位数据；获取车辆周围的交通参与者发出的交通信号；根据交通信号，确定道路影响数据；其中，道路影响数据指示受交通参与者影响的道路区域；根据基础感知定位数据和道路影响数据，确定车辆的预测姿态轨迹。本公开的实施例中，通过利用车辆周围的交通参与者发出的交通信号，进行车辆的姿态轨迹的预测，能够有效地改善预测效果。

Description

姿态轨迹预测方法及电子设备

技术领域

本公开涉及车辆驾驶技术领域，尤其涉及一种姿态轨迹预测方法及电子设备。

背景技术

对于自动驾驶系统而言，行为规划是最具挑战的模块之一，行为规划具体包括对车辆的姿态轨迹的预测，为了实现对车辆的姿态轨迹的预测，一般仅是对车辆周围的其他车辆的速度、轨迹等进行分析，现有预测方式的预测效果较差。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种姿态轨迹预测方法及电子设备。

根据本公开实施例的一个方面，提供了一种姿态轨迹预测方法，包括：

获取车辆的基础感知定位数据；

获取所述车辆周围的交通参与者发出的交通信号；

根据所述交通信号，确定道路影响数据；其中，所述道路影响数据指示受所述交通参与者影响的道路区域；

根据所述基础感知定位数据和所述道路影响数据，确定所述车辆的预测姿态轨迹。

根据本公开实施例的另一个方面，提供了一种电子设备，包括：

第一获取模块，用于获取车辆的基础感知定位数据；

第二获取模块，用于获取所述车辆周围的交通参与者发出的交通信号；

第一确定模块，用于根据所述交通信号，确定道路影响数据；其中，所述道路影响数据指示受所述交通参与者影响的道路区域；

第二确定模块，用于根据所述基础感知定位数据和所述道路影响数据，确定所述车辆的预测姿态轨迹。

根据本公开实施例的再一个方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述姿态轨迹预测方法。

根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述姿态轨迹预测方法。

本公开的实施例中，可以获取车辆的基础感知定位数据，以及获取车辆周围的交通参与者发出的交通信号；接下来，可以根据交通信号，确定指示受交通参与者影响的道路区域的道路影响数据；之后，可以根据基础感知定位数据和道路影响数据，确定车辆的预测姿态轨迹。可见，本公开的实施例中，可以依据由基础感知定位数据和道路影响数据组成的预测参考数据，进行车辆的姿态轨迹的预测，由于由基础感知定位数据和道路影响数据组成的预测参考数据能够非常有效地表征车辆当前所处的道路场景，根据预测参考数据能够更快更准确地确定出在车辆当前所处的道路场景下，对于车辆而言适宜的姿态轨迹作为预测姿态轨迹。因此，本公开的实施例中，通过利用车辆周围的交通参与者发出的交通信号，进行车辆的姿态轨迹的预测，能够有效地改善预测效果。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开一示例性实施例提供的轨迹姿态预测方法的流程示意图；

图2为车辆所处道路场景的示意图；

图3-1至图3-9依次为道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图、交通信号图、预测姿态轨迹图；

图4为机动车的乘员的手臂姿态示意图；

图5为自行车的乘员的手臂姿态示意图；

图6为交通警察的手臂姿态示意图；

图7为车辆的外观示意图；

图8为本公开一示例性实施例中获取交通信号的原理图；

图9为本公开一示例性实施例中获取交通信号的另一原理图；

图10为本公开一示例性实施例中车辆姿态轨迹预测系统的构架图；

图11为本公开一示例性实施例中车辆姿态轨迹预测系统的另一构架图；

图12为本公开一示例性实施例提供的电子设备的结构图；

图13为本公开另一示例性实施例提供的电子设备的结构图。

具体实施方式

仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，不代表任何特定技术含义和必然逻辑顺序；“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本公开中字符“/”表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

示例性方法

图1是本公开一示例性实施例提供的轨迹姿态预测方法的流程示意图。图1所示的方法包括步骤101、步骤102、步骤103和步骤104，下面对各步骤分别进行说明。

步骤101，获取车辆的基础感知定位数据。

这里，车辆可以为汽车，例如为纯电动汽车或者混合电动汽车，当然，车辆的类型并不局限于此，具体可以根据实际情况来确定，本公开的实施例对此不做任何限定。

需要说明的是，基础感知定位数据为车辆通过基本的感知定位能够得到的数据。可选地，基础感知定位数据可以包括以下至少一项：道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图。

假设步骤101中涉及的车辆为图2中的汽车201，容易看出，图2呈现了一十字路口场景，四个方向均有红绿灯控制，各个方向均有两个车道，并且，无论是垂直还是水平方向，不同方向的道路均有分隔线(例如分隔线211、分隔线213、分割线215和分割线217)进行分隔；十字路口有用于横穿马路的人行道221。另外，汽车201在右下角准备在路口右转，其他汽车有的在左拐弯道等待或者马上要拐弯，有的打车灯示意换道，有的踩刹车后车尾刹车灯发出刹车信号，有的正常直行。

一般而言，对于路权的申请和协商，打算换道的汽车的优先级不高于其打算切换至的车道上的汽车；执行刹车动作的汽车的优先级高于该汽车所在车道上，位于其后方的汽车；在十字路口左拐弯的车辆不算换道；红灯情况下右拐弯是和换道类似的行为；如果某一汽车在在非结构化的无左拐弯灯路口，该汽车的优先级低于对面直行的汽车，以及过马路的行人/自行车等。

针对图2呈现的十字路口场景，可以分别绘制汽车201的道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图这7个图，以得到包括这7个图的基础感知定位数据；其中，道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图均可以为二维(即2-D)鸟瞰图像形式。

具体地，道路图可以如图3-1所示；交通灯图可以如图3-2所示，交通灯图可以用于表征当前允许通行的车道和方向；道路限速图可以如图3-3所示，道路限速图可以用于表征各个车道的驾驶速度上限；导航图可以如图3-4所示，导航图可以用于表征汽车201的导航路线；车辆位置图可以如图3-5所示，车辆位置图可以用于表征汽车201的实际位置；障碍物图可以如图3-6所示，障碍物图可以用于表征汽车201周围存在的障碍物(其可以包括下文中的交通参与者)；历史姿态轨迹图可以如图3-7所示，历史姿态轨迹图可以用于表征汽车201在最近一秒(或者最近半秒)的姿态轨迹。

步骤102，获取车辆周围的交通参与者发出的交通信号。

这里，车辆周围的交通参与者包括但不限于其他车辆、交通警察等，其他车辆包括但不限于汽车、摩托车等机动车，以及自行车、三轮车等非机动车。

可选地，交通信号可以包括以下至少一项：换道信号、拐弯信号、刹车信号、倒车信号、减速信号。换道信号可以为向左换道信号或者向右换道信号，拐弯信号可以为左拐弯信号或者右拐弯信号。

需要说明的是，获取车辆周围的交通参与者发出的交通信号的具体实现形式多样，为了布局清楚，后续进行举例介绍。

步骤103，根据交通信号，确定道路影响数据；其中，道路影响数据指示受交通参与者影响的道路区域。

以图2为例，假设车辆(例如汽车201)周围的交通参与者中的其他车辆发出了交通信号，例如汽车203通过亮右后灯发出了向右换道信号，汽车205通过亮左后灯发出了向左换道信号，汽车207通过亮刹车灯发出了刹车信号，则可以确定由于汽车203的向右换道可能被占据的道路区域Q1、由于汽车205的向左换道可能被占据的道路区域Q2，以及由于汽车207的刹车可能受到影响的道路区域Q3。

可选地，Q1可以利用汽车203的当前速度确定，例如，可以预先训练得到一计算模型，将汽车203的当前速度，以及用于表征汽车203的意图为向左换道的数据输入计算模型，以得到计算模型输出的位置信息和长度信息，并根据得到的位置信息和长度信息，确定Q1所在的具体位置和长度。

类似地，Q2可以利用汽车205的当前速度确定，Q3可以利用汽车207的当前速度确定，Q2和Q3的具体确定过程参照对Q1的具体确定过程的说明即可，在此不再赘述。

在确定出Q1、Q2和Q3之后，可以生成道路影响数据，道路影响数据可以包括呈二维鸟瞰图像形式的交通信号图。具体地，交通信号图可以如图3-8所示，容易看出，图3-8能够体现受汽车203和汽车205的换道意图，以及汽车207的刹车意图影响的道路区域。

步骤104，根据基础感知定位数据和道路影响数据，确定车辆的预测姿态轨迹。

这里，根据基础感知定位数据和道路影响数据确定出的预测姿态轨迹可以通过预测姿态轨迹图呈现。具体地，预测姿态轨迹图可以呈二维鸟瞰图像形式，预测姿态轨迹图可以如图3-9所示。

需要说明的是，获取车辆周围的交通参与者发出的交通信号的具体实现形式多样，下面进行举例介绍。

在一种实现形式中，获取车辆周围的交通参与者发出的交通信号，包括：

通过车联网，获得车辆周围的交通参与者发出的交通信号。

需要指出的是，基于车辆网(其包括车-车和车-人)，每个车辆都能够通过车载通信设备向其他车辆发送信号，以及通过车载通信设备接收来自其他车辆的信号，通过车载通信设备接收的信号可以包括车辆周围的交通参与者发出的交通信号，因此，这种实现形式中，利用车联网，能够非常便捷地获取到交通信号。

在另一种实现形式中，获取车辆周围的交通参与者发出的交通信号，包括：

调用摄像头采集包括车辆周围的交通参与者的图像；

对图像进行检测识别处理，以得到检测识别处理结果；

根据检测识别处理结果，获得交通参与者发出的交通信号。

这里，摄像头可以为前置摄像头或者后置摄像头，在摄像头为后置摄像头的情况下，后置摄像头的数量可以为两个，两个后置摄像头可以分设于车辆外部的两侧，这时，后置摄像头也可以称为侧后视摄像头。

这种实现形式中，在调用摄像头采集包括车辆周围的交通参与者的图像之后，可以对图像进行检测识别处理，以得到检测识别处理结果。具体地，车辆周围的交通参与者和检测识别处理结果可以为以下三种情况中的至少一种：

第一种情况：交通参与者包括机动车，检测识别处理结果包括以下至少一项：机动车的车灯状态信息、机动车的乘员的交通手势信息。

这里，机动车可以为汽车或者摩托车；机动车的车灯状态信息可以用于表征机动车的哪些车灯属于点亮状态，哪些车灯处于熄灭状态；机动车的乘员可以为机动车的驾驶员或者为机动车上的其他乘客，机动车的乘员的交通手势信息可以用于表征机动车的乘员做出的具体是哪种交通手势。可选地，机动车的乘员做出的具体可以为图4中的任一种交通手势。

第二种情况：交通参与者包括非机动车，检测识别处理结果包括非机动车的乘员的交通手势信息。

这里，非机动车可以为自行车或者三轮车；非机动车的乘员的交通手势信息可以用于表征非机动车的乘员做出的具体是哪种交通手势。可选地，非机动车的乘员做出的具体可以为图5中的任一种交通手势。

第三种情况：交通参与者包括交通警察，检测识别处理结果包括交通警察的交通手势信息。

这里，交通警察的交通手势信息可以用于表征交通警察做出的具体是哪种交通手势。可选地，交通警察做出的具体可以为图6中的任一种交通手势。

在得到检测识别处理结果之后，可以根据检测识别处理结果，获得交通参与者发出的交通信号。

在检测识别处理结果中包括机动车的车灯状态信息的情况下，不管机动车的前后车灯为何种外观(例如可以为图7中的任一种外观)，也不管摄像头为前视摄像头还是后视摄像头(例如侧后视摄像头)，如图8所示，均可以基于卷积神经网络(ConvolutionalNeural Networks，CNN)-长短期记忆网络(Long Short-Term Memory，LSTM)和车灯状态信息，识别出相应的交通信号，例如识别出左/右拐弯信号，刹车信号，倒车信号等。例如，在车灯状态信息用于表征机动车的刹车灯处于点亮状态的情况下，利用CNN-LSTM，可以确定机动车发出的交通信号为刹车信号。

在检测识别处理结果包括交通手势信息的情况下，依据交通手势信息，也能够非常便捷地识别出相应的交通信号。例如，在交通手势信息用于表征图4中最左边的交通手势的情况下，可以确定机动车发出的交通信号为左转弯信号。

可见，这种实现形式中，利用调用摄像头采集的包括车辆周围的交通参与者的图像，可以进行车灯状态和/或交通手势的识别，以便捷地获取到交通参与者发出的交通信号。

在一个可选示例中，在上述获取交通信号的后一种实现形式的基础上，对图像进行检测识别处理，以得到检测识别处理结果，包括：

检测图像包括的交通参与者中的目标对象；其中，在摄像头为前视摄像头的情况下，目标对象包括以下至少一项：机动车上的乘员、非机动车上的乘员、交通警察；在摄像头为后视摄像头的情况下，目标对象包括以下至少一项：机动车上的乘员、非机动车上的乘员；

对目标对象进行姿态估计，得到姿态估计结果；

根据姿态估计结果，得到包括相应交通手势信息的检测识别处理结果。

这里，如图9所示，可以利用CNN进行目标检测跟踪(例如进行图8中的车辆检测跟踪)，以检测出图像中的目标对象。由于后视方不接受交通警察的信息，在摄像头为后视摄像头(例如侧后视摄像头)的情况下，目标对象可以不包括交通警察，而在摄像头为前视摄像头的情况下，目标对象可以包括交通警察。

在检测出目标对象之后，可以使用OpenPose模型(其为一种人体姿态识别模型)，对目标对象做姿态估计，以得到姿态估计结果，姿态估计结果可以用于表征目标对象的人体姿态。再之后，可以利用CNN-LSTM，进行手势信号识别，以确定姿态估计结果对应的交通手势信息，从而得到包括确定出的交通手势信息的检测识别处理结果。

可见，本公开的实施例中，通过对图像中的目标对象的姿态估计，能够非常便捷地得到包括交通手势信息的检测识别处理结果。

在一个可选示例中，在上述获取交通信号的后一种实现形式的基础上，在检测识别处理结果包括交通手势信息的情况下，根据检测识别处理结果，获得交通参与者发出的交通信号，包括：

确定车辆所处的地理区域；

确定与地理区域匹配的交通信号识别规则；

根据检测识别处理结果中的交通手势信息，以及交通信号识别规则，识别交通参与者发出的交通信号。

这里，可以调用全球定位系统(Global Positioning System，GPS)，确定车辆当前所处的地理区域，确定出的地理区域可以用于表征车辆当前处于哪个国家。

本公开的实施例中，可以预先设置地理区域与交通信号识别规则之间的对应关系；其中，任一地理区域对应的交通信号识别规则用于指示每个交通手势在该地理区域代表何种含义，不同地理区域对应的交通信号识别规则可以相同或者不同(例如存在部分差异)。

在确定出车辆当前所处的地理区域之后，可以根据预先设置的对应关系，确定车辆当前所处的地理区域对应的交通信号识别规则，并将确定出的交通信号识别规则作为与车辆当前所处的地理区域匹配的交通信号识别规则。

再之后，可以根据检测识别处理结果中的交通手势信息，以及与车辆当前所处的地理区域匹配的交通信号识别规则，识别交通参与者发出的交通信号。

具体地，预先设置的对应关系中，地理区域1可以与交通信号识别规则1对应，地理区域2可以与交通信号识别规则2对应，交通信号识别规则1可以指示交通手势1在地理区域1代表右拐弯含义，交通信号识别规则2可以指示交通手势1在地理区域2代表减速含义。假设检测识别处理结果中的交通手势信息与交通手势1对应，那么，当车辆所处的地理区域为地理区域2的情况下，与车辆所处的地理区域匹配的交通信号识别规则为交通信号识别规则2，依据交通信号识别规则2，可以识别出交通参与者发出的交通信号为减速信号。

可见，本公开的实施例中，可以结合车辆当前所处的地理区域来识别交通参与者发出的交通信号，这样能够较好地保证识别结果的可靠性。

在一个可选示例中，根据基础感知定位数据和道路影响数据，确定车辆的预测姿态轨迹，包括：

将基础感知定位数据和道路影响数据一并输入预测模型，以获得预测模型输出的，车辆的预测姿态轨迹；

其中，预测模型为基于深度学习网络的模型或者为基于生成对抗网络(Generative Adversarial Networks，GAN)的模型。

需要说明的是，为了实现对车辆的姿态轨迹的预测，本公开的实施例中可以设置有车辆姿态轨迹预测系统。

在预测模型为基于深度学习网络的模型的情况下，车辆姿态轨迹预测系统的构架可以如图10所示。其中，“编码器”是一个利用CNN模型提取特征图的中间表示；“行为LSTM”是对自车的方向、速度、航点和位置热图的预测，LSTM是递归神经网络(Recursive NeuralNetwork，RNN)的一种，能够抓取时域特性；“驾驶道路CNN”是可驾驶区域分割图，类似一个解码器结构，可驾驶区域用于表征当前自车可以驾驶的区域；“场景LSTM”也是通过LSTM获取时域特性，“场景LSTM”是对自车周围的交通参与者的位置热图的预测；“全联接层FCLs”输出渲染的未来自车姿态图(相当于上文中的预测姿态轨迹图)。

在预测模型为基于GAN的模型的情况下，车辆姿态轨迹预测系统的构架可以如图11所示。图11与图10的区别在于，图11中包括噪声生成器，噪声生成器用于输入生成器噪声；GAN需要一个生成器(其可以用G表示)获取数据分布，以及一个鉴别器(其可以用D表示)估计一个样本是来自训练数据还是生成器，鉴别器可以用于判别数据的真伪，GAN能够通过对抗学习，增强模型的适应性；在鉴别器中，“分类器LSTM”是基于LSTM的序列分类模型，“全联接层”输出的是时域轨迹的判别结果。

为了能够实现对车辆的姿态轨迹的预测，需要预先训练得到预测模型，预测模型可以利用多个训练数据集训练得到；其中，每个训练数据集中包括道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图、交通信号图，以及预测姿态轨迹图这9个图。

可选地，训练预测模型时使用的损失函数可以包括以下至少一项：碰撞损失、保持道路损失、几何损失、冲突损失、可驾驶区域损失。

这里，碰撞损失是指自车，以及自车周围的交通参与者中的其他车辆之间的碰撞损失。

具体地，可以通过上述的“行为LSTM”得到自车的预测位置热图，通过上述的“场景LSTM”得到自车周围的交通参与者的预测位置热图；其中，自车的预测位置热图可以用B表示，自车周围的交通参与者的预测位置热图可以用Obj表示。另外，自车的交通信号图可以用S表示，自车周围的交通参与者中的其他车辆的真实位置可以用Obj_GT表示，则碰撞损失可以定义为：

L_collision＝sum[B*(λ*S+Obj_GT)]

其中，L_collision表示碰撞损失，λ表示自车的交通信号图的权重，0<λ<1，例如，λ可以为0.3。

这里，可以确定自车的可驾驶区域的预测区域和真实区域，预测区域可以用R表示，真实区域可以用R_GT表示，则保持道路损失可以定义为：

L_onroad＝sum[(1-R_GT)*B]

其中，L_onroad表示保持道路损失。

需要说明的是，几何损失来自于预测的自车轨迹生成的道路区域，假设道路区域真实值(其可以为二值图像)是G_GT，则几何损失可以定义为：

L_geometry＝sum[(1-G_GT)*B]

其中，L_geometry表示几何损失。

冲突损失可以定义为：

L_objects＝sum[H(Obj，Obj_GT)+λ*H(Obj，S)]

其中，L_objects表示冲突损失，H()函数表示交叉熵，S表示自车周围的交通参与者中的不同车辆Obj产生的交通信号图。

可驾驶区域损失定义为：

L_road＝sum[H(R，R_GT)]

其中，L_road表示可驾驶区域损失。

本公开的实施例中，不管预测模型为基于深度学习网络的模型或者为基于GAN的模型，均可以获取车辆的基础感知定位数据和道路影响数据，基础感知定位数据可以包括道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图，道路影响数据可以包括交通信号图。接下来，可以将道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图、交通信号图这8个图一并提供给编码器，编码器提取的特征图可以用于进行后续模型处理，从而使得预测模型最终输出预测姿态轨迹图。可见，本公开的实施例中，利用预测模型，能够便捷可靠地获得车辆的预测姿态轨迹。

综上，本公开的实施例中，可以在自动驾驶系统的驾驶行为和轨迹预测模型(相当于上文中的预测模型)中加入路上车辆发出的交通信号，例如左/右转弯信号、刹车信号等，路上车辆发出的交通信号可以基于路上车辆的车灯状态或者乘员手臂姿势获取，具体地，交通信号可以通过摄像头的图像数据检测和识别处理获取，或者在在车联网(包括车-车和车-人)基建完善的情况下，通过车载通信设备获取，利用获取到的交通信号，能够有效地改善进行姿态轨迹的预测时的预测效果，提高自动驾驶车辆的行为和轨迹预测能力。

示例性电子设备

参见图12，图中示出了本公开的实施例提供的电子设备的结构图。图12所示的电子设备包括第一获取模块1201、第二获取模块1202和第一确定模块1203和第二确定模块1204。

第一获取模块1201，用于获取车辆的基础感知定位数据；

第二获取模块1202，用于获取车辆周围的交通参与者发出的交通信号；

第一确定模块1203，用于根据交通信号，确定道路影响数据；其中，道路影响数据指示受交通参与者影响的道路区域；

第二确定模块1204，用于根据基础感知定位数据和道路影响数据，确定车辆的预测姿态轨迹。

在一个可选示例中，交通信号包括以下至少一项：换道信号、拐弯信号、刹车信号、倒车信号、减速信号。

在一个可选示例中，

第二获取模块1202，包括：

采集单元，用于调用摄像头采集包括车辆周围的交通参与者的图像；

第一获取单元，用于对图像进行检测识别处理，以得到检测识别处理结果；

第二获取单元，用于根据检测识别处理结果，获得交通参与者发出的交通信号；

或者，

第二获取模块1202，具体用于：

通过车联网，获得车辆周围的交通参与者发出的交通信号。

在一个可选示例中，以下三项中的至少一项满足：

交通参与者包括机动车，检测识别处理结果包括以下至少一项：机动车的车灯状态信息、机动车的乘员的交通手势信息；

交通参与者包括非机动车，检测识别处理结果包括非机动车的乘员的交通手势信息；

交通参与者包括交通警察，检测识别处理结果包括交通警察的交通手势信息。

在一个可选示例中，第一获取单元，包括：

检测子单元，用于检测图像包括的交通参与者中的目标对象；其中，在摄像头为前视摄像头的情况下，目标对象包括以下至少一项：机动车上的乘员、非机动车上的乘员、交通警察；在摄像头为后视摄像头的情况下，目标对象包括以下至少一项：机动车上的乘员、非机动车上的乘员；

第一获取子单元，用于对目标对象进行姿态估计，得到姿态估计结果；

第二获取子单元，用于根据姿态估计结果，得到包括相应交通手势信息的检测识别处理结果。

在一个可选示例中，在检测识别处理结果包括交通手势信息的情况下，第二获取单元，包括：

第一确定子单元，用于确定车辆所处的地理区域；

第二确定子单元，用于确定与地理区域匹配的交通信号识别规则；

识别子单元，用于根据检测识别处理结果中的交通手势信息，以及交通信号识别规则，识别交通参与者发出的交通信号。

在一个可选示例中，基础感知定位数据包括以下至少一项：道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图。

在一个可选示例中，第二确定模块1204，具体用于：

其中，预测模型为基于深度学习网络的模型或者为基于生成对抗网络的模型。

下面，参考图13来描述根据本公开实施例的电子设备130。电子设备130可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

如图13所示，电子设备130包括一个或多个处理器131和存储器132。

处理器131可以是中央处理器(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，其控制电子设备130中的其他组件执行期望的功能。

存储器132可以包括一个或多个计算机程序产品，计算机程序产品可包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器131可以运行程序指令，以实现上文本公开的各个实施例的轨迹姿态预测方法以及/或者其他期望的功能。

在一个示例中，电子设备130还可以包括：输入装置133和输出装置134，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。输入装置133可以包括键盘、鼠标等。输出装置134可以包括显示器、扬声器、远程输出装置等。

当然，为了简化，图13中仅示出了电子设备130中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备130还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的轨迹姿态预测方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的轨迹姿态预测方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质可以包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，需要指出的是，本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为该优点、优势、效果等是本公开的各个实施例必须具备的。上述公开的具体细节仅是为了示例和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各实施例采用递进方式描述，每个实施例重点说明与其它实施例的差异，各实施例间相同或相似的部分相互参见即可。由于系统实施例与方法实施例基本对应，描述的比较简单，相关之处参见方法实施例的说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使本领域任何技术人员能够做出或者使用本公开。对这些方面的各种修改对本领域技术人员而言是显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种姿态轨迹预测方法，其特征在于，包括：

获取车辆的基础感知定位数据；

获取所述车辆周围的交通参与者发出的交通信号；

2.根据权利要求1所述的方法，其特征在于，所述交通信号包括以下至少一项：换道信号、拐弯信号、刹车信号、倒车信号、减速信号。

3.根据权利要求2所述的方法，其特征在于，

所述获取所述车辆周围的交通参与者发出的交通信号，包括：

调用摄像头采集包括所述车辆周围的交通参与者的图像；

对所述图像进行检测识别处理，以得到检测识别处理结果；

根据所述检测识别处理结果，获得所述交通参与者发出的交通信号；

或者，

通过车联网，获得所述车辆周围的交通参与者发出的交通信号。

4.根据权利要求3所述的方法，其特征在于，以下三项中的至少一项满足：

所述交通参与者包括机动车，所述检测识别处理结果包括以下至少一项：所述机动车的车灯状态信息、所述机动车的乘员的交通手势信息；

所述交通参与者包括非机动车，所述检测识别处理结果包括所述非机动车的乘员的交通手势信息；

所述交通参与者包括交通警察，所述检测识别处理结果包括所述交通警察的交通手势信息。

5.根据权利要求4所述的方法，其特征在于，所述对所述图像进行检测识别处理，以得到检测识别处理结果，包括：

检测所述图像包括的所述交通参与者中的目标对象；其中，在所述摄像头为前视摄像头的情况下，所述目标对象包括以下至少一项：机动车上的乘员、非机动车上的乘员、交通警察；在所述摄像头为后视摄像头的情况下，所述目标对象包括以下至少一项：机动车上的乘员、非机动车上的乘员；

对所述目标对象进行姿态估计，得到姿态估计结果；

根据所述姿态估计结果，得到包括相应交通手势信息的检测识别处理结果。

6.根据权利要求4所述的方法，其特征在于，在所述检测识别处理结果包括交通手势信息的情况下，所述根据所述检测识别处理结果，获得所述交通参与者发出的交通信号，包括：

确定所述车辆所处的地理区域；

确定与所述地理区域匹配的交通信号识别规则；

根据所述检测识别处理结果中的交通手势信息，以及所述交通信号识别规则，识别所述交通参与者发出的交通信号。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述基础感知定位数据包括以下至少一项：道路图、交通灯图、道路限速图、导航图、车辆位置图、障碍物图、历史姿态轨迹图。

8.一种电子设备，其特征在于，包括：

第一获取模块，用于获取车辆的基础感知定位数据；

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1至7中任一项所述的姿态轨迹预测方法。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序用于执行上述权利要求1至7中任一项所述的姿态轨迹预测方法。