CN115790606B - 轨迹预测方法、装置、机器人及存储介质 - Google Patents

Abstract

本发明公开了一种轨迹预测方法、装置、机器人及存储介质，所述方法包括：获取周围环境对应的语义地图，并筛选所述周围环境中待预测的目标对象；获取所述目标对象对应的历史移动数据；根据所述语义地图和所述目标对象对应的历史移动数据，计算出所述目标对象对应的至少一个目标预测位置；基于所述目标对象对应的至少一个目标预测位置以及所述历史移动数据，确定所述目标对象对应的至少一个目标预测轨迹，所述目标预测轨迹对应的轨迹模态与所述目标预测位置对应的位置模态相适配。该方法可降低轨迹预测的复杂度，提高轨迹预测的准确度。

Description

轨迹预测方法、装置、机器人及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种轨迹预测方法、装置、机器人及存储介质。

背景技术

轨迹预测是指预测行人、车辆、机器人等对象在未来一段时间内可能的运动轨迹。轨迹预测是机器人技术中的重要一环,也是当前的热点研究方向之一，在机器人导航、行人意图分析等现实场景中起到关键作用。为了使机器人在复杂场景中的移动更接近人类，避免与行人发生碰撞，预测行人的轨迹就显得越发重要。

轨迹预测是一项基础性的研究内容，也是路径规划中的一个重要环节，因此我们需要尽可能考虑到行人不同的情况，然而相关技术中提出的轨迹预测方法，在面临行人运动的特殊情况时很难预测出准确结果，预测结果准确度低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种轨迹预测方法，该方法可降低轨迹预测的复杂度，提高轨迹预测的准确度。

本发明的第二个目的在于提出一种轨迹预测装置。

本发明的第三个目的在于提出一种机器人。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出的轨迹预测方法，所述方法包括：获取周围环境对应的语义地图，并筛选所述周围环境中待预测的目标对象；获取所述目标对象对应的历史移动数据；根据所述语义地图和所述目标对象对应的历史移动数据，计算出所述目标对象对应的至少一个目标预测位置；基于所述目标对象对应的至少一个目标预测位置以及所述历史移动数据，确定所述目标对象对应的至少一个目标预测轨迹，所述目标预测轨迹对应的轨迹模态与所述目标预测位置对应的位置模态相适配。

另外，本发明实施例的轨迹预测方法还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述获取周围环境对应的语义地图，包括：在所述周围环境中确定待测区域；获取在所述待测区域内的动态对象，将所述动态对象作为待预测的目标对象；确定所述目标对象在所述周围环境中对应的兴趣区域；获取所述目标对象的所述兴趣区域对应的语义地图。

根据本发明的一个实施例，所述根据所述语义地图和所述目标对象对应的历史移动数据，计算出所述目标对象对应的至少一个目标预测位置，包括：将所述语义地图和所述目标对象对应的历史移动数据输入至位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图；基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置。

根据本发明的一个实施例，所述基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置，包括：从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；根据所述目标对象对应的历史移动数据，确定目标对象对应的移动速度；根据所述目标对象对应的移动速度和所述多个候选预测位置各自对应的位置置信度，对所述多个候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

根据本发明的一个实施例，所述基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置，包括：从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；从所述语义地图中获取所述多个候选预测位置各自对应的位置语义信息；获取所述目标对象对应的对象语义信息；对所述位置语义信息和所述对象语义信息进行语义匹配，得到语义匹配结果；根据所述语义匹配结果和所述位置置信度对所述候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

根据本发明的一个实施例，所述将所述语义地图和所述目标对象对应的历史移动数据输入至所述位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图，包括：获取所述目标对象对应的历史行为数据；根据所述历史行为数据以及所述语义地图，确定所述目标对象对应的位置先验数据；将所述语义地图、所述目标对象对应的历史移动数据以及所述位置先验数据输入至所述位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图。

根据本发明的一个实施例，所述基于所述目标对象对应的至少一个目标预测位置以及所述历史移动数据，确定所述目标对象对应的至少一个目标预测轨迹，包括：将所述目标预测位置以及历史移动数据输入至轨迹预测模型；通过所述轨迹预测模型进行轨迹预测，得到所述轨迹预测模型输出的候选预测轨迹，以及所述候选预测轨迹对应的轨迹置信度；根据所述轨迹置信度对所述候选预测轨迹进行筛选，得到所述目标对象对应的目标预测轨迹。

根据本发明的一个实施例，所述方法应用于机器人，在确定所述目标对象对应的目标预测轨迹之后，所述方法还包括：获取所述机器人当前所在位置的模态以及初始规划路径；根据所述机器人当前所在位置的模态、所述初始规划路径以及所述目标预测轨迹，确定所述机器人对应的移动策略，所述移动策略包括路径调整策略、速度调整策略或者维持策略中的至少一种；根据所述移动策略控制所述机器人移动。

根据本发明的一个实施例，所述方法应用于机器人，在确定所述目标对象对应的目标预测轨迹之后，所述方法还包括：响应于触发指令，获取所述机器人对应的起始位置；根据所述目标对象对应的目标预测轨迹或者所述目标预测位置确定所述机器人的目标位置；基于所述机器人对应的所述起始位置和所述目标位置，规划所述机器人的路径；根据规划的路径控制所述机器人移动至所述目标位置。

为达上述目的，本发明第二方面实施例提出的轨迹预测装置，所述装置包括：地图获取模块，用于获取周围环境对应的语义地图，并筛选所述周围环境中待预测的目标对象；数据获取模块，用于获取所述目标对象对应的历史移动数据；第一位置预测模块，用于根据所述语义地图和所述目标对象对应的历史移动数据，计算出所述目标对象对应的至少一个目标预测位置；轨迹预测模块，用于基于所述目标对象对应的至少一个目标预测位置以及所述历史移动数据，确定所述目标对象对应的至少一个目标预测轨迹，所述目标预测轨迹对应的轨迹模态与所述目标预测位置对应的位置模态相适配。

另外，本发明实施例的轨迹预测装置还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述地图获取模块还用于：在所述周围环境中确定待测区域；获取在所述待测区域内的动态对象，将所述动态对象作为待预测的目标对象；确定所述目标对象在所述周围环境中对应的兴趣区域；获取所述目标对象的所述兴趣区域对应的语义地图。

根据本发明的一个实施例，所述第一位置预测模块还用于：将所述语义地图和所述目标对象对应的历史移动数据输入至位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图；基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置。

根据本发明的一个实施例，所述第一位置预测模块还用于：从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；根据所述目标对象对应的历史移动数据，确定目标对象对应的移动速度；根据所述目标对象对应的移动速度和所述多个候选预测位置各自对应的位置置信度，对所述多个候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

根据本发明的一个实施例，所述第一位置预测模块还用于：从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；从所述语义地图中获取所述多个候选预测位置各自对应的位置语义信息；获取所述目标对象对应的对象语义信息；对所述位置语义信息和所述对象语义信息进行语义匹配，得到语义匹配结果；根据所述语义匹配结果和所述位置置信度对所述候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

根据本发明的一个实施例，所述第一位置预测模块还用于：获取所述目标对象对应的历史行为数据；根据所述历史行为数据以及所述语义地图，确定所述目标对象对应的位置先验数据；将所述语义地图、所述目标对象对应的历史移动数据以及所述位置先验数据输入至所述位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图。

根据本发明的一个实施例，所述轨迹预测模块还用于：将所述目标预测位置以及历史移动数据输入至轨迹预测模型；通过所述轨迹预测模型进行轨迹预测，得到所述轨迹预测模型输出的候选预测轨迹，以及所述候选预测轨迹对应的轨迹置信度；根据所述轨迹置信度对所述候选预测轨迹进行筛选，得到所述目标对象对应的目标预测轨迹。

根据本发明的一个实施例，所述装置应用于机器人，所述装置还包括：模态获取模块，用于在确定所述目标对象对应的目标预测轨迹之后，获取所述机器人当前所在位置的模态以及初始规划路径；确定模块，用于根据所述机器人当前所在位置的模态、所述初始规划路径以及所述目标预测轨迹，确定所述机器人对应的移动策略，所述移动策略包括路径调整策略、速度调整策略或者维持策略中的至少一种；第一控制模块，用于根据所述移动策略控制所述机器人移动。

根据本发明的一个实施例，所述装置应用于机器人，所述装置还包括：位置获取模块，用于在确定所述目标对象对应的目标预测轨迹之后，响应于触发指令，获取所述机器人对应的起始位置；第二位置预测模块，用于根据所述目标对象对应的目标预测轨迹或者所述目标预测位置确定所述机器人的目标位置；规划模块，用于基于所述机器人对应的所述起始位置和所述目标位置，规划所述机器人的路径；第二控制模块，用于根据规划的路径控制所述机器人移动至所述目标位置。

为达上述目的，本发明第三方面实施例提出的机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的轨迹预测程序，所述处理器执行所述轨迹预测程序时，实现根据本发明第一方面实施例所述的轨迹预测方法。

为达上述目的，本发明第四方面实施例提出的计算机可读存储介质，所述计算机可读存储介质上存储有轨迹预测程序，该轨迹预测程序被处理器执行时，实现根据本发明第一方面实施例所述的轨迹预测方法。

根据本发明实施例的轨迹预测方法、装置、机器人及存储介质，该方法在进行轨迹预测时，先预测出目标对象对应的目标预测位置，再基于目标预测位置预测出目标对象的目标预测轨迹，从而将轨迹预测变成了终点预测的问题，极大地降低了轨迹预测的复杂度，且目标预测轨迹对应的轨迹模态与目标预测位置对应的位置模态相适配，有效地提高了轨迹预测的准确度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一个实施例的机器人的硬件结构示意图；

图2是本发明一个实施例的机器人的机械结构示意图；

图3是本发明一个实施例的轨迹预测方法的流程示意图；

图4是本发明一个实施例的俯视视角下的语义地图的示意图；

图5是本发明一个实施例的矢量地图的示意图；

图6是本发明一个实施例的置信度地图的示意图；

图7是本发明一个实施例的位置预测结果图；

图8是本发明另一个实施例的位置预测结果图；

图9是本发明一个实施例的轨迹预测装置的结构示意图；

图10是本发明第一个实施例的轨迹预测装置的结构示意图；

图11是本发明第二个实施例的轨迹预测装置的结构示意图；

图12是本发明一个实施例的机器人的结构框图；

图13是本发明一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

图1为本发明其中一个实施例提供的机器人100的硬件结构示意图。机器人100可以是多种形态机器人中的任何一种，具体包括但不限于轮式机器人、足式机器人、履带式机器人、爬行机器人、蠕动式机器人或者游动式机器人等中的至少一种，例如机器人100具体可以是足式机器人，也可以是足式与轮式相结合的机器人。其中，足式机器人包括单足机器人、双足机器人或者多足机器人。多足机器人是指具有三个足或者三个以上的足式机器人，例如多足机器人具体可以是四足机器人。机器人是指一种能够半自主或全自主执行工作的机器，机器人并不限定于人形的机器装置，还可以包括例如狗形、马形、蛇形、鱼形等构型的机器人，例如机器人具体可以是一种四足的机器马。在图1所示的实施方式中，机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、显示单元106、输入单元107、控制模块110、电源111。机器人100的各种部件可以以任何方式连接，包括有线或无线连接等。本领域技术人员可以理解，图1中示出的机器人100的具体结构并不构成对机器人100的限定，机器人100可以包括比图示更多或更少的部件，某些部件也并不属于机器人100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者组合某些部件。

图2是根据本发明一个实施例提供的机器人的机械结构示意图。下面结合图1和图2对机器人100的各个部件进行具体地介绍：

机械单元101为机器人100的硬件。如图1所示，机械单元101可包括驱动板1011、电动机1012、机械结构1013，如图2所示，机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016，在其他实施方式中，机械结构1013还可包括可伸展的机械臂（图未示）、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020、摄像头结构1021等。需要说明的是，机械单元101的各个部件模块可以为一个也可以为多个，可根据具体情况设置，比如腿部1015可为4个，每个腿部1015可配置3个电动机1012，对应的电动机1012为12个。

通讯单元102可用于信号的接收和发送，还可以通过与网络和其他设备通信，比如，接收遥控器或其他机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后，传输给控制模块110处理。通讯单元102包括如WiFi模块、4G模块、5G模块、蓝牙模块、红外模块等。

传感单元103用于获取机器人100周围环境的信息数据以及监控机器人100内部各部件的参数数据，并发送给控制模块110。传感单元103包括多种传感器，如获取周围环境信息的传感器：激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统（GNSS，Global Navigation Satellite System）等。如监控机器人100内部各部件的传感器：惯性测量单元（IMU，Inertial Measurement Unit）（用于测量速度值、加速度值和角速度值的值），足底传感器（用于监测足底着力点位置、足底姿态、触地力大小和方向）、温度传感器（用于检测部件温度）。至于机器人100还可配置的载荷传感器、触摸传感器、电动机角度传感器、扭矩传感器等其他传感器，在此不再赘述。

接口单元104可以用于接收来自外部装置的输入(例如，数据信息、电力等)并且将接收到的输入传输到机器人100内的一个或多个部件，或者可以用于向外部装置输出(例如，数据信息、电力等)。接口单元104可包括电源端口、数据端口（如USB端口）、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口等。

存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统程序、运动控制程序、应用程序（比如文本编辑器）等；数据存储区可存储机器人100在使用中所生成的数据（比如传感单元103获取的各种传感数据，日志文件数据）等。此外，存储单元105可以包括高速随机存取存储器，还可以包括非易失性存储器，例如磁盘存储器、闪存器、或其他易失性固态存储器。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。

输入单元107可用于接收输入的数字或字符信息。具体地，输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户的触摸操作（比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中，触摸检测装置1073检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器1074；触摸控制器1074从触摸检测装置1073上接收触摸信息，并将它转换成触点坐标，再送给控制模块110，并能接收控制模块110发来的命令并加以执行。除了触控面板1071，输入单元107还可以包括输入设备1072。具体地，输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给控制模块110以确定触摸事件的类型，随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现输入和输出功能，具体此处不做限定。

控制模块110是机器人100的控制中心，利用各种接口和线路连接整个机器人100的各个部件，通过运行或执行存储在存储单元105内的软件程序，以及调用存储在存储单元105内的数据，从而对机器人100进行整体控制。

电源111用于给各个部件供电，电源111可包括电池和电源控制板，电源控制板用于控制电池充电、放电，以及功耗管理等功能。在图1所示的实施方式中，电源111电连接控制模块110，在其它的实施方式中，电源111还可以分别与传感单元103（比如摄像头、雷达、音箱等）、电动机1012电性连接。需要说明的是，各个部件可以各自连接到不同的电源111，或者由相同的电源111供电。

在上述实施方式的基础上，具体地，在一些实施方式中，可以通过终端设备来与机器人100进行通信连接，在终端设备与机器人100进行通信时，可以通过终端设备来向机器人100发送指令信息，机器人100可通过通讯单元102来接收指令信息，并可在接收到指令信息的情况下，将指令信息传输至控制模块110，使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于：具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。

指令信息可以根据预设条件来确定。在一个实施方式中，机器人100可以包括传感单元103，传感单元103可根据机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断机器人100的当前速度值是否满足对应的预设条件。若满足，则会保持机器人100的当前速度值和当前步态移动；若不满足，则会根据对应的预设条件来确定目标速度值和相应的目标步态，从而可控制机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信，也可以为无线通信。无线通信的方式包括但不限于：无线网络、移动通信网络（3G、4G、5G等）、蓝牙、红外。

下面参考附图描述本发明实施例的轨迹预测方法、装置、机器人及存储介质。

在本发明的一些实施例中，请参阅图3，图3是本发明实施例的轨迹预测方法的流程图。本申请提供的轨迹预测方法可以应用于如图1或图2所示的机器人中，也可以由能够与机器人进行信息传输，或对机器人进行控制的电子设备执行，例如，笔记本电脑、手机、服务器等，本说明书对此不作限制，为方便描述，本说明书以机器人为执行主体，示例性地对本发明实施例提供的轨迹预测方法进行说明。具体的，轨迹预测方法可包括：

S101，获取周围环境对应的语义地图，并筛选周围环境中待预测的目标对象。

机器人可以通过实时获取周围环境对应的语义地图，并对周围环境中待预测的目标对象进行筛选，可以是对机器人周围一定范围内的无差别对象进行筛选，也可以是对用户等针对性对象进行筛选。其中，实时可以是根据实际应用需求确定的预设频率，在机器人运行的同时获取周围环境对应的语义地图。

可理解的是，语义地图是一个“概念/语义空间”里的功能的集合表达，这些空间是通过连接线相连并构成了一个网络的，这种借助地图形式展示的功能模型具有普遍性。本发明实施例中的语义地图即高精度语义地图，其包含丰富的语义信息，语义地图能够以地图作为载体，将环境语义映射到其中。以机器人为例，机器人在道路上自动行进时，会通过自身配置的感知设备或探测设备来获取机器人周围环境中的环境语义信息，语义信息可以包括颜色、几何形状、纹理等信息，从而得到本发明实施例的语义地图。

本发明实施例中的目标对象可以为但不限于是用户或者动态障碍物。示例性地，目标对象可指机器人所在周围环境中需要预测未来轨迹的对象，对象是指环境中的生物或者物体，生物包括行人、机器人的用户之类，物体包括静态障碍物和动态障碍物，动态障碍物是指能够移动的可能阻挡机器人移动的物体，例如车辆和机器狗等。

请参阅图4，图4中示出了一个实施例中的语义地图场景。其中，R代表机器人自身，SW为人行道，CW1和CW2为人行横道，B1为人行道上的建筑物，T1和T2为人行道上的行道树，G1为自行车道与行车道之间的绿化带，p1～p4为人行道、人行横道或自行车道上的行人或骑行者，c1和c2为行车道上的车辆。可以理解的是，对于机器人R来说，待预测的目标对象包括c1和c2以及p1～p4。机器人R通过获取周围环境的语义信息，得到了SW、CW1、CW2、B1、T1～T2、G1和p1～p4的语义信息。需要说明的是，机器人实际获取到的语义信息还可以包括其他内容物的信息，这些信息在图4中未进行示出，例如自行车道、行车道、长椅、立交桥等等。

在本发明的一些实施方式中，可以通过激光雷达、单目相机或者双目相机等传感器对机器人的周围环境进行感知，感知到周围环境的物体，并将激光雷达和相机采集的数据进行融合以识别出周围物体的语义，得到周围环境对应的语义地图。其中，语义地图也可以是机器人在移动过程中实时建图得到的，也可以是在过去对该周围环境进行建图得到的，还可以是通过其他设备建立的。机器人可以基于语义地图识别出周围环境中的可行驶区域和不可行驶区域，同时将动态障碍物和静态障碍物进行识别，即对周围环境中待预测的目标对象进行筛选。周围环境中待预测的目标对象可以包括一个或者多个，多个是指两个或者两个以上。可理解的是，动态障碍物为具备移动能力的物体（例如，行人，车辆等），静态障碍物包括不可行驶区域，不可行驶区域中包括道路边界和通过道路边界划分出的无法行驶的区域，对道路边界进行识别的目的就是为了对无法行驶区域进行划分，需要说明的是，不可行驶区域也可能包括其他与道路边界无关的不可行驶区域，例如草坪、栏杆、石头等，在此不做赘述。

可以理解的是，静态障碍物中的不可行驶区域的确定方式，除了上述的通过实时获取到的环境语义信息来进行确定之外，还可以是通过读取全局地图并获取预先标注于全局地图中的标识来进行确定。具体的，全局地图为预先建立的空间地图，空间地图可以是仅包含机器人的通常移动空间范围的地图，例如机器人所在小区及周边小区形成整体区域的地图，也可以是整个行政区的地图甚至全市地图，全局地图表征有自身包含区域范围内的街道、建筑等内容物的位置信息和尺寸信息，例如图4中的建筑物B1、行道树T1和T2以及绿化带G1、人行道SW以及人行横道CW1和CW2的边界的位置和尺寸等信息，并且各内容物与相应的语义信息已通过人工标注或自动标注的方式预先建立关联，因此可以通过读取全局地图来识别静态障碍物和可行驶区域。

在一些可行的实施方式中，获取到周围环境的语义地图后，可根据该语义地图生成矢量地图，具体地，在其中一个实施方式中，可通过获取语义地图对应的世界坐标系，基于世界坐标系确定矢量方向，进而根据矢量方向对语义地图进行矢量化处理，得到矢量地图。也可通过环境间隔采样得到矢量地图，具体包括：对语义地图对应的地图特征进行空间间隔采样，得到多个空间采样点；根据多个空间采样点确定地图特征对应的语义向量，进而统计地图特征对应的语义向量，便可得到矢量地图。还可以通过轨迹间隔采样得到矢量地图，具体包括：根据历史移动数据确定目标对象对应的历史轨迹；对目标对象对应的历史轨迹进行时间间隔采样，得到多个轨迹采样点；根据多个轨迹采样点确定历史轨迹对应的轨迹向量；根据历史轨迹对应的轨迹向量和语义地图生成矢量地图。

其中，矢量地图是二维地图，通过直线和曲线来描述内容物的形状和范围，矢量地图可以通过对环境语义信息进行矢量化后得到，就是将语义信息中的语义内容转化为有起点、有终点且有方向的向量，对地图进行矢量化的过程称为环境编码，而环境编码的结果也就是进行矢量化后得到的矢量地图。因为一个向量的表示长度有限，因此若对象边界的长度较长，则可以将对象的边界进行分割得到多个向量，通过该多个向量的集合来表示对象的一条边界。

请参阅图5，图5中示出了一个具体的矢量地图示例，其中，箭头即代表向量，向量的指向是依据预设的坐标系确定的，例如依据机器人预先存储或运行过程中得到的全局地图的世界坐标系来作为矢量化的依据。CW为人行横道，CW的向量表征了人行横道的边界，并且CW通过四个首尾依次相连的向量进行表征；L1和L2为行车道，L1和L2两侧的向量表征了行车道的共三条车道线，也就是三条边界，并且L1和L2的三条边界通过九个向量进行表征，其中，每条边界通过三个向量进行表征。

在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，机器狗在行走过程中，可以获取其周围环境对应的语义地图，并从周围环境中识别出主人，即对周围环境中待预测的目标对象进行筛选，以便能够跟随主人或者提前到达某一位置等待主人。同时，机器人也可以从周围环境中确定出除主人之外的行人或车辆等动态障碍物，以便能够及时躲避这些动态障碍物，避免与这些障碍物发生碰撞。需要说明的是，上述示出的应用场景仅为示例性地，是为了对本发明实施例步骤S101的具体实施过程进行详细的解释，不作为对本发明实施例的具体限制。

S102，获取目标对象对应的历史移动数据。

机器人在行进过程中，会实时对周围环境的物体进行检测，由此得出目标对象对应的历史移动数据。需要说明的是，本步骤与其他步骤之间可以是并行或者串行执行关系。例如，本步骤和步骤S101并行实施，两者均可以是实时且连续进行的，在机器人不断获取周围环境语义信息时，还在不断获取周围所有物体的位置，由此得到所有障碍物的历史移动数据，其中即包括了目标对象的历史移动数据。

需要说明的是，目标对象对应的历史移动数据是指目标对象在历史时间段内的用于表征移动的数据，历史移动数据具体可以包括但不限于是历史移动轨迹、历史移动速度或者历史移动方向等中的至少一种。其中，历史时间段可以是根据实际应用需求预先确定的历史时间长度。

作为一种可行的实施方式，在确定并筛选出周围环境中待预测的目标对象后，机器人可以获取目标对象对应的历史移动数据，例如获取用户或者动态障碍物在历史时间段内的移动轨迹、移动速度或者移动方向等中的至少一种。

例如，在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，机器狗在从周围环境中找出主人或者动态障碍物后，获取主人或者动态障碍物在当前时刻之前的移动轨迹、移动速度以及移动方向等。

S103，根据语义地图和目标对象对应的历史移动数据，计算出目标对象对应的至少一个目标预测位置。

通过步骤S101和步骤S102分别获取到语义地图和目标对象的历史移动数据后，以机器人为例，机器人可以根据语义地图以及目标对象对应的历史移动数据，预测用户或者动态障碍物未来一段时间后可能达到的位置，即计算出目标对象对应的至少一个目标预测位置。

需要说明的是，本发明实施例中的目标预测位置是指预测的目标对象未来可能达到的位置，一个目标对象可以对应预测有一个或多个目标预测位置。

在其中一个实施例中，在主人与机器狗共同出行的场景中，假设当前主人行走在斑马线上，当机器狗发现主人已经距离自己较远时，机器狗可基于语义地图以及主人在当前时刻之前的行走轨迹、行走速度以及行走方向，预测未来一段时间后主人可能达到的位置，如马路对面的某一个或多个位置，以便基于一个或多个位置及时跟随主人或提前到达其中的一个位置等待主人。此外，在机器狗过马路时，若行人位于机器狗的周围，可能导致机器狗与其发生碰撞，此时机器狗可以基于语义地图以及行人在当前时刻之前的行走轨迹、行走方向以及行走速度，预测未来一段时间后行人可能达到的位置和移动轨迹，以便基于该位置和移动轨迹躲避行人。

S104，基于目标对象对应的至少一个目标预测位置以及历史移动数据，确定目标对象对应的至少一个目标预测轨迹，目标预测轨迹对应的轨迹模态与目标预测位置对应的位置模态相适配。

通过步骤S103确定目标对象的至少一个目标预测位置，同时通过步骤S102确定目标对象的历史移动数据，根据目标预测位置和历史移动数据，得到以部分或全部目标预测位置为终点的多条移动轨迹，即目标对象对应的至少一个目标预测轨迹。

需要说明的是，本发明实施例中的目标预测轨迹是指预测的目标对象未来可能移动的轨迹，可以有一个或多个。模态用于表示目标对象的目标预测位置或者目标预测轨迹所对应的移动状态，具体可以包括但不限于是移动的速度、方向或者转弯时的转弯角度等中的至少一种。

可理解的是，机器人在获得目标预测位置后，可以基于历史移动数据以及目标预测位置确定出目标预测轨迹，可通过路径规划的方式确定目标预测轨迹，也可通过预测的方式确定目标预测轨迹，且确定的目标预测轨迹的速度、方向等与目标预测位置的速度、方向相一致。比如，目标预测位置的方向为正前方，相应的目标预测轨迹的方向也应是正前方，否则该轨迹与目标预测位置不匹配。

在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，假设一段时间后主人可能达到的位置为马路对面的某一位置，机器狗基于主人在当前时刻之前的行走轨迹、行走方向以及马路对面的某一位置进行轨迹规划，得到主人在未来时间的轨迹，且该轨迹的模态与主人到达马路对面的某一位置的模态相适配，如主人到达马路对面的某一位置的方向为正前方，那么该轨迹的方向也是正前方。假设行人可能达到的位置为机器狗的右前方的某一位置，机器狗基于行人在当前时刻之前的行走轨迹以及右前方的某一位置进行轨迹规划，得到行人在未来时间的轨迹，且该轨迹的模态与行人到达右前方的某一位置的模态相适配，如行人到达右前方的某一位置的方向与正前方呈45度角，那么该轨迹的方向也是逐渐与正前方呈45度角。

根据本发明实施例的轨迹预测方法，由于在进行轨迹预测时，先预测出目标对象对应的目标预测位置，再基于目标预测位置预测出目标对象的目标预测轨迹，从而将轨迹预测变成了终点预测的问题，极大地降低了轨迹预测的复杂度，且目标预测轨迹对应的轨迹模态与目标预测位置对应的位置模态相适配，保证了轨迹预测的准确度。

作为一种可能的实现方式，获取周围环境对应的语义地图，可包括：获取周围环境对应的环境更新数据以及待更新地图；对环境更新数据进行语义分割，得到分割后的语义包围盒数据；根据分割后的语义包围盒数据更新待更新地图，得到目标地图；从目标地图中获取周围环境对应的语义地图。

可以理解，周围环境是实时变化的，因此需要及时更新语义地图。其中，环境更新数据是指需要更新的环境数据，包括但不限于是用户或者动态障碍物的位置等；待更新地图是指当前时刻对应的地图，可根据视觉传感器实时采集周围环境获取的语义信息自动生成，为表示当前时刻空间三维环境特征的全局地图。

作为一种可行的实施方式，对环境更新数据进行语义分割便可实时确定环境更新数据所对应的实时更新的动态障碍物（例如，行人、汽车等）和静态障碍物（例如大楼、石头、花草等），结合得到的静态障碍物，计算视觉传感器的位姿，建立动态场景中的静态障碍物点云模型，融合环境更新数据的语义分割结果和静态障碍物点云模型，将环境更新数据中的语义标签映射至三维空间点上，并采用相关滤波手段（例如贝叶斯滤波框架）对所有地图点的语义类别更新，得到语义点云地图，并对同一类别点云进行聚类，从而得到语义分割后的语义包围盒数据。

可理解的是，在得到语义包围盒数据后，通过分割后的语义包围盒数据对当前时刻对应的全局地图进行实时更新，以适应实时变化的周围环境。需要说明的是，本实施例中周围环境对应的语义地图是通过识别出周围物体的语义获取得到的，其可以直观地显示周围环境的相关信息，因此在本发明实施例中，考虑到进行后续轨迹预测的地图需要具备强大的场景建模能力，通过栅格编码语义地图对周围环境中的静态障碍物进行表征，即周围环境对应的语义地图其本质上是一个能够表征出静态障碍物的实时地图，最终获取到的周围环境的语义地图上可包含当前时刻所有待预测的目标对象的位置以及静态障碍物、负空间等几乎所有预测相关的空间特征的物理环境信息，在得到周围环境的语义地图后，便可根据该语义地图展开后续的轨迹预测工作。

在本发明的一些实施例中，获取周围环境对应的语义地图，可包括：在周围环境中确定待测区域；获取在待测区域内的动态对象，将动态对象作为待预测的目标对象；确定目标对象在周围环境中对应的兴趣区域；获取目标对象的兴趣区域对应的语义地图。

需要说明的是，待测区域可以是机器人前方或以机器人为中心的预设范围内的区域，预设范围可以是固定范围或可变范围。当为可变范围时，其范围大小与机器人的移动速度呈正相关，且需要理解的是，获取的周围环境对应的语义地图的大小范围与机器人的移动速度也呈正相关。

兴趣区域是针对每个动态障碍物来说的，每个动态障碍物均会有各自对应的兴趣区域，兴趣区域可以是以相应动态障碍物的位置为中心的一个矩形区域。生成兴趣区域的过程中可以采用Odometry测距法基于栅格地图、由环境语义信息生成的语义地图来生成所有动态障碍物的兴趣区域。

以图4为例，假设p1～p4均为行人，c1和c2为轿车，则对于图4中的机器人R来说，会生成p1～p4以及c1和c2的兴趣区域，共计六个兴趣区域。作为一种可行的实施方式，可基于待测区域内的对象的位置是否发生变化来确定待测区域内的动态对象，并将动态对象作为待预测的目标对象。

具体而言，本实施例中的兴趣区域是针对目标对象确定的，目标对象在周围环境中对应的兴趣区域可以是目标对象前方或以目标对象为中心的预设范围内的区域，预设范围可以是固定范围或可变范围，当为可变范围时，其范围大小与目标对象的移动速度呈正相关。其中，在预设范围为固定范围时，预设范围的大小可根据实际情况进行选择或根据历史经验进行确定，在本发明实施例中不做出具体限制。可理解的是，从周围环境对应的语义地图中，获取目标对象的兴趣区域对应的语义地图，这样可以有效减少地图数据，缩小需要预测的范围，减少数据量，节省计算资源和提高预测效率。

进一步地，在完成周围环境中待预测的目标对象的筛选后，便需要获取目标对象对应的历史数据，作为一种可能的实现方式，获取目标对象对应的历史移动数据，可包括：获取多个传感器分别在多个采集位置下采集得到的动态障碍物的传感器数据；确定多个采集位置之间的位置关系；根据位置关系对传感器数据进行数据融合以及坐标系转换，得到动态障碍物对应的历史移动数据；基于历史移动数据对动态障碍物进行筛选，得到目标对象对应的历史移动数据。

机器人可以配置有多种不同类型、不同功能的传感器，传感器实时对外界环境进行检测，例如图像检测、声波检测等，输出动态障碍物的信息，通过传感器融合算法得到动态障碍物的位姿、朝向和速度，从而获得动态障碍物历史移动数据。可以理解的是，通过传感器输出的动态障碍物的传感器数据还可以得到动态障碍物的尺寸。其中，传感器融合算法可以采用卡尔曼滤波算法。可理解的是，根据位置关系对传感器数据进行数据融合这一过程的本质是综合多传感器对某一动态障碍物的测量结果，输出最终的加权结果，使多个传感器对同一个动态障碍物的检测结果可以更加准确。

需要说明的是，对于本发明实施例的动态障碍物，位姿参考系是按世界坐标系或者由世界坐标系定义的笛卡尔坐标系进行参考的绝对位置，而并非是按机器人坐标系进行参考的相对位置，方向和速度同理，即获取的与位置相关的传感器数据为相对数据，为了保障确定到的历史移动数据具备可参考性，此处需根据多个采集位置之间位置关系进行坐标系的转换，得到绝对位置，从而根据该绝对位置得到动态障碍物的历史移动数据。

具体而言，由于历史移动数据包括历史移动轨迹，其可用于表征动态障碍物在过去预设时间段内的位置信息或运动状态如何，在基于历史移动数据对动态障碍物及逆行筛选时，可首先将无历史轨迹的动态障碍物过滤掉。例如，若根据历史移动数据确定到动态障碍物坐在椅子上，且无历史轨迹时，便可将该动态障碍物进行过滤处理，即基于历史移动数据完成动态障碍物的筛选工作，需要理解的是，被筛选掉的动态障碍物也将不再参与后续的轨迹预测工作。

进一步地，在获取到目标对象的兴趣区域对应的语义地图以及目标对象的历史移动数据后，便可根据语义地图和历史移动数据展开目标对象对应的目标预测位置的计算工作。

本发明的一些实施例中，根据语义地图和目标对象对应的历史移动数据，计算出目标对象对应的至少一个目标预测位置，可包括：将语义地图和目标对象对应的历史移动数据输入至位置预测模型，得到位置预测模型输出的目标对象对应的置信度地图；基于置信度地图进行位置筛选，得到目标对象对应的目标预测位置。

需要说明的是，本实施例中的置信度地图包括目标对象未来可能达到的坐标及该坐标对应的概率。

具体而言，将语义地图和目标对象对应的历史移动数据输入至预先训练好的位置预测模型中，通过预先训练好的位置预测模型预测出语义地图上的多个坐标中的每个坐标作为目标对象未来可能达到的坐标的概率，并在语义地图上进行标注。其中，多个坐标的数量以及布局可以根据实际需求确定，例如，在5米*5米的语义地图上，可以按照10*10设置100个坐标点，通过位置预测模型预测这100个坐标点分别作为目标对象的终点的概率。

可选地，可以基于目标对象的移动速度、目标预测位置的位置语义信息以及置信度地图上的多个坐标对应的概率排序结果等，对置信度地图上的多个坐标进行筛选，得到目标对象对应的目标预测位置。作为一种可行的实施方式，可通过设置预设概率阈值，基于置信度地图进行位置筛选时，在目标对象未来可能达到该坐标的概率大于预设概率阈值时，将语义地图上对应坐标的位置作为目标对象对应的目标预测位置。

具体的，请参阅图6，图6中左侧为目标对象p1的语义地图的坐标矩阵，q11～qij为目标对象p1的语义地图的坐标点，其中，i为坐标矩阵的行数，j为坐标矩阵的列数。将目标对象p1的矢量地图和历史移动数据输入位置预测模型后，输出图6中右侧的置信度地图，该置信度地图为目标对象p1的置信度地图，g11～gij分别为q11～qij成为目标对象p1终点的概率值。概率值g的取值范围为0≤g≤1。对于图4中的其他动态障碍物也同理可得相应的置信度地图。

在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，机器狗在从周围环境中找出主人或者动态障碍物后，获取到主人或者动态障碍物的历史移动数据后，根据历史移动数据和语义地图，预测出语义地图上的多个坐标中的每个坐标作为目标对象未来可能达到的坐标的概率，并根据预设概率阈值对语义地图上的多个坐标对应的位置进行筛选，确定主人或者动态障碍物的目标预测位置。

作为一个示例，基于置信度地图进行位置筛选，得到目标对象对应的目标预测位置，可包括：从置信度地图中获取多个候选预测位置，以及多个候选预测位置各自对应的位置置信度；根据目标对象对应的历史移动数据，确定目标对象对应的移动速度；根据目标对象对应的移动速度和多个候选预测位置各自对应的位置置信度，对多个候选预测位置进行位置筛选，得到目标对象对应的目标预测位置。

可选地，将置信度地图中的多个坐标中概率超过预设概率的坐标作为候选预测位置。其中，预设概率可根据实际需求进行确定，在本示例中不做出具体限制。根据目标对象对应的移动速度和多个候选预测位置各自对应的位置置信度，对多个候选预测位置进行位置筛选时，可直接根据速度筛选，也可在确定出目标对象无法到达的范围后，对该范围内的候选预测位置进行过滤，得到筛选后的候选预测位置，即目标对象的目标预测位置。

作为一种可行的实施方式，由于目标对象的历史移动数据中包括历史移动速度，在进行候选预测位置筛选工作时，根据目标对象历史移动速度确定到目标对象处于匀速运动时，且目标对象的历史移动速度较慢，便可确定预设时间内目标对象是无法到达距离目标对象当前位置较远的位置的，此时可将距离目标对象当前位置较远距离的候选预测位置进行过滤，即进行多个候选预测位置的筛选，得到目标对象对应的目标预测位置。

作为另一个示例，基于置信度地图进行位置筛选，得到目标对象对应的目标预测位置，可包括：从置信度地图中获取多个候选预测位置，以及多个候选预测位置各自对应的位置置信度；从语义地图中获取多个候选预测位置各自对应的位置语义信息；获取目标对象对应的对象语义信息；对位置语义信息和对象语义信息进行语义匹配，得到语义匹配结果；根据语义匹配结果和位置置信度对候选预测位置进行位置筛选，得到目标对象对应的目标预测位置。

也就是说，在从置信度地图中获取多个候选预测位置后，还需要获取这些候选预测位置对应的位置置信度，以确定预测出的该位置的可靠性。可理解的是，语义地图上可包含当前时刻所有待预测的目标对象的位置以及静态障碍物、负空间等几乎所有预测相关的空间特征的物理环境信息，因此在确定了候选预测位置后，便可从语义地图中对应获取该候选预测位置对应的位置语义信息。

本示例中，需要将多个候选预测位置各自对应的位置语义信息分别与目标对象对应的对象语义信息进行语义匹配，得到最终的语义匹配结果。具体而言，由于已经根据多个候选预测位置对应的位置语义信息和对象语义信息进行语义匹配得到语义匹配结果，此时便可结合多个候选预测位置对应的位置置信度进行目标对象对应的目标预测位置的位置筛选。

举例而言，在目标对象为人时，通过对语义地图中到个候选预测位置对应的位置语义信息进行分析，得到多个候选预测位置各自对应的位置语义信息为垃圾桶、便利店、游泳馆，此时通过获取目标对象对应的对象语义信息，发现人手里提着垃圾袋，进行语义匹配，得到了三种不同的结果，即人提着垃圾袋去垃圾桶，人提着垃圾袋去便利店以及人提着垃圾袋去游泳馆，根据语义匹配结果和位置置信度对候选预测位置进行位置筛选时，可确定需要将人提着垃圾袋去便利店以及人提着垃圾袋去游泳馆两种情况排除掉，最终得到人提着垃圾袋去垃圾桶，从而确定人的目标预测位置为垃圾桶。

需要说明的是，若根据上述示例筛选后得出的目标对象对应的目标预测位置仍较多时，为降低运算量，便可将多个目标预测位置对应的位置置信度进行降序排序，选取位置置信度最高的前几个位置作为最终的目标预测位置，此处仅为示例，具体实施过程中也可根据实际需求通过其他的适应性手段以降低轨迹预测工作的运算量。

在一些实施例中，将语义地图和目标对象对应的历史移动数据输入至位置预测模型，得到位置预测模型输出的目标对象对应的置信度地图，可包括：获取目标对象对应的历史行为数据；根据历史行为数据以及语义地图，确定目标对象对应的位置先验数据将语义地图、目标对象对应的历史移动数据以及位置先验数据输入至位置预测模型，得到位置预测模型输出的目标对象对应的置信度地图。

可选地，历史行为数据包括但不限于目标对象标记、行为作用的对象、行为描述信息以及行为发生时间和地点等。作为一种可行的实施方式，在获取到语义地图和目标对象对应的历史移动数据后，便可目标对象对应的历史行为数据，如获取用户或动态障碍物在当前时刻之前的行为习惯，即行为描述信息、行为作用的对象以及该行为发生的时间、地点等。

在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，机器狗在从周围环境中找出主人或者动态障碍物后，获取主人或者动态障碍物在当前时刻之前的行为习惯，即行为描述信息、行为作用的对象以及该行为发生的时间、地点等。

具体而言，将语义地图、目标对象对应的历史移动数据以及位置先验数据输入至预先训练好的位置预测模型中，通过预先训练好的位置预测模型预测出语义地图上的多个坐标中的每个坐标作为目标对象未来可能达到的坐标的概率，并在语义地图上进行标注。例如，在语义地图上设置了100个坐标点，在未进行位置预测前，目标对象到达每个坐标点的概率为1%，由于本实施例中根据历史经验生成了对应位置的先验数据，基于获取到的位置先验数据可对每个坐标点的概率进行调整，调整后的概率可能也会出现差别，例如其中一个坐标点的概率为2%，另一个点的概率为0.5%。

也就是说，获取置信度地图时，目标对象的历史行为习惯也可以作为参考因素，即结合历史数据发现目标对象在特定时间段具备很大的概率要走特定路线，例如通过对目标对象的历史行为数据分析发现目标对象习惯在每天七点钟进行洗漱，轨迹路线为卧室-客厅-卫生间时，若在七点钟对目标对象进行轨迹预测时，置信度地图中对于阳台位置坐标的概率便可调整至较低值；又或者是目标对象习惯在每天八点钟选择一条既定路段去上班，若在八点钟对目标对象进行轨迹预测时，置信度地图对于该条上班路线中的各位置坐标对应的概率便需调整至较高值。

进一步地，在根据上述实施过程确定了至少一个目标预测位置以及历史移动数据后，便需根据目标预测位置和历史移动数据进行目标轨迹的预测工作。

在一些实施例中，基于目标对象对应的至少一个目标预测位置以及历史移动数据，确定目标对象对应的至少一个目标预测轨迹，可包括：将目标预测位置以及历史移动数据输入至轨迹预测模型；通过轨迹预测模型进行轨迹预测，得到轨迹预测模型输出的候选预测轨迹，以及候选预测轨迹对应的轨迹置信度；根据轨迹置信度对候选预测轨迹进行筛选，得到目标对象对应的目标预测轨迹。

需要说明的是，根据本发明上述实施方式得到的目标预测位置可能不止一个，若对于目标对象确定的目标预测位置有多个，则需分别多次将目标预测位置以及历史移动数据输入至轨迹预测模型。作为一种可行的实施方式，机器人根据目标预测位置以及用户或者动态障碍物对应的移动轨迹、移动速度以及移动方向等，预测用户或者动态障碍物在未来时间的轨迹。

相较于相关技术中直接根据输入的目标对象对应的历史移动数据进行轨迹预测，这一预测过程中目标对象可以以以其历史轨迹的终点为起点，向所有可行路径运动，会加大预测难度的问题，本发明实施例将首先获取目标预测位置，进而根据目标预测位置和历史移动数据展开目标对象的轨迹预测工作，提高了轨迹预测工作的速度，降低预测难度，且减小运算量。

需要说明的是，本发明实施例中的目标预测轨迹是指预测的目标对象未来时间的轨迹，即未来预设时间段内可能会通过的路段，可以有一条或多条。

在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，假设当前主人行走在斑马线上，当机器狗发现主人已经距离自己较远时，机器狗可基于目标预测位置以及主人在当前时刻之前的行走轨迹、行走速度以及行走方向，预测主人未来一段时间内可能会行走的路径。在机器狗与主人位于马路一边时，机器人可以基于目标预测位置以及主人在当前时刻之前的行走轨迹、行走方向以及行走速度，预测主人未来可能会走的路径，例如直行通过斑马线到达马路对面。

具体而言，将目标预测位置以及历史移动数据输入至预先训练好的轨迹预测模型中，通过预先训练好的轨迹预测模型确定出候选预测轨迹以及目标对象未来可能到达该条候选轨迹的概率。

可选地，可以基于目标对象的历史移动数据、目标预测位置以及候选预测轨迹对应的概率排序结果等，对候选预测轨迹进行筛选，得到目标对象对应的目标预测轨迹。

作为一个示例，根据轨迹置信度对候选预测轨迹进行筛选，得到多个目标预测轨迹，包括：获取周围环境中的不可通行区域；确定候选预测轨迹与不可通行区域之间的通行距离；根据通行距离和轨迹置信度对候选预测轨迹进行筛选，得到多个目标预测轨迹。

本示例中，不可通行区域包括道路边界和不可行驶区域，不可行驶区域中可包括通过道路边界划分出的无法行驶的区域。

可理解的是，针对一个目标预测位置，可能出现多条候选预测轨迹，但距离不可通行区域太近的候选轨迹，是需要进行过滤掉的，即根据通行距离和轨迹置信度对候选预测轨迹进行筛选，以确保得到的目标预测轨迹的准确性及可靠性。

假设在对动态障碍物p2进行目标轨迹预测时，轨迹预测模型输出了关于动态障碍物p2的15个移动轨迹，则先确定出该15个移动轨迹中每条移动轨迹与静态障碍物之间的距离。以对移动轨迹MT1为例，在动态障碍物p2按移动轨迹MT1进行移动时，确定轨迹MT1与所有静态障碍物之间的最小距离，该最小距离可以是通过获取轨迹MT1与每个静态障碍物之间的最近距离并从各最近距离中确定出数值最小的最近距离从而得到最小距离。

移动轨迹MT1的评分结果与MT1的最小距离成正比。移动轨迹MT1的最小距离越小，说明p2在按轨迹MT1预期移动过程中与某个静态障碍物之间的距离较近，p2选择该轨迹的几率就越小，否则p2可能与第一静态障碍物发生碰撞；移动轨迹MT1的最小距离越大，说明p2在按轨迹MT1预期移动过程中与所有静态障碍物之间的距离均较远，p2选择该轨迹的几率就越大，因为p2不会与各静态障碍物发生碰撞。同时，轨迹置信度的数值也影响移动轨迹的评分，移动轨迹MT1的评分结果与轨迹置信度成正比。

得出15个移动轨迹的评分后，从中确定出评分最高的N个候选预测轨迹，例如确定出评分最高的3个候选预测轨迹，该3个候选预测轨迹即为行人p2的轨迹预测候选结果，该3个候选预测轨迹分别表征了p2的3种不同的移动意图，例如3个目标轨迹分别为：p2直线左转、p2弧线左转和p2直线前行，对于其他移动中的动态障碍物同理可得，由此给出了关于所有移动中的动态障碍物的最可能发生的移动预期，便于后续机器人进行移动方案的决策。

请参阅图7，c7为移动中的动态障碍物汽车，c7前方的方格矩阵中的各个方形格表征了位置预测模型输出的各个位置模态，方形格的灰度值表征了此处位置置信度，方形格的灰度值越高则位置置信度的数值越大，也就是该方形格处位置模态成为汽车终点的概率值越大。依次利用c7的移动速度、概率阈值和概率排序来对目标预测位置进行筛选，筛选出7个预测位置，以五角星图案表示该7个筛选出的目标预测位置的坐标，可以理解，每个五角星图案对应其中一个方形格。将筛选后的7个预测位置的信息连同c7的矢量地图和c7的历史移动数据h7输入轨迹预测模型，分别得到7个位置模态的候选预测轨迹，并对7个位置的候选预测轨迹进行评分，其中的候选预测轨迹u7为评分最高的候选预测轨迹，作为目标预测轨迹，u7对应的终点位置以黑色填充的五角星表示，其他六个以白色填充的五角星则为评分低于u7的预测模态轨迹对应的终点位置。

请参阅图8，c9为移动中的动态障碍物汽车，c9前方的方格矩阵中的各个方形格表征了位置预测模型输出的各个目标预测位置。依次利用c9的移动速度、概率阈值和概率排序来对目标预测位置进行筛选，筛选出7个位置模态，以五角星图案表示该7个筛选出的目标预测位置的坐标。将筛选后的7个目标预测位置的信息连同c9的语义地图和c9的历史移动轨迹输入轨迹预测模型，分别得到7个目标预测位置的候选预测轨迹，并对7个目标预测位置的候选预测轨迹进行评分，其中的候选预测轨迹u9为评分最高的候选预测轨迹，u9对应的终点位置以黑色填充的五角星表示。

在一些实施例中，轨迹预测方法可应用于机器人，在确定目标对象对应的目标预测轨迹之后，轨迹预测方法还可包括：获取机器人当前所在位置的模态以及初始规划路径；根据机器人当前所在位置的模态、初始规划路径以及目标预测轨迹，确定机器人对应的移动策略，移动策略包括路径调整策略、速度调整策略或者维持策略中的至少一种；根据移动策略控制机器人移动。

在机器人为机器狗的应用场景中，用户为机器狗的主人，当主人与机器狗交互时，在已经确定了主人或动态障碍物的目标预测轨迹后，为了保证机器狗行安全性，便需要根据目标预测轨迹对初始规划路径进行适应性地调整，并对机器人当前所在位置的模态进行相应地调整。移动策略可包括但不限于规避目标对象（即选择其他路径），加速或减速（即快速或缓慢通过该段路径），也可以是保持当前行走状态（即按照初始规划路径行走），也可以是保持当前行走状态一段时间后再调整等，此处的移动策略较多，均可以在预先实验过程中进行适应性更新及调整，在本实施例中不做出具体限制。

也就是说，本实施例中在确定了机器人的移动策略后，便可根据该移动策略控制机器人移动，以避免与障碍物发生碰撞，从而保证机器人行走路径的安全性。

在本发明的另一些实施例中，轨迹预测方法应用于机器人，在确定目标对象对应的目标预测轨迹之后，轨迹预测方法还包括：响应于触发指令，获取机器人对应的起始位置；根据目标对象对应的目标预测轨迹或者目标预测位置确定机器人的目标位置；基于机器人对应的起始位置和目标位置，规划机器人的路径；根据规划的路径控制机器人移动至目标位置。

可以理解的是，此处机器人对应的起始位置可以是当前位置，也可以是某个已经选择好的位置。此处机器人的目标位置可以是目标预测轨迹或目标预测位置上的位置，也可以是机器人周围的位置。

也就是说，本实施例中在确定了机器人的起始位置和目标位置后，为了跟随目标对象，或者是为了与目标对象相遇，此时便需要控制机器人按照规划好的路径从起始位置出发移动至目标位置。在主人遛机器狗的场景中，机器狗可以先行走至目标预测位置等待主人，或者根据目标预测轨迹对主人进行跟随。

根据本发明实施例的轨迹预测方法，在进行轨迹预测时，先预测出目标对象对应的目标预测位置，再基于目标预测位置预测出目标对象的目标预测轨迹，从而将轨迹预测变成了终点预测的问题，极大地降低了轨迹预测的复杂度，且目标预测轨迹对应的轨迹模态与目标预测位置对应的位置模态相适配，保证了轨迹预测的准确度，降低了轨迹预测工作的难度，且运算量小。同时，在轨迹预测的过程中，从周围环境对应的语义地图中，获取目标对象的兴趣区域对应的语义地图，进而根据该语义地图展开轨迹预测工作，这样可以有效减少地图数据，缩小需要预测的范围，减少数据量，节省计算资源和提高预测效率。

进一步地，本发明实施例提出一种轨迹预测装置。

在本发明的一些实施例中，如图9所示，轨迹预测装置10可包括：地图获取模块11，用于获取周围环境对应的语义地图，并筛选周围环境中待预测的目标对象；数据获取模块12，用于获取目标对象对应的历史移动数据；第一位置预测模块13，用于根据语义地图和目标对象对应的历史移动数据，计算出目标对象对应的至少一个目标预测位置；轨迹预测模块14，用于基于目标对象对应的至少一个目标预测位置以及历史移动数据，确定目标对象对应的至少一个目标预测轨迹，目标预测轨迹对应的轨迹模态与目标预测位置对应的位置模态相适配。

在一些实施例中，地图获取模块11还用于：在周围环境中确定待测区域；获取在待测区域内的动态对象，将动态对象作为待预测的目标对象；确定目标对象在周围环境中对应的兴趣区域；获取目标对象的兴趣区域对应的语义地图。

在一些实施例中，第一位置预测模块13还用于：将语义地图和目标对象对应的历史移动数据输入至位置预测模型，得到位置预测模型输出的目标对象对应的置信度地图；基于置信度地图进行位置筛选，得到目标对象对应的目标预测位置。

在一些实施例中，第一位置预测模块13还用于：从置信度地图中获取多个候选预测位置，以及多个候选预测位置各自对应的位置置信度；根据目标对象对应的历史移动数据，确定目标对象对应的移动速度；根据目标对象对应的移动速度和多个候选预测位置各自对应的位置置信度，对多个候选预测位置进行位置筛选，得到目标对象对应的目标预测位置。

在一些实施例中，第一位置预测模块13还用于：从置信度地图中获取多个候选预测位置，以及多个候选预测位置各自对应的位置置信度；从语义地图中获取多个候选预测位置各自对应的位置语义信息；获取目标对象对应的对象语义信息；对位置语义信息和对象语义信息进行语义匹配，得到语义匹配结果；根据语义匹配结果和位置置信度对候选预测位置进行位置筛选，得到目标对象对应的目标预测位置。

在一些实施例中，第一位置预测模块13还用于：获取目标对象对应的历史行为数据；根据历史行为数据以及语义地图，确定目标对象对应的位置先验数据；将语义地图、目标对象对应的历史移动数据以及位置先验数据输入至位置预测模型，得到位置预测模型输出的目标对象对应的置信度地图。

在一些实施例中，轨迹预测模块14还用于：将目标预测位置以及历史移动数据输入至轨迹预测模型；通过轨迹预测模型进行轨迹预测，得到轨迹预测模型输出的候选预测轨迹，以及候选预测轨迹对应的轨迹置信度；根据轨迹置信度对候选预测轨迹进行筛选，得到目标对象对应的目标预测轨迹。

在一些实施例中，如图10所示，轨迹预测装置10应用于机器人，轨迹预测装置10还可包括：模态获取模块15，用于在确定目标对象对应的目标预测轨迹之后，获取机器人当前所在位置的模态以及初始规划路径；确定模块16，用于根据机器人当前所在位置的模态、初始规划路径以及目标预测轨迹，确定机器人对应的移动策略，移动策略包括路径调整策略、速度调整策略或者维持策略中的至少一种；第一控制模块17，用于根据移动策略控制机器人移动。

在另一些实施例中，如图11所示，轨迹预测装置10应用于机器人，轨迹预测装置10还可包括：位置获取模块18，用于在确定目标对象对应的目标预测轨迹之后，响应于触发指令，获取机器人对应的起始位置；第二位置预测模块19，用于根据目标对象对应的目标预测轨迹或者目标预测位置确定机器人的目标位置；规划模块20，用于基于机器人对应的起始位置和目标位置，规划机器人的路径；第二控制模块21，用于根据规划的路径控制机器人移动至目标位置。

需要说明的是，本发明实施例的轨迹预测装置的其他具体实施方式可参见本发明上述实施例的轨迹预测方法的具体实施方式。

进一步地，本发明实施例提出一种机器人。

在本发明的一些实施例中，如图12所示，机器人300包括存储器302、处理器304及存储在存储器302上并可在处理器304上运行的轨迹预测程序306，处理器304执行轨迹预测程序306时，实现根据本发明上述实施例所述的轨迹预测方法。

另外，本发明实施例的机器人的其他构成及作用对本领域的技术人员来说是已知的，为减少冗余，此处不做赘述。

进一步地，本发明实施例提出一种计算机可读存储介质。

在本发明的一些实施例中，如图13所示，计算机可读存储介质200上存储有轨迹预测程序306，该轨迹预测程序306被处理器执行时实现根据本发明上述实施例所述的轨迹预测方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种轨迹预测方法，其特征在于，所述方法应用于机器人，所述方法包括：

获取周围环境对应的语义地图，并筛选所述周围环境中待预测的目标对象；

获取所述目标对象对应的历史移动数据；

根据所述语义地图和所述目标对象对应的历史移动数据，计算出所述目标对象对应的至少一个目标预测位置，包括：将所述语义地图和所述目标对象对应的历史移动数据输入至位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图；基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置；

基于所述目标对象对应的至少一个目标预测位置、所述目标预测位置对应的位置模态以及所述历史移动数据，确定所述目标对象对应的轨迹模态与所述目标预测位置对应的位置模态相适配的至少一个目标预测轨迹，所述至少一个目标预测轨迹是以相对应的目标预测位置为终点预测得到的轨迹。

2.根据权利要求1所述的方法，其特征在于，所述获取周围环境对应的语义地图，包括：

在所述周围环境中确定待测区域；

获取在所述待测区域内的动态对象，将所述动态对象作为待预测的目标对象；

确定所述目标对象在所述周围环境中对应的兴趣区域；

获取所述目标对象的所述兴趣区域对应的语义地图。

3.根据权利要求1所述的方法，其特征在于，所述基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置，包括：

从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；

根据所述目标对象对应的历史移动数据，确定目标对象对应的移动速度；

根据所述目标对象对应的移动速度和所述多个候选预测位置各自对应的位置置信度，对所述多个候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

4.根据权利要求1所述的方法，其特征在于，所述基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置，包括：

从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；

从所述语义地图中获取所述多个候选预测位置各自对应的位置语义信息；

获取所述目标对象对应的对象语义信息；

对所述位置语义信息和所述对象语义信息进行语义匹配，得到语义匹配结果；

根据所述语义匹配结果和所述位置置信度对所述候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

5.根据权利要求1所述的方法，其特征在于，所述将所述语义地图和所述目标对象对应的历史移动数据输入至所述位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图，包括：

获取所述目标对象对应的历史行为数据；

根据所述历史行为数据以及所述语义地图，确定所述目标对象对应的位置先验数据；

将所述语义地图、所述目标对象对应的历史移动数据以及所述位置先验数据输入至所述位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象对应的至少一个目标预测位置以及所述历史移动数据，确定所述目标对象对应的至少一个目标预测轨迹，包括：

将所述目标预测位置以及历史移动数据输入至轨迹预测模型；

通过所述轨迹预测模型进行轨迹预测，得到所述轨迹预测模型输出的候选预测轨迹，以及所述候选预测轨迹对应的轨迹置信度；

根据所述轨迹置信度对所述候选预测轨迹进行筛选，得到所述目标对象对应的目标预测轨迹。

7.根据权利要求1所述的方法，其特征在于，在确定所述目标对象对应的目标预测轨迹之后，所述方法还包括：

获取所述机器人当前所在位置的模态以及初始规划路径；

根据所述机器人当前所在位置的模态、所述初始规划路径以及所述目标预测轨迹，确定所述机器人对应的移动策略，所述移动策略包括路径调整策略、速度调整策略或者维持策略中的至少一种；

根据所述移动策略控制所述机器人移动。

8.根据权利要求1所述的方法，其特征在于，在确定所述目标对象对应的目标预测轨迹之后，所述方法还包括：

响应于触发指令，获取所述机器人对应的起始位置；

根据所述目标对象对应的目标预测轨迹或者所述目标预测位置确定所述机器人的目标位置；

基于所述机器人对应的所述起始位置和所述目标位置，规划所述机器人的路径；

根据规划的路径控制所述机器人移动至所述目标位置。

9.一种轨迹预测装置，其特征在于，所述装置应用于机器人，所述装置包括：

地图获取模块，用于获取周围环境对应的语义地图，并筛选所述周围环境中待预测的目标对象；

数据获取模块，用于获取所述目标对象对应的历史移动数据；

第一位置预测模块，用于根据所述语义地图和所述目标对象对应的历史移动数据，计算出所述目标对象对应的至少一个目标预测位置，具体用于：将所述语义地图和所述目标对象对应的历史移动数据输入至位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图；基于所述置信度地图进行位置筛选，得到所述目标对象对应的目标预测位置；

轨迹预测模块，用于基于所述目标对象对应的至少一个目标预测位置、所述目标预测位置对应的位置模态以及所述历史移动数据，确定所述目标对象对应的轨迹模态与所述目标预测位置对应的位置模态相适配的至少一个目标预测轨迹，所述至少一个目标预测轨迹是以相对应的目标预测位置为终点预测得到的轨迹。

10.根据权利要求9所述的装置，其特征在于，所述地图获取模块还用于：

在所述周围环境中确定待测区域；

获取在所述待测区域内的动态对象，将所述动态对象作为待预测的目标对象；

确定所述目标对象在所述周围环境中对应的兴趣区域；

获取所述目标对象的所述兴趣区域对应的语义地图。

11.根据权利要求9所述的装置，其特征在于，所述第一位置预测模块还用于：

从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；

根据所述目标对象对应的历史移动数据，确定目标对象对应的移动速度；

根据所述目标对象对应的移动速度和所述多个候选预测位置各自对应的位置置信度，对所述多个候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

12.根据权利要求9所述的装置，其特征在于，所述第一位置预测模块还用于：

从所述置信度地图中获取多个候选预测位置，以及所述多个候选预测位置各自对应的位置置信度；

从所述语义地图中获取所述多个候选预测位置各自对应的位置语义信息；

获取所述目标对象对应的对象语义信息；

对所述位置语义信息和所述对象语义信息进行语义匹配，得到语义匹配结果；

根据所述语义匹配结果和所述位置置信度对所述候选预测位置进行位置筛选，得到所述目标对象对应的目标预测位置。

13.根据权利要求9所述的装置，其特征在于，所述第一位置预测模块还用于：

获取所述目标对象对应的历史行为数据；

根据所述历史行为数据以及所述语义地图，确定所述目标对象对应的位置先验数据；

将所述语义地图、所述目标对象对应的历史移动数据以及所述位置先验数据输入至所述位置预测模型，得到所述位置预测模型输出的所述目标对象对应的置信度地图。

14.根据权利要求9所述的装置，其特征在于，所述轨迹预测模块还用于：

将所述目标预测位置以及历史移动数据输入至轨迹预测模型；

通过所述轨迹预测模型进行轨迹预测，得到所述轨迹预测模型输出的候选预测轨迹，以及所述候选预测轨迹对应的轨迹置信度；

根据所述轨迹置信度对所述候选预测轨迹进行筛选，得到所述目标对象对应的目标预测轨迹。

15.根据权利要求9所述的装置，其特征在于，所述装置还包括：

模态获取模块，用于在确定所述目标对象对应的目标预测轨迹之后，获取所述机器人当前所在位置的模态以及初始规划路径；

确定模块，用于根据所述机器人当前所在位置的模态、所述初始规划路径以及所述目标预测轨迹，确定所述机器人对应的移动策略，所述移动策略包括路径调整策略、速度调整策略或者维持策略中的至少一种；

第一控制模块，用于根据所述移动策略控制所述机器人移动。

16.根据权利要求9所述的装置，其特征在于，所述装置还包括：

位置获取模块，用于在确定所述目标对象对应的目标预测轨迹之后，响应于触发指令，获取所述机器人对应的起始位置；

第二位置预测模块，用于根据所述目标对象对应的目标预测轨迹或者所述目标预测位置确定所述机器人的目标位置；

规划模块，用于基于所述机器人对应的所述起始位置和所述目标位置，规划所述机器人的路径；

第二控制模块，用于根据规划的路径控制所述机器人移动至所述目标位置。

17.一种机器人，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的轨迹预测程序，所述处理器执行所述轨迹预测程序时，实现根据权利要求1-8任一项所述的轨迹预测方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有轨迹预测程序，该轨迹预测程序被处理器执行时实现根据权利要求1-8任一项所述的轨迹预测方法。

Images