CN111079721B - 一种障碍物的轨迹预测方法及装置 - Google Patents

一种障碍物的轨迹预测方法及装置 Download PDF

Info

Publication number
CN111079721B
CN111079721B CN202010204950.1A CN202010204950A CN111079721B CN 111079721 B CN111079721 B CN 111079721B CN 202010204950 A CN202010204950 A CN 202010204950A CN 111079721 B CN111079721 B CN 111079721B
Authority
CN
China
Prior art keywords
obstacle
vehicle
state information
predicted
current state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010204950.1A
Other languages
English (en)
Other versions
CN111079721A (zh
Inventor
任冬淳
樊明宇
夏华夏
朱炎亮
钱德恒
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010204950.1A priority Critical patent/CN111079721B/zh
Publication of CN111079721A publication Critical patent/CN111079721A/zh
Application granted granted Critical
Publication of CN111079721B publication Critical patent/CN111079721B/zh
Priority to PCT/CN2021/082310 priority patent/WO2021190484A1/zh
Priority to EP21777097.3A priority patent/EP4131062A4/en
Priority to US17/908,918 priority patent/US20230100814A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书公开了一种障碍物的轨迹预测方法及装置。本说明书实施例根据车辆自身、各障碍物的历史状态信息和当前状态信息，以及车辆自身规划的未来运动轨迹，确定车辆与各障碍物共同作用下的全局交互特征；并根据全局交互特征和待预测障碍物的当前状态信息，确定待预测障碍物的个体交互特征；通过个体交互特征和车辆自身所在的环境信息，对待预测障碍物未来的轨迹进行预测。本说明书实施例通过全局交互特征来表征车辆和各障碍物之间的未来交互结果，在对待预测障碍物的轨迹进行预测时，不仅考虑了车辆和各障碍物之间的交互对待预测障碍物未来轨迹的影响，还参考了车辆自身规划的未来的运动轨迹，使得预测的未来轨迹更接近实际轨迹。

Description

一种障碍物的轨迹预测方法及装置
技术领域
本说明书涉及无人驾驶技术领域，尤其涉及一种障碍物的轨迹预测方法及装置。
背景技术
目前，车辆的智能化作为人工智能技术的重要组成部分，在社会生产、生活中的作用日益凸显，成为引导交通技术发展的主要方向之一。
在对无人车及具有辅助驾驶功能的车辆（以下统称“车辆”）进行路径规划时，为了使车辆安全行驶，需要车辆避开周围的障碍物。障碍物包括静态障碍物和动态障碍物，由于静态障碍物静止不动，使车辆避开静态障碍物很容易。但是，若使车辆准确地避开动态障碍物，则需要对动态障碍物未来的行驶轨迹进行预测。
在现有技术中，仅根据历史时刻动态障碍物的状态信息，对动态障碍物未来的行驶轨迹进行预测。由于实际的交通状况比较复杂，多个动态障碍物之间、动态障碍物与车辆之间均可能存在交互（比如，一个动态障碍物的运动状态会受到与之距离较近的另一个动态障碍物或车辆的运动状态的影响等），因此，通过上述方式预测动态障碍物未来的行驶轨迹准确度较差，导致车辆路径规划的结果缺乏合理性。
发明内容
本说明书实施例提供一种障碍物的轨迹预测方法及装置，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种障碍物的轨迹预测方法，包括：
车辆监测各障碍物；
针对每个障碍物，获取该障碍物的历史状态信息和当前状态信息；
根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征；
获取所述车辆自身规划的未来的运动轨迹，并根据所述未来的运动轨迹确定所述车辆的未来运动轨迹特征；
根据所述当前交互特征和所述车辆的未来运动轨迹特征，确定所述车辆与各障碍物共同作用下的全局交互特征；
针对各障碍物中的待预测障碍物，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征；
将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹。
可选的，根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征，具体包括：根据所述车辆自身以及每个障碍物的当前状态信息，确定所述车辆与各障碍物的位置特征；根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，获取所述车辆自身以及每个障碍物分别对应的隐变量，并根据所述车辆自身以及每个障碍物分别对应的隐变量，确定所述车辆与各障碍物的跟踪特征，其中，所述隐变量用于表征车辆自身和每个障碍物从历史状态到当前状态的状态差异；根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身的运动特征；根据所述位置特征、所述跟踪特征、所述车辆自身的运动特征，确定当前所述车辆与各障碍物共同作用下的当前交互特征。
可选的，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征，具体包括：确定与该待预测障碍物的当前状态信息对应的特征向量，作为该待预测障碍物的当前状态向量；确定与所述全局交互特征对应的特征向量，作为全局交互向量；根据该待预测障碍物的当前状态向量与所述全局交互向量的乘积，确定该待预测障碍物在所述共同作用中的个体交互特征。
可选的，将所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，具体包括：采集所述车辆自身当前所处环境的实际图像，并根据所述实际图像，确定全局环境特征；根据该待预测障碍物在所述实际图像中的位置，确定该待预测障碍物对应的局部环境特征在所述全局环境特征中的位置，作为参考位置；在所述全局环境特征中获取所述参考位置对应的环境特征，作为该待预测障碍物对应的局部环境特征；将获取的该待预测障碍物对应的局部环境特征输入到预先训练的轨迹预测模型。
可选的，根据所述实际图像，确定全局环境特征，具体包括：识别所述实际图像中包含的各关键要素；确定各关键要素在所述实际图像中所处的位置；
根据各关键要素在所述实际图像中所处的位置，以及预设的与各关键要素分别匹配的模型，生成所述实际图像对应的抽象图像；根据所述抽象图像，确定全局环境特征。
可选的，所述预先训练的轨迹预测模型为包含编码端和解码端的长短期记忆模型LSTM；将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹，具体包括：根据该待预测障碍物的历史状态信息和当前状态信息，确定该待预测障碍物从历史状态到当前状态的状态差异；将该待预测障碍物的个体交互特征、所述车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入所述编码端，以使所述编码端输出该待预测障碍物对应的隐变量；将该待预测障碍物对应的隐变量、该待预测障碍物的个体交互特征、所述车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入所述解码端，以使所述解码端输出该待预测障碍物未来的轨迹。
可选的，根据所述车辆自身的历史状态信息和当前状态信息，获取所述车辆自身对应的隐变量，具体包括：根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身从历史状态到当前状态的状态差异；将所述车辆自身的个体交互特征、所述车辆自身所在的环境信息、所述车辆自身从历史状态到当前状态的状态差异输入到所述编码端，以使所述编码端输出所述车辆自身对应的隐变量；其中，所述车辆自身的个体交互特征根据所述车辆自身的当前状态信息和所述全局交互特征获得；根据每个障碍物的历史状态信息和当前状态信息，获取每个障碍物分别对应的隐变量，具体包括：针对每个障碍物，根据该障碍物的历史状态信息和当前状态信息，确定该障碍物从历史状态到当前状态的状态差异；将该障碍物的个体交互特征、所述车辆自身所在的环境信息、该障碍物从历史状态到当前状态的状态差异输入到所述编码端，以使所述编码端输出该障碍物对应的隐变量；其中，该障碍物的个体交互特征根据该障碍物的当前状态信息和所述全局交互特征获得。
本说明书提供的一种障碍物的轨迹预测装置，包括：
监测模块，用于车辆监测各障碍物；
获取模块，用于针对每个障碍物，获取该障碍物的历史状态信息和当前状态信息；
当前交互特征确定模块，用于根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征；
未来运动轨迹特征确定模块，用于获取所述车辆自身规划的未来的运动轨迹，并根据所述未来的运动轨迹确定所述车辆的未来运动轨迹特征；
全局交互特征确定模块，用于根据所述当前交互特征和所述车辆的未来运动轨迹特征，确定所述车辆与各障碍物共同作用下的全局交互特征；
个体交互特征确定模块，用于针对各障碍物中的待预测障碍物，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征；
预测模块，用于将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述障碍物的轨迹预测方法。
本说明书提供的一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述障碍物的轨迹预测方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例通过车辆及各障碍物的历史状态信息和当前状态信息确定车辆与各障碍物的当前交互特征（表征当前）；在当前交互特征的基础上，加入了车辆自身规划的未来运动轨迹作为先验，得到全局交互特征（表征未来）；通过全局交互特征和待预测障碍物的当前状态信息，确定个体交互特征（即，全局交互特征的一部分，表征待预测障碍物周围的未来交互信息），并基于此，对待预测障碍物的未来轨迹进行预测。本说明书实施例通过全局交互特征来表征车辆和各障碍物之间的未来交互结果，在对待预测障碍物的轨迹进行预测时，不仅考虑了车辆和各障碍物之间的交互对待预测障碍物未来轨迹的影响，还参考了车辆自身规划的未来的运动轨迹，使得预测的未来轨迹更接近实际轨迹。当处于交通状况较为复杂的环境中时，也能对障碍物未来的行驶轨迹进行更准确的预测。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的一种障碍物的轨迹预测方法的系统架构示意图；
图2为本说明书实施例提供的一种障碍物的轨迹预测方法的流程示意图；
图3为本说明书实施例提供的一种障碍物的轨迹预测装置的结构示意图；
图4为本说明书实施例提供的无人驾驶设备的结构示意图。
具体实施方式
在对障碍物未来的行驶轨迹进行预测时，为了提高预测的准确性，除了考虑当前时刻该障碍物的状态信息，还需要考虑与之交互的其他障碍物（还有车辆自身）对该障碍物的影响。现有技术虽然也存在将该障碍物与其他障碍物（还有车辆自身）之间的交互纳入考量的预测轨迹方法，但是，这种方法仅通过各障碍物及车辆的当前状态信息来表征各障碍物及车辆之间的交互。若仅通过当前的交互信息对未来轨迹进行预测，势必会影响障碍物轨迹预测的准确性。
在本说明书中，通过车辆与各障碍物的历史状态信息和当前状态信息，确定了车辆与各障碍物共同作用下的当前交互特征（表征当前交互信息），并通过当前交互特征和车辆自身规划的未来运动轨迹确定车辆与各障碍物共同作用下的全局交互特征（表征未来交互信息），并根据全局交互特征对未来轨迹进行预测。由于车辆自身规划的未来运动轨迹是已知的，可作为一种先验知识，通过上述方式构造的未来交互信息可信度较高。与现有技术中的当前交互信息相比，通过未来交互信息对障碍物的未来轨迹进行预测，准确性更高。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
在本说明书实施例中，可采用如图1所示的系统架构对障碍物的轨迹进行预测，该系统架构主要包括交互网络和预测网络两部分。
交互网络主要是针对车辆以及各障碍物，根据车辆历史状态信息和当前状态信息，确定车辆自身的运动特征。根据车辆当前状态信息和各障碍物的当前状态信息，确定车辆与各障碍物的位置特征。根据车辆以及各障碍物的历史状态信息和当前状态信息，确定车辆以及各障碍物分别对应的隐变量，并根据车辆以及各障碍物分别对应的隐变量，确定车辆与各障碍物的跟踪特征。根据车辆自身的运动特征、车辆与各障碍物的位置特征、车辆与各障碍物的跟踪特征，确定当前交互特征。通过车辆自身规划的未来的运动轨迹，确定车辆的未来运动轨迹特征，并根据当前交互特征和车辆的未来运动轨迹特征确定车辆与各障碍物的全局交互特征。通过交互网络确定全局交互特征之后，采用预测网络对各障碍物中的待预测障碍物的未来轨迹进行预测，首先根据待预测障碍物的当前状态信息和全局交互特征，确定个体交互特征。将确定的个体交互特征和车辆所在的环境信息输入到轨迹规划模型，以使轨迹规划模型输出该待预测障碍物的未来轨迹。
下面将结合附图，对上述过程进行详细说明。如图2所示，图2为本说明书提供的一种障碍物的轨迹预测方法的流程示意图，该流程示意图包括：
S100：车辆监测各障碍物。
车辆在行驶的过程中，周围会有与之交互的各种障碍物。为了保证车辆的安全行驶，车辆会对周围的各障碍物进行监测，获取各障碍物的状态信息等数据进行分析。其中，状态信息可为：该障碍物所处的坐标（x,y）、该障碍物的速度（v）、该障碍物的加速度（a）等。需要说明的是，车辆周围与之交互的各障碍物是呈动态变化的，即，某一时间段内与车辆交互的障碍物有a、b、c三个，那么另一时间段与车辆交互的障碍物可能就变成了a、c、d、e四个，因此需要车辆对与之交互的障碍物实时监测，及时更新采集的数据。
S102：针对每个障碍物，获取该障碍物的历史状态信息和当前状态信息。
该障碍物的状态信息可通过与该障碍物交互的车辆上的设备采集，当然，也可通过障碍物自身安装的传感器采集，还可通过云端设备基于该障碍物所处的位置来确定。其中，当前状态信息可为该障碍物在当前时刻的状态信息；历史状态信息可为该障碍物在当前时刻的前一时刻的状态信息，也可为该障碍物在当前时刻的前一时间段内多个历史时刻的状态信息。当然，无论是当前状态信息，还是历史状态信息，均是已知信息。
S104：根据车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前车辆与各障碍物共同作用下的当前交互特征。
根据车辆和各障碍物在历史以及当前时刻的状态信息，确定了车辆与各障碍物共同作用下的当前交互特征，用该当前交互特征表征当前时刻车辆与各障碍物的交互。
S106：获取车辆自身规划的未来的运动轨迹，并根据未来的运动轨迹确定车辆的未来运动轨迹特征。
车辆在行驶过程中，其自身规划的未来的运动轨迹是已知的，可作为一种先验知 识。未来的运动轨迹可为从当前时刻到下一时刻的运动轨迹，也可为从当前时刻到未来的 多个时刻形成的一段运动轨迹。以未来的运动轨迹是从当前时刻到未来的多个时刻形成的 一段运动轨迹为例，将当前时刻定义为t，将未来的多个时刻分别定义为t+1、t+2、t+3，将t+ 1、t+2、t+3时刻车辆所处的位置坐标分别定义为
Figure 473836DEST_PATH_IMAGE001
。那么，获取车辆自身规 划的未来的运动轨迹之后，可先从前述的三个位置坐标中分别提取特征向量，将提取的各 特征向量进行拼接，对拼接后的各特征向量进行最大池化处理，可通过该种方式得到车辆 的未来运动轨迹特征。
S108：根据当前交互特征和车辆的未来运动轨迹特征，确定车辆与各障碍物共同作用下的全局交互特征。
可将当前交互特征对应的特征向量与车辆的未来运动轨迹特征对应的特征向量拼接，特征向量拼接后得到车辆与各障碍物共同作用下的全局交互特征。如前所述，当前交互特征结合了历史以及当前的状态信息，用于表征当前时刻车辆与各障碍物的交互。全局交互特征在当前交互特征的基础上，增加了车辆自身的未来运动轨迹，结合了当前以及未来的状态信息，在一定程度上能够表征未来时刻车辆与障碍物的交互。
S110：针对各障碍物中的待预测障碍物，根据该待预测障碍物的当前状态信息和全局交互特征，确定该待预测障碍物在共同作用中的个体交互特征。
在对待预测障碍物的未来轨迹进行预测时，由于距离待预测障碍物较近的交互特征对其轨迹预测影响较大，距离待预测障碍物较远的交互特征对其轨迹预测影响较小，因此，若仅通过全局交互特征对待预测障碍物的未来轨迹进行预测具有局限性。本说明书实施例根据待预测障碍物的当前状态信息和全局交互特征，得出了待预测障碍物在车辆及各障碍物共同作用中的个体交互特征，该个体交互特征为全局交互特征的一部分，在一定程度上能够表征未来时刻待预测障碍物周边的交互信息，该交互信息包含了待预测障碍物的未来状态信息。
S112：将该待预测障碍物的个体交互特征和车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使轨迹预测模型输出该待预测障碍物未来的轨迹。
待预测障碍物的环境信息不易获取，但是车辆自身所在的环境信息容易获取。因此，可将与该待预测障碍物产生交互的车辆的环境信息来表征待预测障碍物的环境信息。将包含有待预测障碍物未来状态信息的个体交互特征和车辆自身所在的环境信息输入到预先训练的轨迹预测模型，得到该轨迹预测模型输出的待预测障碍物的未来轨迹。
另外，还可将该待预测障碍物的当前状态信息、待预测障碍物的个体交互特征和车辆自身所在的环境信息输入到预先训练的轨迹预测模型，以使轨迹预测模型输出该待预测障碍物未来的轨迹。需要说明的是，在对待预测障碍物的未来轨迹进行预测时，既可以根据当前时刻的状态信息，预测下一时刻的状态信息；还可以根据当前时间段（包含多个时刻）的状态信息，预测未来时间段（包含多个时刻）的状态信息（即，一段运动轨迹）。
在图2的S104中，可根据车辆自身以及每个障碍物的当前状态信息，确定车辆与各 障碍物的位置特征。具体的，继续沿用上例，可根据车辆自身的当前状态信息提取特征向 量。其中，该状态信息可通过当前t时刻车辆自身所处的位置坐标表征，将该位置坐标定义 为
Figure 826320DEST_PATH_IMAGE002
。同样的，也可根据每个障碍物的当前状态信息提取特征向量，也用位置坐标表征当 前状态信息。可用1、2、3......n代表各障碍物，将各障碍物的位置坐标依次定义为
Figure 237710DEST_PATH_IMAGE003
、
Figure 144486DEST_PATH_IMAGE004
、
Figure 565103DEST_PATH_IMAGE005
......
Figure 767501DEST_PATH_IMAGE006
。可将车辆与各障碍物的当前状态信息对应的特征向量拼接，即将
Figure 880950DEST_PATH_IMAGE002
、
Figure 275023DEST_PATH_IMAGE003
、
Figure 499331DEST_PATH_IMAGE004
、
Figure 29669DEST_PATH_IMAGE005
......
Figure 314020DEST_PATH_IMAGE006
对应的特征向量拼接，将拼接后的特征向量进行最大池化处 理，得到车辆与各障碍物的位置特征。
进一步的，可根据车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，获取车辆自身以及每个障碍物分别对应的隐变量，并根据车辆自身以及每个障碍物分别对应的隐变量，确定车辆与各障碍物的跟踪特征。其中，隐变量用于表征车辆自身和每个障碍物从历史状态到当前状态的状态差异。由于不同的障碍物从历史状态到当前状态的状态差异均不同，因此，隐变量能够从一定程度上表征车辆及各障碍物的跟踪信息。如上所述，车辆周围与之交互的各障碍物是呈动态变化的，因此，若是通过对各障碍物采用编号的方式进行跟踪，无疑费时费力且跟踪效果较差。本说明书实施例采用隐变量的方式，无需对各障碍物进行编号便可得知与车辆交互的各障碍物之间的时序运动信息。通过该跟踪信息辅助轨迹预测，能够提高轨迹预测的准确性。另外，跟踪特征的确定方式与上述位置特征的确定方式相似，即先针对各隐变量提取特征向量，将提取的特征向量拼接后做最大池化处理，便可得到跟踪特征，该处不再赘述。
一般来说，上述的位置坐标信息均采用世界坐标系确定，因此本说明书实施例适用于世界坐标系场景。若是想让本方案还适用于车辆坐标系（即，以车辆自身为中心建立坐标系），则在对障碍物未来轨迹进行预测时，可根据车辆自身的历史状态信息和当前状态信息，确定车辆自身的运动特征。车辆自身的运动特征表征了车辆自身从历史状态到当前状态的状态差异，在以车辆坐标系对障碍物的未来轨迹进行预测时，可通过车辆自身的运动特征为车辆坐标系中各位置坐标信息的确定提供参照。
通过上述的方式确定了位置特征、跟踪特征、车辆自身的运动特征后，可将位置特征、跟踪特征、车辆自身的运动特征输入到门控循环单元（Gated Recurrent Unit，GRU）进一步提取特征，对该特征进一步提取特征向量，则获得了当前车辆与各障碍物共同作用下的当前交互特征。还可将GRU模型替换为长短期记忆模型（Long Short-Term Memory，LSTM）提取特征，当然，还可采用其他模型，本说明书实施例对此不作限制。
在图2的S110中，确定个体交互特征的方式具体可为：确定与该待预测障碍物的当前状态信息对应的特征向量，作为该待预测障碍物的当前状态向量et。确定与全局交互特征对应的特征向量，作为全局交互向量fstt。根据该待预测障碍物的当前状态向量与全局交互向量的逐位点乘，确定该待预测障碍物在共同作用中的个体交互特征qt。即，qt=fstt ʘet，其中，qt表示个体交互特征对应的特征向量，fstt表示全局交互向量，ʘ表示逐位点乘，et表示当前状态向量。个体交互特征为全局交互特征的一部分，表征了待预测障碍物周围的交互信息。
在图2的S112中，可采集车辆自身当前所处环境的实际图像，并根据实际图像，确定全局环境特征。根据该待预测障碍物在实际图像中的位置，确定该待预测障碍物对应的局部环境特征在全局环境特征中的位置，作为参考位置。在全局环境特征中获取参考位置对应的环境特征，作为该待预测障碍物对应的局部环境特征。将获取的该待预测障碍物对应的局部环境特征输入到预先训练的轨迹预测模型，能够进一步提高轨迹预测的准确性。上述确定局部环境特征的方式具体可通过ROIAlign技术实现。另外，若是采用俯视图的方式获取实际图像，会使得环境信息的有效性更强。
具体的，还可将实际图像转换成抽象图像，去掉实际图像中一些无关的要素，比如周边的树木、房屋等；只保留关键要素，比如公路线路图、交通路线、交通信号灯等信息，简化信息能够提高预测效率。将实际图像转换成抽象图像的方式可为：识别实际图像中包含的各关键要素，确定各关键要素在实际图像中所处的位置。针对每个关键要素，根据该关键要素在实际图像中所处的位置，将预设的与该关键要素相匹配的模型以指定方式添加在抽象图像中，生成实际图像对应的抽象图像。将抽象图像输入到预先训练的环境模型，以使环境模型根据抽象图像输出全局环境特征。
通过上述的方式获取了待预测障碍物的个体交互特征和车辆自身所在的环境信息之后，可将其输入到预先训练的轨迹预测模型，以使轨迹预测模型输出待预测障碍物的未来轨迹。其中，预先训练的轨迹预测模型可为包含编码端和解码端的LSTM模型。可根据该待预测障碍物的历史状态信息和当前状态信息，确定该待预测障碍物从历史状态到当前状态的状态差异。将该待预测障碍物的个体交互特征、车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入编码端，以使编码端输出该待预测障碍物对应的隐变量。将该待预测障碍物对应的隐变量、该待预测障碍物的个体交互特征、车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入解码端，以使解码端输出该待预测障碍物未来的轨迹。
进一步的，可根据车辆自身的历史状态信息和当前状态信息，获取车辆自身对应的隐变量。具体的，根据车辆自身的历史状态信息和当前状态信息，确定车辆自身从历史状态到当前状态的状态差异；将车辆自身的个体交互特征、车辆自身所在的环境信息、车辆自身从历史状态到当前状态的状态差异输入到编码端，以使编码端输出车辆自身对应的隐变量；其中，车辆自身的个体交互特征根据车辆自身的当前状态信息和全局交互特征获得。
可根据每个障碍物的历史状态信息和当前状态信息，获取每个障碍物分别对应的隐变量。具体的，针对每个障碍物，根据该障碍物的历史状态信息和当前状态信息，确定该障碍物从历史状态到当前状态的状态差异；将该障碍物的个体交互特征、车辆自身所在的环境信息、该障碍物从历史状态到当前状态的状态差异输入到编码端，以使编码端输出该障碍物对应的隐变量；其中，该障碍物的个体交互特征根据该障碍物的当前状态信息和全局交互特征获得。
在本说明书实施例中，轨迹预测模型可为LSTM模型，环境模型可为卷积神经网络（Convolutional Neural Networks，CNN）。当然，轨迹预测模型和环境模型也可以采用其他模型，本说明书实施例对此不作限制。
本说明书实施例通过车辆及各障碍物的历史状态信息和当前状态信息确定车辆与各障碍物的当前交互特征（通过历史和当前来表征当前交互信息）。在当前交互特征的基础上，加入了车辆自身规划的未来运动轨迹作为先验知识，得到全局交互特征（通过当前和未来表征未来交互信息）。通过全局交互特征和待预测障碍物的当前状态信息，确定个体交互特征（即，全局交互特征的一部分，表征待预测障碍物周围的未来交互信息），并基于此，对待预测障碍物的未来轨迹进行预测。本说明书实施例通过全局交互特征来表征车辆和各障碍物之间的未来交互信息，在对待预测障碍物的轨迹进行预测时，不仅考虑了车辆和各障碍物之间的交互对待预测障碍物未来轨迹的影响，还参考了车辆自身规划的未来的运动轨迹。由于车辆自身规划的未来的运动轨迹是已知的，所以在本方案中可作为一种先验知识，在一定程度上能够表征车辆和各障碍物未来的交互。通过该种方式，使得预测的未来轨迹更接近实际轨迹。当处于交通状况较为复杂的环境中时，也能对障碍物未来的行驶轨迹进行更准确的预测。
本说明书实施例提供的障碍物的轨迹预测方法能够预测出障碍物在未来如何行驶，便于车辆准确避障。该方法还能够为车辆自身规划路径提供修正参考，即，先通过车辆自身规划的未来轨迹作为先验知识，采用该先验知识辅助障碍物预测未来轨迹，再通过各障碍物的未来轨迹对车辆自身规划的未来轨迹（即，先验知识）进行修正，使得车辆自身的路径规划更准确。当然，还可应用于其他领域，本说明书实施例对此不作限制。
本说明书提供的上述障碍物的轨迹预测方法具体可应用于针对无人车的路径规划或者无人车的避障。无人车可以为无人配送车，该无人配送车可以应用于使用无人配送车进行配送的领域，如，使用无人配送车进行快递、外卖等配送的场景。具体的，在上述的场景中，可使用多个无人配送车所构成的自动驾驶车队进行配送。
以上为本说明书实施例提供的障碍物的轨迹预测方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和无人驾驶设备。
图3为本说明书实施例提供的一种障碍物的轨迹预测装置的结构示意图，所述装置包括：
监测模块200，用于车辆监测各障碍物；
获取模块202，用于针对每个障碍物，获取该障碍物的历史状态信息和当前状态信息；
当前交互特征确定模块204，用于根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征；
未来运动轨迹特征确定模块206，用于获取所述车辆自身规划的未来的运动轨迹，并根据所述未来的运动轨迹确定所述车辆的未来运动轨迹特征；
全局交互特征确定模块208，用于根据所述当前交互特征和所述车辆的未来运动轨迹特征，确定所述车辆与各障碍物共同作用下的全局交互特征；
个体交互特征确定模块210，用于针对各障碍物中的待预测障碍物，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征；
预测模块212，用于将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹。
可选的，所述当前交互特征确定模块204，具体用于根据所述车辆自身以及每个障碍物的当前状态信息，确定所述车辆与各障碍物的位置特征；根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，获取所述车辆自身以及每个障碍物分别对应的隐变量，并根据所述车辆自身以及每个障碍物分别对应的隐变量，确定所述车辆与各障碍物的跟踪特征，其中，所述隐变量用于表征车辆自身和每个障碍物从历史状态到当前状态的状态差异；根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身的运动特征；根据所述位置特征、所述跟踪特征、所述车辆自身的运动特征，确定当前所述车辆与各障碍物共同作用下的当前交互特征。
可选的，所述个体交互特征确定模块210，具体用于确定与该待预测障碍物的当前状态信息对应的特征向量，作为该待预测障碍物的当前状态向量；确定与所述全局交互特征对应的特征向量，作为全局交互向量；根据该待预测障碍物的当前状态向量与所述全局交互向量的乘积，确定该待预测障碍物在所述共同作用中的个体交互特征。
可选的，所述预测模块212，具体用于采集所述车辆自身当前所处环境的实际图像，并根据所述实际图像，确定全局环境特征；根据该待预测障碍物在所述实际图像中的位置，确定该待预测障碍物对应的局部环境特征在所述全局环境特征中的位置，作为参考位置；在所述全局环境特征中获取所述参考位置对应的环境特征，作为该待预测障碍物对应的局部环境特征；将获取的该待预测障碍物对应的局部环境特征输入到预先训练的轨迹预测模型。
可选的，所述预测模块212，还用于识别所述实际图像中包含的各关键要素；确定各关键要素在所述实际图像中所处的位置；根据各关键要素在所述实际图像中所处的位置，以及预设的与各关键要素分别匹配的模型，生成所述实际图像对应的抽象图像；根据所述抽象图像，确定全局环境特征。
可选的，所述预先训练的轨迹预测模型为包含编码端和解码端的LSTM模型。所述预测模块212，还用于根据该待预测障碍物的历史状态信息和当前状态信息，确定该待预测障碍物从历史状态到当前状态的状态差异；将该待预测障碍物的个体交互特征、所述车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入所述编码端，以使所述编码端输出该待预测障碍物对应的隐变量；将该待预测障碍物对应的隐变量、该待预测障碍物的个体交互特征、所述车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入所述解码端，以使所述解码端输出该待预测障碍物未来的轨迹。
可选的，所述当前交互特征确定模块204，还用于根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身从历史状态到当前状态的状态差异；将所述车辆自身的个体交互特征、所述车辆自身所在的环境信息、所述车辆自身从历史状态到当前状态的状态差异输入到所述编码端，以使所述编码端输出所述车辆自身对应的隐变量；其中，所述车辆自身的个体交互特征根据所述车辆自身的当前状态信息和所述全局交互特征获得。
可选的，所述当前交互特征确定模块204，还用于针对每个障碍物，根据该障碍物的历史状态信息和当前状态信息，确定该障碍物从历史状态到当前状态的状态差异；将该障碍物的个体交互特征、所述车辆自身所在的环境信息、该障碍物从历史状态到当前状态的状态差异输入到所述编码端，以使所述编码端输出该障碍物对应的隐变量；其中，该障碍物的个体交互特征根据该障碍物的当前状态信息和所述全局交互特征获得。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图2提供的一种障碍物的轨迹预测方法。
基于图2所示的障碍物的轨迹预测方法，本说明书实施例还提供了图4所示的无人驾驶设备的结构示意图。如图4，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图2所述的障碍物的轨迹预测方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (9)

1.一种障碍物的轨迹预测方法，其特征在于，包括：
车辆监测各障碍物；
针对每个障碍物，获取该障碍物的历史状态信息和当前状态信息；
根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征；
获取所述车辆自身规划的未来的运动轨迹，并根据所述未来的运动轨迹确定所述车辆的未来运动轨迹特征；
根据所述当前交互特征和所述车辆的未来运动轨迹特征，确定所述车辆与各障碍物共同作用下的全局交互特征；
针对各障碍物中的待预测障碍物，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征；
将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹；
其中，根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征，具体包括：
根据所述车辆自身以及每个障碍物的当前状态信息，确定所述车辆与各障碍物的位置特征；
根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，获取所述车辆自身以及每个障碍物分别对应的隐变量，并根据所述车辆自身以及每个障碍物分别对应的隐变量，确定所述车辆与各障碍物的跟踪特征，其中，所述隐变量用于表征车辆自身和每个障碍物从历史状态到当前状态的状态差异；
根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身的运动特征；
根据所述位置特征、所述跟踪特征、所述车辆自身的运动特征，确定当前所述车辆与各障碍物共同作用下的当前交互特征。
2.如权利要求1所述的方法，其特征在于，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征，具体包括：
确定与该待预测障碍物的当前状态信息对应的特征向量，作为该待预测障碍物的当前状态向量；
确定与所述全局交互特征对应的特征向量，作为全局交互向量；
根据该待预测障碍物的当前状态向量与所述全局交互向量的乘积，确定该待预测障碍物在所述共同作用中的个体交互特征。
3.如权利要求1所述的方法，其特征在于，将所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，具体包括：
采集所述车辆自身当前所处环境的实际图像，并根据所述实际图像，确定全局环境特征；
根据该待预测障碍物在所述实际图像中的位置，确定该待预测障碍物对应的局部环境特征在所述全局环境特征中的位置，作为参考位置；
在所述全局环境特征中获取所述参考位置对应的环境特征，作为该待预测障碍物对应的局部环境特征；
将获取的该待预测障碍物对应的局部环境特征输入到预先训练的轨迹预测模型。
4.如权利要求3所述的方法，其特征在于，根据所述实际图像，确定全局环境特征，具体包括：
识别所述实际图像中包含的各关键要素；
确定各关键要素在所述实际图像中所处的位置；
根据各关键要素在所述实际图像中所处的位置，以及预设的与各关键要素分别匹配的模型，生成所述实际图像对应的抽象图像；
根据所述抽象图像，确定全局环境特征。
5.如权利要求2所述的方法，其特征在于，所述预先训练的轨迹预测模型为包含编码端和解码端的长短期记忆模型LSTM；
将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹，具体包括：
根据该待预测障碍物的历史状态信息和当前状态信息，确定该待预测障碍物从历史状态到当前状态的状态差异；
将该待预测障碍物的个体交互特征、所述车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入所述编码端，以使所述编码端输出该待预测障碍物对应的隐变量；
将该待预测障碍物对应的隐变量、该待预测障碍物的个体交互特征、所述车辆自身所在的环境信息和该待预测障碍物从历史状态到当前状态的状态差异输入所述解码端，以使所述解码端输出该待预测障碍物未来的轨迹。
6.如权利要求5所述的方法，其特征在于，根据所述车辆自身的历史状态信息和当前状态信息，获取所述车辆自身对应的隐变量，具体包括：
根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身从历史状态到当前状态的状态差异；
将所述车辆自身的个体交互特征、所述车辆自身所在的环境信息、所述车辆自身从历史状态到当前状态的状态差异输入到所述编码端，以使所述编码端输出所述车辆自身对应的隐变量；
其中，所述车辆自身的个体交互特征根据所述车辆自身的当前状态信息和所述全局交互特征获得；
根据每个障碍物的历史状态信息和当前状态信息，获取每个障碍物分别对应的隐变量，具体包括：
针对每个障碍物，根据该障碍物的历史状态信息和当前状态信息，确定该障碍物从历史状态到当前状态的状态差异；
将该障碍物的个体交互特征、所述车辆自身所在的环境信息、该障碍物从历史状态到当前状态的状态差异输入到所述编码端，以使所述编码端输出该障碍物对应的隐变量；
其中，该障碍物的个体交互特征根据该障碍物的当前状态信息和所述全局交互特征获得。
7.一种障碍物的轨迹预测装置，其特征在于，包括：
监测模块，用于车辆监测各障碍物；
获取模块，用于针对每个障碍物，获取该障碍物的历史状态信息和当前状态信息；
当前交互特征确定模块，用于根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征，其中，根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，确定当前所述车辆与各障碍物共同作用下的当前交互特征，具体包括：
根据所述车辆自身以及每个障碍物的当前状态信息，确定所述车辆与各障碍物的位置特征；
根据所述车辆自身的历史状态信息和当前状态信息，以及每个障碍物的历史状态信息和当前状态信息，获取所述车辆自身以及每个障碍物分别对应的隐变量，并根据所述车辆自身以及每个障碍物分别对应的隐变量，确定所述车辆与各障碍物的跟踪特征，其中，所述隐变量用于表征车辆自身和每个障碍物从历史状态到当前状态的状态差异；
根据所述车辆自身的历史状态信息和当前状态信息，确定所述车辆自身的运动特征；
根据所述位置特征、所述跟踪特征、所述车辆自身的运动特征，确定当前所述车辆与各障碍物共同作用下的当前交互特征；
未来运动轨迹特征确定模块，用于获取所述车辆自身规划的未来的运动轨迹，并根据所述未来的运动轨迹确定所述车辆的未来运动轨迹特征；
全局交互特征确定模块，用于根据所述当前交互特征和所述车辆的未来运动轨迹特征，确定所述车辆与各障碍物共同作用下的全局交互特征；
个体交互特征确定模块，用于针对各障碍物中的待预测障碍物，根据该待预测障碍物的当前状态信息和所述全局交互特征，确定该待预测障碍物在所述共同作用中的个体交互特征；
预测模块，用于将该待预测障碍物的个体交互特征和所述车辆自身所在的环境信息输入预先训练的轨迹预测模型，以使所述轨迹预测模型输出该待预测障碍物未来的轨迹。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-6任一项所述的方法。
9.一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-6任一项所述的方法。
CN202010204950.1A 2020-03-23 2020-03-23 一种障碍物的轨迹预测方法及装置 Active CN111079721B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010204950.1A CN111079721B (zh) 2020-03-23 2020-03-23 一种障碍物的轨迹预测方法及装置
PCT/CN2021/082310 WO2021190484A1 (zh) 2020-03-23 2021-03-23 一种障碍物的轨迹预测方法及装置
EP21777097.3A EP4131062A4 (en) 2020-03-23 2021-03-23 METHOD AND APPARATUS FOR PREDICTING OBSTACLE TRAJECTORY
US17/908,918 US20230100814A1 (en) 2020-03-23 2021-03-23 Obstacle trajectory prediction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010204950.1A CN111079721B (zh) 2020-03-23 2020-03-23 一种障碍物的轨迹预测方法及装置

Publications (2)

Publication Number Publication Date
CN111079721A CN111079721A (zh) 2020-04-28
CN111079721B true CN111079721B (zh) 2020-07-03

Family

ID=70324656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010204950.1A Active CN111079721B (zh) 2020-03-23 2020-03-23 一种障碍物的轨迹预测方法及装置

Country Status (4)

Country Link
US (1) US20230100814A1 (zh)
EP (1) EP4131062A4 (zh)
CN (1) CN111079721B (zh)
WO (1) WO2021190484A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079721B (zh) * 2020-03-23 2020-07-03 北京三快在线科技有限公司 一种障碍物的轨迹预测方法及装置
CN111982143B (zh) * 2020-08-11 2024-01-19 北京汽车研究总院有限公司 车辆及车辆路径规划方法、装置
CN111976726B (zh) * 2020-08-26 2022-01-18 中南大学 一种智轨车辆的转向辅助系统及其控制方法
CN111912423B (zh) * 2020-10-13 2021-02-02 北京三快在线科技有限公司 一种预测障碍物轨迹以及模型训练的方法及装置
CN112306059B (zh) * 2020-10-15 2024-02-27 北京三快在线科技有限公司 一种控制模型的训练方法、控制方法以及装置
CN112651557A (zh) * 2020-12-25 2021-04-13 际络科技(上海)有限公司 轨迹预测系统及方法、电子设备及可读存储介质
CN114692289A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 自动驾驶算法测试方法及相关设备
CN112766468B (zh) * 2021-04-08 2021-07-30 北京三快在线科技有限公司 一种轨迹预测方法、装置、存储介质及电子设备
CN113156947B (zh) * 2021-04-14 2024-03-08 武汉理工大学 一种船舶在动态环境下的路径规划的方法
CN113246973B (zh) * 2021-06-11 2022-05-03 北京三快在线科技有限公司 障碍物的轨迹预测方法、装置、存储介质及电子设备
CN113740837B (zh) * 2021-09-01 2022-06-24 广州文远知行科技有限公司 一种障碍物跟踪方法、装置、设备及存储介质
CN113844442B (zh) * 2021-10-22 2023-06-23 大连理工大学 一种无人运输的全局多源感知融合及局部避障方法和系统
CN114518762B (zh) * 2022-04-20 2022-07-22 长沙小钴科技有限公司 机器人避障装置、避障控制方法和机器人
CN117409566A (zh) * 2022-07-06 2024-01-16 华为技术有限公司 轨迹预测方法及其装置、介质、程序产品和电子设备
CN115214724B (zh) * 2022-09-20 2022-12-09 毫末智行科技有限公司 一种轨迹预测的方法、装置、电子设备及存储介质
CN115534939B (zh) * 2022-12-06 2023-04-14 广汽埃安新能源汽车股份有限公司 车辆控制方法、装置、电子设备和计算机可读介质
CN116309689B (zh) * 2023-05-17 2023-07-28 上海木蚁机器人科技有限公司 障碍物轨迹预测方法、装置、设备和介质
CN116842392B (zh) * 2023-08-29 2024-04-16 新石器慧通（北京）科技有限公司 轨迹预测方法及其模型的训练方法、装置、设备及介质
CN117389276B (zh) * 2023-11-05 2024-05-28 理工雷科智途(北京)科技有限公司 一种基于行驶风险预测的无人车行驶路径跟踪控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10562538B2 (en) * 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185010A1 (en) * 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
US11305765B2 (en) * 2019-04-23 2022-04-19 Baidu Usa Llc Method for predicting movement of moving objects relative to an autonomous driving vehicle
CN110187707B (zh) * 2019-05-30 2022-05-10 北京三快在线科技有限公司 无人驾驶设备运行轨迹的规划方法、装置及无人驾驶设备
DE112020002666T5 (de) * 2019-06-06 2022-05-12 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
CN110275531B (zh) * 2019-06-21 2020-11-27 北京三快在线科技有限公司 障碍物的轨迹预测方法、装置及无人驾驶设备
CN110371112B (zh) * 2019-07-06 2021-10-01 深圳数翔科技有限公司 一种自动驾驶车辆的智能避障系统及方法
CN110674723B (zh) * 2019-09-19 2022-07-15 北京三快在线科技有限公司 一种确定无人驾驶车辆行驶轨迹的方法及装置
US11780472B2 (en) * 2019-11-16 2023-10-10 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
CN114829225A (zh) * 2019-12-27 2022-07-29 伟摩有限责任公司 自主载具的条件行为预测
CN111079721B (zh) * 2020-03-23 2020-07-03 北京三快在线科技有限公司 一种障碍物的轨迹预测方法及装置

Also Published As

Publication number Publication date
US20230100814A1 (en) 2023-03-30
CN111079721A (zh) 2020-04-28
EP4131062A1 (en) 2023-02-08
WO2021190484A1 (zh) 2021-09-30
EP4131062A4 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
CN111079721B (zh) 一种障碍物的轨迹预测方法及装置
CN111190427B (zh) 一种轨迹规划的方法及装置
CN110991095B (zh) 一种车辆行驶决策模型的训练方法及装置
CN110929431B (zh) 一种车辆行驶决策模型的训练方法及装置
CN110989636B (zh) 一种障碍物的轨迹预测方法及装置
CN111208838B (zh) 一种无人驾驶设备的控制方法及装置
CN112766468B (zh) 一种轨迹预测方法、装置、存储介质及电子设备
CN111508258B (zh) 一种定位方法及装置
CN111126362B (zh) 一种预测障碍物轨迹的方法及装置
JP2022020044A (ja) 自律駐車のための方法と装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN110262486B (zh) 一种无人驾驶设备运动控制方法及装置
CN111912423B (zh) 一种预测障碍物轨迹以及模型训练的方法及装置
CN112949756B (zh) 一种模型训练以及轨迹规划的方法及装置
CN111522245B (zh) 用于控制无人设备的方法及装置
CN111031351A (zh) 一种预测目标物轨迹的方法及装置
CN112734810B (zh) 一种障碍物追踪方法及装置
CN112677993A (zh) 一种模型训练的方法及装置
CN112327864A (zh) 一种无人驾驶设备的控制方法及控制装置
CN113033527A (zh) 一种场景识别方法、装置、存储介质及无人设备
CN111123957A (zh) 一种轨迹规划的方法及装置
CN112987754B (zh) 一种无人设备的控制方法、装置、存储介质及电子设备
CN110895406A (zh) 一种基于干扰物轨迹规划的无人设备的测试方法及装置
CN112859883B (zh) 一种无人驾驶设备的控制方法及控制装置
CN114019981B (zh) 一种无人驾驶设备的轨迹规划方法及规划装置
CN113673436A (zh) 一种行为识别、模型训练的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant