CN110807397A - 一种预测目标物运动状态的方法及装置 - Google Patents

一种预测目标物运动状态的方法及装置 Download PDF

Info

Publication number
CN110807397A
CN110807397A CN201911031560.2A CN201911031560A CN110807397A CN 110807397 A CN110807397 A CN 110807397A CN 201911031560 A CN201911031560 A CN 201911031560A CN 110807397 A CN110807397 A CN 110807397A
Authority
CN
China
Prior art keywords
target object
motion state
image
feature
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911031560.2A
Other languages
English (en)
Inventor
朱炎亮
任冬淳
钱德恒
李鑫
夏华夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201911031560.2A priority Critical patent/CN110807397A/zh
Publication of CN110807397A publication Critical patent/CN110807397A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种预测目标物运动状态的方法及装置，在预测周围环境中的各目标物的运动状态时，对各目标物进行了区分，并确定出各目标物之间的交互情况，确定出的各目标物之间的交互情况包括：周围环境中的各目标物之间的在空间上的交互特征和各目标物的空间交互特征随时间变化的情况的时间交互特征。最后，本说明书中的方法根据确定出的各目标物之间的交互情况，对各目标物的运动状态进行预测，使得预测的结果更加准确。

Description

一种预测目标物运动状态的方法及装置
技术领域
本说明书涉及无人驾驶技术领域，尤其涉及一种预测目标物运动状态的方法及装置。
背景技术
目前，具有辅助驾驶功能的车辆及无人车，已成为交通技术发展的主要方向之一。
具有辅助驾驶功能的车辆及无人车在确定其周围环境的状况时，需要预测出周围环境中各目标物在未来的运动状态，以反映出周围环境状况在未来可能发生的变化。
在现有技术中，若周围环境中的目标物的数量为多个，则在采集的历史数据中，难以针对某一目标物确定出其在各历史数据中对应的历史运动状态，进而难以获知该目标物的运动状态随时间的变化。并且，周围环境中的各目标物在运动过程中也会互相影响，目标物之间的相互作用将会影响目标物未来运动状态的预测结果，目标物之间的相互影响即为目标物之间的交互情况。现有技术中针对目标物的运动状态的预测无法确定出各目标物之间的交互情况，更无法在预测目标物的运动状态时将目标物之间的交互情况体现在预测的结果中。使得在此基础上确定出的目标物未来的运动状态不够准确。
可见，采用现有技术中的方法，预测出的周围环境中各目标物的运动状态准确度较低。
发明内容
本说明书实施例提供订单改派的预测目标物运动状态的方法及装置，以部分的解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案：
本说明书提供的预测目标物运动状态的方法，包括：
获取当前时刻每个目标物对应的运动状态；
针对每个目标物，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征；
根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征；
根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征；
针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态。
可选地，所述目标物对应的运动状态为：目标物对应的速度方向、速率、位置和可行驶路线中的至少一种。
可选地，获取当前时刻每个目标物对应的运动状态，具体包括：
采集当前时刻的实际图像；
根据所述实际图像中包含的每个目标物的图像，确定每个目标物对应的运动状态。
可选地，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征，具体包括：
针对当前时刻该目标物对应的每种运动状态，确定用于表征该运动状态的虚拟图像；
根据用于表征该运动状态的虚拟图像，确定该运动状态对应的运动状态特征。
可选地，根据用于表征该运动状态的虚拟图像，确定该运动状态对应的运动状态特征，具体包括：
将用于表征该运动状态的虚拟图像输入预先训练的第一卷积神经网络模型，得到该虚拟图像对应的特征向量，作为该运动状态对应的运动状态特征。
可选地，根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征，具体包括：
针对每种运动状态，对当前时刻各目标物的该种运动状态对应的运动状态特征进行池化，得到该运动状态对应的池化向量；
根据各运动状态对应的池化向量，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征。
可选地，根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征，具体包括：
将所述当前时刻的空间交互特征，输入预先训练的LSTM模型，确定与所述当前时刻的空间交互特征对应的特征向量，作为用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征。
可选地，针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态，具体包括：
针对每个目标物，根据该目标物对应的运动状态特征和所述时间交互特征，得到对应于该目标物的特征矩阵；
将所述特征矩阵，输入预先训练的第二卷积神经网络模型，得到用于表征该目标物未来运动状态的图像。
本说明书提供的预测目标物运动状态的装置，包括：
获取模块，用于获取当前时刻每个目标物对应的运动状态；
运动状态特征确定模块，用于针对每个目标物，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征；
当前时刻的空间交互特征确定模块，用于根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征；
时间交互特征确定模块，用于根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征；
预测模块，用于针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态。
本说明书提供的计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述预测目标物运动状态的方法。
本说明书提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述预测目标物运动状态的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
采用本说明书的预测目标物运动状态的方法及装置，在预测周围环境中的各目标物的运动状态时，对各目标物进行了区分，并确定出各目标物之间的交互情况，确定出的各目标物之间的交互情况包括：周围环境中的各目标物之间的在空间上的交互特征和各目标物的空间交互特征随时间变化的情况的时间交互特征。最后，本说明书中的方法根据确定出的各目标物之间的交互情况，对各目标物的运动状态进行预测，使得预测的结果更加准确。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的预测目标物运动状态的过程；
图2为本说明书实施例提供的示例性的网络架构示意图；
图3为本说明书提供的预测目标物运动状态的流程示意图；
图4为本说明书提供的获取当前时刻该目标物对应的运动状态的过程；
图5为本说明书提供的预测目标物运动状态的过程预测的目标物α未来的运动状态；
图6为本说明书提供的预测目标物运动状态的过程确定的目标物未来综合位置图像；
图7为本说明书实施例提供的预测目标物运动状态的装置的结构示意图；
图8为本说明书实施例提供的对应于图1的电子设备示意图。
具体实施方式
在现有技术中，预测目标物未来运动状态时，先按照时间顺序对周围环境进行图像采集，获得若干个实际图像。然后，针对采集获得的每个实际图像，确定出该实际图像中的每个目标物。
由于现有技术中难以对一个图像中各个目标物设置具有区别性的标识，也难以使得该具有区别性的标识伴随与之对应的目标物贯穿针对所有实际图像的图像识别过程和针对目标物的运动状态的预测过程中，因此，现有技术在对每个实际图像进行处理时，实际图像中的各个目标物除位置不同以外，无法通过其他手段进行区分。
在实际应用场景中，周围环境中的目标物多处于运动的状态中，则当前时刻的实际图像中的目标物的位置，相较于上一个时刻的实际图像中该目标物的位置已经发生了变化。但由于现有技术中无法针对目标物设置标识，因此也就无法确切的获知该当前时刻的实际图像中的一个目标物对应于上一个时刻的实际图像中的哪个目标物，导致在对应于不同时刻的各实际图像中，无法针对同一目标物确定出该目标物在各实际图像中的位置的关联性，进而难以获知该目标物的运动状态随时间的变化。
进一步地，针对某个目标物，在无法从各实际图像中识别出该目标物的情况下，也是无法确定出各个目标物之间的交互情况的，更不存在将各个目标物之间的交互情况体现在针对目标物的运动状态预测的结果中的基础，导致现有技术中预测目标物的运动状态的方法，无法针对周围环境中的每个目标物各自对应的运动状态分别地进行预测。并且现有的预测方法获得的结果准确度较低。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的预测目标物运动状态的过程，具体可包括以下步骤：
S100：获取当前时刻每个目标物对应的运动状态。
具体地，可以通过当前车辆上设置的摄像头对当前车辆所处的环境采集实际图像，实际图像的图像内容中可包括目标物。摄像头可为多个，多个摄像头分别在不同的方向上对环境进行图像采集，则通过本说明书中的方法能够根据采集获得的各实际图像，对当前车辆周围的各目标物进行预测。
目标物可以为当前车辆所在的环境中的可能对该当前车辆行驶造成影响的各物体。例如，环境中的其他车辆。具体地，可通过现有的图像识别技术，在实际图像中识别出环境中的各物体。
在本说明中，当前车辆可以为具有辅助驾驶功能的车辆或无人车。获取当前时刻每个目标物对应的运动状态的操作可以借助诸如手机、平板电脑、个人计算机(PersonalComputer，PC)、无人机等设备实现。
可见，通过本说明书中的方法，在确定各目标物的运动状态时，针对每个目标物分别地确定出该目标物的运动状态，避免在后续步骤中出现各目标物之间无法区分的问题。
具体地，本说明中的目标物对应的运动状态可以为：该目标物对应的环境地图、位置、速度、运动轨迹和可行驶路线中的一种或几种。在本说明书中，目标物的运动状态可通过数值表征，也可通过图像进行表征。下面仅以通过图像表征目标物的运动状态为例进行说明。
S102：针对每个目标物，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征。
在本说明书中，针对实际图像中的每个目标物，对该目标物对应的当前时刻的运动状态进行特征提取，以确定出该运动状态对应的运动状态特征。例如，在该目标物对应的运动状态通过图像的形式进行表征时，可通过二维卷积的方法对表征该目标物的运动状态的图像进行特征提取，以确定出该目标物对应的运动状态的运动状态特征。具体地，确定该目标物在当前时刻对应的运动状态特征的过程可如图3中所示的CNN-1。
在该目标物对应的运动状态包括两种或者两种以上时，可针对该目标物对应的每种运动状态，分别地进行特征提取。例如，图3中所示的针对目标物α的位置和速度，分别地确定出的位置特征FPα和速度特征FVα。
S104：根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征。
在本说明书中，可以根据各目标物的位置交互特征、速度交互特征、运动方向交互特征中的至少一种，确定出用于表征各目标物当前时刻的空间交互特征。其中，位置交互特征用于表征各目标物之间的位置交互状况，位置交互特征可以根据各目标物的位置特征确定，例如图3所示的通过Pooling获得位置交互特征Xp；速度交互特征用于表征各目标物之间的速度交互状况，速度交互特征可以根据各目标物的速度特征确定，例如图3所示的通过Pooling获得位置交互特征Vp；运动方向交互特征用于表征各目标物之间的运动轨迹交互状况，运动方向交互特征可以根据各目标物的运动轨迹特征确定。
例如，确定当前时刻的空间交互特征的过程可为如图3所示的Concat。将确定出的位置交互特征、速度交互特征、运动轨迹交互特征中的若干种进行拼接，以获得当前时刻的空间交互特征。
在本说明一个可选的实施例中，空间交互特征可以为向量，则对各交互特征进行拼接后获得的当前时刻的空间交互特征，也可以为向量。
S106：根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征。
在本说明书中，将各目标物在历史时刻的空间交互特征，作为确定时间交互特征的依据之一，使得各目标物在历史时刻中的空间交互状况能够在时间交互特征中得以体现，以将每个目标物的历史的交互状况作为预测目标物未来的运动状态的依据，进而提高预测的精确度。时间交互特征的确定过程可如图3所示的LSTM(Long Short Term Memory)。
S108：针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态。
在本说明书中，预测该目标物未来的运动状态时，根据确定出的各目标物对应的时间交互特征和该目标物的运动状态特征，能够综合当前时刻各目标物之间在空间上的交互状况以及该交互状况随时间的变化，进而提高针对该目标物未来的运动状态的预测的精确度。
进一步地，针对每个目标物分别地进行该目标物的未来的运动状态的预测，能够提高对周围环境的状况在未来可能发生的变化的预测效果。针对每个目标物，预测该目标物未来的运动状态的过程可如图3所示的CNN-2。
下面对本说明书中所述的发送数据的方法进行详细说明。
如图2所示，本说明书中，网络架构包括采集设备和处理设备，采集设备与处理设备通信连接。其中，采集设备可以为摄像头，用于采集实际图像。处理设备用于根据采集设备采集的实际图像，对目标物的运动状态进行预测。在本说明一个可选的实施例中，采集设备和处理设备可以均设置于当前车辆上。
在本说明书中，获取当前时刻每个目标物对应的运动状态，可以包括：对周围环境进行图像采集，得到实际图像。然后，根据采集获得的实际图像，针对每个目标物对应的每种运动状态分别地得出相应的虚拟图像。
具体地，可针对采集的实际图像，保留该实际图像中的一个目标物，而将该实际图像中的其他目标物去除，以获得对应于该实际图像的仅包含该目标物的图像内容。之后，再根据该实际图像的仅包含该目标物的图像内容，分别地确定出该目标物对应的每种运动状态的虚拟图像。
例如，如图3所示的，针对Input实际图像，通过Extract分别地提取该实际图像中的目标物α和目标物β对应于实际图像的图像内容。此后，再分别针对目标物α和目标物β，根据其各自对应的图像内容，确定出用于表征该目标物的运动状态的各虚拟图像。
其中，根据实际图像中对应于目标物α的图像内容，确定出用于表征目标物α的运动状态的各虚拟图像的过程可如图4所示。
在本说明书中，确定出的虚拟图像可以表征该目标物对应运动状态中的至少一种，则确定出的每一个虚拟图像，均能够表征一目标物的至少一种运动状态。即，一个实际图像可以对应于多个目标物，而一个虚拟图像仅能对应于一个目标物。可选地，一个虚拟图像仅对应于一个目标物的一种运动状态。
在确定各目标物对应的运动状态时，可针对各目标物所处的环境建立坐标系，将各目标物对应的各虚拟图像统一于同一坐标系中。该坐标系可以通过各目标物所处的环境地图确定，坐标系的原点可以为当前车辆的位置。
其中，环境地图可以包括预设范围内的车道结构等规范各车辆可行驶路线的预设的设施(例如，车道线等)；环境的地图也可以包括在环境中的可能会对当前车辆造成影响的标志物(例如，墙壁、临时搭建的路障等)。可行驶路线可以为环境的地图中可供该目标物行驶的路线。预设范围可以根据当前车辆的摄像头的拍摄范围确定。
具体地，如图3、图4所示，根据各目标物所处的环境建立坐标系，可以针对该目标物对应的环境地图、位置、速度、运动轨迹和可行驶路线，分别地确定出虚拟的环境地图图像E、位置图像P(例如，目标物α的对应的位置图像为Pα)、速度图像V(例如，目标物α的对应的位置图像为Vα)、运动轨迹图像(图3、图4中未示出)和可行驶路线图像R中的至少一种。
各虚拟图像中的至少一种，可为根据该目标物在该图像中的每个坐标点出现的概率绘制而成的图像。以下，将对部分虚拟图像进行详细说明：
(1)环境地图图像E
可以根据环境地图拓扑结构，确定出环境地图图像E。
具体地，环境地图图像E可通过以下步骤获得：根据采集获得的实际图像，确定出该实际图像中属于环境地图的图像内容，去除实际图像中除属于环境地图的图像内容以外的其他的图像内容，得到处理后的图像。实际图像中属于环境地图的图像内容可以包括：预设范围内的车道结构等规范各车辆可行驶路线的预设的设施，和/或临时设置在车道结构上的可能会对当前车辆造成影响的临时搭建的标志物。
然后，对处理后的图像中属于环境地图的图像内容进行渲染，以确定出环境地图图像E。具体地，可以调整该处理后的图像中的各坐标点的对应的像素的亮度、颜色，以标识出该处理后的图像中属于环境地图的图像内容。
例如，可用亮度较高的多个白色像素表示处理后的图像中的车道线，用亮度均匀的多个黄色像素表示双向车道的分界线。其中，黄色像素表示双向车道的分界线由于并非为呈灰度的显示，则在后续的计算过程中可以不作为计算依据，但该黄色像素表示的双向车道的分界线可以体现在针对目标物的运动状态的预测结果中，以便于用户观察。
在本说明书一个可选的实施例中，可针对各目标物所处的环境建立坐标系，以将各目标物统一于同一坐标系中，则各目标物可对应于相同的环境地图图像E。例如，如图3所示，可以从采集的实际图像(对应于Input)中直接获取环境地图；也可以从目标物α和目标物β对应于实际图像的图像内容(对应于Extract)中获取环境地图(图中未示出)；还可以根据该实际图像对应的采集位置(例如，图2中所示的采集设备的位置)，通过服务器确定出与该采集位置对应的环境地图图像E。其中，服务器可以为与图2中所示的采集设备和/或处理设备通信连接的服务器。
(2)可行驶路线图像R
可以根据确定出的环境地图图像和预设的交通规则，确定出目标物的可行驶路线图像R。
具体地，可行驶路线图像R可通过以下步骤获得：根据确定出的环境地图图像，确定出该环境地图图像中可供目标物通过的各道路。根据预设的交通规则，确定目标物在各道路中通过的可行性。根据该环境地图图像，以及确定出的该环境地图图像中的各道路对应的可行性，确定出可行驶路线图像R。
其中，预设的交通规则可以包括环境地图图像中的信号灯、减速带等。例如，环境地图图像中的一路口的信号灯当前时刻为红灯，则该目标物在该路口对应的坐标点经过的可行性较小；相应的，可行驶路线图像中处于该位置的像素的灰度值也较小。
在本说明书中，可行驶路线图像R可以用于表征目标物在环境地图图像E中的各坐标点经过的可行性。例如，可以在可行驶路线图像R中，通过对应于任一坐标点的像素的灰度，表征该目标物在环境地图图像E中的该坐标点经过的可行性。在如图4所示的可行驶路线图像R中，一像素的灰度值越大，则目标物在环境地图图像中的该像素对应的坐标点经过的可行性越大；一像素呈黑色，则表明目标物无法在该像素对应的坐标点经过(例如，该呈黑色的像素对应的坐标点对应于环境地图图像中的墙壁，目标物无法在该像素对应的坐标点经过)。
可选地，可针对各目标物所处的环境建立坐标系，以将各目标物统一于同一坐标系中，则各目标物可对应于相同的可行驶路线图像。
(3)位置图像P
可以根据该目标物在实际图像中的位置和建立的坐标系，确定该目标物对应的位置图像P。
具体地，位置图像P可通过以下步骤获得：根据采集获得的实际图像，针对每个目标物，去除该实际图像中除该目标物的图像内容以外的其他图像内容(例如，该其他图像内容可以为：实际图像中对应于其他目标物的图像内容以及该实际图像中对应于环境地图的图像内容)，以确定出该实际图像中对应于该目标物的图像内容，使得该对应于该目标物的图像内容中仅包含该目标物；根据确定出该实际图像中对应于该目标物的图像内容，确定出该目标物对应的位置图像P。
由于现有的图像采集技术和图像处理算法无法完全避免噪声带来的影响，使得确定出的目标物的位置准确度较低。并且，周围环境中的目标物多为运动的目标物，则仅通过图像中的一个像素点难以确切地体现目标物的位置。本说明书中，位置图像P用于表征该目标物在该位置图像P中的每个像素对应的坐标点出现的概率。具体地，可以根据高斯函数拟合得出该目标物的位置图像P，使得在该位置图像P中，目标物出现的概率较高的坐标点对应的像素的灰度值较高；目标物出现的概率较低的坐标点对应的像素的灰度值较低，使得目标物的位置在该目标物的位置图像P中可以表现为一个灰度不一致的光斑。
在本说明一个可选的实施例中，该位置图像P可以通过以下公式计算获得：
Figure BDA0002250301350000101
式中：
(i,j)为位置图像中的一个坐标点，该坐标点可对应于一个像素；
P(i,j)为该目标物在坐标点(i,j)出现的概率；
c1为与目标物的位置相关的系数；
α为该目标物的实际位置的横坐标；
β为该目标物的实际位置的纵坐标；
Figure BDA0002250301350000102
为用于表征误差的矩阵。该矩阵可以为2×2矩阵，用于表征由于摄像头位置引起的误差。
针对所述实际图像中的一目标物，可根据该实际图像中对应于该目标物的图像内容，通过公式(1)对所述坐标系中的每个坐标点进行计算，以获得该目标物的位置图像。例如，通过本说明书中的方法，确定出的目标物α对应的位置图像如图4中的Pα所示。
(4)速度图像V
可以根据该目标物在实际图像中的位置、建立的坐标系和测量获得的该目标物的速率、速度方向，确定该目标物对应的速度图像V。
具体地，速度图像V可通过以下步骤获得：根据采集获得的实际图像，针对每个目标物，去除该实际图像中除该目标物的图像内容以外的其他图像内容，以确定出该实际图像中对应于该目标物的图像内容，使得该对应于该目标物的图像内容中仅包含该目标物；根据确定出该实际图像中对应于该目标物的图像内容，确定出该目标物对应的位置图像P；根据该目标物对应的位置图像P和测量获得的该目标物的速率、速度方向，确定该目标物对应的速度图像V。
现有的针对速度的表征方法，多为通过数值和速度单位的配合进行的文字形式的表征。本说明书中，将该目标物的速度方向、速率、目标物在其所处位置周围的预设范围内的速率分布状况和速度测量时产生的误差通过一个图像进行表征，使得对目标物的速度的表征更具综合性。并且，以图像的方式对速度以及对速度构成影响的其他因素进行表征，能够统一速度和其他种类的运动状态的表征方式(例如，前述的目标物对应的位置通过位置图像进行表征)，进而降低运动状态的数据处理复杂程度。
在本说明一个可选的实施例中，该速度图像可以通过以下公式计算获得：
Figure BDA0002250301350000103
Σ2＝ZΣ0ZT
Figure BDA0002250301350000104
Figure BDA0002250301350000111
式中：
(i,j)为速度图像中的一个坐标点，该坐标点可对应于一个像素；
V(i,j)为根据该目标物的速度方向等因素调整后，该目标物在坐标点
(i,j)的出现的概率；
c2为与目标物的速度相关的系数；
α为该目标物在所述坐标系中出现的最大速率值的坐标点对应的横坐标；
β为该目标物在所述坐标系中出现的最大速率值的坐标点对应的纵坐标；
v为测量获得的该目标物的速率；
vmax为常数，该常数可以为该目标物所处车道的最大限速值；
∑0为用于表征误差的矩阵。该矩阵可以为2×2矩阵，用于表征由于速度测量引起的误差；
θ为该目标物的速度方向，该速度方向可以通过测量获得。
针对所述实际图像中的一目标物，可根据该实际图像中对应于该目标物的图像内容，通过公式(2)对所述坐标系中的每个坐标点进行计算，以获得该目标物的速度图像。例如，通过本说明书中的方法，确定出的目标物α对应的速度图像如图4中的Vα所示。
可见，公式(2)中的Σ2能够将一目标物的速度图像中的灰度值较高的像素构成的图形沿一方向拉伸，使得该图形近似于椭圆形。该目标物在该拉伸的方向(椭圆形的长轴方向)出现的概率较大，则该方向即为该目标物的速度方向。
公式(2)中的
Figure BDA0002250301350000112
能够将各目标物各自对应的速度图像所表达的速度相关的信息归一化，并能够将该目标物所处的车道的限速情况作为确定速度图像的依据，使得车道的限速情况能够在速度图像中得以体现。
(5)运动轨迹图像(图4中未示出)
可以根据该目标物在预设时间段内采集的各实际图像中的位置、建立的坐标系，确定该目标物对应的运动轨迹图像。
具体地，运动轨迹图像可通过以下步骤获得：根据采集获得的实际图像，针对每个目标物，去除该实际图像中除该目标物的图像内容以外的其他图像内容，以确定出该实际图像中对应于该目标物的图像内容，使得该对应于该目标物的图像内容中仅包含该目标物；根据确定出该实际图像中对应于该目标物的图像内容，确定出该目标物对应的位置图像P；根据预设时间段内的该目标物的各位置图像，以及该时间段内的各位置图像的采集时间距当前时刻的时长，确定该目标物对应的运动轨迹图像。
位于运动轨迹图像各坐标点的各个像素的亮度，用于表征在预设的时间段内，该目标物在该坐标点出现的概率的随时间的变化。
在本说明一个可选的实施例中，该运动轨迹图像可以通过以下公式计算获得：
式中：
(i,j)为速度图像中的一个坐标点，该坐标点可对应于一个像素；
Traj(i,j)为预设时间段内，该目标物在坐标点(i,j)出现的概率随时间的变化；
c3为与预设时间段相关的系数；
n为预设时间段内的任一时刻距当前时刻的时长，n为大于等于0的整数；
tn为预设时间段中对应于距当前时刻的时长为n的时刻；
γ为预设的参数；
Figure BDA0002250301350000122
为tn时刻通过公式(1)计算获得的该目标物在坐标系中的坐标点(i,j)出现的概率。
针对所述实际图像中的一目标物，可通过公式(3)对所述坐标系中的每个坐标点进行计算，以获得该目标物对应的运动轨迹图像。坐标点对应的Traj(i,j)的数值越大，则该坐标点的亮度越大，表示在预设时间段内，该目标物出现在该坐标点的概率受时间的影响较小。
在获得运动轨迹图像时，可以针对所述坐标系中的每个点通过公式(3)进行计算，以根据预设时间段内的任一时刻距当前时刻的时长，将该预设的时间段内的每个时刻对运动轨迹图像的影响进行区分。
例如，针对坐标点(ik,jk)，预设的时间段为距当前时刻3秒之内，步长为1秒，则n∈{0，1，2，3}；其中，n＝0时，对应的t0时刻即为当前时刻。公式中的项
Figure BDA0002250301350000123
能够使得n＝0时的
Figure BDA0002250301350000124
对计算结果Traj(ik,jk)的贡献，大于在n＝3时的
Figure BDA0002250301350000125
对该计算结果的贡献。即在预设时间段内，距当前时刻较近的时刻对运动轨迹图像的影响，将大于距当前时刻较远的时刻对运动轨迹图像的影响，进而将该目标物在坐标点该出现的概率随时间的变化，体现在获得的运动轨迹图像中。
通过上述的方法步骤，可以针对每个目标物，将该目标物对应的每种运动状态通过虚拟图像的形式分别地进行表征。可选地，对应于同一时刻的各虚拟图像具有相同的坐标系。
在本说明的方法中，针对当前时刻该目标物对应的每种运动状态，确定出用于表征该运动状态的虚拟图像之后，可根据该运动状态的虚拟图像，确定出该运动状态对应的运动状态特征。在本说明一个可选的实施例中，运动状态特征可以通过向量的方式进行表示。
具体地，可针对每个目标物，将该目标物对应的每种运动状态的虚拟图像输入预先训练的第一卷积神经网络模型，得到该虚拟图像对应的特征向量，作为该目标物的该运动状态对应的运动状态特征。
例如，如图3所示的预测目标物运动状态的流程，可根据当前时刻该目标物α的位置图像Pα，得到当前时刻该目标物α对应的位置特征FPα。针对其他种类的运动状态特征可以通过相同的方法获得，在此不一一列举。
用于根据虚拟图像获取对应的特征向量的第一卷积神经网络模型(对应于图3中的CNN-1)可为二维卷积神经网络模型。在本说明一个可选的实施例中，不同目标物对应的同种运动状态，可对应于相同的第一卷积神经网络模型。
然后，可针对一种或几种运动状态，对至少部分目标物在当前时刻对应于该运动状态的运动状态特征进行池化(Pooling)，得到该运动状态对应的池化向量。可知，得到的每个池化向量均对应于一种运动状态；并且，每个池化向量均对应于至少一个目标物。
例如，如图3所示，可对目标物α和目标物β对应的运动状态特征中的位置特征FPα和FPβ进行池化，以获得位置池化向量Xp，对速度特征FVα和FVβ进行池化，以获得速度池化向量Xp。
具体地，池化的方式可以为最大池化(Max Pooling)。例如，目标物α对应的位置特征FPα＝(α1，α2，α3，α4，α5，)，目标物β对应的位置特征FPβ＝(β1，β2，β3，β4，β5)，FPα和FPβ的长度均为5。其中，α1＞β1、α2＞β2、α3＜β3、α4＞β4、α5＜β5。然后，针对FPα和FPβ中相对应的每个维度，取FPα和FPβ在该维度的最大值，作为位置池化向量Xp在该维度对应的数值。则通过最大池化进行池化后获得的位置池化向量Xp＝(α1，α2，β3，α4，β5)。此外，池化的方式不局限于最大池化，还可以为一般池化(General Pooling)、重叠池化(Overlapping Pooling)、随机池化(Stochastic Pooling)等。
可以对其他种类的运动状态特征通过相同或相似的方法进行池化，在此不一一列举。
如图3所示，在本说明书一个可选的实施例中，针对环境地图图像对应的环境特征，则不进行池化处理，直接根据该环境特征和其他各状态特征对应的池化向量进行后续的步骤。
根据各运动状态对应的池化向量，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征。具体地，可对环境特征和其他各状态特征对应的池化向量按照预设的次序进行拼接，以获得当前时刻的空间交互特征。获得当前时刻的空间交互特征的过程可为如图3所示的Concat，该过程获得的当前时刻的空间交互特征可表示为Xc。
通过本说明书中的方法，获得的当前时刻的空间交互特征结合了当前时刻各目标物对应的环境地图、位置、速度、运动轨迹等信息，能够从多个角度综合地对各目标物当前时刻在空间上的交互状况进行表征，使得在此基础上进行的目标物未来的运动状态的预测也更加准确。
例如，如图3所示，将所述当前时刻的空间交互特征Xc，输入预先训练的LSTM模型，LSTM模型中储存有至少部分历史时刻的空间交互特征，LSTM模型根据其储存的历史时刻的空间交互特征和输入的当前时刻的空间交互特征Xc，确定出与该当前时刻的空间交互特征Xc对应的时间交互特征Xt。时间交互特征可以用于表征各目标物的空间交互特征随时间变化的情况。时间交互特征可以为能够表征各目标物的空间交互特征随时间变化的情况的特征向量。
在本说明一个可选的实施例中，在预测目标物未来的运动状态时，可以针对每个目标物，将该目标物对应的运动状态特征和所述时间交互特征进行拼接，得到对应于该目标物的特征矩阵。然后，将该特征矩阵，输入预先训练的第二卷积神经网络模型(对应于图3中的CNN-2)，得到用于表征该目标物未来运动状态的图像(例如，针对目标物α，则经过CNN-2输出用于表征目标物α未来运动状态的图像Lα)。具体地，第二卷积神经网络模型可为二维卷积神经网络模型。可选地，用于表征该目标物未来运动状态的图像为通过预测出的该目标物未来运动状态生成的虚拟图像。
根据该目标物对应的特征矩阵得到的该目标物未来运动状态的图像可以包括位置预测图和速度预测图中的至少一种。例如，如图5所示，针对目标物α预测出的位置预测图为Lα-P，速度预测图为Lα-V。
其中，目标物对应的位置预测图可以通过该位置预测图中的各坐标点对应的像素的灰度值，表示该目标物在该坐标点出现的概率。则在该位置预测图中，该目标物出现的概率较高的坐标点对应的像素的灰度值较高；该目标物出现的概率较低的坐标点对应的像素的灰度值较低。预测出的目标物的位置在位置预测图中可以体现为一个灰度不一致的光斑。位置预测图可以具有与前述的位置图像相同的针对目标物的位置的表征方式。
速度预测图可以通过该目标物在该速度预测图中的各坐标点出现的概率，表征预测出的该目标物的速率、速度方向。速度预测图可以具有与前述的速度图像相同的针对速度的表征方式。
在本说明一个可选的实施例中，针对该目标物，对应于同一未来时刻的位置预测图和速度预测图可具有相同的坐标系。进一步地，针对各该目标物，对应于同一未来时刻的各未来运动状态图像可具有相同的坐标系。
在本说明书一个可选的实施例中，在针对每个目标物，预测该目标物未来的运动状态之后，所述方法还包括：根据各目标物对应的目标物未来运动状态图像，确定出对应于所述各目标物的目标物未来综合运动状态图像。目标物未来综合运动状态图像可以用于表征：所述各目标物中的至少一个目标物在所述未来运动状态的图像中的各坐标点出现的概率。可针对每种运动状态，分别确定该运动状态对应的目标物未来综合运动状态图像。
例如，可以根据至少部分目标物的位置预测图，确定出用于表征所述至少部分目标物在所述位置预测图中的各坐标点出现的概率的目标物未来综合位置图像；根据至少部分目标物的速度预测图，确定出用于表征所述至少部分目标物在所述速度预测图中的各坐标点出现的概率的目标物未来综合速度图像。
具体地，目标物未来综合位置图像可以通过下式计算获得。
Figure BDA0002250301350000151
式中：
(i,j)为目标物未来综合位置图像中的一个坐标点，该坐标点可对应于一个像素；
M为目标物未来综合位置图像中的目标物的个数，M和m均为正整数，m≤M；
qm(i,j)为第m个目标物在坐标点(i,j)出现的概率；
Q(i,j)至少一个目标物在坐标点(i,j)出现的概率。
可见，公式(4)中通过[1-qm(i,j)]表示第m个目标物在坐标点(i,j)不出现的概率。在针对目标物未来综合位置图像中的所有坐标点，根据各目标物在该坐标点不出现的概率，确定出各目标物在该坐标点不出现的概率的叠加，并根据确定出的叠加概率确定出目标图像，对确定出目标图像取反向，以获得如图6所示的，能够表征各目标物在各坐标点出现的概率的目标物未来综合位置图像。通过此种方法获得的图像，能够减小误差，提高获得的图像的精确度。则在通过公式(4)计算获得的目标物未来综合位置图像中，一像素的灰度值越大，则至少一个目标物在像素对应坐标点出现的概率越大；一像素的灰度值越大，则至少一个目标物在像素对应坐标点出现的概率越小。
本说明书中的方法，还可以通过与确定目标物未来综合位置图像同样的过程，确定出目标物未来综合速度图像。
本说明书提供的上述预测目标物运动状态的方法具体可应用于使用无人车进行配送的领域，如，使用无人车进行快递、外卖等配送的场景。具体的，在上述的场景中，可使用多个无人车所构成的自动驾驶车队进行配送。
基于同样的思路，本说明书实施例还提供了相应的发送数据的装置如图7所示。
图7为本说明书实施例提供的第一种发送数据的装置的结构示意图，包括：
获取模块700，用于获取当前时刻每个目标物对应的运动状态；
运动状态特征确定模块702，用于针对每个目标物，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征；
当前时刻的空间交互特征确定模块704，用于根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征；
时间交互特征确定模块706，用于根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征。具体地，时间交互特征确定模块706，用于将所述当前时刻的空间交互特征，输入预先训练的LSTM模型，确定与所述当前时刻的空间交互特征对应的特征向量，作为用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征。
预测模块708，用于针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态。
其中，获取模块700、运动状态特征确定模块702、当前时刻的空间交互特征确定模块704、时间交互特征确定模块706和预测模块708依次电连接，预测模块708还与运动状态特征确定模块702电连接。
可选地，获取模块700包括实际图像采集子模块700和运动状态确定子模块7002，实际图像采集子模块700和运动状态确定子模块7002电连接。
实际图像采集子模块700，用于采集当前时刻的实际图像。
运动状态确定子模块7002，用于根据所述实际图像中包含的每个目标物的图像，确定每个目标物对应的运动状态。
可选地，运动状态确定子模块7002包括虚拟图像确定单元和运动状态特征确定单元，虚拟图像确定单元和运动状态特征确定单元电连接。
虚拟图像确定单元，用于针对当前时刻该目标物对应的每种运动状态，确定用于表征该运动状态的虚拟图像。虚拟图像确定单元包括环境地图图像确定子单元、位置图像确定子单元、速度图像确定子单元、运动轨迹图像确定子单元和可行驶路线图像确定子单元。环境地图图像确定子单元，用于根据当前时刻的实际图像，确定出当前时刻的环境地图图像。位置图像确定子单元，用于根据当前时刻的实际图像，确定出当前时刻的位置图像。速度图像确定子单元，用于根据当前时刻的实际图像，确定出当前时刻的速度图像。运动轨迹图像确定子单元，用于根据预设时间段的实际图像，确定出运动轨迹图像。可行驶路线图像确定子单元，用于根据当前时刻的实际图像，确定出当前时刻的速度图像。
运动状态特征确定单元，用于根据用于表征该运动状态的虚拟图像，确定该运动状态对应的运动状态特征。具体地，运动状态特征确定单元，可用于将表征该运动状态的虚拟图像输入预先训练的第一卷积神经网络模型，得到该虚拟图像对应的特征向量，作为该运动状态对应的运动状态特征。
可选地，当前时刻的空间交互特征确定模块704包括池化向量确定子模块和空间交互特征确定子模块。池化向量确定子模块和空间交互特征确定子模块电连接。
池化向量确定子模块，用于针对每种运动状态，对当前时刻各目标物的该种运动状态对应的运动状态特征进行池化，得到该运动状态对应的池化向量。
空间交互特征确定子模块，用于根据各运动状态对应的池化向量，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征。
可选地，预测模块708包括特征矩阵确定子模块和目标物未来运动状态的图像确定子模块。特征矩阵确定子模块和目标物未来运动状态的图像确定子模块电连接。
特征矩阵确定子模块，用于针对每个目标物，根据该目标物对应的运动状态特征和所述时间交互特征，得到对应于该目标物的特征矩阵。
目标物未来运动状态的图像确定子模块，用于将所述特征矩阵，输入预先训练的第二卷积神经网络模型，得到用于表征该目标物未来运动状态的图像。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的预测目标物运动状态的过程。
本说明书实施例还提出了图8所示的电子设备的示意结构图。如图8，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的预测目标物运动状态的过程。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种预测目标物运动状态的方法，其特征在于，所述方法包括：
获取当前时刻每个目标物对应的运动状态；
针对每个目标物，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征；
根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征；
根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征；
针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态。
2.如权利要求1所述的方法，其特征在于，所述目标物对应的运动状态为：目标物对应的环境地图、速度、位置、运动轨迹和可行驶路线中的至少一种。
3.如权利要求2所述的方法，其特征在于，获取当前时刻每个目标物对应的运动状态，具体包括：
采集当前时刻的实际图像；
根据所述实际图像中包含的每个目标物的图像，确定每个目标物对应的运动状态。
4.如权利要求3所述的方法，其特征在于，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征，具体包括：
针对当前时刻该目标物对应的每种运动状态，确定用于表征该运动状态的虚拟图像；
将用于表征该运动状态的虚拟图像输入预先训练的第一卷积神经网络模型，得到该虚拟图像对应的特征向量，作为该运动状态对应的运动状态特征。
5.如权利要求4所述的方法，其特征在于，根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征，具体包括：
针对每种运动状态，对当前时刻各目标物的该种运动状态对应的运动状态特征进行池化，得到该运动状态对应的池化向量；
根据各运动状态对应的池化向量，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征。
6.如权利要求3所述的方法，其特征在于，根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征，具体包括：
将所述当前时刻的空间交互特征，输入预先训练的LSTM模型，确定与所述当前时刻的空间交互特征对应的特征向量，作为用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征。
7.如权利要求6所述的方法，其特征在于，针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态，具体包括：
针对每个目标物，根据该目标物对应的运动状态特征和所述时间交互特征，得到对应于该目标物的特征矩阵；
将所述特征矩阵，输入预先训练的第二卷积神经网络模型，得到用于表征该目标物未来运动状态的图像。
8.一种预测目标物运动状态的装置，其特征在于，包括：
获取模块，用于获取当前时刻每个目标物对应的运动状态；
运动状态特征确定模块，用于针对每个目标物，根据该目标物对应的运动状态，确定该目标物在当前时刻对应的运动状态特征；
当前时刻的空间交互特征确定模块，用于根据每个目标物在当前时刻对应的运动状态特征，确定用于表征各目标物当前时刻在空间上的交互状况的空间交互特征；
时间交互特征确定模块，用于根据所述当前时刻的空间交互特征以及预先确定的各目标物在历史时刻的空间交互特征，确定用于表征各目标物的空间交互特征随时间变化的情况的时间交互特征；
预测模块，用于针对每个目标物，根据该目标物对应的运动状态特征，以及所述时间交互特征，预测该目标物未来的运动状态。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。
CN201911031560.2A 2019-10-28 2019-10-28 一种预测目标物运动状态的方法及装置 Pending CN110807397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031560.2A CN110807397A (zh) 2019-10-28 2019-10-28 一种预测目标物运动状态的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031560.2A CN110807397A (zh) 2019-10-28 2019-10-28 一种预测目标物运动状态的方法及装置

Publications (1)

Publication Number Publication Date
CN110807397A true CN110807397A (zh) 2020-02-18

Family

ID=69489303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031560.2A Pending CN110807397A (zh) 2019-10-28 2019-10-28 一种预测目标物运动状态的方法及装置

Country Status (1)

Country Link
CN (1) CN110807397A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190427A (zh) * 2020-04-10 2020-05-22 北京三快在线科技有限公司 一种轨迹规划的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190427A (zh) * 2020-04-10 2020-05-22 北京三快在线科技有限公司 一种轨迹规划的方法及装置

Similar Documents

Publication Publication Date Title
KR102523886B1 (ko) 스몰 타깃 검출 방법 및 장치
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
US11776277B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN113112525B (zh) 目标跟踪方法、网络模型及其训练方法、设备和介质
CN112200142A (zh) 一种识别车道线的方法、装置、设备及存储介质
CN111046973A (zh) 多任务检测方法及装置、存储介质
US20230278587A1 (en) Method and apparatus for detecting drivable area, mobile device and storage medium
CN111126362A (zh) 一种预测障碍物轨迹的方法及装置
CN112036462A (zh) 一种模型训练以及目标检测的方法及装置
CN111401255B (zh) 用于识别分歧路口的方法和装置
CN111353417A (zh) 一种目标检测的方法及装置
CN111797711A (zh) 一种模型训练的方法及装置
CN112327864A (zh) 一种无人驾驶设备的控制方法及控制装置
CN110660103A (zh) 一种无人车定位方法及装置
CN112883871B (zh) 一种模型训练以及确定无人车运动策略方法及装置
CN114419679B (zh) 基于可穿戴设备数据的数据分析方法、装置及系统
CN112990099B (zh) 一种车道线检测的方法以及装置
CN114626437A (zh) 一种模型训练方法、装置、存储介质及电子设备
CN113971795A (zh) 基于自驾车视觉感测的违规巡检系统及其方法
CN112633151B (zh) 一种确定监控图像中斑马线的方法、装置、设备及介质
CN109800684A (zh) 一种视频中对象的确定方法及装置
CN110807397A (zh) 一种预测目标物运动状态的方法及装置
CN112818968A (zh) 一种目标物分类方法及装置
CN112861831A (zh) 一种目标物的识别方法、装置、存储介质及电子设备
CN111426299A (zh) 一种基于目标物的景深进行测距的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination