CN110223318A - 一种多目标轨迹的预测方法、装置、车载设备及存储介质 - Google Patents
一种多目标轨迹的预测方法、装置、车载设备及存储介质 Download PDFInfo
- Publication number
- CN110223318A CN110223318A CN201910349897.1A CN201910349897A CN110223318A CN 110223318 A CN110223318 A CN 110223318A CN 201910349897 A CN201910349897 A CN 201910349897A CN 110223318 A CN110223318 A CN 110223318A
- Authority
- CN
- China
- Prior art keywords
- information
- network
- target
- moment
- exported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本发明涉及多目标轨迹的预测方法、装置、车载设备及存储介质，方法包括：获取车辆在多个时刻的行驶状态信息及多个目标在每个时刻的局部图像信息和运动信息；基于局部图像信息，确定多个目标在每个时刻的位置信息以及距离信息；基于行驶状态信息、局部图像信息、运动信息、位置信息及距离信息，预测多个目标的轨迹。可见，通过获取多个目标在多个时刻的局部图像信息作为环境语义信息，增加预测的多目标轨迹对环境的感知。从局部图像信息中可确定目标的位置及距离，并通过获取多个目标在多个时刻的运动信息，使用目标的位置、距离及运动信息，来约束目标的运动趋势，并结合车辆的在多个时刻的行驶状态信息预测多目标的轨迹，增加预测的准确性。
Description
技术领域
本发明实施例涉及车辆自动驾驶技术领域，具体涉及一种多目标轨迹的预测方法、装置、车载设备及存储介质。
背景技术
随着自动驾驶技术的发展，自动驾驶车辆对于周围其他车辆及行人的运行轨迹的预测是必不可少的需求。
现有的一种轨迹预测方法是将不确定的历史轨迹数据转换为网格概率，并通过马尔可夫链方法获得轨迹的转移概率，从而得到轨迹的预测结果。该方法虽然可以较快地预测出轨迹信息，但是却缺乏图像的语义信息。
现有的另一种轨迹预测方法是基于边界框和距离预测双流车载行人车辆的方法。该方法将图片信息及目标速度信息通过循环神经网络编码器-解码器的方式学习训练，结合贝叶斯网络来获得轨迹的预测流信息。该方法虽然结合图像信息可以学习到目标的轨迹特性，但是却无法同时正确学习到多目标信息及目标的方向信息，容易造成错误输出。
上述对问题的发现过程的描述，仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
为了解决现有技术存在的至少一个问题，本发明的至少一个实施例提供了一种多目标轨迹的预测方法、装置、车载设备及存储介质。
第一方面，本发明实施例提出一种多目标轨迹的预测方法，所述方法包括：
获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息；
基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息；
基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
基于第一方面，在第一方面第一实施例中，所述基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息，包括：
将所述局部图像信息进行网格划分；
检测多个目标在每个所述时刻所处的网格位置；
基于多个目标在每个所述时刻所处的网格位置，确定多个目标在每个所述时刻的位置信息以及距离信息。
基于第一方面，在第一方面第二实施例中，所述基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹，包括：
通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息；所述第一特征信息为局部图像信息的特征信息；
通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息；所述第二特征信息为拼接信息的特征信息，所述拼接信息包括所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息；
基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹。
基于第一方面第二实施例，在第一方面第三实施例中，所述第二特征提取网络包括：全连接网络以及编码多层感知器；
所述通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息，包括：
通过所述全连接网络将所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息输出为拼接信息；
通过所述编码多层感知器将所述拼接信息输出为第二特征信息。
基于第一方面第二实施例，在第一方面第四实施例中，所述基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹，包括：
通过编码网络编码每个所述目标在所述多个时刻的第二特征信息，得到每个所述目标的编码信息；
通过输出网络将每个所述目标的编码信息输出为轨迹信息。
基于第一方面第四实施例，在第一方面第五实施例中，所述输出网络包括：解码网络、解码多层感知器、概率分布网络以及轨迹搜索网络；
所述通过输出网络将每个所述目标的编码信息输出为轨迹信息，包括：
通过所述解码网络将每个所述目标的编码信息输出为第一解码特征信息；
通过所述解码多层感知器将所述第一解码特征信息输出为第一概率信息；
通过所述概率分布网络将所述第一概率信息输出为网格第一概率分布；
通过所述轨迹搜索网络将所述网格第一概率分布输出为第一轨迹信息。
基于第一方面第五实施例，在第一方面第六实施例中，所述输出网络还包括：嵌入式网络；
所述方法还包括：
通过所述嵌入式网络将所述第一轨迹信息输出为第一映射信息，所述第一映射信息包括X轴方向的信息和Y轴方向的信息；
通过所述解码网络将所述第一映射信息输出为第二解码特征信息；
通过所述解码多层感知器将所述第二解码特征信息输出为第二概率信息；
通过所述概率分布网络将所述第二概率信息输出为网格第二概率分布；
通过所述轨迹搜索网络将所述网格第二概率分布输出为第二轨迹信息。
第二方面，本发明实施例还提出一种多目标轨迹的预测装置，所述装置包括：
获取单元，用于获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息；
确定单元，用于基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息；
预测单元，用于基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
基于第二方面，在第二方面第一实施例中，所述确定单元，用于：
将所述局部图像信息进行网格划分；
检测多个目标在每个所述时刻所处的网格位置；
基于多个目标在每个所述时刻所处的网格位置，确定多个目标在每个所述时刻的位置信息以及距离信息。
基于第二方面，在第二方面第二实施例中，所述预测单元，包括：
第一子单元，用于通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息；所述第一特征信息为局部图像信息的特征信息；
第二子单元，用于通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息；所述第二特征信息为拼接信息的特征信息，所述拼接信息包括所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息；
第三子单元，用于基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹。
基于第二方面第二实施例，在第二方面第三实施例中，所述第二特征提取网络包括：全连接网络以及编码多层感知器；
所述第二子单元，用于：
通过所述全连接网络将所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息输出为拼接信息；
通过所述编码多层感知器将所述拼接信息输出为第二特征信息。
基于第二方面第二实施例，在第二方面第四实施例中，所述第三子单元，用于
编码单元，用于通过编码网络编码每个所述目标在所述多个时刻的第二特征信息，得到每个所述目标的编码信息；
输出单元，用于通过输出网络将每个所述目标的编码信息输出为轨迹信息。
基于第二方面第四实施例，在第二方面第五实施例中，所述输出网络包括：解码网络、解码多层感知器、概率分布网络以及轨迹搜索网络；
所述输出单元，用于：
通过所述解码网络将每个所述目标的编码信息输出为第一解码特征信息；
通过所述解码多层感知器将所述第一解码特征信息输出为第一概率信息；
通过所述概率分布网络将所述第一概率信息输出为网格第一概率分布；
通过所述轨迹搜索网络将所述网格第一概率分布输出为第一轨迹信息。
基于第二方面第五实施例，在第二方面第六实施例中，所述输出网络还包括：嵌入式网络；
所述输出单元，还用于：
通过所述嵌入式网络将所述第一轨迹信息输出为第一映射信息，所述第一映射信息包括X轴方向的信息和Y轴方向的信息；
通过所述解码网络将所述第一映射信息输出为第二解码特征信息；
通过所述解码多层感知器将所述第二解码特征信息输出为第二概率信息；
通过所述概率分布网络将所述第二概率信息输出为网格第二概率分布；
通过所述轨迹搜索网络将所述网格第二概率分布输出为第二轨迹信息。
第三方面，本发明实施例还提出一种车载设备，包括：
处理器和存储器；
所述处理器和存储器通过总线系统耦合在一起；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。
可见，本发明实施例的至少一个实施例中，通过获取多个目标在多个时刻的局部图像信息作为环境语义信息，增加预测的多目标轨迹对于环境的感知。从局部图像信息中可确定目标的位置及距离，并通过获取多个目标在多个时刻的运动信息，使用目标的位置、距离及运动信息，来约束目标的运动趋势，并结合车辆的在多个时刻的行驶状态信息预测多个目标的轨迹，增加预测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车载设备的结构示意图；
图2为本发明实施例提供的一种多目标轨迹的预测方法流程图；
图3为本发明实施例提供的一种多目标轨迹的预测装置框图；
图4为本发明实施例提供的一种预测多目标轨迹的架构图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，除非特殊说明，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
图1是本发明实施例提供的一种车载设备的结构示意图。
图1所示的车载设备包括：至少一个处理器101和至少一个存储器102。车载设备中的各个组件通过总线系统103耦合在一起。可理解，总线系统103用于实现这些组件之间的连接通信。总线系统103除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图1中将各种总线都标为总线系统103。
可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器102旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。
其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。
在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行多目标轨迹的预测方法各实施例的步骤，例如可包括以下步骤一至步骤三：
步骤一、获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息。
步骤二、基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息。
步骤三、基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
本发明实施例中，通过获取多个目标在多个时刻的局部图像信息作为环境语义信息，增加预测的多目标轨迹对于环境的感知。从局部图像信息中可确定目标的位置及距离，并通过获取多个目标在多个时刻的运动信息，使用目标的位置、距离及运动信息，来约束目标的运动趋势，并结合车辆的在多个时刻的行驶状态信息预测多个目标的轨迹，增加预测的准确性。
上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可以理解的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，方法实施例的步骤之间除非存在明确的先后顺序，否则执行顺序可任意调整。所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图2为本发明实施例提供的一种多目标轨迹的预测方法流程图。该方法的执行主体为车载设备。
如图2所示，本实施例公开的多目标轨迹的预测方法可包括以下步骤201至203：
201、获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息。
202、基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息。
203、基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
本实施例中，可通过车辆上安装的的传感器组来采集车辆的行驶状态信息，传感器组例如包括但不限于：车轮转速传感器、速度传感器、加速度传感器、转向角传感器和IMU(Inertial Measurement Unit，惯性测量单元)中的至少一个。车辆的行驶状态信息包括但不限于速度和方向。
本实施例中，可通过车辆上安装的图像传感器采集图像信息，图像传感器例如为摄像头，车辆上可安装多个图像传感器，例如前向摄像头、左向摄像头、右向摄像头和后向摄像头，分别采集车辆前向、左向、右向和后向的图像信息。
本实施例中，局部图像信息为以目标为中心的局部图像信息。目标的运动信息包括但不限于：相对于自动驾驶车辆的速度信息和方向信息。目标可以是动态目标，例如行人、车辆等可自主运动的目标；目标也可以是静态目标，例如树木等。
在一些实施例中，基于局部图像信息可确定目标相对于自动驾驶车辆的位置信息和距离信息，具体地，可包括以下步骤(1)至(3)：
(1)将局部图像信息进行网格划分；
(2)检测多个目标在每个所述时刻所处的网格位置；
(3)基于多个目标在每个所述时刻所处的网格位置，确定多个目标在每个所述时刻的位置信息以及距离信息。
本实施例中，网格划分时，划分的每个网格均相同，每个网格表示一个位置信息。检测目标在某个时刻所处的网格位置可采用现有的目标检测算法，在此不再赘述。
目标所处的网格位置即为目标的距离信息。基于目标所处的网格位置，可确定目标的距离信息，距离信息包括：横向距离x和纵向距离y。
由于目标在多个时刻可能处于不同的网格位置，因此，目标所处的网格位置在多个时刻的移动，可表示目标在多个时刻的移动轨迹，也即目标的历史移动轨迹。
基于目标的历史移动轨迹，可预测目标在未来多个时刻所处的网格位置，也即预测目标在未来多个时刻的轨迹。
可见，本实施例中，将多个时刻的车辆行驶状态信息以及多个时刻的目标图像信息和运动信息进行信息融合，并用于预测多个目标的轨迹。在一些实施例中，将车辆的实际速度、车辆的实际方向、目标的位置、目标的距离、目标相对于车辆的速度、目标相对于车辆的方向进行融合，并用于预测多个目标的轨迹。
本实施例公开的多目标轨迹的预测方法，通过获取多个目标在多个时刻的局部图像信息作为环境语义信息，增加预测的多目标轨迹对于环境的感知。从局部图像信息中可确定目标的位置及距离，并通过获取多个目标在多个时刻的运动信息，使用目标的位置、距离及运动信息，来约束目标的运动趋势，并结合车辆的在多个时刻的行驶状态信息预测多个目标的轨迹，增加预测的准确性。
在一些实施例中，基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹，可包括以下步骤(1)至(3)：
(1)通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息；所述第一特征信息为局部图像信息的特征信息；
(2)通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息；所述第二特征信息为拼接信息的特征信息，所述拼接信息包括所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息；
(3)基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹。
本实施例中，第一特征提取网络例如包括但不限于卷积神经网络、vgg网络、resnet网络和mobileNets网络等深度学习网络中的任一种网络。
通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息，可得到每个时刻对应的第一特征信息。
第二特征提取网络例如包括但不限于全连接网络以及编码多层感知器。通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息，可包括以下步骤一和步骤二：
步骤一、通过全连接网络将第一特征信息、运动信息、位置信息、距离信息以及行驶状态信息输出为拼接信息；
步骤二、通过编码多层感知器将拼接信息输出为第二特征信息。
本实施例中，由于不同时刻对应不同的第一特征信息，因此，通过全连接网络输出的拼接信息与时刻对应，也即不同时刻对应不同的拼接信息。
另外，本实施例中不限定编码多层感知器的层数。
在一些实施例中，基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹，可包括以下：
步骤一、通过编码网络编码每个所述目标在所述多个时刻的第二特征信息，得到每个所述目标的编码信息；
步骤二、通过输出网络将每个所述目标的编码信息输出为轨迹信息。
本实施例中，编码网络包括但不限于：长短期记忆人工神经网络(LSTM，Long-Short Term Memory)。
本实施例中，输出网络包括但不限于：解码网络、解码多层感知器、概率分布网络以及轨迹搜索网络。通过输出网络将每个所述目标的编码信息输出为轨迹信息，可包括以下步骤一至步骤四：
步骤一、通过解码网络将每个所述目标的编码信息输出为第一解码特征信息；
步骤二、通过解码多层感知器将第一解码特征信息输出为第一概率信息；
步骤三、通过概率分布网络将第一概率信息输出为网格第一概率分布；
步骤四、通过轨迹搜索网络将网格第一概率分布输出为第一轨迹信息。
本实施例中，第一概率信息为第一时刻的概率一维向量，且该概率一维向量中的元素个数与网格个数相同，概率一维向量中每个元素与一个网格对应，元素的值表示第一时刻该元素对应网格的概率。
本实施例中，为了便于与局部图像信息划分出的网格对应，概率分布网络将概率一维向量进行变换得到W×H的二维矩阵，其中，W为网格宽度，H为网格高度，二维矩阵中每个元素与局部图像信息划分出的网格一一对应，元素的值表示第一时刻该元素对应网格的概率。
第一时刻可理解为图像传感器下一次采集图像信息的时刻，此场景下，图像传感器采集图像信息后将采集的图形信息发送给本实施例的执行主体，也即车载设备。车载设备获取图像信息的方式为被动接收式。
本实施例中，轨迹搜索网络基于概率分布网络输出的多个网格的概率值分布，利用搜索算法输出预测的轨迹。本实施例不限定搜索算法的选取，可以选择贪婪算法、beamsearch算法、mcts搜索算法等。
轨迹搜索网络的具体工作流程如下：
在第一时刻，基于第一时刻的上一时刻(也即前述多个时刻中的最后一个时刻)目标所处的网格位置g0＝(w0，h0)，从概率分布网络输出的多个网格的概率值分布获取该网格位置及其周围8个网格的概率值。选取概率值最大的点所对应的网格位置作为第一时刻的预测位置，可记为g1＝(w1，h1)；
在第二时刻，基于第一时刻的网格位置g1＝(w1，h1)，从概率分布网络输出的多个网格的概率值分布获取该网格位置及其周围8个网格的概率值。选取概率值最大的点所对应的网格位置作为第二轨迹信息，可记为g2-(w2，h2)；其中，第二时刻为第一时刻的下一时刻；
依次类推，直至选出第N个时刻的轨迹信息gN＝(wN，hN)，得到一个可行的轨迹路径序列G1＝{g0，g1，...，gN}，也即第一轨迹信息。
另外，轨迹搜索网络也可实现多个可行方向搜索从而获得多个可行的轨迹路径序列，例如选取概率值第二大的点所对应的网格位置作为预测位置，从而得到另一个方向的可行轨迹路径序列。
在一些实施例中，输出网络还可包括：嵌入式网络。多目标轨迹的预测方法还可包括以下步骤五至步骤九：
步骤五、通过嵌入式网络将所述第一轨迹信息输出为第一映射信息，所述第一映射信息包括X轴方向的信息和Y轴方向的信息；
步骤六、通过解码网络将第一映射信息输出为第二解码特征信息；
步骤七、通过解码多层感知器将第二解码特征信息输出为第二概率信息；
步骤八、通过概率分布网络将第二概率信息输出为网格第二概率分布；
步骤九、通过轨迹搜索网络将网格第二概率分布输出为第二轨迹信息。
本实施例中，嵌入式网络通过预先训练的权重矩阵，将所述第一轨迹信息输出为第一映射信息，通过步骤六至步骤九完成对第一轨迹信息的一次迭代更新，得到第二轨迹信息G2。
重复执行步骤五至步骤九，完成对第二轨迹信息G2的一次迭代更新，得到第三轨迹信息G3，依此类推，通过N次迭代更新，可得到N个轨迹信息：G1，G2，...，GN。因此，输出网络可理解为循环输出网络。
通过输出网络最终输出的轨迹信息有两种选择方式，第一种为GN作为最终输出的轨迹信息，第二种为取G1的第一个时刻的网格位置作为输出的轨迹信息的第一个轨迹点，取G2的第二个时刻的网格位置作为输出的轨迹信息的第二个轨迹点，依次直到GN的第N个时刻的网格位置作为输出的轨迹信息的第N个轨迹点。
另外，本发明实施例输出网络为循环输出网络，不依赖于一次的学习和搜索结果，而是一种不断学习迭代的过程，使得输出的轨迹更可靠。
本实施例中，结合了深度学习网络、编码-解码网络以及轨迹搜索网络，使用循环输出网络的形式将深度学习和轨迹搜索进行迭代输出，实现预测的轨迹的自我学习修正，鲁棒性更强。
需要说明的是，文中提及的网络：第一特征提取网络(例如包括但不限于卷积神经网络)、第二特征提取网络(例如包括但不限于全连接网络以及编码多层感知器)、编码网络、输出网络(包括：解码网络、解码多层感知器、概率分布网络、轨迹搜索网络和嵌入式网络)均为预先训练对应网络模型得到的网络。
如图3所示，本实施例公开一种多目标轨迹的预测装置，可包括以下单元：获取单元31、确定单元32和预测单元33。具体说明如下：
获取单元31，用于获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息；
确定单元32，用于基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息；
预测单元33，用于基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
在一些实施例中，所述确定单元32，用于：
将所述局部图像信息进行网格划分；
检测多个目标在每个所述时刻所处的网格位置；
基于多个目标在每个所述时刻所处的网格位置，确定多个目标在每个所述时刻的位置信息以及距离信息。
在一些实施例中，所述预测单元33，包括：
第一子单元，用于通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息；所述第一特征信息为局部图像信息的特征信息；
第二子单元，用于通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息；所述第二特征信息为拼接信息的特征信息，所述拼接信息包括所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息；
第三子单元，用于基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹。
在一些实施例中，所述第二特征提取网络包括：全连接网络以及编码多层感知器；
所述第二子单元，用于：
通过所述全连接网络将所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息输出为拼接信息；
通过所述编码多层感知器将所述拼接信息输出为第二特征信息。
在一些实施例中，所述第三子单元，用于
编码单元，用于通过编码网络编码每个所述目标在所述多个时刻的第二特征信息，得到每个所述目标的编码信息；
输出单元，用于通过输出网络将每个所述目标的编码信息输出为轨迹信息。
在一些实施例中，所述输出网络包括：解码网络、解码多层感知器、概率分布网络以及轨迹搜索网络；
所述输出单元，用于：
通过所述解码网络将每个所述目标的编码信息输出为第一解码特征信息；
通过所述解码多层感知器将所述第一解码特征信息输出为第一概率信息；
通过所述概率分布网络将所述第一概率信息输出为网格第一概率分布；
通过所述轨迹搜索网络将所述网格第一概率分布输出为第一轨迹信息。
在一些实施例中，所述输出网络还包括：嵌入式网络；
所述输出单元，还用于：
通过所述嵌入式网络将所述第一轨迹信息输出为第一映射信息，所述第一映射信息包括X轴方向的信息和Y轴方向的信息；
通过所述解码网络将所述第一映射信息输出为第二解码特征信息；
通过所述解码多层感知器将所述第二解码特征信息输出为第二概率信息；
通过所述概率分布网络将所述第二概率信息输出为网格第二概率分布；
通过所述轨迹搜索网络将所述网格第二概率分布输出为第二轨迹信息。
以上实施例公开的多目标轨迹的预测装置能够实现以上各方法实施例公开的多目标轨迹的预测方法的流程，为避免重复，在此不再赘述。
本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如方法各实施例的步骤，例如可包括以下步骤一至步骤四：
多目标轨迹的预测方法各实施例的步骤，例如可包括以下步骤一至步骤三：
步骤一、获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息。
步骤二、基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息。
步骤三、基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
本发明实施例中，通过获取多个目标在多个时刻的局部图像信息作为环境语义信息，增加预测的多目标轨迹对于环境的感知。从局部图像信息中可确定目标的位置及距离，并通过获取多个目标在多个时刻的运动信息，使用目标的位置、距离及运动信息，来约束目标的运动趋势，并结合车辆的在多个时刻的行驶状态信息预测多个目标的轨迹，增加预测的准确性。
图4为本发明实施例提供的一种预测多目标轨迹的架构图，基于以上实施例公开的多目标轨迹的预测方法实施例，通过获取多个目标在多个时刻的局部图像信息作为环境语义信息，增加预测的多目标轨迹对于环境的感知。从局部图像信息中可确定目标的位置及距离，并通过获取多个目标在多个时刻的运动信息，使用目标的位置、距离及运动信息，来约束目标的运动趋势，并结合车辆的在多个时刻的行驶状态信息预测多个目标的轨迹，增加预测的准确性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (16)
1.一种多目标轨迹的预测方法，其特征在于，所述方法包括：
获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息；
基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息；
基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
2.根据权利要求1所述的方法，其特征在于，所述基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息，包括：
将所述局部图像信息进行网格划分；
检测多个目标在每个所述时刻所处的网格位置；
基于多个目标在每个所述时刻所处的网格位置，确定多个目标在每个所述时刻的位置信息以及距离信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹，包括：
通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息；所述第一特征信息为局部图像信息的特征信息；
通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息；所述第二特征信息为拼接信息的特征信息，所述拼接信息包括所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息；
基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹。
4.根据权利要求3所述的方法，其特征在于，所述第二特征提取网络包括：全连接网络以及编码多层感知器；
所述通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息，包括：
通过所述全连接网络将所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息输出为拼接信息；
通过所述编码多层感知器将所述拼接信息输出为第二特征信息。
5.根据权利要求3所述的方法，其特征在于，所述基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹，包括：
通过编码网络编码每个所述目标在所述多个时刻的第二特征信息，得到每个所述目标的编码信息；
通过输出网络将每个所述目标的编码信息输出为轨迹信息。
6.根据权利要求5所述的方法，其特征在于，所述输出网络包括：解码网络、解码多层感知器、概率分布网络以及轨迹搜索网络；
所述通过输出网络将每个所述目标的编码信息输出为轨迹信息，包括：
通过所述解码网络将每个所述目标的编码信息输出为第一解码特征信息；
通过所述解码多层感知器将所述第一解码特征信息输出为第一概率信息；
通过所述概率分布网络将所述第一概率信息输出为网格第一概率分布；
通过所述轨迹搜索网络将所述网格第一概率分布输出为第一轨迹信息。
7.根据权利要求6所述的方法，其特征在于，所述输出网络还包括：嵌入式网络；
所述方法还包括：
通过所述嵌入式网络将所述第一轨迹信息输出为第一映射信息，所述第一映射信息包括X轴方向的信息和Y轴方向的信息；
通过所述解码网络将所述第一映射信息输出为第二解码特征信息；
通过所述解码多层感知器将所述第二解码特征信息输出为第二概率信息；
通过所述概率分布网络将所述第二概率信息输出为网格第二概率分布；
通过所述轨迹搜索网络将所述网格第二概率分布输出为第二轨迹信息。
8.一种多目标轨迹的预测装置，其特征在于，所述装置包括：
获取单元，用于获取车辆在多个时刻的行驶状态信息以及多个目标在每个所述时刻的局部图像信息和运动信息；
确定单元，用于基于所述局部图像信息，确定多个目标在每个所述时刻的位置信息以及距离信息；
预测单元，用于基于所述行驶状态信息、所述局部图像信息、所述运动信息、所述位置信息以及所述距离信息，预测所述多个目标的轨迹。
9.根据权利要求8所述的装置，其特征在于，所述确定单元，用于：
将所述局部图像信息进行网格划分；
检测多个目标在每个所述时刻所处的网格位置；
基于多个目标在每个所述时刻所处的网格位置，确定多个目标在每个所述时刻的位置信息以及距离信息。
10.根据权利要求8所述的装置，其特征在于，所述预测单元，包括：
第一子单元，用于通过第一特征提取网络提取每个所述目标在所述多个时刻的第一特征信息；所述第一特征信息为局部图像信息的特征信息；
第二子单元，用于通过第二特征提取网络提取每个所述目标在所述多个时刻的第二特征信息；所述第二特征信息为拼接信息的特征信息，所述拼接信息包括所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息；
第三子单元，用于基于每个所述目标在所述多个时刻的第二特征信息，预测所述多个目标的轨迹。
11.根据权利要求10所述的装置，其特征在于，所述第二特征提取网络包括：全连接网络以及编码多层感知器；
所述第二子单元，用于：
通过所述全连接网络将所述第一特征信息、所述运动信息、所述位置信息、所述距离信息以及所述行驶状态信息输出为拼接信息；
通过所述编码多层感知器将所述拼接信息输出为第二特征信息。
12.根据权利要求10所述的装置，其特征在于，所述第三子单元，用于
编码单元，用于通过编码网络编码每个所述目标在所述多个时刻的第二特征信息，得到每个所述目标的编码信息；
输出单元，用于通过输出网络将每个所述目标的编码信息输出为轨迹信息。
13.根据权利要求12所述的装置，其特征在于，所述输出网络包括：解码网络、解码多层感知器、概率分布网络以及轨迹搜索网络；
所述输出单元，用于：
通过所述解码网络将每个所述目标的编码信息输出为第一解码特征信息；
通过所述解码多层感知器将所述第一解码特征信息输出为第一概率信息；
通过所述概率分布网络将所述第一概率信息输出为网格第一概率分布；
通过所述轨迹搜索网络将所述网格第一概率分布输出为第一轨迹信息。
14.根据权利要求13所述的装置，其特征在于，所述输出网络还包括：嵌入式网络；
所述输出单元，还用于：
通过所述嵌入式网络将所述第一轨迹信息输出为第一映射信息，所述第一映射信息包括X轴方向的信息和Y轴方向的信息；
通过所述解码网络将所述第一映射信息输出为第二解码特征信息；
通过所述解码多层感知器将所述第二解码特征信息输出为第二概率信息；
通过所述概率分布网络将所述第二概率信息输出为网格第二概率分布；
通过所述轨迹搜索网络将所述网格第二概率分布输出为第二轨迹信息。
15.一种车载设备，其特征在于，包括：
处理器和存储器；
所述处理器和存储器通过总线系统耦合在一起；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述方法的步骤。
16.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910349897.1A CN110223318A (zh) | 2019-04-28 | 2019-04-28 | 一种多目标轨迹的预测方法、装置、车载设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910349897.1A CN110223318A (zh) | 2019-04-28 | 2019-04-28 | 一种多目标轨迹的预测方法、装置、车载设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110223318A true CN110223318A (zh) | 2019-09-10 |
Family
ID=67820177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910349897.1A Pending CN110223318A (zh) | 2019-04-28 | 2019-04-28 | 一种多目标轨迹的预测方法、装置、车载设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223318A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111190427A (zh) * | 2020-04-10 | 2020-05-22 | 北京三快在线科技有限公司 | 一种轨迹规划的方法及装置 |
| CN111681335A (zh) * | 2020-03-18 | 2020-09-18 | 桂林电子科技大学 | 一种基于lstm技术的汽车轨迹预测系统及其预测方法 |
| WO2021062593A1 (en) * | 2019-09-30 | 2021-04-08 | Beijing Voyager Technology Co., Ltd. | Systems and methods for predicting bicycle trajectory |
| CN112651557A (zh) * | 2020-12-25 | 2021-04-13 | 际络科技(上海)有限公司 | 轨迹预测系统及方法、电子设备及可读存储介质 |
| CN112805730A (zh) * | 2019-12-30 | 2021-05-14 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
| CN112861924A (zh) * | 2021-01-17 | 2021-05-28 | 西北工业大学 | 一种可见光/红外图像多平台分布式融合多目标检测方法 |
| CN113261035A (zh) * | 2019-12-30 | 2021-08-13 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
| CN113496268A (zh) * | 2020-04-08 | 2021-10-12 | 北京图森智途科技有限公司 | 一种轨迹预测方法和装置 |
| CN113496167A (zh) * | 2020-04-02 | 2021-10-12 | 北京京东乾石科技有限公司 | 确定目标运动轨迹的方法和装置 |
| CN113538516A (zh) * | 2021-07-19 | 2021-10-22 | 中国兵器工业计算机应用技术研究所 | 基于记忆信息的目标对象跟踪方法、装置及电子设备 |
| CN113811830A (zh) * | 2019-12-30 | 2021-12-17 | 深圳元戎启行科技有限公司 | 轨迹预测方法、装置、计算机设备和存储介质 |
| CN114475656A (zh) * | 2022-02-21 | 2022-05-13 | 中国第一汽车股份有限公司 | 行驶轨迹预测方法、装置、电子设备以及存储介质 |
| CN114708723A (zh) * | 2020-12-16 | 2022-07-05 | 华为技术有限公司 | 轨迹预测方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9818202B2 (en) * | 2011-12-13 | 2017-11-14 | Sony Corporation | Object tracking based on distance prediction |
| CN108803617A (zh) * | 2018-07-10 | 2018-11-13 | 深圳大学 | 轨迹预测方法及装置 |
| CN109583151A (zh) * | 2019-02-20 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 车辆的行驶轨迹预测方法及装置 |
| CN109631915A (zh) * | 2018-12-19 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 轨迹预测方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-04-28 CN CN201910349897.1A patent/CN110223318A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9818202B2 (en) * | 2011-12-13 | 2017-11-14 | Sony Corporation | Object tracking based on distance prediction |
| CN108803617A (zh) * | 2018-07-10 | 2018-11-13 | 深圳大学 | 轨迹预测方法及装置 |
| CN109631915A (zh) * | 2018-12-19 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 轨迹预测方法、装置、设备及计算机可读存储介质 |
| CN109583151A (zh) * | 2019-02-20 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 车辆的行驶轨迹预测方法及装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021062593A1 (en) * | 2019-09-30 | 2021-04-08 | Beijing Voyager Technology Co., Ltd. | Systems and methods for predicting bicycle trajectory |
| CN113261035A (zh) * | 2019-12-30 | 2021-08-13 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
| CN113811830B (zh) * | 2019-12-30 | 2022-05-10 | 深圳元戎启行科技有限公司 | 轨迹预测方法、装置、计算机设备和存储介质 |
| CN112805730A (zh) * | 2019-12-30 | 2021-05-14 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
| CN113811830A (zh) * | 2019-12-30 | 2021-12-17 | 深圳元戎启行科技有限公司 | 轨迹预测方法、装置、计算机设备和存储介质 |
| CN111681335A (zh) * | 2020-03-18 | 2020-09-18 | 桂林电子科技大学 | 一种基于lstm技术的汽车轨迹预测系统及其预测方法 |
| CN113496167A (zh) * | 2020-04-02 | 2021-10-12 | 北京京东乾石科技有限公司 | 确定目标运动轨迹的方法和装置 |
| CN113496268A (zh) * | 2020-04-08 | 2021-10-12 | 北京图森智途科技有限公司 | 一种轨迹预测方法和装置 |
| CN111190427A (zh) * | 2020-04-10 | 2020-05-22 | 北京三快在线科技有限公司 | 一种轨迹规划的方法及装置 |
| CN114708723A (zh) * | 2020-12-16 | 2022-07-05 | 华为技术有限公司 | 轨迹预测方法和装置 |
| CN112651557A (zh) * | 2020-12-25 | 2021-04-13 | 际络科技(上海)有限公司 | 轨迹预测系统及方法、电子设备及可读存储介质 |
| CN112861924A (zh) * | 2021-01-17 | 2021-05-28 | 西北工业大学 | 一种可见光/红外图像多平台分布式融合多目标检测方法 |
| CN112861924B (zh) * | 2021-01-17 | 2023-04-07 | 西北工业大学 | 一种可见光/红外图像多平台分布式融合多目标检测方法 |
| CN113538516A (zh) * | 2021-07-19 | 2021-10-22 | 中国兵器工业计算机应用技术研究所 | 基于记忆信息的目标对象跟踪方法、装置及电子设备 |
| CN113538516B (zh) * | 2021-07-19 | 2024-04-16 | 中国兵器工业计算机应用技术研究所 | 基于记忆信息的目标对象跟踪方法、装置及电子设备 |
| CN114475656A (zh) * | 2022-02-21 | 2022-05-13 | 中国第一汽车股份有限公司 | 行驶轨迹预测方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223318A (zh) | 一种多目标轨迹的预测方法、装置、车载设备及存储介质 | |
| Sadeghian et al. | Sophie: An attentive gan for predicting paths compliant to social and physical constraints | |
| CN106326837B (zh) | 对象追踪方法和装置 | |
| CN109443382B (zh) | 基于特征提取与降维神经网络的视觉slam闭环检测方法 | |
| CN113902926A (zh) | 一种基于自注意力机制的通用图像目标检测方法和装置 | |
| CN104937607A (zh) | 用于重建目标的运动的装置、方法以及计算机程序 | |
| KR102219561B1 (ko) | 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법 | |
| CN111694917B (zh) | 一种车辆异常轨迹检测、模型训练方法及装置 | |
| CN110490073A (zh) | 目标检测方法、装置、设备及存储介质 | |
| CN111598089A (zh) | 一种基于深度学习的车牌矫正与识别方法 | |
| CN112738470A (zh) | 一种高速公路隧道内停车检测的方法 | |
| CN115661767A (zh) | 一种基于卷积神经网络的图像前方车辆目标识别方法 | |
| CN114742112A (zh) | 一种对象关联方法、装置及电子设备 | |
| CN111027555A (zh) | 一种车牌识别方法、装置及电子设备 | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| CN114596515A (zh) | 目标对象检测方法、装置、电子设备以及存储介质 | |
| CN116958872A (zh) | 一种羽毛球运动的智能化辅助训练方法及系统 | |
| Werner et al. | Topological slam using fast vision techniques | |
| CN116597336A (zh) | 视频处理方法、电子设备、存储介质及计算机程序产品 | |
| US11755688B2 (en) | Apparatus and method for generating training data for a machine learning system | |
| CN116309707A (zh) | 一种基于自校准与异构网络的多目标跟踪算法 | |
| CN116071728A (zh) | 基于transformer和姿态估计的行人轨迹预测方法及存储介质 | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN115457081A (zh) | 一种基于图神经网络的分层融合式预测方法 | |
| CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |
|
| RJ01 | Rejection of invention patent application after publication |