CN114821537A - 活动意图预测方法、装置及无人车 - Google Patents

活动意图预测方法、装置及无人车 Download PDF

Info

Publication number
CN114821537A
CN114821537A CN202210528508.3A CN202210528508A CN114821537A CN 114821537 A CN114821537 A CN 114821537A CN 202210528508 A CN202210528508 A CN 202210528508A CN 114821537 A CN114821537 A CN 114821537A
Authority
CN
China
Prior art keywords
activity
map
network
information
diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210528508.3A
Other languages
English (en)
Inventor
徐鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202210528508.3A priority Critical patent/CN114821537A/zh
Publication of CN114821537A publication Critical patent/CN114821537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种活动意图预测方法、装置及无人车。方法的一具体实施方式包括：对获取的待处理图像进行特征提取，得到特征图；根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。本申请利用目标活动图中目标对象之间的空间关系和特征图中的视觉信息进行活动意图预测，提高了活动意图预测的速度和准确度。

Description

活动意图预测方法、装置及无人车
技术领域
本申请实施例涉及计算机技术领域，具体涉及深度学习、人工智能技术，尤其涉及一种活动意图预测方法、装置以及活动意图预测模型的训练方法、装置、计算机可读介质和电子设备，可应用于自动驾驶场景中。
背景技术
在自动驾驶场景中，预测行人的活动意图存在众多挑战。在道路交通中，行人的行进方向可以是任意方向，而且行人可以在短时间内改变当前的运动状态，加上自动驾驶车辆往往处于高速行驶的状态，这就要求预测算法必须在很短的时间内对行人的活动意图做出准确预测并及时做出预警，以避免与行人产生碰撞，发生交通事故。现有的预测模型不能很好地满足自动驾驶场景对行人活动意图预测的任务需求，无法较好地完成预测任务。
发明内容
本申请实施例提出了一种活动意图预测方法、装置以及活动意图预测模型的训练方法、装置、计算机可读介质和电子设备。
第一方面，本申请实施例提供了一种活动意图预测方法，包括：对获取的待处理图像进行特征提取，得到特征图；根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。
在一些实施例中，上述根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图，包括：根据特征图，逐阶段细化待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为目标活动图。
在一些实施例中，上述根据特征图，逐阶段细化待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为目标活动图，包括：对于细化待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶段，基于特征图和上一阶段得到的活动图，生成该阶段的活动图。
在一些实施例中，上述基于特征图和上一阶段得到的活动图，生成该阶段的活动图，包括：基于特征图和上一阶段得到的活动图中的人体姿态骨架信息，生成该阶段的活动图。
在一些实施例中，上述根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果，包括：根据特征图和目标活动图中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图。
在一些实施例中，上述方法还包括：根据活动意图预测结果，确定自动驾驶车辆的控制信息。
第二方面，本申请实施例提供了一种活动意图预测模型的训练方法，包括：获取训练样本集，其中，训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签；利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
在一些实施例中，上述以特征图为活动图子网络的输入，得到第一输出，包括：通过活动图子网络中的多个活动图模块，基于特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，将最后的活动图模块得到的活动图确定为第一输出；以及第一损失基于各活动图模块得到的活动图与输入的样本图像对应的标签活动图之间的损失得到。
在一些实施例中，上述通过活动图子网络中的多个活动图模块，基于特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，包括：对于多个活动图模块中的每个活动图模块，根据特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图。
在一些实施例中，上述根据特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图，包括：基于特征图和上一活动图模块输出的活动图中的人体姿态骨架信息，生成该活动图模块的活动图。
在一些实施例中，上述以特征图和第一输出为类别子网络的输入，得到第二输出，包括：根据特征图和第一输出中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图，作为第二输出。
在一些实施例中，上述基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型，包括：根据第一损失更新特征提取子网络和活动图子网络，以得到训练后的特征提取子网络和活动图子网络；以第一损失和第二损失更新训练后的特征提取子网络、活动图子网络，以及类别子网络，得到训练后的活动意图预测模型。
在一些实施例中，样本图像的标签活动图通过如下方式得到：确定样本图像中的目标对象的边界框，以及样本图像对应的个人活动意图标签和群体活动意图标签；采用二维高斯概率密度函数，基于样本图像中的目标对象的边界框、个人活动意图标签和群体活动意图标签，生成样本图像对应的标签活动图。
第三方面，本申请实施例提供了一种活动意图预测装置，包括：特征提取单元，被配置成对获取的待处理图像进行特征提取，得到特征图；生成单元，被配置成根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；得到单元，被配置成根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。
在一些实施例中，生成单元，进一步被配置成根据特征图，逐阶段细化待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为目标活动图。
在一些实施例中，生成单元，进一步被配置成对于细化待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶段，基于特征图和上一阶段得到的活动图，生成该阶段的活动图。
在一些实施例中，生成单元，进一步被配置成基于特征图和上一阶段得到的活动图中的人体姿态骨架信息，生成该阶段的活动图。
在一些实施例中，得到单元，进一步被配置成根据特征图和目标活动图中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图。
在一些实施例中，上述装置还包括：确定单元，被配置成根据活动意图预测结果，确定自动驾驶车辆的控制信息。
第四方面，本申请实施例提供了一种活动意图预测模型的训练装置，包括：获取单元，被配置成获取训练样本集，其中，训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签；训练单元，被配置成利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
在一些实施例中，训练单元，进一步被配置成通过活动图子网络中的多个活动图模块，基于特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，将最后的活动图模块得到的活动图确定为第一输出；以及第一损失基于各活动图模块得到的活动图与输入的样本图像对应的标签活动图之间的损失得到。
在一些实施例中，训练单元，进一步被配置成对于多个活动图模块中的每个活动图模块，根据特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图。
在一些实施例中，训练单元，进一步被配置成基于特征图和上一活动图模块输出的活动图中的人体姿态骨架信息，生成该活动图模块的活动图。
在一些实施例中，训练单元，进一步被配置成根据特征图和第一输出中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图，作为第二输出。
在一些实施例中，训练单元，进一步被配置成：根据第一损失更新特征提取子网络和活动图子网络，以得到训练后的特征提取子网络和活动图子网络；以第一损失和第二损失更新训练后的特征提取子网络、活动图子网络，以及类别子网络，得到训练后的活动意图预测模型。
在一些实施例中，样本图像的标签活动图通过如下方式得到：确定样本图像中的目标对象的边界框，以及样本图像对应的个人活动意图标签和群体活动意图标签；采用二维高斯概率密度函数，基于样本图像中的目标对象的边界框、个人活动意图标签和群体活动意图标签，生成样本图像对应的标签活动图。
第五方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面、第二方面任一实现方式描述的方法。
第六方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面、第二方面任一实现方式描述的方法。
第七方面，本申请实施例提供了一种无人车，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如第一方面、第二方面任一实现方式描述的方法。
本申请实施例提供的活动意图预测方法及装置，通过对获取的待处理图像进行特征提取，得到特征图；根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果，从而利用目标活动图中目标对象之间的空间关系和特征图中的视觉信息进行活动意图预测，提高了活动意图预测的速度和准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请活动意图预测方法的一个实施例的流程图；
图3是根据本实施例的活动意图预测方法的应用场景的示意图；
图4是根据本申请的活动意图预测方法的又一个实施例的流程图；
图5是根据本申请的活动意图预测模型的训练方法的一个实施例的流程图；
图6是本申请的活动意图预测模型的结构示意图；
图7是根据本申请的活动意图预测装置的一个实施例的结构图；
图8是根据本申请的活动意图预测模型的训练装置的一个实施例的结构图；
图9是适于用来实现本申请实施例的计算机系统的结构示意图；
图10是根据本申请的无人车的系统架构示意图；
图11是根据本申请的无人车的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的活动意图预测方法和装置、活动意图预测模型的训练方法和装置的示例性架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于车载电脑、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如根据终端设备101、102、103获取的待处理图像，预测待处理图像中的目标对象的活动意图的后台处理服务器；又例如，根据终端设备101、102、103获取的训练样本集，训练用于活动意图预测的活动意图预测模型的后台处理服务器。作为示例，服务器105可以是云端服务器。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
还需要说明的是，本申请的实施例所提供的活动意图预测方法、活动意图预测模型的训练方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，活动意图预测装置、活动意图预测模型的训练装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当活动意图预测方法、活动意图预测模型的训练方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括活动意图预测方法、活动意图预测模型的训练方法运行于其上的电子设备(例如服务器或终端设备)。
继续参考图2，示出了活动意图预测方法的一个实施例的流程200，包括以下步骤：
步骤201，对获取的待处理图像进行特征提取，得到特征图。
本实施例中，活动意图预测方法的执行主体(例如图1中的终端设备或服务器)可以基于有线网络连接方式或无线网络连接方式从远程，或从本地获取待处理图像，并对获取的待处理图像进行特征提取，得到特征图。
待处理图像可以是包括任意内容的图像。作为示例，在自动驾驶领域，待处理图像可以是自动驾驶车辆在行驶过程中采集的、表征周围环境的图像。
本实施例中，上述执行主体可以通过预训练的特征提取模型对待处理图像进行特征处理，得到特征图。其中，特征提取模型例如可以是卷积神经网络、循环神经网络等网络模型。
具体的，特征提取网络可以是后续的实施例500训练得到的活动意图预测模型中用于提取特征的特征提取子网络，活动意图预测模型用于按照本实施例的活动意图预测方法进行活动意图预测。
步骤202，根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图。
本实施例中，上述执行主体可以根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图。
目标对象为具有活动能力的对象。一般而言，在自动驾驶领域，目标对象为行人。自动驾驶车辆需要确定待处理图像中包括的行人的活动意图，以根据行人的活动意图确定自动驾驶车辆接下来的控制指令。作为示例，在道路场景中，目标对象的活动意图例如可以是过马路或不过马路。
目标群体为待处理图像中包括多个目标对象的群体。例如，可以将邻近的多个目标对象确定为一个目标群体；又例如，对于每个目标对象，可以将以该目标对象为中心的预设范围内的多个目标对象确定为一个目标群体。
本实施例中，可以通过预训练的神经网络模型基于卷积、池化等操作，根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图。
具体的，可以通过预训练的活动意图预测模型中用于生成活动图的活动图子网络，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图。
步骤203，根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。
本实施例中，上述执行主体可以根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。
作为示例，上述执行主体可以通过预训练的神经网络模型，以特征图和目标活动图为输入，输出活动意图预测结果。
具体的，用于意图预测的神经网络模型可以是预训练的活动意图预测模型中用于生成活动意图预测结果的类别子网络。
对于目标对象来说，其活动并不是孤立的，而是受周围环境，尤其是周围的目标对象影响的。通过对目标对象的周围环境信息的分析，有利于有效预测其活动类别，也即活动意图。
待处理图像的特征图表征视觉信息，基于特征图得到的目标活动图表征待处理图像中的目标对象之间的空间关系，结合视觉信息和空间关系，将两者之间进行相应匹配，提高了得到的活动意图预测结果的准确度。
继续参见图3，图3是根据本实施例的活动意图预测方法的应用场景的一个示意图300。在图3的应用场景中，自动驾驶车辆301在行驶过程中将要经过一个路口，通过配置的图像采集装置获取了表征路口环境信息的待处理图像302，并将待处理图像302发送至服务器303。服务器303接收到待处理图像303之后，首先，对待处理图像303进行特征提取，得到特征图304；然后，根据特征图304，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图305；最后，根据特征图304和目标活动图305进行活动意图预测，得到活动意图预测结果。
本申请的上述实施例提供的方法，通过对获取的待处理图像进行特征提取，得到特征图；根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果，从而利用目标活动图中目标对象之间的空间关系和特征图中的视觉信息进行活动意图预测，提高了活动意图预测的速度和准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤202：根据特征图，逐阶段细化待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为目标活动图。
作为示例，根据特征图生成目标活动图的过程中会涉及多个阶段。具体的，包括一个根据特征图生成活动图的阶段和多个细化活动图中的个人活动信息和群体活动信息的阶段。在第一个阶段根据特征图生成活动图之后，后续的每个阶段均以上个阶段输出的活动图为输入，细化其中的个人活动信息和群体活动信息，输出该阶段对应的活动。进而，将最后阶段得到的活动图确定为目标活动图。
其中，阶段的数量可以根据实际情况具体设置，在此不做限定。
本实现方式中，逐阶段细化待处理图像中的个人活动信息和群体活动信息，使得目标活动图具有更细致的个人活动信息和群体活动信息，提高了目标活动对于活动信息的表现力。
在本实施例的一些可选的实现方式中，上述执行主体可以执行如下操作以实现活动信息的细化过程：对于细化待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶段，基于特征图和上一阶段得到的活动图，生成该阶段的活动图。
具体的，在第一个阶段根据特征图生成活动图之后，后续的每个阶段均以特征图和上个阶段输出的活动图为输入，细化其中的个人活动信息和群体活动信息，输出该阶段对应的活动图。进而，将最后阶段得到的活动图确定为目标活动图。
本实现方式中，每个阶段结合待处理图像的特征图和上一阶段输出的活动图，细化待处理图像中的目标对象的个人活动信息和目标群体的群体活动信息，进一步提高了活动信息细化过程的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式得到每一阶段的活动图：基于特征图和上一阶段得到的活动图中的人体姿态骨架信息，生成该阶段的活动图。
人体姿态骨架信息可以图形格式表达人体运动。本质上，它是一组坐标，用于描述一个人的姿态。人体姿态骨架信息中的每个坐标对应人体的关节或关键点，连接相邻的关节或关键点可以得到对应的人体姿态骨架信息。
本实现方式中，在第一个阶段，从特征图中提取人体关节或关键点信息，从而生成人体姿态骨架信息，得到第一阶段的活动图；后续的每个阶段均以特征图和上个阶段输出的活动图的人体姿态骨架信息为输入，细化其中的个人活动信息和群体活动信息，输出该阶段对应的活动图。
本实现方式中，每个阶段结合待处理图像的特征图和上一阶段输出的活动图的人体姿态骨架信息，细化待处理图像中的目标对象的个人活动信息和目标群体的群体活动信息，进一步提高了活动信息细化过程的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤203：根据特征图和目标活动图中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图。
作为示例，上述执行主体可以计算输入的待处理图像中的局部像素属于各种活动意图的概率，从而预测整张待处理图像中每个行人的活动意图类别，并使用不同颜色标记不同活动意图类别，输出表征活动意图预测结果的像素标记图。
本实现方式中，基于特征图和人体姿态骨架信息，生成表征活动意图预测结果的像素标记图，进一步提高了活动意图预测结果的准确度和显示效果。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下操作：根据活动意图预测结果，确定自动驾驶车辆的控制信息。
继续以图3所示的场景为例，当确定路口附近的行人的活动意图预测结果表征行人有穿越马路的意图时，可以确定控制自动驾驶车辆减速礼让的控制信息。
具体的，上述执行主体可以通过预训练的控制模型，以活动意图预测结果为输入，输出自动驾驶车辆的控制信息。其中，控制模型表征活动意图预测结果和自动驾驶车辆的控制信息之间的对应关系。
继续参考图4，示出了根据本申请的活动意图预测方法的一个实施例的示意性流程400，包括以下步骤：
步骤401，对获取的待处理图像进行特征提取，得到特征图。
步骤402，对于细化待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶段，基于特征图和上一阶段得到的活动图，生成该阶段的活动图。
步骤403，将最后阶段得到的活动图确定为目标活动图。
步骤404，根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。
步骤405，根据活动意图预测结果，确定自动驾驶车辆的控制信息。
从本实施例中可以看出，与图2对应的实施例相比，本实施例中的活动意图预测方法的流程400具体说明了目标活动图的生成过程和基于活动意图预测结果得到自动驾驶车辆的控制信息的过程，进一步提高了活动意图预测结果的准确度，从而提高了自动驾驶车辆的控制信息的准确度和驾驶安全性。
继续参考图5，示出了活动意图预测模型的训练方法的一个实施例的流程500，包括以下步骤：
步骤501，获取训练样本集。
本实施例中，活动意图预测模型的训练方法的执行主体(例如图1中的终端设备或服务器)可以基于有线网络连接方式或无线网络连接方式从远程，或从本地获取训练样本集。其中，训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签。
样本图像可以是包括任意内容的图像。作为示例，在自动驾驶领域，样本图像可以是自动驾驶车辆在行驶过程中采集的、表征周围环境的图像。
标签活动图表征样本图像中的目标对象之间的真实活动信息的活动图，类别标签表征样本图像中目标群体的群体活动信息的意图。不同的意图具有不用的类别标签。
步骤502，利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
本实施例中，上述执行主体可以利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
具体的，上述执行主体可以从训练样本集中选取未训练过的样本图像，输入活动意图预测模型，得到对应的第一损失和第二损失，并通过第一损失和第二损失确定梯度，进而根据梯度下降法更新活动意图预测模型。通过循环执行上述训练操作，响应于达到预设结束条件，得到训练后的活动意图预测模型。
其中，预设结束条件可以是训练时间超过预设时间阈值、训练次数超过预设次数阈值、损失收敛。
用于确定第一损失和第二损失的损失函数可以根据实际情况具体设置。作为示例，第一损失可以基于欧几里得损失函数求得，第二损失可以基于交叉熵损失函数求得。
本申请的上述实施例提供的方法，提供了一种活动意图预测模型的训练方法，基于样本图像的标签活动图和群体活动标签，使得活动意图预测模型可以学习到样本图像中的目标对象之间的空间信息与活动意图之间的对应关系，提高了训练后的活动意图预测模型对于活动意图的预测准确度。
在本实施例的一些可选的实现方式中，活动图子网络中包括多个活动图模块，上述执行主体可以通过如下方式得到活动图子网络的第一输出：
通过活动图子网络中的多个活动图模块，基于特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，将最后的活动图模块得到的活动图确定为第一输出。
在第一个活动图模块根据特征图生成活动图之后，后续的每个活动图模块均以上个活动图模块输出的活动图为输入，细化其中的个人活动信息和群体活动信息，输出该阶段对应的活动。进而，将最后活动图模块得到的活动图确定为第一输出。
本实现方式中，第一损失基于各活动图模块得到的活动图与输入的样本图像对应的标签活动图之间的损失得到。
作为示例，对于每个活动图模块得到的活动图，计算该活动图和该活动图对应的标签活动图之间的损失；进而根据求得的各损失进行求和、加权求和等操作得到第一损失。
本实现方式中，逐阶段细化样本图像中的个人活动信息和群体活动信息，使得在一次训练操作中，活动意图预测模型可以逐步学习个人活动信息和群体活动信息，提高了训练过程的效率和第一输出中活动信息的表现力。
在本实施例的一些可选的实现方式中，上述执行主体可以通过执行如下操作以实现活动信息的细化过程：对于多个活动图模块中的每个活动图模块，根据特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图。
具体的，在第一个活动图模块根据特征图生成活动图之后，后续的每个活动图模块均以特征图和上个活动图模块输出的活动图为输入，细化其中的个人活动信息和群体活动信息，输出该活动图模块对应的活动。进而，将最后的活动图模块得到的活动图确定为第一输出。
本实现方式中，每个活动图模块结合待处理图像的特征图和上一活动图模块输出的活动图，细化样本图像中的目标对象的个人活动信息和目标群体的群体活动信息，进一步提高了活动信息细化过程的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式得到每一活动图模块的活动图：基于特征图和上一活动图模块输出的活动图中的人体姿态骨架信息，生成该活动图模块的活动图。
人体姿态骨架信息可以图形格式表达人体运动。本质上，它是一组坐标，用于描述一个人的姿态。人体姿态骨架信息中的每个坐标对应人体的关节或关键点，连接相邻的关节或关键点可以得到对应的人体姿态骨架信息。
本实现方式中，在第一个活动图模块，从特征图中提取人体关节或关键点信息，从而生成人体姿态骨架信息，得到第一个活动图模块的活动图；后续的每个活动图模块均以特征图和上个活动图模块输出的活动图的人体姿态骨架信息为输入，细化其中的个人活动信息和群体活动信息，输出该活动图模块对应的活动图。
本实现方式中，每个活动图模块结合样本图像的特征图和上一活动图模块输出的活动图的人体姿态骨架信息，细化样本图像中的目标对象的个人活动信息和目标群体的群体活动信息，进一步提高了活动信息细化过程的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式确定第二输出：根据特征图和第一输出中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图，作为第二输出。
作为示例，上述执行主体可以计算输入的样本图像中的局部像素属于各种活动意图的概率，从而预测整张样本图像中每个行人的活动意图类别，并使用不同颜色标记不同活动意图类别，输出表征活动意图预测结果的像素标记图，作为第二输出。
本实现方式中，基于特征图和人体姿态骨架信息，生成表征活动意图预测结果的像素标记图，进一步提高了活动意图预测模型的准确度和显示效果。
在本实施例的一些可选的实现方式中，活动意图预测模型的训练过程分为两个训练阶段，上述执行主体可以通过如下方式，根据第一损失和第二损失更新活动意图预测模型：
在第一阶段中，根据第一损失更新特征提取子网络和活动图子网络，以得到训练后的特征提取子网络和活动图子网络。
具体的，在第一阶段中只根据第一损失更新活动意图预测模型中国的特征提取网络和活动图子网络，得到训练后的特征提取子网络和活动图子网络，以着重训练活动意图预测模型中的活动图子网络学习到准确的活动图。
作为示例，上述执行主体可以从训练样本集中选取未训练过的样本图像，输入活动意图预测模型，得到对应的第一损失，并通过第一损失确定梯度，进而根据梯度下降法更新活动意图预测模型中的特征提取网络和活动图子网络。通过循环执行上述训练操作，响应于达到预设结束条件，得到训练后的特征提取网络和活动图子网络。
在第二训练阶段中，以第一损失和第二损失更新训练后的特征提取子网络、活动图子网络，以及类别子网络，得到训练后的活动意图预测模型。
作为示例，上述执行主体可以从训练样本集中选取未训练过的样本图像，输入活动意图预测模型，得到对应的第一损失和第二损失，并通过第一损失和第二损失确定梯度，进而根据梯度下降法更新活动意图预测模型中训练后的特征提取网络和活动图子网络，以及未训练过的活动图子网络。通过循环执行上述训练操作，响应于达到预设结束条件，得到训练后的活动意图预测模型。
由于第二训练阶段的主要目标是预测活动意图，因此可以为第二损失设置较大的权重，为第一损失设置较小的权重，以便使模型更加重视准确的活动意图的预测。
本实施例中，分阶段训练活动意图预测网络，不同的训练阶段具有不同的训练目标，进一步提高了模型的学习效率和准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式生成样本图像的标签活动图：确定样本图像中的目标对象的边界框，以及样本图像对应的个人活动意图标签和群体活动意图标签；采用二维高斯概率密度函数，基于样本图像中的目标对象的边界框、个人活动意图标签和群体活动意图标签，生成样本图像对应的标签活动图。
具体的，活动图定义为一组二维字段，表示目标对象的边界框内的个人活动和群体活动。这意味着在活动图中有一个针对每个目标对象的活动图和每个目标群体的群体活动的活动图。每个目标对象的活动图中，在具有个人活动标签的边界框中具有更高的值；在每个目标群体的活动图中，具有群体活动标签的目标群体中的目标对象的边界框内具有更高的值。
活动图使活动意图预测模型有可能从目标对象之间的空间关系中提取信息。因此，可以组合目标对象对应的个体活动图
Figure BDA0003645284600000171
和目标群体对应的群体活动图
Figure BDA0003645284600000181
生成为地面真实活动图A∈RH′×W′×N。其中，H′、W′分别表示目标活动图的高、宽尺寸，NI、NG分别表示目标对象的个人活动标签的数量和目标群体的群体活动标签的数量。
特别地，利用二维高斯概率密度函数，并基于目标对象的边界框、个体活动标签和群体活动标签来构造活动图。在训练过程中，对于样本图像中的M个人，通过获取其中的目标对象的边界框B∈RM×4、个人行动标签I∈{1，...，NI}M以及群体活动类别G∈{1，...，NG}来创建活动图。对于M中的每个目标对象m，基于其边界框
Figure BDA0003645284600000182
Figure BDA0003645284600000183
其个人活动标签i和群体活动标签g，通过如下公式生成一个目标对象的活动图Am：
Figure BDA0003645284600000184
Figure BDA0003645284600000185
Figure BDA0003645284600000186
其中，fm(z)是针对场i中的每个点z以及活动图Am的NI+g进行计算的。μm是目标对象m的边界框的中心，
Figure BDA0003645284600000187
表示边界框的边界点坐标。∑m是一个协方差矩阵，它采用边界框具有的高度和宽度进行计算。边界框沿垂直线和水平线，使协方差矩阵为对角矩阵。在个人活动地图的个人活动字段和群体活动字段中，在目标对象的边界框的位置上将创建一个二元高斯地图。通过将值除以字段中的最大值，可以分别对每个字段进行归一化。最后，通过获取对齐点的最大值来对齐并组合各目标对象的活动图Am，以形成最终活动图A。所以对于单个目标对象来说，在活动图中的不同个人活动场内拥有二维高斯图，这些活动图依赖于每个目标对象的个人活动标签。但是在群体活动图中，只有该群体活动图对应的目标群体这一个活动场中的每个目标对象都有二维高斯图，其他活动场都将为0。
在本实施例的一些可选时的实现方式中，可以根据样本图像对于目标对象的分割掩码确定样本图像对应的标签活动图。样本图像的分割掩码是一个与样本图像大小相同的图像，图中的每个像素，有一个布尔值指示目标对象是否存在。
作为示例，可以直接将分割掩码确定为样本图像的标签活动图。
本实现方式中，提供了一种得到样本图像的标签活动图的方法，提高了模型训练过程的灵活性和便捷性。
继续参考图6，示出了活动意图预测模型的结构示意图。
如图6所示，活动意图预测模型600包括特征提取子网络601、活动图子网络602和类别子网络603。活动图子网络602中包括多个活动图模块。
特征提取子网络601采用二维或三维CNN(convolutional neural network，卷积神经网络)。首先，输入的样本图像或视频由二维或三维CNN处理以产生特征图F；然后，将特征图F用于活动图预测和活动意图预测步骤。活动图子网络602中的活动图模块φ根据特征图F生成活动图
Figure BDA0003645284600000191
活动图
Figure BDA0003645284600000192
包括个人活动图和群体活动图；然后，使用活动图模块ψt在多个阶段细化活动图。最后，类别子网络ζ将来自特征图F的信息和精细的活动图
Figure BDA0003645284600000193
组合起来，以预测最终的活动意图，得到活动意图预测结果
Figure BDA0003645284600000194
也即第二输出。
Figure BDA0003645284600000195
是阶段t中预测的活动图和标签活动图之间的欧几里得损失，而
Figure BDA0003645284600000196
是第二输出
Figure BDA0003645284600000197
和群体活动标签p之间的交叉熵损失。标签活动图A由群体活动图AG和个人活动图AI组成。
X是输入的样本图像，H、W为输入样本图像的高度和宽度，K和C分别是帧的数量和通道的数量。当K＝1时，输入既与4维输入帧序列对应的3D CNN兼容，也与压缩了第一维(时间维度)后的3维RGB图像单帧对应的常规CNN兼容。特征图由CNN提取并在空间上调整为H′×W′。本实施例使用了3维特征图。因此，在使用三维CNN的情况下，计算来自不同时间维度的特征图的平均值，以形成模型的输入特征F∈RH′×W′×D，D是CNN所选层中的过滤器数量。
特征图F作为活动图子网络的输入，它会在每阶段t中生成活动图
Figure BDA0003645284600000198
其中，N＝NI+NG，NI和NG分别是个人活动标签的数量和群体活动标签的数量，这些细化阶段将产生最终的细化活动图，T是阶段的数量，也即活动图模块的数量。细化后的活动图
Figure BDA0003645284600000201
与特征图F一起作为活动意图预测模型中的类别自网络ζ的输入，从而基于场景中所有人员的活动之间的关系对活动意图做出最终判定。
活动意图预测模型类似于卷积关系机，具有细化和聚合两个主要阶段。细化阶段的操作类似于卷积姿态机，活动意图预测网络通过第一个图网络模块产生活动图，并在接下来的阶段对其进行细化。在细化之后，类别子网络负责聚集来自特征图的整个场景信息和细化的活动图的信息，以产生活动意图预测结果。
(一)细化阶段
给定输入的特征图F，函数
Figure BDA0003645284600000202
(第一个图网络模块)作用于特征图F，从而在第一阶段生成初始活动图。在接下来的步骤中，另一个函数ψ1(第二个图网络模块)作用于F和
Figure BDA0003645284600000203
从而生成比
Figure BDA0003645284600000204
精细的活动图
Figure BDA0003645284600000205
具体的，活动意图预测模型的细化阶段可以表示为：
Figure BDA0003645284600000206
Figure BDA0003645284600000207
其中，T是图网络模块的数，
Figure BDA0003645284600000208
表示级联，φ和ψt由卷积层组成。以conv(x)表示步幅为1且内核大小为x的卷积层，则φ由三个conv(3)和两个conv(1)组成。所有ψt都有相同的层，且其网络结构不同于φ。ψt由三个conv(7)和两个conv(1)构造。
(二)聚集阶段
给定目标活动图
Figure BDA0003645284600000209
将其作为目标对象的活动和特征图F之间的空间关系的表示。聚集阶段旨在聚集来自所有目标对象的信息以输出最终的活动意图预测结果。通过共同处理特征图和目标活动图来预测活动意图，具体表示为：
Figure BDA00036452846000002010
其中，
Figure BDA00036452846000002011
是预测的群体活动意图的概率向量，即第二输出。ζ在特征图和活动图的级联的基础上，使用卷积层和池化层进行相应操作，以生成最终的活动意图预测结果。如果将内核大小为x且步幅为2的池化层表示为pool(x)，则ζ包括conv(7)、pool(2)、conv(7)、pool(2)、conv(7)、pool(2)、conv(1)。对于ζ而言，基于特征图和目标活动图为输入很重要。如果目标活动图是ζ的唯一输入，则它将无法考虑特征图的视觉表示与目标活动图之间的匹配，从而无法准确预测群体活动。
(三)训练
活动意图预测模型的训练过程具有多任务目标。首先，活动意图预测模型必须学会尽可能准确地预测阶段t的活动图At。此外，活动意图预测模型需要产生正确的活动意图预测结果。具有的，活动意图预测模型的训练过程中的损失函数可以定义为：
Figure BDA0003645284600000211
Figure BDA0003645284600000212
Figure BDA0003645284600000213
Figure BDA0003645284600000214
其中，
Figure BDA0003645284600000215
是总活动图损失，也即第一损失，
Figure BDA0003645284600000216
是阶段t的活动图损失，
Figure BDA0003645284600000217
是第二损失，
Figure BDA0003645284600000218
是模型的总损失。另外，p表示一个热编码的群体活动标签。wA和wG分别控制第一损失和第二损失的权重。
为了简化活动意图预测模型在训练多任务损失方面的工作，使用了两步训练策略。第一训练阶段，将wG设置为0。因此，该训练阶段，模型着重于学习生成准确的活动图。第一训练阶段之后，将wG和wA都赋予非零值，以使活动意图预测模型的所有权重一起优化。由于主要目标是预测活动意图，因此应将wA设置为小于wG，以便更加重视准确的活动意图。
继续参考图7，作为对上述各图所示方法的实现，本申请提供了一种活动意图预测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，活动意图预测装置包括：特征提取单元701，被配置成对获取的待处理图像进行特征提取，得到特征图；生成单元702，被配置成根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；得到单元703，被配置成根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。
在本实施例的一些可选的实现方式中，生成单元702进一步被配置成根据特征图，逐阶段细化待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为目标活动图。
在本实施例的一些可选的实现方式中，生成单元702进一步被配置成对于细化待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶段，基于特征图和上一阶段得到的活动图，生成该阶段的活动图。
在本实施例的一些可选的实现方式中，生成单元702进一步被配置成基于特征图和上一阶段得到的活动图中的人体姿态骨架信息，生成该阶段的活动图。
在本实施例的一些可选的实现方式中，得到单元703进一步被配置成根据特征图和目标活动图中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图。
在本实施例的一些可选的实现方式中，上述装置还包括：确定单元(图中未示出)，被配置成根据活动意图预测结果，确定自动驾驶车辆的控制信息。
本实施例中，活动意图预测装置中的特征提取单元对获取的待处理图像进行特征提取，得到特征图；生成单元根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；得到单元根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果，从而利用目标活动图中目标对象之间的空间关系和特征图中的视觉信息进行活动意图预测，提高了活动意图预测的速度和准确度。
继续参考图8，作为对上述各图所示方法的实现，本申请提供了一种活动意图预测模型的训练装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，活动意图预测模型的训练装置包括：获取单元801，被配置成获取训练样本集，其中，训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签；训练单元802，被配置成利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
在本实施例的一些可选的实现方式中，训练单元802进一步被配置成通过活动图子网络中的多个活动图模块，基于特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，将最后的活动图模块得到的活动图确定为第一输出；以及第一损失基于各活动图模块得到的活动图与输入的样本图像对应的标签活动图之间的损失得到。
在本实施例的一些可选的实现方式中，训练单元802进一步被配置成对于多个活动图模块中的每个活动图模块，根据特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图。
在本实施例的一些可选的实现方式中，训练单元802进一步被配置成基于特征图和上一活动图模块输出的活动图中的人体姿态骨架信息，生成该活动图模块的活动图。
在本实施例的一些可选的实现方式中，训练单元802进一步被配置成根据特征图和第一输出中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图，作为第二输出。
在本实施例的一些可选的实现方式中，训练单元802进一步被配置成：根据第一损失更新特征提取子网络和活动图子网络，以得到训练后的特征提取子网络和活动图子网络；以第一损失和第二损失更新训练后的特征提取子网络、活动图子网络，以及类别子网络，得到训练后的活动意图预测模型。
在本实施例的一些可选的实现方式中，样本图像的标签活动图通过如下方式得到：确定样本图像中的目标对象的边界框，以及样本图像对应的个人活动意图标签和群体活动意图标签；采用二维高斯概率密度函数，基于样本图像中的目标对象的边界框、个人活动意图标签和群体活动意图标签，生成样本图像对应的标签活动图。
本实施例中，提供了一种活动意图预测模型的训练装置，基于样本图像的标签活动图和群体活动标签，使得活动意图预测模型可以学习到样本图像中的目标对象之间的空间信息与活动意图之间的对应关系，提高了训练后的活动意图预测模型对于活动意图的预测准确度。
下面参考图9，其示出了适于用来实现本申请实施例的设备(例如图1所示的设备101、102、103、105)的计算机系统900的结构示意图。图9示出的设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括处理器(例如CPU，中央处理器)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统900操作所需的各种程序和数据。处理器901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在客户计算机上执行、部分地在客户计算机上执行、作为一个独立的软件包执行、部分在客户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到客户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括特征提取单元、生成单元和得到单元；又例如，可以描述为：一种处理器，包括获取单元和训练单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，训练单元还可以被描述为“利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该计算机设备：对获取的待处理图像进行特征提取，得到特征图；根据特征图，生成表征待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；根据特征图和目标活动图进行活动意图预测，得到活动意图预测结果。或者，使得该计算机设备：获取训练样本集，其中，训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签；利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以特征图为活动图子网络的输入，得到第一输出；以特征图和第一输出为类别子网络的输入，得到第二输出；基于第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括特征提取子网络、活动图子网络和类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
继续参考图10，示出了本申请的无人车的系统架构示意图1000。本示例中，以无人车为无人配送车为例进行示意性说明，但并不限定无人车的类型。例如，无人车还可以是无人驾驶出租车、无人驾驶公交、无人驾驶巡检车、无人驾驶作业车。
如附图10所示，无人车1000主要包括底盘模块1001、自动驾驶模块1002、货箱模块1003和远程监控推流模块1004四部分。自动驾驶模块包括核心处理单元(Orin或Xavier模组)、红绿灯识别相机、前后左右环视相机、多线激光雷达、定位模块(如北斗、GPS等)、惯性导航单元。相机与自动驾驶模块之间可进行通信，为了提高传输速度、减少线束，可采用GMSL链路通信。底盘模块主要包括电池、电源管理装置、底盘控制器、电机驱动器、动力电机。电池为整个无人车系统提供电源，电源管理装置将电池输出转换为可供各功能模块使用的不同电平电压，并控制上下电。底盘控制器接受自动驾驶模块下发的运动指令，控制无人车转向、前进、后退、刹车等。远程监控推流模块由前监控相机、后监控相机、左监控相机、右监控相机和推流模块构成，该模块将监控相机采集的视频数据传输到后台服务器，供后台操作人员查看。无线通讯模块通过天线与后台服务器进行通信，可实现后台操作人员对无人车的远程控制。货箱模块为无人车的货物承载装置，货箱模块上还设置有显示交互模块，显示交互模块用于无人车与用户交互，用户可通过显示交互模块进行如取件、寄存、购买货物等操作。货箱的类型可根据实际需求进行更换，如在物流场景中，货箱可以包括多个不同大小的子箱体，子箱体可用于装载货物进行配送。在零售场景中，货箱可以设置成透明箱体，以便于用户直观看到待售产品。
继续参考图11，示出了本申请的无人车的结构示意图1100。具体的，自动驾驶模块中的相机可以采集待处理图像或训练样本集；核心处理单元套件，例如各种处理器，可以基于采集的待处理图像或训练样本集执行上述实施例200、400、500所示的方法。以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种活动意图预测方法，包括：
对获取的待处理图像进行特征提取，得到特征图；
根据所述特征图，生成表征所述待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；
根据所述特征图和所述目标活动图进行活动意图预测，得到活动意图预测结果。
2.根据权利要求1所述的方法，其中，所述根据所述特征图，生成表征所述待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图，包括：
根据所述特征图，逐阶段细化所述待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为所述目标活动图。
3.根据权利要求2所述的方法，其中，其中，所述根据所述特征图，逐阶段细化所述待处理图像中的个人活动信息和群体活动信息，将最后阶段得到的活动图确定为所述目标活动图，包括：
对于细化所述待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶段，基于所述特征图和上一阶段得到的活动图，生成该阶段的活动图。
4.根据权利要求3所述的方法，其中，所述基于所述特征图和上一阶段得到的活动图，生成该阶段的活动图，包括：
基于所述特征图和上一阶段得到的活动图中的人体姿态骨架信息，生成该阶段的活动图。
5.根据权利要求4所述的方法，其中，所述根据所述特征图和所述目标活动图进行活动意图预测，得到活动意图预测结果，包括：
根据所述特征图和所述目标活动图中的人体姿态骨架信息，进行活动意图预测，生成表征所述活动意图预测结果的像素标记图。
6.根据权利要求1-5中任一项所述的方法，其中，还包括：
根据所述活动意图预测结果，确定自动驾驶车辆的控制信息。
7.一种活动意图预测模型的训练方法，包括：
获取训练样本集，其中，所述训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签；
利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以所述特征图为活动图子网络的输入，得到第一输出；以所述特征图和所述第一输出为类别子网络的输入，得到第二输出；基于所述第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及所述第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括所述特征提取子网络、所述活动图子网络和所述类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
8.根据权利要求7所述的方法，其中，所述以所述特征图为活动图子网络的输入，得到第一输出，包括：
通过所述活动图子网络中的多个活动图模块，基于所述特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，将最后的活动图模块得到的活动图确定为所述第一输出；以及
所述第一损失基于各活动图模块得到的活动图与输入的样本图像对应的标签活动图之间的损失得到。
9.根据权利要求8所述的方法，其中，所述通过所述活动图子网络中的多个活动图模块，基于所述特征图，逐阶段细化输入的样本图像中的个人活动信息和群体活动信息，包括：
对于所述多个活动图模块中的每个活动图模块，根据所述特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图。
10.根据权利要求9所述的方法，其中，所述根据所述特征图和上一活动图模块输出的活动图，生成该活动图模块的活动图，包括：
基于所述特征图和上一活动图模块输出的活动图中的人体姿态骨架信息，生成该活动图模块的活动图。
11.根据权利要求10所述的方法，其中，所述以所述特征图和所述第一输出为类别子网络的输入，得到第二输出，包括：
根据所述特征图和所述第一输出中的人体姿态骨架信息，进行活动意图预测，生成表征活动意图预测结果的像素标记图，作为所述第二输出。
12.根据权利要求7所述的方法，其中，所述基于所述第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及所述第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括所述特征提取子网络、所述活动图子网络和所述类别子网络的活动意图预测模型，得到训练后的活动意图预测模型，包括：
根据所述第一损失更新所述特征提取子网络和所述活动图子网络，以得到训练后的特征提取子网络和活动图子网络；
以所述第一损失和所述第二损失更新所述训练后的特征提取子网络、活动图子网络，以及所述类别子网络，得到训练后的活动意图预测模型。
13.根据权利要求7所述的方法，其中，样本图像的标签活动图通过如下方式得到：
确定样本图像中的目标对象的边界框，以及样本图像对应的个人活动意图标签和群体活动意图标签；
采用二维高斯概率密度函数，基于样本图像中的目标对象的边界框、个人活动意图标签和群体活动意图标签，生成样本图像对应的标签活动图。
14.一种活动意图预测装置，包括：
特征提取单元，被配置成对获取的待处理图像进行特征提取，得到特征图；
生成单元，被配置成根据所述特征图，生成表征所述待处理图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的目标活动图；
得到单元，被配置成根据所述特征图和所述目标活动图进行活动意图预测，得到活动意图预测结果。
15.一种活动意图预测模型的训练装置，包括：
获取单元，被配置成获取训练样本集，其中，所述训练样本集中的训练样本包括样本图像、表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图，以及表征群体活动信息的意图的类别标签；
训练单元，被配置成利用机器学习算法，基于特征提取子网络得到输入的样本图像的特征图，以所述特征图为活动图子网络的输入，得到第一输出；以所述特征图和所述第一输出为类别子网络的输入，得到第二输出；基于所述第一输出与输入的样本图像对应的标签活动图之间的第一损失，以及所述第二输出和输入的样本图像对应的类别标签之间的第二损失，更新包括所述特征提取子网络、所述活动图子网络和所述类别子网络的活动意图预测模型，得到训练后的活动意图预测模型。
16.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-13中任一所述的方法。
17.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的方法。
18.一种无人车，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的方法。
CN202210528508.3A 2022-05-16 2022-05-16 活动意图预测方法、装置及无人车 Pending CN114821537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528508.3A CN114821537A (zh) 2022-05-16 2022-05-16 活动意图预测方法、装置及无人车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528508.3A CN114821537A (zh) 2022-05-16 2022-05-16 活动意图预测方法、装置及无人车

Publications (1)

Publication Number Publication Date
CN114821537A true CN114821537A (zh) 2022-07-29

Family

ID=82515826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528508.3A Pending CN114821537A (zh) 2022-05-16 2022-05-16 活动意图预测方法、装置及无人车

Country Status (1)

Country Link
CN (1) CN114821537A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731690A (zh) * 2022-11-18 2023-03-03 北京理工大学 一种基于图神经网络强化学习的无人公交集群决策方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731690A (zh) * 2022-11-18 2023-03-03 北京理工大学 一种基于图神经网络强化学习的无人公交集群决策方法
CN115731690B (zh) * 2022-11-18 2023-11-28 北京理工大学 一种基于图神经网络强化学习的无人公交集群决策方法

Similar Documents

Publication Publication Date Title
US11769058B2 (en) Systems and methods for identifying unknown instances
US12103554B2 (en) Systems and methods for autonomous vehicle systems simulation
US11370423B2 (en) Multi-task machine-learned models for object intention determination in autonomous driving
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
US11686848B2 (en) Systems and methods for training object detection models using adversarial examples
CN108227710B (zh) 自动驾驶控制方法和装置、电子设备、程序和介质
KR20220030270A (ko) 앵커 궤적들을 이용하는 에이전트 궤적 예측
CN111886603A (zh) 用于目标检测和表征的神经网络
JP2022516288A (ja) 階層型機械学習ネットワークアーキテクチャ
US20210150350A1 (en) Agent trajectory prediction using vectorized inputs
WO2022109000A1 (en) Systems and methods for video object segmentation
US11620838B2 (en) Systems and methods for answering region specific questions
CN115916615A (zh) 对周围因素的行为预测
EP3847619A1 (en) Unsupervised depth prediction neural networks
US20220373354A1 (en) Automatic generation of vector map for vehicle navigation
US11950166B2 (en) Predicting occupancy probabilities of surrounding agents
JP2022164640A (ja) マルチモーダル自動ラベル付けと能動的学習のためのデータセットとモデル管理のためのシステムと方法
CN114485700A (zh) 高精度动态地图生成方法及装置
CN114821537A (zh) 活动意图预测方法、装置及无人车
CN111401190A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN116663650B (zh) 深度学习模型的训练方法、目标对象检测方法及装置
CN116758301B (zh) 一种图像处理方法以及相关设备
KR102488983B1 (ko) 난잡한 환경에서 곡선 차선을 결정하기 위한 방법 및 장치
US20240078797A1 (en) Online adaptation of segmentation machine learning systems
CN116152776A (zh) 一种可行驶区域的识别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination