CN117456495A - 场景识别方法、模型训练方法、装置以及电子设备 - Google Patents

Abstract

本公开提供了场景识别方法、模型训练方法、装置以及电子设备，涉及人工智能技术领域，尤其涉及计算机视觉、自动驾驶、场景识别技术领域。具体实现方案为：获取由车辆装载的相机采集的多帧第一图像；对多帧第一图像进行对齐处理，得到多帧第二图像；将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像；对鸟瞰图图像进行特征提取，得到鸟瞰图特征；以及基于鸟瞰图特征，确定车辆的行驶场景属于多个预设场景各自的概率，得到车辆的行驶场景的识别结果。

Description

场景识别方法、模型训练方法、装置以及电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、自动驾驶、场景识别技术领域。

背景技术

在实现自动驾驶技术的过程中，场景识别技术可以通过对道路、交通信号、车辆等环节信息进行感知和分析，为车辆提供准确的位置和导航信息，从而确保车辆的安全行驶和智能导航。

发明内容

本公开提供了一种场景识别方法、模型训练方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种场景识别方法，包括：获取由车辆装载的相机采集的多帧第一图像；对上述多帧第一图像进行对齐处理，得到多帧第二图像；将上述多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像；对上述鸟瞰图图像进行特征提取，得到鸟瞰图特征；以及基于上述鸟瞰图特征，确定上述车辆的行驶场景属于多个预设场景各自的概率，得到上述车辆的行驶场景的识别结果。

根据本公开的另一方面，提供了一种模型训练方法，包括：获取训练样本，其中，上述训练样本包括多帧第一样本图像和初始场景标签，上述多帧第一样本图像由同一相机采集得到；对上述多帧第一样本图像进行对齐处理，得到多帧第二样本图像；将上述多帧第二样本图像映射到鸟瞰图空间，得到鸟瞰图样本图像；以及利用上述鸟瞰图样本图像和上述初始场景标签训练初始模型，得到场景识别模型。

根据本公开的另一方面，提供了一种场景识别装置，包括：第一获取模块，用于获取由车辆装载的相机采集的多帧第一图像；第一处理模块，用于对上述多帧第一图像进行对齐处理，得到多帧第二图像；第一映射模块，用于将上述多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像；特征提取模块，用于对上述鸟瞰图图像进行特征提取，得到鸟瞰图特征；以及确定模块，用于基于上述鸟瞰图特征，确定上述车辆的行驶场景属于多个预设场景各自的概率，得到上述车辆的行驶场景的识别结果。

根据本公开的另一方面，提供了一种模型训练装置，包括：第二获取模块，用于获取训练样本，其中，上述训练样本包括多帧第一样本图像和初始场景标签，上述多帧第一样本图像由同一相机采集得到；第二处理模块，用于对上述多帧第一样本图像进行对齐处理，得到多帧第二样本图像；第二映射模块，用于将上述多帧第二样本图像映射到鸟瞰图空间，得到鸟瞰图样本图像；以及训练模块，用于利用上述鸟瞰图样本图像和上述初始场景标签训练初始模型，得到场景识别模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用场景识别方法及装置的示例性系统架构。

图2示意性示出了根据本公开实施例的场景识别方法的流程图。

图3示意性示出了根据本公开实施例的行驶场景的划分方式的示意图。

图4A示意性示出了根据本公开实施例的多帧第一图像各自的位姿的示意图。

图4B示意性示出了根据本公开实施例的多帧第二图像各自的位姿的示意图。

图5示意性示出了根据本公开实施例的模型训练方法的流程图。

图6示意性示出了根据本公开实施例的场景识别装置的框图。

图7示意性示出了根据本公开实施例的模型训练装置的框图。

图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

场景识别方法一般可以分为两大类。其中一类是基于计算机视觉方法的场景分类方法，通过包括特征提取、特征选择、分类器设计等步骤。另一类是基于深度学习的场景分类方法，通常使用卷积神经网络等技术，通过自动学习图像特征和模式来进行场景分类。

在实现自动驾驶技术的过程中，场景识别方法不但需要对具体的行驶场景进行识别，还需要对该行驶场景是否属于安全场景进行识别。具体地，在自动驾驶车辆的行驶场景中，如在无路口的直行场景、有路口的直行场景、有路口的弯道场景等场景中，或多或少的会存在障碍物对象。这些障碍物对象可以包括各种稠密障碍物对象，如道路上的其他车辆、道路旁边的建筑物等，也可以包括各种稀疏障碍物对象，如道路上设置的护栏、道路中央或两旁种植的花草植物、道路两侧种植的树木等。障碍物对象会遮挡自动驾驶车辆的感知，使得自动驾驶车辆无法及时感知被障碍物对象遮挡的对象的行为。若该被障碍物对象遮挡的对象的行为属于危险行为，如加速经过路口等行为，且自动驾驶车辆未能将该场景识别为危险场景，未能及时对该被障碍物对象遮挡的对象的行为进行响应，则会导致自动驾驶车辆存在急刹、碰撞等风险行为。

而基于计算机视觉方法的场景分类方法和基于深度学习的场景分类方法一般是基于单张图片进行场景的识别，一张图片所涵盖的场景信息较少，并且只能感知未被遮挡的对象，因而无法对存在障碍物对象的行驶场景是否属于安全场景作出准确的识别。

有鉴于此，本公开的实施例提供了一种场景识别方法、模型训练方法、装置、电子设备以及存储介质，该场景识别方法可以利用时序上连续的图像数据进行场景识别，可以有效提高场景识别的准确率，尤其提高对于危险场景的识别准确率和召回率。具体地，该场景识别方法包括：获取由车辆装载的相机采集的多帧第一图像；对多帧第一图像进行对齐处理，得到多帧第二图像；将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像；对鸟瞰图图像进行特征提取，得到鸟瞰图特征；以及基于鸟瞰图特征，确定车辆的行驶场景属于多个预设场景各自的概率，得到车辆的行驶场景的识别结果。

图1示意性示出了根据本公开实施例的可以应用场景识别方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用场景识别方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的场景识别方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101，网络102和服务器103。

终端设备101可以是各类自动驾驶车辆的控制终端。终端设备101可以与自动驾驶车辆的相机电连接，以获取该自动驾驶车辆的相机所采集的图像数据。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。服务器103可以为自动驾驶车辆提供自动驾驶服务的各种服务器。

需要说明的是，本公开实施例所提供的场景识别方法一般可以由终端设备101执行。相应地，本公开实施例所提供的场景识别装置也可以设置于终端设备101中。

或者，本公开实施例所提供的场景识别方法一般也可以由服务器103执行。相应地，本公开实施例所提供的场景识别装置一般可以设置于服务器103中。本公开实施例所提供的场景识别方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的场景识别装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。

例如，在自动驾驶车辆的行驶过程中，在确定需要进行行驶场景的识别时，终端设备101可以获取由该自动驾驶车辆的相机所采集的多帧第一图像，终端设备101可以对多帧第一图像进行对齐处理，得到多帧第二图像，将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像，在基于该鸟瞰图图像进行场景识别，得到该自动驾驶车辆的场景识别结果。

再例如，在自动驾驶车辆的行驶过程中，在确定需要进行行驶场景的识别时，终端设备101可以获取由该自动驾驶车辆的相机所采集的多帧第一图像，终端设备101可以通过网络102将多帧第一图像发送给服务器103，服务器103可以对多帧第一图像进行对齐处理，得到多帧第二图像，将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像，在基于该鸟瞰图图像进行场景识别，得到该自动驾驶车辆的场景识别结果，并将该场景识别结果通过网络102返回给终端设备101。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图2示意性示出了根据本公开实施例的场景识别方法的流程图。

如图2所示，该方法包括操作S210～S250。

在操作S210，获取由车辆装载的相机采集的多帧第一图像。

在操作S220，对多帧第一图像进行对齐处理，得到多帧第二图像。

在操作S230，将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像。

在操作S240，对鸟瞰图图像进行特征提取，得到鸟瞰图特征。

在操作S250，基于鸟瞰图特征，确定车辆的行驶场景属于多个预设场景各自的概率，得到车辆的行驶场景的识别结果。

根据本公开的实施例，车辆可以是任意种类的自动驾驶车辆，包括但不限于自动驾驶汽车、自动驾驶货车、无人配送车等，在此不作限定。车辆上可以配置有多个相机，包括但不限于由多个可见光相机组成的环视相机组、补盲相机等。多个相机均可以在车辆上固定装配，即每个相机的拍摄视角相对于该车辆是固定的，每个相机只能对相对于该车辆的一个固定方位进行图像采集。该车辆装载的相机可以指车辆上装载的多个相机中的任意一个，即多帧第一图像可以均由单个相机采集得到。

根据本公开的实施例，多帧第一图像可以是由车辆的同一相机在车辆处于不同位置时分别采集得到，即车辆在采集多帧第一图像时各自在世界坐标系中的位置可以不同，多帧第一图像可以是基于不同的相机坐标系形成的图像。对多帧第一图像进行对齐处理，可以是对多帧第一图像进行坐标系转换，以将多帧第一图像对齐到同一个相机坐标系下，以得到多帧第二图像。

根据本公开的实施例，将多帧第二图像映射到鸟瞰图空间，可以包括将多帧第二图像分别提升为具有深度信息的点云图像，再基于高度这一维度，将具有深度信息的点云图像进行降维处理，以得到位于鸟瞰图空间的鸟瞰图图像。即在鸟瞰图空间中，鸟瞰图图像可以仅具有宽度信息和深度信息。

根据本公开的实施例，对鸟瞰图图像进行特征提取可以使用任意的特征提取网络来实现，任意的特征提取网络例如可以包括卷积神经网络、加法神经网络、残差网络等，在此不作限定。对鸟瞰图图像进行特征提取的过程可以逐渐减小特征图的大小，从而可以减少场景识别过程的计算量。

根据本公开的实施例，用于对鸟瞰图图像进行特征提取的网络的最后一层可以是一个全连接层，该全连接层可以将输入该全连接层的特征图展开为一个一维向量，再使用该全连接层的激活函数对该一维向量进行非线性变换，以得到鸟瞰图特征。该全连接层的激活函数可以是任意的非线性函数，在此不作限定。

根据本公开的实施例，鸟瞰图特征中的每个元素可以表示车辆的行驶场景属于与该元素对应的预设场景的概率，可以确定与多个元素中的最大值元素对应的预设场景为车辆的行驶场景。

根据本公开的实施例，在车辆行驶过程中，可以由车辆的单个相机对固定方向进行图像采集，采集得到的多帧第一图像可以进行对齐，以得到位于同一相机坐标系的多帧第二图像，多帧第二图像可以构成相对于该固定方向上的类环视图，之后可以将多帧第二图像映射为鸟瞰图图像，并利用鸟瞰图图像进行车辆行驶场景的识别。多帧第二图像融合得到的鸟瞰图图像相较于单帧图像可以包含丰富的信息，基于该更为丰富的信息进行场景识别可以有效提高场景识别的准确率。尤其在该固定方向的区域中存在遮挡物的情况下，鸟瞰图图像可以包括针对该区域的多角度的信息，即可以包含更丰富的被遮挡对象的信息，基于该更丰富的被遮挡对象的信息可以更准确地预测被遮挡对象的行为，从而可以有效提高针对存在被遮挡对象的场景是否属于安全场景的识别准确率和召回率。

下面参考图3、图4A和图4B，结合具体实施例对图2所示的方法做进一步说明。

图3示意性示出了根据本公开实施例的行驶场景的划分方式的示意图。

如图3所示，车辆310在沿轨迹320进行行驶时，可以按车辆的行驶距离进行行驶场景的划分，该行驶距离可以根据实际应用场景进行确定，例如可以设置为25米，在此不作限定。

例如，在如图3所示的轨迹320中，基于行驶距离，可以将该轨迹320划分为位于行驶场景A的子轨迹321、位于行驶场景B的子轨迹322和位于行驶场景C的子轨迹323。

根据本公开的实施例，车辆310可以在沿当前的子轨迹行驶的过程中采集第一图像，并利用该第一图像来进行识别与该当前的子轨迹对应的下一个子轨迹的行驶场景。例如，车辆310在沿子轨迹321行驶时，位于车辆310一侧的相机311可以进行第一图像的采集，采集得到的多帧第一图像可以用于对子轨迹322所处的行驶场景进行识别。

根据本公开的实施例，车辆可以在其行驶过程中，控制其相机按预设时间间隔进行图像采集，以得到第一图像。用于进行场景识别的多帧第一图像可以包括车辆在沿位于前一行驶场景的轨迹中进行行驶时所采集的全量图像，或者，用于进行场景识别的多帧第一图像可以从该全量图像中采样得到，采样方式包括按时间采样、按空间采样等，在此不作限定。

例如，在车辆的行驶过程中，可以控制相机按预设时间间隔进行图像采集，得到多帧初始图像；基于车辆的行驶轨迹，确定多帧初始图像各自的采集位置信息；以及基于多帧初始图像各自的采集位置信息，按预设位移长度从多帧初始图像中采样得到多帧第一图像。

根据本公开的实施例，预设时间间隔可以是相机的采样时间间隔，该预设时间间隔可以与相机的配置参数相关，或者，也可以根据具体应用场景进行设置，在此不作限定。

根据本公开的实施例，预设时间间隔一般可以是一个较小的时间值，例如为0.1s等。在该预设时间间隔中，车辆的移动距离可以较短，相应使得车辆采集的多帧初始图像中，依时序相邻的两个初始图像之间存在较大的相似性，若直接使用多帧初始图像进行鸟瞰图图像的生成，每帧初始图像包含的有效信息较少，从而使得鸟瞰图图像的生成过程会消耗更多的计算资源。

根据本公开的实施例，预设位移长度可以根据具体应用场景进行设置，或者，也可以根据实际路况来设置，路口越复杂，预设位移长度越小，例如，在山路环境中，由于道路的弯道较多，可以设置该预设位移长度为一个较小的值。通过基于预设位移长度从多帧初始图像中采样得到多帧第一图像，相邻帧的两个第一图像之间的差异可以较大，从而每一帧第一图像可以包含较多的有效信息。通过对采集的全量初始图像按空间进行采样的方式，可以有效降低鸟瞰图图像的生成过程中计算资源的消耗，从而间接地提高行驶场景的识别效率。

根据本公开的实施例，由于对不同的第一图像进行采集时相机的位姿存在差异，因此，在采集完成多帧第一图像后，还可以包括对多帧第一图像各自的位姿进行对齐的步骤。

图4A示意性示出了根据本公开实施例的多帧第一图像各自的位姿的示意图。

如图4A所示，第一图像的位姿可以表示为采集该第一图像时相机的相机坐标系在统一的世界坐标系中的位姿。该世界坐标系可以是基于固定参照物所定义的坐标系。例如，在如图4A所示的场景中，在进行场景识别时，可以采集得到5帧第一图像，与该5帧第一图像对应的相机坐标系的位姿可以均不相同。

根据本公开的实施例，对多帧第一图像进行对齐处理，得到多帧第二图像，可以包括如下操作：

从多帧第一图像中确定目标图像；以及对于每一帧第一图像，基于与每一帧第一图像相关的相机坐标系和与目标图像相关的相机坐标系，对每一帧第一图像进行平移和/或旋转处理，得到多帧第二图像。

根据本公开的实施例，目标图像可以是多帧第一图像中的任意一帧图像，在此不作限定。可选地，目标图像可以是多帧第一图像中时序位于中间的第一图像，在选择该时序位于中间的第一图像作为目标图像进行对齐后，得到的多帧第二图像可以表现出类环视图的效果。

根据本公开的实施例，基于每一帧第一图像的相机坐标系和世界坐标系，可以定义出该第一图像的相机坐标系相对于世界坐标系的欧拉角。可以基于与第一图像相关的相机坐标系相对于世界坐标系的欧拉角和与目标图像相关的相机坐标系相对于世界坐标系的欧拉角之间的角度差，来对第一图像进行平移和/或旋转处理，以将与第一图像相关的相机坐标系和与目标图像相关的相机坐标系对齐。

图4B示意性示出了根据本公开实施例的多帧第二图像各自的位姿的示意图。

如图4B所示，通过对多帧第一图像进行对齐处理，得到的多帧第二图像各自的相机坐标系的各个坐标轴可以至少共面，即多帧第二图像各自的相机坐标系的x轴均可以共面，多帧第二图像各自的相机坐标系的y轴均可以共面，多帧第二图像各自的相机坐标系的z轴均可以共面。

根据本公开的实施例，通过对第一图像的对齐处理，可以有效降低相机拍摄时的位姿对鸟瞰图图像的生成结果的影响，从而可以间接地提高行驶场景的识别准确率。

根据本公开的实施例，可以利用LSS(Lift,Splat,Shoot)算法处理多帧第二图像，得到鸟瞰图图像。

根据本公开的实施例，将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像，可以包括如下步骤：

将多帧第二图像映射到三维空间，得到多帧第二图像各自的视锥点云；以及将多帧第二图像各自的视锥点云映射到鸟瞰图空间，得到鸟瞰图图像。

根据本公开的实施例，多帧第二图像均可以位于目标图像的相机坐标系所处的坐标空间中，该坐标空间可以是二维空间。可以通过为该目标图像的相机坐标系所处的坐标空间添加深度维度的信息，以将该坐标空间升维为三维空间。之后，可以通过为多帧第二图像中的每一帧第二图像补充其深度维度信息的方式，将多帧第二图像映射到该三维空间中。

根据本公开的实施例，将多帧第二图像映射到三维空间，得到多帧第二图像各自的视锥点云，可以包括如下操作：

将每一帧第二图像输入深度估计模型，得到每一帧第二图像的深度特征图；基于每一帧第二图像的深度特征图，确定每一帧第二图像包括的多个像素点各自的深度分布特征；基于每一帧第二图像，确定每一帧第二图像包括的多个像素点各自的上下文特征；基于每一帧第二图像包括的多个像素点的深度分布特征和每一帧第二图像包括的多个像素点各自的上下文特征，得到每一帧第二图像包括的多个像素点各自的点云特征；以及基于每一帧第二图像包括的多个像素点各自的点云特征，得到多帧第二图像各自的视锥点云。

根据本公开的实施例，深度估计模型可以是任意经训练的单目深度估计模型，如DORN(Deep Ordinal Regression Network，深度有序回归网络)等。

根据本公开的实施例，可以采用非线性离散化的方法，将连续的深度范围等距划分为多个深度区间，并将每个深度区间离散化为一个类别。例如，在自动驾驶场景中，车辆需要对车辆周边20m范围内进行感知，则可以确定深度范围为0～20m，并可以等距地将该深度范围划分为多个深度区间，如可以将该深度范围划分为4个深度区间，则4个深度区间可以分别表示为(0，5]、(5，10]、(10，15]和(15,20]。第二图像中每个像素点的深度分布特征可以表示为该像素点在多个深度区间上的概率分布，例如，在如上4个深度区间中，像素点A属于深度区间(0，5]、(5，10]、(10，15]和(15,20]的概率分别为10％、20％、30％和40％，则该像素点A的深度分布特征可以表示为(0.1，0.2，0.3，0.4)。

根据本公开的实施例，像素点的上下文特征可以用于表示该像素点与该像素点周边的其他像素点之间的联系。像素点的上下文特征的获取方式在此不作限定。

根据本公开的实施例，像素点的点云特征可以表示为该像素点的深度分布特征和该像素点的上下文特征之间的向量乘积。

例如，该像素点的深度分布特征可以表示为A＝(a₀,a₁，...，a_n)，n为整数，上下文特征可以表示为C＝(c₁,c₂,c₃,c₄)，则该像素点的点云特征F_p可以如公式(1)所示：

根据本公开的实施例，每个像素点的点云特征可以表示为三维空间中的一个体素，相应地，每一帧第二图像包括的多个像素点各自的点云特征可以表示为的位于三维空间的多个体素，该三维空间中的多个体素的集合即构成该每一帧第二图像的视锥点云。

根据本公开的实施例，在生成每一帧第二图像的视锥点云后，可以将多帧第二图像各自的视锥点云在三维空间中融合，得到目标视锥点云，再将目标视锥点云降维映射到鸟瞰图空间中，得到鸟瞰图图像。

根据本公开的实施例，将多帧第二图像各自的视锥点云映射到鸟瞰图空间，得到鸟瞰图图像，可以包括如下操作：

对多帧第二图像各自的视锥点云进行融合处理，得到目标视锥点云；以及基于相机的内外参矩阵，将目标视锥点云映射到鸟瞰图空间，得到鸟瞰图图像。

根据本公开的实施例，在将多帧第一图像进行对齐处理，得到多帧第二图像时，还可以确定每帧第二图像包括的多个像素点各自在世界坐标系中的坐标。在对与多帧第二图像各自相关的视锥点云进行融合，可以基于各个像素点各自在世界坐标系中的坐标，并将具有相同坐标的多个像素点各自的点云特征进行融合，以最终得到目标视锥点云。对多个像素点各自的点云特征进行融合可以是通过矩阵加法的方式，将多个像素点各自的点云特征相加，得到对应于该坐标的像素点的目标点云特征，或者，也可以通过其他方式对具有相同坐标的多个像素点各自的点云特征进行融合，在此不作限定。基于多帧第二图像，可以确定一个像素点集合，该像素点集合可以表示为多帧第二图像各自包括的多个像素点之间的交集。该像素点集合包括的多个像素点各自的目标点云特征可以构成该目标视锥点云。

根据本公开的实施例，可以利用相机的内外参矩阵，将目标视锥点云中的每个像素点的目标点云特征进行旋转、平移等处理，以消除空间变换时存在的误差，从而得到该像素点位于鸟瞰图空间的点云特征。相机的内外参矩阵可以根据相机的位姿、相机的配置参数等确定，在此不作赘述。

根据本公开的实施例，对于该像素点位于鸟瞰图空间的点云特征，可以基于高度维度对该点云特征进行降维处理，例如可以是将点云特征所表征的三维矩阵在其高度维度进行降维处理，从而实现三维的该像素点位于鸟瞰图空间的点云特征向二维的鸟瞰图图像的鸟瞰图像素点的降维。例如，像素点A位于鸟瞰图空间的点云特征可以表示为H×W×D，基于高度维度进行降维处理后，得到的鸟瞰图像素点可以表示为1×W×D。该降维处理方式例如可以包括切片、最大池化、平均池化等方式，在此不作限定。对多个像素点遍历处理后，可以得到多个鸟瞰图像素点，该多个鸟瞰图像素点可以构成鸟瞰图图像。

根据本公开的实施例，基于鸟瞰图图像进行场景识别的流程可以包括特征提取和场景识别，特征提取流程可以包括对鸟瞰图图像进行卷积池化处理，得到中间特征图；以及对中间特征图进行展平处理，得到鸟瞰图特征。场景识别流程可以包括利用分类器来处理该鸟瞰图特征，以得到场景识别结果。特征提取流程中用于实现特征提取的模型在此不作限定，例如可以包括卷积神经网络、加法神经网络、残差网络、注意力网络等。场景识别流程中用于实现场景识别的模型在此不作限定，例如可以包括卷积神经网络、Softmax分类器等。

根据本公开的实施例，通过如上方法，基于包含更丰富信息的鸟瞰图图像进行场景识别，从而可以有效提高场景识别的准确率，以及针对存在被遮挡对象的场景是否属于安全场景的识别准确率和召回率。

图5示意性示出了根据本公开实施例的模型训练方法的流程图。

如图5所示，该方法包括操作S510～S540。

在操作S510，获取训练样本。

在操作S520，对多帧第一样本图像进行对齐处理，得到多帧第二样本图像。

在操作S530，将多帧第二样本图像映射到鸟瞰图空间，得到鸟瞰图样本图像。

在操作S540，利用鸟瞰图样本图像和初始场景标签训练初始模型，得到场景识别模型。

根据本公开的实施例，训练样本包括多帧第一样本图像和初始场景标签，多帧第一样本图像可以由同一相机采集得到。

根据本公开的实施例，利用鸟瞰图样本图像和初始场景标签训练初始模型，得到场景识别模型，可以包括如下操作：

将鸟瞰图样本图像输入初始模型，得到场景识别结果；基于初始场景标签和场景识别结果，得到损失值；以及利用损失值调整初始模型的模型参数，以得到场景识别模型。

根据本公开的实施例，针对同一道路环境，车辆在行驶时可以面临多种行驶场景。例如，针对一个十字路口，在车辆南北向行驶时，该路口存在的一个交通指示牌可以被认为属于遮挡物，该行驶场景可以被认为是十字路口危险场景，而在车辆东西向行驶时，该路口存在的交通指示牌不会对车辆的感知造成影响，该行驶场景可以被认为是十字路口安全场景。因此，为了更为准确地训练该场景识别模型，可以基于先验知识，对鸟瞰图样本图像的初始场景标签进行校正，从而得到更准确的目标场景标签。该先验知识可以存储在一个知识库中，该先验知识可以是经人工标注以及实车校验后得到。即可以基于鸟瞰图样本图像，利用知识库包括的多个样例对初始场景标签进行校正，得到目标场景标签。

根据本公开的实施例，在对初始场景标签校正得到目标场景标签后，可以利用鸟瞰图样本图像和目标场景标签训练初始模型，得到场景识别模型，在此不再赘述。

图6示意性示出了根据本公开实施例的场景识别装置的框图。

如图6所示，场景识别装置600包括第一获取模块610、第一处理模块620、第一映射模块630、特征提取模块640和确定模块650。

第一获取模块610，用于获取由车辆装载的相机采集的多帧第一图像。

第一处理模块620，用于对多帧第一图像进行对齐处理，得到多帧第二图像。

第一映射模块630，用于将多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像。

特征提取模块640，用于对鸟瞰图图像进行特征提取，得到鸟瞰图特征。

确定模块650，用于基于鸟瞰图特征，确定车辆的行驶场景属于多个预设场景各自的概率，得到车辆的行驶场景的识别结果。

根据本公开的实施例，第一获取模块610包括第一获取单元、第二获取单元和第三获取单元。

第一获取单元，用于在车辆的行驶过程中，控制相机按预设时间间隔进行图像采集，得到多帧初始图像。

第二获取单元，用于基于车辆的行驶轨迹，确定多帧初始图像各自的采集位置信息。

第三获取单元，用于基于多帧初始图像各自的采集位置信息，按预设位移长度从多帧初始图像中采样得到多帧第一图像。

根据本公开的实施例，第一处理模块620包括第一处理单元和第二处理单元。

第一处理单元，用于从多帧第一图像中确定目标图像。

第二处理单元，用于对于每一帧第一图像，基于与每一帧第一图像相关的相机坐标系和与目标图像相关的相机坐标系，对每一帧第一图像进行平移和/或旋转处理，得到多帧第二图像。

根据本公开的实施例，第一映射模块630包括第一映射单元和第二映射单元。

第一映射单元，用于将多帧第二图像映射到三维空间，得到多帧第二图像各自的视锥点云。

第二映射单元，用于将多帧第二图像各自的视锥点云映射到鸟瞰图空间，得到鸟瞰图图像。

根据本公开的实施例，第一映射单元包括第一映射子单元、第二映射子单元、第三映射子单元、第四映射子单元和第五映射子单元。

第一映射子单元，用于将每一帧第二图像输入深度估计模型，得到每一帧第二图像的深度特征图。

第二映射子单元，用于基于每一帧第二图像的深度特征图，确定每一帧第二图像包括的多个像素点各自的深度分布特征。

第三映射子单元，用于基于每一帧第二图像，确定每一帧第二图像包括的多个像素点各自的上下文特征。

第四映射子单元，用于基于每一帧第二图像包括的多个像素点各自的深度分布特征和每一帧第二图像包括的多个像素点各自的上下文特征，得到每一帧第二图像包括的多个像素点各自的点云特征。

第五映射子单元，用于基于每一帧第二图像包括的多个像素点各自的点云特征，得到多帧第二图像各自的视锥点云。

根据本公开的实施例，第二映射单元包括第六映射子单元和第七映射子单元。

第六映射子单元，用于对多帧第二图像各自的视锥点云进行融合处理，得到目标视锥点云。

第七映射子单元，用于基于相机的内外参矩阵，将目标视锥点云映射到鸟瞰图空间，得到鸟瞰图图像。

根据本公开的实施例，特征提取模块640包括第一特征提取单元和第二特征提取单元。

第一特征提取单元，用于对鸟瞰图图像进行卷积池化处理，得到中间特征图。

第二特征提取单元，用于对中间特征图进行展平处理，得到鸟瞰图特征。

图7示意性示出了根据本公开实施例的模型训练装置的框图。

如图7所示，模型训练装置700包括第二获取模块710、第二处理模块720、第二映射模块730和训练模块740。

第二获取模块710，用于获取训练样本，其中，训练样本包括多帧第一样本图像和初始场景标签，多帧第一样本图像由同一相机采集得到。

第二处理模块720，用于对多帧第一样本图像进行对齐处理，得到多帧第二样本图像。

第二映射模块730，用于将多帧第二样本图像映射到鸟瞰图空间，得到鸟瞰图样本图像。

训练模块740，用于利用鸟瞰图样本图像和初始场景标签训练初始模型，得到场景识别模型。

根据本公开的实施例，训练模块740包括第一训练单元、第二训练单元和第三训练单元。

第一训练单元，用于将鸟瞰图样本图像输入初始模型，得到场景识别结果。

第二训练单元，用于基于初始场景标签和场景识别结果，得到损失值。

第三训练单元，用于利用损失值调整初始模型的模型参数，以得到场景识别模型。

根据本公开的实施例，模型训练装置700还包括第三处理模块。

第三处理模块，用于基于鸟瞰图样本图像，利用知识库包括的多个样例对初始场景标签进行校正，得到目标场景标签。

根据本公开的实施例，训练模块740包括第四训练单元。

第四训练单元，用于利用鸟瞰图样本图像和目标场景标签训练初始模型，得到场景识别模型。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至输入/输出(I/O)接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如场景识别方法或模型训练方法。例如，在一些实施例中，场景识别方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的场景识别方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行场景识别方法或模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种场景识别方法，包括：

获取由车辆装载的相机采集的多帧第一图像；

对所述多帧第一图像进行对齐处理，得到多帧第二图像；

将所述多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像；

对所述鸟瞰图图像进行特征提取，得到鸟瞰图特征；以及

基于所述鸟瞰图特征，确定所述车辆的行驶场景属于多个预设场景各自的概率，得到所述车辆的行驶场景的识别结果。

2.根据权利要求1所述的方法，其中，所述获取由车辆装载的相机采集的多帧第一图像，包括：

在所述车辆的行驶过程中，控制所述相机按预设时间间隔进行图像采集，得到多帧初始图像；

基于所述车辆的行驶轨迹，确定所述多帧初始图像各自的采集位置信息；以及

基于所述多帧初始图像各自的采集位置信息，按预设位移长度从所述多帧初始图像中采样得到所述多帧第一图像。

3.根据权利要求1所述的方法，其中，所述对所述多帧第一图像进行对齐处理，得到多帧第二图像，包括：

从所述多帧第一图像中确定目标图像；以及

对于每一帧第一图像，基于与每一帧第一图像相关的相机坐标系和与所述目标图像相关的相机坐标系，对每一帧第一图像进行平移和/或旋转处理，得到所述多帧第二图像。

4.根据权利要求1所述的方法，其中，所述将所述多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像，包括：

将所述多帧第二图像映射到三维空间，得到所述多帧第二图像各自的视锥点云；以及

将所述多帧第二图像各自的视锥点云映射到所述鸟瞰图空间，得到所述鸟瞰图图像。

5.根据权利要求4所述的方法，其中，所述将所述多帧第二图像映射到三维空间，得到所述多帧第二图像各自的视锥点云，包括：

将每一帧第二图像输入深度估计模型，得到每一帧第二图像的深度特征图；

基于每一帧第二图像的深度特征图，确定每一帧第二图像包括的多个像素点各自的深度分布特征；

基于每一帧第二图像，确定每一帧第二图像包括的多个像素点各自的上下文特征；

基于每一帧第二图像包括的多个像素点各自的深度分布特征和每一帧第二图像包括的多个像素点各自的上下文特征，得到每一帧第二图像包括的多个像素点各自的点云特征；以及

基于每一帧第二图像包括的多个像素点各自的点云特征，得到所述多帧第二图像各自的视锥点云。

6.根据权利要求4所述的方法，其中，所述将所述多帧第二图像各自的视锥点云映射到所述鸟瞰图空间，得到所述鸟瞰图图像，包括：

对所述多帧第二图像各自的视锥点云进行融合处理，得到目标视锥点云；以及

基于所述相机的内外参矩阵，将所述目标视锥点云映射到所述鸟瞰图空间，得到所述鸟瞰图图像。

7.根据权利要求1所述的方法，其中，所述对所述鸟瞰图图像进行特征提取，得到鸟瞰图特征，包括：

对所述鸟瞰图图像进行卷积池化处理，得到中间特征图；以及

对所述中间特征图进行展平处理，得到所述鸟瞰图特征。

8.一种模型训练方法，包括：

获取训练样本，其中，所述训练样本包括多帧第一样本图像和初始场景标签，所述多帧第一样本图像由同一相机采集得到；

对所述多帧第一样本图像进行对齐处理，得到多帧第二样本图像；

将所述多帧第二样本图像映射到鸟瞰图空间，得到鸟瞰图样本图像；以及

利用所述鸟瞰图样本图像和所述初始场景标签训练初始模型，得到场景识别模型。

9.根据权利要求8所述的方法，其中，所述利用所述鸟瞰图样本图像和所述初始场景标签训练初始模型，得到场景识别模型，包括：

将所述鸟瞰图样本图像输入所述初始模型，得到场景识别结果；

基于所述初始场景标签和所述场景识别结果，得到损失值；以及

利用所述损失值调整所述初始模型的模型参数，以得到所述场景识别模型。

10.根据权利要求8所述的方法，还包括：

基于所述鸟瞰图样本图像，利用知识库包括的多个样例对所述初始场景标签进行校正，得到目标场景标签；

其中，所述利用所述鸟瞰图样本图像和所述初始场景标签训练初始模型，得到场景识别模型，包括：

利用所述鸟瞰图样本图像和所述目标场景标签训练所述初始模型，得到所述场景识别模型。

11.一种场景识别装置，包括：

第一获取模块，用于获取由车辆装载的相机采集的多帧第一图像；

第一处理模块，用于对所述多帧第一图像进行对齐处理，得到多帧第二图像；

第一映射模块，用于将所述多帧第二图像映射到鸟瞰图空间，得到鸟瞰图图像；

特征提取模块，用于对所述鸟瞰图图像进行特征提取，得到鸟瞰图特征；以及

确定模块，用于基于所述鸟瞰图特征，确定所述车辆的行驶场景属于多个预设场景各自的概率，得到所述车辆的行驶场景的识别结果。

12.一种模型训练装置，包括：

第二获取模块，用于获取训练样本，其中，所述训练样本包括多帧第一样本图像和初始场景标签，所述多帧第一样本图像由同一相机采集得到；

第二处理模块，用于对所述多帧第一样本图像进行对齐处理，得到多帧第二样本图像；

第二映射模块，用于将所述多帧第二样本图像映射到鸟瞰图空间，得到鸟瞰图样本图像；以及

训练模块，用于利用所述鸟瞰图样本图像和所述初始场景标签训练初始模型，得到场景识别模型。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。