CN113591518B - 一种图像的处理方法、网络的训练方法以及相关设备 - Google Patents

Abstract

本申请涉及人工智能领域中的图像处理技术，公开了一种图像的处理方法、网络的训练方法以及相关设备。方法包括：将包括第一车辆的第一图像输入图像处理网络中，得到图像处理网络输出的第一结果，第一结果包括第一车辆的二维2D包络框的位置信息、第一车辆的车轮的坐标和第一车辆的第一角度，第一车辆的第一角度指示第一车辆的侧边线与第一图像的第一轴线之间夹角的角度；根据第一结果生成第一车辆的三维3D外包络盒的位置信息。根据第二车辆的二维包络框的位置信息、车轮的坐标和第一角度这三种参数，生成第一车辆的三维3D外包络盒的位置信息，提高了获取到的3D外包络盒的准确度。

Description

一种图像的处理方法、网络的训练方法以及相关设备

技术领域

本申请涉及人工智能领域，尤其涉及一种图像的处理方法、网络的训练方法以及相关设备。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

自动驾驶是人工智能领域的一种主流应用。目前，在自动驾驶领域中，自车在采集到周围车辆的完整图像之后，可以通过神经网络根据图像中完整的车辆，输出车辆在车体坐标系下的朝向角和尺寸等信息，进而可以定位到车辆的3D外包络盒。

但若自车采集到周围车辆的图像中的车辆是不完整的，则神经网络输出的信息会存在较大误差，导致定位到的3D外包络盒准确率较低，因此，一种提高获取到的3D外包络盒的准确度的方案亟待推出。

发明内容

本申请实施例提供了一种图像的处理方法、网络的训练方法以及相关设备，根据第二车辆的二维包络框的位置信息、车轮的坐标和第一角度这三种参数，生成第一车辆的三维3D外包络盒的位置信息，提高了获取到的3D外包络盒的准确度。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种图像的处理方法，可用于人工智能领域的图像处理领域中。方法包括：执行设备获取第一图像，第一图像中包括第一车辆，执行设备将第一图像输入图像处理网络中，得到图像处理网络输出的第一结果。其中，在第一车辆在第一图像中漏出侧面的情况下，第一结果包括第一车辆的二维2D包络框的位置信息、第一车辆的车轮的坐标和第一车辆的第一角度。进一步地，第一车辆的2D包络框的位置信息可以包括2D包络框的中心点的坐标和2D包络框的边长。第一车辆的车轮的坐标指的可以为车轮的外侧找地点的坐标，也可以为车轮的内侧找地点的坐标，还可以为车轮厚度中间的找地点的坐标。第一车辆的第一角度指示第一车辆的侧边线与第一图像的第一轴线之间夹角的角度，第一车辆的侧边线为第一车辆漏出的侧面与第一车辆所在地平面之间的交线，第一图像的第一轴线与第一图像的一个边平行，第一轴线可以为与第一图像的U轴平行，也可以与第一图像的V轴平行，第一角度的取值范围可以为0度到360度，也可以为负180度到正180度。执行设备根据第一车辆的2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，至少两个第一点均位于第一车辆的3D外包络盒的边上，至少两个第一点中两个第一点定位第一车辆的3D外包络盒的边，至少两个第一点的坐标用于定位第一车辆的3D外包络盒。

本实现方式中，将获取到的图像输入到图像处理网络中，图像处理网络输出的为车辆的二维包络框的位置信息、车轮的坐标和第一角度，根据二维包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，进而定位车辆的3D外包络盒，由于二维包络框的位置信息、车轮的坐标和第一角度这三种参数的准确度与图像中车辆是否完整无关，所以无论图像中的车辆是否完整，得到的第一点的坐标是准确的，从而定位出的3D外包络盒的准确率较高，也即提高了获取到的3D外包络盒的准确度；进一步地，也即能够更为准确的判断周围车辆行驶意图，进而提高自动驾驶车辆的行驶安全度。

在第一方面的一种可能实现方式中，在第一车辆在第一图像中仅漏出侧面的情况下，至少两个第一点包括第一车辆的侧边线与第一车辆的2D包络框的两个交点；进一步地，至少两个第一点包括第一车辆的侧边线与第一车轮的2D包络框的左边界之间的交点，和，第一车辆的侧边线与第一车轮的2D包络框的右边界之间的交点。本实现方式中，在第一车辆在第一图像中仅漏出侧面的情况下，第一点为第一车辆的侧边线与2D包络框之间的交点，细化了在特定场景下，第一点的具体表现形态，提高了与应用场景的结合度。

在第一方面的一种可能实现方式中，执行设备根据2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的3D外包络盒的位置信息，可以包括：执行设备根据第一车辆的车轮的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息，第一车辆的侧边线的位置信息可以为第一车辆的侧边线的直线方程。执行设备根据第一车辆的侧边线的位置信息和第一车辆的2D包络框的位置信息，执行坐标生成操作，以得到至少两个第一点的坐标；具体的，执行设备根据第一车辆的2D包络框的位置信息，可以确定第一车辆的2D包络框的左边界和右边界的位置，根据第一车辆的侧边线的直线方程，生成侧边线与前述左边界的交点的坐标，生成侧边线与前述右边界的交点的坐标。本实现方式中，自车根据第一车辆的车轮的坐标和第一角度，就可以生成第一车辆的侧边线的位置信息，操作简单，易于实现，且准确度高。

在第一方面的一种可能实现方式中，在第一车辆在第一图像中漏出侧面和主面的情况下，第一结果中还包括第一车辆的分界线的位置信息和第一车辆的第二角度，分界线为侧面与主面之间的分界线，第一车辆的主面为第一车辆的前面或后面，第一车辆的第二角度指示第一车辆的主边线与第一图像的第一轴线之间夹角的角度，第一车辆的主边线为第一车辆漏出的主面与第一车辆所在的地平面之间的交线，第二角度的取值范围可以为0度到360度，也可以为负180度到正180度。至少两个第一点包括第一交点、第二交点和第三交点，第一交点为第一车辆的侧边线与第一车辆的分界线的交点，第一交点为第一车辆的3D外包络盒的一个顶点，第二交点为第一车辆的侧边线与第一车辆的2D包络框的交点，第三交点为第一车辆的主边线与第一车辆的2D包络框的交点。

本实现方式中，不仅提供了在第一车辆在第一图像中仅漏出侧面的情况下，第一点的具体表现形式，还提供了在第一车辆在第一图像中漏出侧面和主面的情况下，第一点的具体表现形式，丰富了本方案的应用场景，提高了实现灵活性。

在第一方面的一种可能实现方式中，第一车辆的分界线穿过第一车辆的车灯的轮廓，或者，第一车辆的分界线穿过第一车辆的车灯的中心点，或者，第一车辆的分界线穿过第一车辆的侧边线和第一车辆的主边线的交点。本实现方式中，提供了分界线的位置信息的几种具体实现方式，提高了本方案的选择灵活性。

在第一方面的一种可能实现方式中，执行设备根据第一车辆的2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，可以包括：执行设备根据第一车辆的车轮的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息。执行设备根据第一车辆的侧边线的位置信息和第一车辆的分界线的位置信息，生成第一交点的坐标；根据第一车辆的侧边线的位置信息和第一车辆的2D包络框的位置信息，生成第二交点的坐标；根据第一交点的坐标和第一车辆的第二角度，生成第一车辆的主边线的位置信息，第一车辆的主边线的位置信息具体可以为第一车辆的主边线的直线方程，根据第一车辆的主边线的位置信息和第一车辆的2D包络框的位置信息，生成第三交点的坐标。本实现方式中，提供了当第一车辆在第一图像中漏出侧面和主面时，生成多个第一点的坐标的实现方式，操作简单，易于实现，且准确度高。

在第一方面的一种可能实现方式中，在第一车辆在第一图像中仅漏出主面的情况下，第一结果中包括第一车辆的2D包络框的位置信息，主面包括前面或后面，2D包络框的位置信息中包括2D包络框的中心点的坐标。

在第一方面的一种可能实现方式中，第一结果还可以包括第一车辆在第一图像中的漏出面的指示信息，漏出面包括以下中的一项或多项：侧面、前面和后面，前述侧面包括左面和右面。漏出面的指示信息具体可以表现为数字序列或字符串。

在第一方面的一种可能实现方式中，方法还可以包括：执行设备根据至少两个第一点的坐标，生成第一车辆的三维特征信息，第一车辆的三维特征信息包括以下中的一项或多项：第一车辆相当于自车的朝向角、第一车辆的质心点的位置信息和第一车辆的尺寸。

在第一方面的一种可能实现方式中，方法还包括：执行设备在第一车辆在第一图像中漏出侧面的情况下，根据第一点的坐标，生成第一车辆相对于自车的朝向角，其中，第一车辆在第一图像中漏出侧面的情况包括第一车辆在第一图像中仅漏出侧面的情况，和第一车辆在第一图像中同时漏出侧面和主面的情况。本实现方式中，在得到第一点的坐标之后，还可以根据第一点的坐标，生成第一车辆相对于自车的朝向角，以提高得到的朝向角的准确度。

在第一方面的一种可能实现方式中，执行设备根据第一点的坐标，生成朝向角之前，方法还可以包括：执行设备根据第一点的坐标和地平面假设原理，生成第一点与自车之间的距离。执行设备根据第一点的坐标，生成朝向角，可以包括：在根据第一点与自车之间的距离确定第一车辆与自车之间的距离未超过预设阈值的情况下，通过第一计算规则，根据第一点的坐标，生成朝向角，预设阈值的取值可以为10米、15米、30米或25米；在根据第一点与自车之间的距离确定第一车辆与自车之间的距离超过预设阈值的情况下，通过第二计算规则，根据第一点的坐标，生成朝向角，第二计算规则和第一计算规则为不同的计算规则。本实现方式中，针对第一车辆与自车之间的距离超过预设阈值，和，第一车辆与自车之间的距离未超过预设阈值这两种情况，分别采用不同的计算规则，生成第一车辆的朝向角，进一步提高生成的朝向角的准确度。

在第一方面的一种可能实现方式中，当至少两个第一点中任一个第一点与自车之间的距离未超过预设阈值时，视为第一车辆与自车之间的距离未超过预设阈值；或者，当至少两个第一点中任一个第一点与自车之间的距离超过预设阈值时，视为第一车辆与自车之间的距离超过预设阈值。本实现方式中，提供了判断第一车辆与自车之间距离是否超过预设预置的两种具体实现方式，提高了本方案的实现灵活性。

在第一方面的一种可能实现方式中，执行设备通过第一计算规则，根据第一点的坐标，生成朝向角，可以包括：执行设备根据第一点的坐标和地平面假设原理，生成第一点在车体坐标系下的三维坐标；其中，车体坐标系的坐标系原点位于自车内，车体坐标系的坐标系原点可以为自车的两个后车轮连线的中点，车体坐标系的坐标系原点也可以为自车的质心点。执行设备根据第一点的三维坐标，生成朝向角。本实现方式中，无论第一车辆在第一图像中是否为完整的图像，都可以得到准确的第一点的坐标，由于朝向角是基于第一点的坐标和地平面假设原理生成的，从而保证生成的朝向角的准确性。

在第一方面的一种可能实现方式中，执行设备通过第二计算规则，根据第一点的坐标，生成朝向角，可以包括：执行设备根据第一点的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息，根据第一车辆的侧边线的位置信息和第一图像的消失线的位置信息，生成消失点的坐标，消失点为第一车辆的侧边线与第一图像的消失线之间的交点。执行设备根据消失点的坐标和两点透视原理，生成朝向角。具体的，自车在得到消失点的坐标之后，根据消失点的坐标和两点透视原理，生成第一车辆在相机坐标系下的朝向角，再根据第一车辆在相机坐标系下的朝向角和第二变换关系，生成第一车辆在自车的车体坐标系下的朝向角，第二变换关系指的是相机坐标系与车体坐标系之间的转换关系，第二变换关系也可以称为相机的外参。本实现方式中，提供了当第一车辆与自车之间距离超过预设阈值，且第一车辆在第一图像中漏出侧面的情况下，生成第一车辆的朝向角的一种具体实现方式，操作简单，且效率较高。

在第一方面的一种可能实现方式中，执行设备通过第二计算规则，根据第一点的坐标，生成朝向角，可以包括：执行设备根据第一点的坐标、第一车辆的第一角度和小孔成像原理，生成第一车辆的第一角度和朝向角之间的映射关系；根据映射关系和第一车辆的第一角度，生成朝向角。本实现方式中，针对第一车辆与自车之间的距离超过预设阈值的情况，提供了求得朝向角的两种可实现方式，提高本方案实现灵活性。

在第一方面的一种可能实现方式中，方法还可以包括：在第一车辆在第一图像中仅漏出主面的情况下，执行设备根据第一车辆的2D包络框的中心点的坐标和小孔成像原理，生成朝向角。

在第一方面的一种可能实现方式中，方法还可以包括：执行设备从至少两个第一点的坐标中获取第一车辆的3D外包络盒的顶点的坐标，根据第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成第一车辆的质心点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内。本实现方式中，根据第一点的坐标，不仅能够生成第一车辆的朝向角，还可以生成第一车辆的质心点在车体坐标系下的三维坐标，扩展了本方案的应用场景；此外，提高了生成的质心点的三维坐标的准确性。

在第一方面的一种可能实现方式中，方法还可以包括：执行设备上预先设置有第一图像的U轴方向的第一取值范围，和，第一图像的V轴方向的第二取值范围。在得到一个第一点的坐标之后，执行设备判断第一点的坐标中U轴方向的取值是否在第一取值范围内，判断第一点的坐标中V轴方向的取值是否在第二取值范围内；若第一点的坐标中U轴方向的取值在第一取值范围内，且，第一点的坐标中V轴方向的取值在第二取值范围内，则确定该第一点为第一车辆的3D外包络盒的顶点。

在第一方面的一种可能实现方式中，方法还可以包括：执行设备从至少两个第一点的坐标中获取第一顶点的坐标，第一顶点为第一车辆的3D外包络盒的一个顶点。执行设备根据第一顶点的坐标和地平面假设原理，生成第一顶点在车体坐标系下的三维坐标，若至少两个第一点中包括至少两个第一顶点，根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高，车体坐标系的坐标系原点位于自车内。本实现方式中，根据第一点的坐标，还可以生成第一车辆的尺寸，进一步扩展了本方案的应用场景；此外，提高了生成的第一车辆的尺寸的准确性。

在第一方面的一种可能实现方式中，方法还可以包括：若至少两个第一点中包括一个第一顶点，执行设备获取第二图像，第二图像中包括第一车辆，第二图像和第一图像的图像采集角度不同。执行设备根据第二图像，通过图像处理网络，得到至少两个第二点的坐标，至少两个第二点均位于第一车辆的三维3D外包络盒的边上，至少两个第二点中两个第二点定位第一车辆的3D外包络盒的边，至少两个第二点的坐标用于定位第一车辆的3D外包络盒。执行设备根据第二点的坐标和地平面假设原理，生成第二顶点在车体坐标系下的三维坐标，第二顶点为第一车辆的3D外包络盒的一个顶点，第二顶点与第一顶点为不同的顶点，根据第一顶点的三维坐标和第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。本实现方式中，在通过第一车辆的一个图像无法生成第一车辆的尺寸的情况下，利用第一车辆的另一个图像共同生成第一车辆的尺寸，保证了在各种情况下均能生成第一车辆的尺寸，提高了本方案的全面性。

本申请实施例第二方面提供了一种图像的处理方法，可用于人工智能领域的图像处理领域中。方法包括：执行设备获取第一图像，第一图像中包括第一车辆；通过图像处理网络，根据第一图像，得到第一车辆的三维3D外包络盒的位置信息；根据第一车辆的三维3D外包络盒的位置信息，生成第一车辆的三维特征信息，第一车辆的三维特征信息包括以下中的一项或多项：第一车辆相当于自车的朝向角、第一车辆的质心点的位置信息和第一车辆的尺寸。

在第二方面的一种可能实现方式中，第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，至少两个第一点均位于第一车辆的三维3D外包络盒的边上，至少两个第一点中两个第一点定位第一车辆的3D外包络盒的边，至少两个第一点的坐标用于定位第一车辆的3D外包络盒。

在第二方面的一种可能实现方式中，执行设备通过图像处理网络，根据第一图像，得到第一车辆的三维3D外包络盒的位置信息，包括：执行设备将第一图像输入图像处理网络中，得到图像处理网络输出的第一结果，在第一车辆在第一图像中漏出侧面的情况下，第一结果包括第一车辆的二维2D包络框的位置信息、第一车辆的车轮的坐标和第一车辆的第一角度，第一车辆的第一角度指示第一车辆的侧边线与第一图像的第一轴线之间夹角的角度，第一车辆的侧边线为第一车辆漏出的侧面与第一车辆所在地平面之间的交线，第一图像的第一轴线与第一图像的一个边平行。执行设备根据第一车辆的2D包络框的位置信息、车轮的坐标和第一角度，执行坐标生成操作，以得到至少两个第一点的坐标。

在第二方面的一种可能实现方式中，在第一车辆在第一图像中仅漏出侧面的情况下，至少两个第一点包括第一车辆的侧边线与第一车辆的2D包络框的两个交点。

在第二方面的一种可能实现方式中，执行设备根据2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的3D外包络盒的位置信息，包括：执行设备根据第一车辆的车轮的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息；根据第一车辆的侧边线的位置信息和第一车辆的2D包络框的位置信息，执行坐标生成操作，以得到至少两个第一点的坐标。

在第二方面的一种可能实现方式中，在第一车辆在第一图像中漏出侧面和主面的情况下，第一结果中还包括第一车辆的分界线的位置信息和第一车辆的第二角度，分界线为侧面与主面之间的分界线，第一车辆的主面为第一车辆的前面或后面，第一车辆的第二角度指示第一车辆的主边线与第一图像的第一轴线之间夹角的角度，第一车辆的主边线为第一车辆漏出的主面与第一车辆所在的地平面之间的交线。至少两个第一点包括第一交点、第二交点和第三交点，第一交点为第一车辆的侧边线与第一车辆的分界线的交点，第一交点为第一车辆的3D外包络盒的一个顶点，第二交点为第一车辆的侧边线与第一车辆的2D包络框的交点，第三交点为第一车辆的主边线与第一车辆的2D包络框的交点。

在第二方面的一种可能实现方式中，执行设备根据第一车辆的2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，包括：执行设备根据第一车辆的车轮的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息；执行设备根据第一车辆的侧边线的位置信息和第一车辆的分界线的位置信息，生成第一交点的坐标。执行设备根据第一车辆的侧边线的位置信息和第一车辆的2D包络框的位置信息，生成第二交点的坐标。执行设备根据第一交点的坐标和第一车辆的第二角度，生成第一车辆的主边线的位置信息；根据第一车辆的主边线的位置信息和第一车辆的2D包络框的位置信息，生成第三交点的坐标。

在第二方面的一种可能实现方式中，方法还包括：执行设备在第一车辆在第一图像中漏出侧面的情况下，根据第一点的坐标，生成第一车辆相对于自车的朝向角。

在第二方面的一种可能实现方式中，执行设备根据第一点的坐标，生成朝向角之前，方法还包括：执行设备根据第一点的坐标和地平面假设原理，生成第一点与自车之间的距离。执行设备根据第一点的坐标，生成朝向角，包括：执行设备在根据第一点与自车之间的距离确定第一车辆与自车之间的距离未超过预设阈值的情况下，通过第一计算规则，根据第一点的坐标，生成朝向角；在根据第一点与自车之间的距离确定第一车辆与自车之间的距离超过预设阈值的情况下，通过第二计算规则，根据第一点的坐标，生成朝向角，第二计算规则和第一计算规则为不同的计算规则。

在第二方面的一种可能实现方式中，当至少两个第一点中任一个第一点与自车之间的距离未超过预设阈值时，视为第一车辆与自车之间的距离未超过预设阈值；或者，当至少两个第一点中任一个第一点与自车之间的距离超过预设阈值时，视为第一车辆与自车之间的距离超过预设阈值。

在第二方面的一种可能实现方式中，执行设备通过第一计算规则，根据第一点的坐标，生成朝向角，包括：根据第一点的坐标和地平面假设原理，生成第一点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内；根据第一点的三维坐标，生成朝向角。

在第二方面的一种可能实现方式中，执行设备通过第二计算规则，根据第一点的坐标，生成朝向角，包括：根据第一点的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息，根据第一车辆的侧边线的位置信息和第一图像的消失线的位置信息，生成消失点的坐标，消失点为第一车辆的侧边线与第一图像的消失线之间的交点；根据消失点的坐标和两点透视原理，生成朝向角。

在第二方面的一种可能实现方式中，执行设备通过第二计算规则，根据第一点的坐标，生成朝向角，包括：根据第一点的坐标、第一车辆的第一角度和小孔成像原理，生成第一车辆的第一角度和朝向角之间的映射关系；根据映射关系和第一车辆的第一角度，生成朝向角。

在第二方面的一种可能实现方式中，方法还包括：执行设备从至少两个第一点的坐标中获取第一车辆的3D外包络盒的顶点的坐标；根据第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成第一车辆的质心点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内。

在第二方面的一种可能实现方式中，方法还包括：执行设备从至少两个第一点的坐标中获取第一顶点的坐标，第一顶点为第一车辆的3D外包络盒的一个顶点；根据第一顶点的坐标和地平面假设原理，生成第一顶点在车体坐标系下的三维坐标；若至少两个第一点中包括至少两个第一顶点，根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高，车体坐标系的坐标系原点位于自车内。

在第二方面的一种可能实现方式中，方法还包括：若至少两个第一点中包括一个第一顶点，执行设备获取第二图像，第二图像中包括第一车辆，第二图像和第一图像的图像采集角度不同；执行设备根据第二图像，通过图像处理网络，得到至少两个第二点的坐标，至少两个第二点均位于第一车辆的三维3D外包络盒的边上，至少两个第二点中两个第二点定位第一车辆的3D外包络盒的边，至少两个第二点的坐标用于定位第一车辆的3D外包络盒。执行设备根据第二点的坐标和地平面假设原理，生成第二顶点在车体坐标系下的三维坐标，第二顶点为第一车辆的3D外包络盒的一个顶点，第二顶点与第一顶点为不同的顶点。执行设备根据第一顶点的三维坐标和第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。

对于本申请实施例第二方面以及第二方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第三方面，本申请实施例提供一种图像处理方法，可用于人工智能领域的图像处理领域中。方法包括：执行设备获取第三图像，第三图像中包括第一刚体，第一刚体为立方体；执行设备将第三图像输入图像处理网络中，得到图像处理网络输出的第二结果，在第一刚体在第三图像中漏出侧面的情况下，第二结果包括第一刚体的2D包络框的位置信息和第一刚体的第一角度，第一刚体的第一角度指示第一刚体的侧边线与第三图像的第一轴线之间夹角的角度，第一刚体的侧边线为第一刚体漏出的侧面与第一刚体所在平面之间的交线，第三图像的第一轴线与第三图像的一个边平行。执行设备根据第一刚体的2D包络框的位置信息和第一角度，生成第一刚体的三维3D外包络盒的位置信息，第一刚体的3D外包络盒的位置信息包括至少两个第三点的坐标，至少两个第三点均位于第一刚体的3D外包络盒的边上，至少两个第三点中两个第三点定位第一刚体的3D外包络盒的边，至少两个第三点的坐标用于定位第一刚体的3D外包络盒。

本申请第三方面的一种可能的实现方式中，执行设备根据第一刚体的2D包络框的位置信息和第一角度，生成第一刚体的三维3D外包络盒的位置信息，可以包括：在第一刚体在第三图像中仅漏出侧面的情况下，自车可以根据第一刚体的2D包络框的位置信息，生成第一刚体的2D包络框的左下角顶点的坐标和/或右下角顶点的坐标，以替代第一方面的第一结果中的车轮的坐标。自车根据第一刚体的2D包络框的左下角顶点的坐标和/或右下角顶点的坐标、第一刚体的2D包络框的位置信息和第一角度，生成第一刚体的三维3D外包络盒的位置信息。

本申请第三方面的一种可能的实现方式中，在第一刚体在第三图像中漏出主面和侧面的情况下，第二结果中还可以包括第一刚体的分界线的位置信息，自车可以根据第一刚体的2D包络框的位置信息和第一刚体的分界线的位置信息生成以下中的一项或多项坐标信息：第一刚体的分界线与第一刚体的2D包络框的底边的交点的坐标、第一刚体的2D包络框的左下角顶点的坐标和右下角顶点的坐标，以替代第一方面的第一结果中的车轮的坐标。自车根据前述生成的坐标信息、第一刚体的2D包络框的位置信息和第一角度，生成第一刚体的三维3D外包络盒的位置信息。

本申请第三方面的一种可能的实现方式中，在第一刚体在第三图像中或者只漏出侧面的情况下，第二结果中还可以包括第一刚体的2D包络框的左下角顶点的坐标和/或右下角顶点的坐标，以替代第一方面的第一结果中的车轮的坐标。在第一刚体在第三图像中漏出主面和侧面的情况下，第二结果中还可以包括以下中的一项或多项：第一刚体的分界线与2D包络框的底边的交点的坐标、第一刚体的2D包络框的左下角顶点的坐标和右下角顶点的坐标，以替代第一方面的第一结果中的车轮的坐标。

本申请第三方面中，执行设备还可以执行第一方面的各个可能实现方式中的步骤，对于本申请实施例第三方面以及第三方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第四方面，本申请实施例提供一种网络的训练方法，可用于人工智能领域的图像处理领域中。方法可以包括：训练设备获取训练图像和训练图像的标注数据，训练图像中包括第二车辆，在第二车辆在训练图像中漏出侧面的情况下，标注数据包括第二车辆的车轮的标注坐标和第二车辆的标注第一角度，第二车辆的第一角度指示第二车辆的侧边线与训练图像的第一轴线之间夹角的角度，第二车辆的侧边线为第二车辆漏出的侧面与第二车辆所在地平面之间的交线，训练图像的第一轴线与训练图像的一个边平行。训练设备将训练图像输入图像处理网络中，得到图像输入网络输出的第三结果，第三结果包括第二车辆的车轮的生成坐标和第二车辆的生成第一角度。训练设备根据标注数据和第三结果，利用损失函数对图像处理网络进行训练，直至满足损失函数的收敛条件，输出训练后的图像处理网络，损失函数用于拉近生成坐标与标注坐标之间的相似度，且拉近生成第一角度和标注第一角度之间的相似度。本实现方式中，由于二维包络框的位置信息、车轮的坐标和第一角度这三种参数的准确度与图像中车辆是否完整无关，所以无论图像中的车辆是否完整，训练后的图像处理网络都能够输出准确的信息，有利于提高图像处理网络的稳定性；此外，二维包络框的位置信息、车轮的坐标和第一角度的标注规则简单，相对于目前利用激光雷达进行训练数据标注的方式，大大降低了训练数据标注过程的难度。

在第四方面的一种可能实现方式中，在第二车辆在训练图像中漏出侧面和主面的情况下，标注数据还包括第二车辆的分界线的标注位置信息和第二车辆的标注第二角度，第三结果还包括第二车辆的分界线的生成位置信息和第二车辆的生成第二角度，损失函数还用于拉近生成位置信息和标注位置信息之间的相似度，且拉近生成第二角度与标注第二角度之间的相似度。其中，第二车辆的主面为第二车辆的前面或后面，分界线为侧面与主面之间的分界线，第二车辆的第二角度指示第二车辆的主边线与训练图像的第一轴线之间夹角的角度，第二车辆的主边线为第二车辆漏出的主面与第二车辆所在的地平面之间的交线。

在第四方面的一种可能实现方式中，图像处理网络包括二阶段目标检测网络和三维特征提取网络，二阶段目标检测网络包括区域生成网络。训练设备将训练图像输入图像处理网络中，得到图像输入网络输出的第三结果，包括：训练设备将训练图像输入二阶段目标检测网络中，得到二阶段目标检测网络中的区域生成网络输出的第二车辆的2D包络框的位置信息；训练设备将第一特征图输入三维特征提取网络，得到三维特征提取网络输出的第三结果，第一特征图为训练图像的特征图中位于区域生成网络输出的2D包络框内的特征图。训练设备输出训练后的图像处理网络，包括：训练设备输出包括二阶段目标检测网络和三维特征提取网络的图像处理网络。

本实现方式中，由于区域生成网络直接输出的2D包络框的准确度较低，也即基于区域生成网络直接输出的2D包络框得到的第一特征图的精度较低，有利于提高训练阶段的难度，进而提高训练后图像处理网络的鲁棒性。

对于本申请实施例第四方面以及第四方面的各种可能实现方式中名词的具体含义，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第五方面，本申请实施例提供一种图像处理装置，可用于人工智能领域的图像处理领域中。装置包括获取模块、输入模块和生成模块，其中，获取模块，用于获取第一图像，第一图像中包括第一车辆；输入模块，用于将第一图像输入图像处理网络中，得到图像处理网络输出的第一结果，在第一车辆在第一图像中漏出侧面的情况下，第一结果包括第一车辆的二维2D包络框的位置信息、第一车辆的车轮的坐标和第一车辆的第一角度，第一车辆的第一角度指示第一车辆的侧边线与第一图像的第一轴线之间夹角的角度，第一车辆的侧边线为第一车辆漏出的侧面与第一车辆所在地平面之间的交线，第一图像的第一轴线与第一图像的一个边平行；生成模块，用于根据第一车辆的2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，至少两个第一点均位于第一车辆的3D外包络盒的边上，至少两个第一点中两个第一点定位第一车辆的3D外包络盒的边，至少两个第一点的坐标用于定位第一车辆的3D外包络盒。

本申请实施例第五方面中，图像处理装置包括各个模块还可以用于实现第一方面各种可能实现方式中的步骤，对于本申请实施例第五方面以及第五方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第六方面，本申请实施例提供一种图像处理装置，可用于人工智能领域的图像处理领域中。装置包括：获取模块和生成模块，其中，获取模块，用于获取第一图像，第一图像中包括第一车辆；生成模块，用于通过图像处理网络，根据第一图像，得到第一车辆的三维3D外包络盒的位置信息；生成模块，还用于根据第一车辆的三维3D外包络盒的位置信息，生成第一车辆的三维特征信息，第一车辆的三维特征信息包括以下中的一项或多项：第一车辆相当于自车的朝向角、第一车辆的质心点的位置信息和第一车辆的尺寸。

本申请实施例第六方面中，图像处理装置包括各个模块还可以用于实现第二方面各种可能实现方式中的步骤，对于本申请实施例第六方面以及第六方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式所带来的有益效果，均可以参考第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第七方面，本申请实施例提供一种图像处理装置，可用于人工智能领域的图像处理领域中。装置包括获取模块、输入模块和生成模块，其中，获取模块，用于获取第三图像，第三图像中包括第一刚体，第一刚体为立方体；输入模块，用于将第三图像输入图像处理网络中，得到图像处理网络输出的第二结果，在第一刚体在第三图像中漏出侧面的情况下，第二结果包括第一刚体的2D包络框的位置信息和第一刚体的第一角度，第一刚体的第一角度指示第一刚体的侧边线与第三图像的第一轴线之间夹角的角度，第一刚体的侧边线为第一刚体漏出的侧面与第一刚体所在平面之间的交线，第三图像的第一轴线与第三图像的一个边平行；生成模块，用于根据第一刚体的2D包络框的位置信息和第一角度，生成第一刚体的三维3D外包络盒的位置信息，第一刚体的3D外包络盒的位置信息包括至少两个第三点的坐标，至少两个第三点均位于第一刚体的3D外包络盒的边上，至少两个第三点中两个第三点定位第一刚体的3D外包络盒的边，至少两个第三点的坐标用于定位第一刚体的3D外包络盒。

本申请实施例第七方面中，图像处理装置包括各个模块还可以用于实现第三方面各种可能实现方式中的步骤，对于本申请实施例第七方面以及第七方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式所带来的有益效果，均可以参考第三方面中各种可能的实现方式中的描述，此处不再一一赘述。

第八方面，本申请实施例提供一种图像处理装置，可用于人工智能领域的图像处理领域中。装置包括获取模块、输入模块和训练模块，其中，获取模块，用于获取训练图像和训练图像的标注数据，训练图像中包括第二车辆，在第二车辆在训练图像中漏出侧面的情况下，标注数据包括第二车辆的车轮的标注坐标和第二车辆的标注第一角度，第二车辆的第一角度指示第二车辆的侧边线与训练图像的第一轴线之间夹角的角度，第二车辆的侧边线为第二车辆漏出的侧面与第二车辆所在地平面之间的交线，训练图像的第一轴线与训练图像的一个边平行；输入模块，用于将训练图像输入图像处理网络中，得到图像输入网络输出的第三结果，第三结果包括第二车辆的车轮的生成坐标和第二车辆的生成第一角度；训练模块，用于根据标注数据和第三结果，利用损失函数对图像处理网络进行训练，直至满足损失函数的收敛条件，输出训练后的图像处理网络，损失函数用于拉近生成坐标与标注坐标之间的相似度，且拉近生成第一角度和标注第一角度之间的相似度。

本申请实施例第八方面中，图像处理装置包括各个模块还可以用于实现第四方面各种可能实现方式中的步骤，对于本申请实施例第八方面以及第八方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式所带来的有益效果，均可以参考第四方面中各种可能的实现方式中的描述，此处不再一一赘述。

第九方面，本申请实施例提供了一种执行设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面所述的图像的处理方法，或者，当存储器存储的程序指令被处理器执行时实现上述第二方面所述的图像的处理方法，或者，当存储器存储的程序指令被处理器执行时实现上述第三方面所述的图像的处理方法。对于处理器执行第一方面、第二方面或第三方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅上述第一方面、第二方面或第三方面，此处不再赘述。

第十方面，本申请实施例提供了一种自动驾驶车辆，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面所述的图像的处理方法，或者，当存储器存储的程序指令被处理器执行时实现上述第二方面所述的图像的处理方法，或者，当存储器存储的程序指令被处理器执行时实现上述第三方面所述的图像的处理方法。对于处理器执行第一方面、第二方面或第三方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅上述第一方面、第二方面或第三方面，此处不再赘述。

第十一方面，本申请实施例提供了一种训练设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第四方面所述的网络的训练方法。对于处理器执行第四方面的各个可能实现方式中训练设备执行的步骤，具体均可以参阅第四方面，此处不再赘述。

第十二方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上行驶时，使得计算机执行上述第一方面、第二方面或第三方面所述的图像的处理方法，或者，使得计算机执行上述第四方面所述的网络的训练方法。

第十三方面，本申请实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第一方面、第二方面或第三方面所述的图像的处理方法，或者，所述处理电路配置为执行上述第四方面所述的网络的训练方法。

第十四方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面、第二方面或第三方面所述的图像的处理方法，或者，使得计算机执行上述第四方面所述的网络的训练方法。

第十五方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持服务器或图像处理装置实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1为本申请实施例提供的为人工智能主体框架的一种结构示意图；

图2为本申请实施例提供的图像处理系统的一种系统架构图；

图3为本申请实施例提供的图像的处理方法的一种流程示意图；

图4为本申请实施例提供的图像的处理方法中第一结果的一种示意图；

图5为本申请实施例提供的图像的处理方法中第一结果的另一种示意图；

图6为本申请实施例提供的图像的处理方法中第一点的一种示意图；

图7为本申请实施例提供的图像的处理方法中第一点的另一种示意图；

图8为本申请实施例提供的网络的训练方法的一种流程示意图；

图9为本申请实施例提供的网络的训练方法的另一种流程示意图；

图10为本申请实施例提供的网络的训练方法的又一种流程示意图；

图11为本申请实施例提供的图像的处理方法的另一种流程示意图；

图12为本申请实施例提供的图像处理方法中3D包络盒的一种示意图；

图13为本申请实施例提供的图像处理装置的一种结构示意图；

图14为本申请实施例提供的图像处理装置的另一种结构示意图；

图15为本申请实施例提供的网络训练装置的一种结构示意图；

图16为本申请实施例提供的执行设备的一种结构示意图；

图17为本申请实施例提供的自动驾驶车辆的一种结构示意图

图18为本申请实施例提供的训练设备的一种结构示意图；

图19为本申请实施例提供的芯片的一种结构示意图。

具体实施方式

本申请实施例提供了一种图像的处理方法、网络的训练方法以及相关设备，根据第二车辆的二维包络框的位置信息、车轮的坐标和第一角度这三种参数，生成第一车辆的三维3D外包络盒的位置信息，提高了获取到的3D外包络盒的准确度。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供，前述智能芯片包括但不限于中央处理器(central processing unit，CPU)、嵌入式神经网络处理器(neural-network processing unit，NPU)、图形处理器(graphics processing unit，GPU)、专用集成电路(application specific integrated circuit，ASIC)和现场可编程逻辑门阵列(field programmable gate array，FPGA)等硬件加速芯片；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、平安城市等。

本申请可以应用于人工智能领域的各种领域中，具体可以应用于各种需要对周围环境中的刚体进行3D外包络盒定位的场景中。其中，刚体是指在运动中和受力作用后，形状和大小不变，且内部各点的相对位置不变的物体；前述刚体具体可以表现为道路中的车辆、路障或其他类型的刚体等。作为示例，例如本申请实施例可以应用于对自车(也即用户所在的自动驾驶车辆)周围车辆的朝向角进行估计的场景中，可以先对自车周围车辆的3D外包络盒进行定位，并利用3D外包络盒的边上的点，生成自车周围车辆的朝向角。作为另一示例，例如本申请实施例可以应用于对自车周围的路障的位置进行估计的场景中，可以先对自车周围的路障的3D包络盒进行定位，进而利用3D外包络盒的边上的点，生成自车周围的路障的位置信息等。应当理解，此处介绍仅为方便理解本申请实施例的应用场景，不对本申请实施例的应用场景进行穷举。以下均以本申请实施例应用于自动驾驶领域为例进行说明。

为了便于理解本方案，先对本申请实施例提供的图像处理系统进行介绍，请参阅图2，图2为本申请实施例提供的图像处理系统的一种系统架构图，在图2中，图像处理系统200包括执行设备210、训练设备220、数据库230和数据存储系统240，执行设备210中包括计算模块211。

其中，数据库230中存储有训练数据集合，训练数据集合中包括多个训练图像以及每个训练图像的标注数据，训练设备220生成用于图像的目标模型/规则201，并利用数据库中的训练数据集合对目标模型/规则201进行迭代训练，得到成熟的目标模型/规则201。

训练设备220得到的图像处理网络可以应用不同的系统或设备中，例如自动驾驶车辆、手机、平板、智能家电、监控系统等等。其中，执行设备210可以调用数据存储系统240中的数据、代码等，也可以将数据、指令等存入数据存储系统240中。数据存储系统240可以置于执行设备210中，也可以为数据存储系统240相对执行设备210是外部存储器。

计算模块211可以通过图像处理网络对执行设备210采集到的图像进行处理，得到图像中第一刚体的2D包络框的位置信息和第一角度，第一角度指示侧边线与第一轴线之间夹角的角度，第一刚体的侧边线为第一刚体漏出的侧面与第一刚体所在地平面之间的交线，第一图像的第一轴线与第一图像的一个边平行，进而执行设备210可以根据第一刚体的二维(2dimension，2D)包络框的位置信息和第一角度，生成第一刚体的3D包络盒的边上的点的坐标，以对第一刚体的3D包络盒进行定位，由于2D包络框的位置信息和第一角度这两种参数的准确度与图像中刚体是否完整无关，所以无论图像中的刚体是否完整，得到的第一点的坐标是准确的，从而定位出的3D外包络盒都是准确的。

本申请的一些实施例中，例如图2中，“用户”可以直接与执行设备210进行交互，也即执行设备210与客户设备集成于同一设备中。但图2仅是本发明实施例提供的两种图像处理系统的架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。在本申请的另一些实施例中，执行设备210和客户设备可以为分别独立的设备，执行设备210配置有输入/输出接口，与客户设备进行数据交互，“用户”可以通过客户设备向输入/输出接口输入采集到的图像，执行设备210通过输入/输出接口将第一点的坐标返回给客户设备。

结合上述描述，本申请实施例提供了一种图像的处理方法，可应用于图2中示出的执行设备210中。自车上可以预先配置有训练后的图像处理网络，在获取到包括第一车辆的第一图像之后，将第一图像输入到图像处理网络中，得到图像处理网络输出的第一结果，第一结果中包括第车辆的2D包络框、第一车轮的坐标和第一车辆的侧边线与第一图像的一个轴线之间夹角的第一角度。根据图像处理网络输出的第一结果，生成第一点的坐标，第一点指的是第一车辆的3D外包络盒的边上的点，并利用第一点的坐标对第一车辆的3D外包络盒进行定位，由于位置信息、车轮的坐标和第一角度这三种参数的准确度与图像中车辆是否完整无关，所以无论图像中的车辆是否完整，得到的第一点的坐标是准确的，从而定位出的3D外包络盒都是准确的，也即提高了获取到的3D外包络盒的准确度。由图2中的描述可知，本申请实施例包括推理阶段和训练阶段，而推理阶段和训练阶段的流程有所不同，以下分别对推理阶段和训练阶段进行描述。

一、推理阶段

本申请实施例中，推理阶段描述的是执行设备210如何利用成熟的图像处理网络对第一图像中的第一车辆的3D外包络盒进行定位的过程。自车在对第一车辆的3D外包络盒进行定位后，可以对第一车辆的朝向角、质心点位置和/或尺寸等3D特征信息进行预估。本申请实施例中，请参阅图3，图3为本申请实施例提供的图像的处理方法的一种流程示意图，本申请实施例提供的图像的处理方法可以包括：

301、自车获取第一图像，第一图像中包括第一车辆。

本申请实施例中，自车上可以配置有进行图像采集的摄像设备，从而自车可以通过前述摄像设备进行图像采集，以获取到第一图像。其中，前述摄像设备包括但不限于相机、采集卡、雷达或其他类型的摄像设备等，一个第一图像中可以包括一个或多个第一车辆以及第一车辆所在的环境。第一图像可以为一张独立的图像，也可以为视频中的一帧视频帧。

进一步地，若自车上配置的为单目摄像系统，则第一图像可以为通过单目摄像系统采集到的；若自车上配置的为双目摄像系统，则第一图像可以为通过双目摄像系统采集到的两个图像中的任一个图像；若自车上配置的为多目摄像系统，则第一图像可以为通过多目摄像系统采集到的多个图像中的任一个图像。

302、自车将第一图像输入图像处理网络中，得到图像处理网络输出的第一结果。

本申请实施例中，自车上预先配置有成熟的图像处理网络，在获取到第一图像之后，将第一图像输入到图像处理网络中，得到图像处理网络输出的一组或多组第一结果，第一结果的数量与第一图像中第一车辆的数量一致，一组第一结果用于指示一个第一车辆的特征信息。其中，在第一车辆在第一图像中漏出侧面的情况下，每组第一结果中可以包括第一车辆的2D包络框(bounding frame)的位置信息、第一车辆的车轮的坐标和第一角度。在第一车辆在第一图像中仅漏出主面且未漏出侧面的情况下，每组第一结果中可以包括第一车辆的2D包络框的位置信息，前述主面指的是前面或后面。

进一步地，第一车辆的2D包络框的位置信息可以包括2D包络框的中心点的坐标和2D包络框的边长。由于车辆的车轮存在一定的厚度，第一车辆的车轮的坐标指的可以为车轮的外侧找地点的坐标，也可以为车轮的内侧找地点的坐标，还可以为车轮厚度中间的找地点的坐标等等。第一车辆的车轮的坐标可以包括一个车轮或两个车轮的坐标，具体情况可由实际拍摄到的图像决定。更进一步地，前述车轮的坐标和中心点的坐标所对应的可以为同一坐标系，该坐标系的原点可以为第一图像的任一个顶点，也可以为第一图像的中心点，还可以为第一图像中的其他位置点等，此处不做限定。该坐标系的两条坐标轴分别为第一图像的U轴和V轴。第一车辆的第一角度指示第一车辆的侧边线与第一图像的第一轴线之间夹角的角度，第一车辆的侧边线为第一车辆漏出的侧面与第一车辆所在地平面之间的交线，第一图像的第一轴线与第一图像的一个边平行，第一轴线可以为与第一图像的U轴平行，也可以与第一图像的V轴平行；更进一步地，第一角度的取值范围可以为0度到360度，也可以为负180度到正180度，此处不做限定。

为了更为直观的理解本方案，请参阅图4，图4为本申请实施例提供的图像的处理方法中第一结果的一种示意图，图4中以第一车辆在第一图像中仅漏出侧面，车轮的坐标采用的为车轮的外侧找地点的坐标，第一轴线采用的为第一图像的U轴为例。其中，A1代表第一车辆的2D包络框，A2代表第一车辆的车轮的坐标，A3代表第一图像的U轴，A4代表第一图像的V轴，A5代表第一车辆的侧边线，A6代表第一车辆的第一角度，应理解，图5中的示例仅为方便理解本方案，不用于限定本方案。

可选地，在第一车辆在第一图像中漏出主面和侧面的情况下，第一结果中还可以包括第一车辆的分界线的位置信息和第一车辆的第二角度。

进一步地，分界线为侧面与主面之间的分界线，若第一车辆在第一图像中漏出前面和侧面，则第一车辆的分界线为漏出的前面和侧面之间的分界线；若第一车辆在第一图像中漏出后面和侧面，则第一车辆的分界线为漏出的后面和侧面之间的分界线。其中，第一车辆的前面指的是第一车辆的车头所在面，第一车辆的后面指的是第一车辆的车尾所在面。第一车辆的分界线可以为穿过第一车辆的车灯的轮廓，或者，第一车辆的分界线也可以为穿过第一车辆的车灯的中心点，或者，第一车辆的分界线还可以为穿过第一车辆的侧边线和第一车辆的主边线的交点，第一车辆的主面和侧面之间的分界线还可以依据其他信息确定，此处不做限定。分界线的位置信息具体可以表现为一个数值，该数值可以为第一车辆的分界线与第一车辆的2D包络框的一个边之间的距离值，也可以为分界线与坐标系下的U轴之间交点的U轴坐标值等，此处不做限定。本申请实施例中，提供了2D包络框的位置信息的具体实现形式，以及，分界线的位置信息的几种具体实现方式，提高了本方案的选择灵活性。

第一车辆的第二角度指示第一车辆的主边线与第一图像的第一轴线之间夹角的角度，第一车辆的主边线为第一车辆漏出的主面与第一车辆所在的地平面之间的交线，若第一车辆在第一图像中漏出前面和地平面，则第一车辆的主边线为漏出的前面和地平面之间的交线；若第一车辆在第一图像中漏出后面和地平面，则第一车辆的主边线为漏出的后面和地平面之间的交线。第二角度的取值范围与第一角度的取值范围一致，此处不再赘述。

为了更为直观的理解本方案，请参阅图5，图5为本申请实施例提供的图像的处理方法中第一结果的一种示意图，图5中以第一车辆在第一图像中漏出侧面和前面，车轮的坐标采用的为车轮的外侧着地点的坐标，第一轴线采用的为第一图像的U轴，分界线穿过车灯的外轮廓为例。其中，B1代表第一车辆的2D包络框，B2代表第一车辆的车轮的坐标，B3代表第一图像的U轴，B4代表第一图像的V轴，B5代表第一车辆的侧边线，B6代表第一车辆的第一角度，B7代表第一车辆的侧面和前面之间的分界线，B8代表第一车辆的主边线(也即图5中的前边线)，B9代表第一车辆的第二角度，应理解，图5中的示例仅为方便理解本方案，不用于限定本方案。

进一步可选地，第一结果还可以包括第一车辆在第一图像中的漏出面的指示信息，漏出面包括以下中的一项或多项：侧面、前面和后面，前述侧面包括左面和右面。具体的，漏出面的指示信息具体可以表现为数字序列，作为示例，例如该数字序列包括四组数字，分别与第一车辆的前面、后面、左面和右面对应，一组数字指示第一图像中是否漏出与该一组数字对应的面，一组数字包括一个或多个数值。作为示例，漏出面的指示信息具体表现为1010，分别对应第一车辆的前面、后面、左面和右面，1指示第一图像中存在对应的面，0代表第一图像中不存在对应的面，则“1010”指示第一车辆在第一图像中漏出了前面和左面。漏出面的指示信息具体也可以表现为一串字符，作为示例，例如漏出面的指示信息具体表现为“前面和右面”，指示第一车辆在第一图像中漏出了前面和右面等，对于前述指示信息的具体表现形式，可以结合实际的产品形态确定，此处不做限定。本申请实施例中，第一结果中还包括第一车辆在第一图像中的漏出面的指示信息，从而后续在利用第一点的坐标，生成第一车辆的三维特征信息的过程中，可以根据第一图像中的漏出面的指示信息，确定第一车辆在第一图像中是仅漏出主面，还是仅漏出侧面，还是同时漏出侧面和主面，有利于提高后续三维特征信息生成过程的精度，以提高生成的三维特征信息的准确度。

303、自车根据第一结果，生成第一车辆的三维3D外包络盒的位置信息。

本申请的一些实施例中，自车在得到第一结果之后，会先根据第一结果，生成第一车辆的三维3D外包络盒的位置信息，再根据第一车辆的三维3D外包络盒的位置信息，生成第一车辆的3D特征信息。其中，第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，至少两个第一点均位于第一车辆的3D外包络盒的边上，至少两个第一点中两个第一点定位第一车辆的3D外包络盒的边，至少两个第一点的坐标用于定位第一车辆的3D外包络盒。进一步地，第一车辆的3D外包络盒包括12条边和8个顶点，本申请实施例中定位的概念指的是能够确定前述12条边和8个顶点中的部分边和/或顶点的位置。可选地，由于在生成第一车辆的3D特征信息的过程中，主要利用的是3D外包络盒的底面信息，则根据第一点的坐标和第一角度主要定位的为第一车辆的3D外包络盒的底面上的边和/或顶点的位置。

具体的，第一车辆在第一图像中同时漏出侧面和主面，和，第一车辆在第一图像中仅漏出侧面这两种情况下，生成的具体的第一点的位置不同。自车在得到第一结果之后，可以根据第一车辆的漏出面的指示信息，判断第一车辆在第一图像中是仅漏出侧面，还是同时漏出了侧面和主面，进而对前述两种情况分别进行处理，以下分别介绍这两种情况。

A、第一车辆在第一图像中仅漏出侧面

本实施例中，自车在根据第一车辆的漏出面的指示信息，确定第一车辆在第一图像中仅漏出侧面的情况下，步骤303可以包括：自车根据第一车辆的2D包络框的位置信息、第一车辆的车轮的坐标和第一车辆的第一角度，生成至少两个第一点的坐标，至少两个第一点包括第一车辆的侧边线与2D包络框的两个交点。其中，第一点是一个泛指的概念，第一点指的是在第一车辆在第一图像中仅漏出侧面这一具体场景下，生成的位于第一车辆的3D外包络盒的边上的点的坐标。本申请实施例中，在第一车辆在第一图像中仅漏出侧面的情况下，第一点为第一车辆的侧边线与2D包络框之间的交点，细化了在特定场景下，第一点的具体表现形态，提高了与应用场景的结合度。

具体的，自车根据第一车辆的车轮的坐标和第一角度，生成第一车辆的侧边线的位置信息，根据第一车辆的侧边线的位置信息和2D包络框的位置信息，执行坐标生成操作，以得到至少两个第一点的坐标。本申请实施例中，自车根据第一车辆的车轮的坐标和第一角度，就可以生成第一车辆的侧边线的位置信息，操作简单，易于实现，且准确度高。

更具体的，自车根据第一车辆的车轮的坐标和第一角度，可以生成第一车辆的侧边线的直线方程，也即得到了第一车辆的侧边线的位置信息。自车根据第一车辆的2D包络框的位置信息，可以确定第一车辆的2D包络框的左边界和右边界的位置，根据第一车辆的侧边线的直线方程，生成侧边线与前述左边界的交点M(也即一个第一点)的坐标，生成侧边线与前述右边界的交点N(也即另一个第一点)的坐标。其中，前述交点M和交点N之间的连线也即第一车辆的侧边线，第一车辆的侧边线即为第一车辆的3D外包络盒的底面的一条边。第一车辆的侧面存在前后两个边界，若第一图像中漏出了第一车辆的侧面的任一个边界，则两个第一点中可以存在第一车辆的3D外包络盒的顶点；若第一图像中未漏出第一车辆的侧面的任一个边界，则两个第一点中不存在第一车辆的3D外包络盒的顶点。2D包络框的左边界和右边界分别与第一车辆的3D包络盒的侧面的两条边平行。因此，利用第一点的坐标能够实现对第一车辆的3D包络盒的定位。

可选地，步骤303还可以包括：自车根据第一车辆的2D包络框的位置信息，确定第一车辆的2D包络框的左上角的顶点的坐标和右上角的顶点的坐标，并将前述左上角的顶点O和右上角的顶点P分别确定为两个第一点，将顶点O的坐标和顶点P的坐标分别确定为个第一点的坐标，顶点O和顶点P均位于第一车辆的3D外包络盒的顶面的边上。

为进一步理解本方案，结合图4进行举例，请参阅图6，图6为本申请实施例提供的图像的处理方法中第一点的一种示意图，图6中以第一车辆在第一图像中仅漏出侧面为例。其中，A1代表第一车辆的2D包络框，A1是基于第一车辆的2D包络框的位置信息生成的；A5代表第一车辆的侧边线，A5是基于第一车辆的车轮的坐标和第一角度生成的。D1代表第一车辆的侧边线与第一车辆的2D包络框的左边界的一个交点(也即上述交点M)，D2代表第一车辆的侧边线与第一车辆的2D包络框的右边界的一个交点(也即上述交点N)，D3代表第一车辆的2D包络框的左上角顶点(也即上述顶点O)，D4代表第一车辆的2D包络框的右上角顶点(也即上述顶点P)，D1、D2、D3和D4分别为位于第一车辆的3D外包络盒的边上的四个第一点，D1和D2位于第一车辆的3D外包络盒的底面的边上，D3和D4位于第一车辆的3D外包络盒的顶面的边上，D1、D2、D3和D4的坐标即为生成的四个第一点的坐标，应理解，在其他实施例中，也可以不生成D3和D4的坐标，图6中的示例仅为方便理解本方案，不用于限定本方案。

B、第一车辆在第一图像中漏出侧面和主面

本实施例中，在第一车辆在第一图像中漏出侧面和主面的情况下，第一结果中还包括第一车辆的分界线的位置信息和第一车辆的第二角度，分界线的位置信息和第二角度的具体含义均已在步骤302中进行了介绍，此处不再赘述。至少两个第一点包括第一交点、第二交点和第三交点，第一交点的坐标、第二交点的坐标和第三交点的坐标指的是在第一车辆在第一图像中漏出侧面和主面这一具体场景下，生成的位于第一车辆的3D外包络盒的边上的点的坐标。第一交点为第一车辆的侧边线与分界线的交点，也是一车辆的3D外包络盒的一个顶点。第二交点为第一车辆的侧边线与2D包络框的交点，第一交点与第二交点的连线为第一车辆的侧边线，该第一车辆的侧边线也即第一车辆的3D包络盒的底面的一条边，进一步地，若第一图像包括第一车辆的完整的侧面，则第二交点为第一车辆的3D包络盒的底面的一个顶点。第三交点为第一车辆的主边线与2D包络框的交点，第一交点与第三交点的连线为第一车辆的主边线，该第一车辆的主边线也即第一车辆的3D包络盒的底面的另一条边；进一步地，若第一图像包络第一车辆的完整的主面，则第三交点为第一车辆的3D包络盒的底面的一个顶点。第一车辆的2D包络框的左边界和右边界，分别与第一车辆的3D包络盒的侧面的两条边平行。因此，利用第一交点的坐标、第二交点的坐标和第三交点的坐标能够实现对第一车辆的3D外包络盒的定位。本申请实施例中，不仅提供了在第一车辆在第一图像中仅漏出侧面的情况下，第一点的具体表现形式，还提供了在第一车辆在第一图像中漏出侧面和主面的情况下，第一点的具体表现形式，丰富了本方案的应用场景，提高了实现灵活性。

具体的，在自车根据第一车辆的漏出面的指示信息，确定第一车辆在第一图像中漏出侧面和主面的情况下，步骤303可以包括：自车根据分界线的位置信息、车轮的坐标和第一角度，生成第一交点的坐标。自车根据2D包络框的位置信息、车轮的坐标和第一角度，生成第二交点的坐标。根据2D包络框的位置信息、第一交点的坐标和第二角度，生成第三交点的坐标。其中，第一交点的坐标、第二交点的坐标、第三交点的坐标、第一角度和第二角度用于定位第一车辆的3D外包络盒。本申请实施例中，提供了当第一车辆在第一图像中漏出侧面和主面时，生成多个第一点的坐标的实现方式，操作简单，易于实现，且准确度高。

更具体的，在一种情况下，若自车根据第一车辆的漏出面的指示信息，确定第一车辆在第一图像中漏出侧面和前面，则主面具体为前面，主边线具体为前边线。自车根据车轮的坐标和第一角度生成侧边线的直线方程，也即生成第一车辆的侧边线的位置信息；进而根据分界线的位置信息和侧边线的直线方程，生成侧边线与分界线之间交点的坐标，也即生成了第一交点的坐标。自车根据第一车辆的2D包络框的位置信息，可以确定第一车辆的2D包络框的左边界和右边界的位置，根据侧边线的直线方程和2D包络框的右边界的位置，生成侧边线与2D包络框的右边界之间交点的坐标，也即生成了第二交点的坐标。自车根据第一交点的坐标和第二角度生成前边线的直线方程，也即生成第一车辆的前边线的位置信息，根据前边线的直线方程和2D包络框的左边界的位置，生成前边线与2D包络框的左边界之间交点的坐标，也即生成了第三交点的坐标。需要说明的是，在其他实施例中，也可以为先生成第二交点的坐标，再生成第一交点的坐标，或者，还可以为先生成第三交点的坐标，再生成第二交点的坐标等，此处不限定第一交点的坐标、第二交点的坐标和第三交点的坐标的生成顺序。

进一步地，在第一图像中包括第一车辆的侧面和前面的情况下，第一车辆的侧面和前面的分界线为第一车辆的3D包络盒的侧面的一个边。若第一图像包括第一车辆的完整的侧面，则第一车辆的2D包络框的右边界为第一车辆的3D包络盒的侧面的一个边；若第一图像包括第一车辆的完整的前面，则第一车辆的2D包络框的左边界为第一车辆的3D包络盒的侧面的一个边，从而实现了对第一车辆的3D包络盒的侧面的定位。

在另一种情况下，若自车根据第一车辆的漏出面的指示信息，确定第一车辆在第一图像中漏出侧面和后面，则主面具体为后面，主边线具体为后边线。自车根据车轮的坐标和第一角度生成侧边线的直线方程，也即生成第一车辆的侧边线的位置信息；进而根据分界线的位置信息和侧边线的直线方程，生成侧边线与分界线之间交点的坐标，也即生成了第一交点的坐标。自车根据第一车辆的2D包络框的位置信息，可以确定第一车辆的2D包络框的左边界和右边界的位置，根据侧边线的直线方程和2D包络框的左边界的位置，生成侧边线与2D包络框的左边界之间交点的坐标，也即生成了第二交点的坐标。自车根据第一交点的坐标和第二角度生成后边线的直线方程，也即生成第一车辆的后边线的位置信息，根据后边线的直线方程和2D包络框的右边界的位置，生成后边线与2D包络框的右边界之间交点的坐标，也即生成了第三交点的坐标。

进一步地，在第一图像中包括第一车辆的侧面和后面的情况下，第一车辆的侧面和后面的分界线为第一车辆的3D包络盒的侧面的一个边。若第一图像包括第一车辆的完整的侧面，则第一车辆的2D包络框的左边界为第一车辆的3D包络盒的侧面的一个边；若第一图像包括第一车辆的完整的后面，则第一车辆的2D包络框的右边界为第一车辆的3D包络盒的侧面的一个边，从而实现了对第一车辆的3D包络盒的侧面的定位。

可选地，步骤303还可以包括：自车根据第一车辆的2D包络框的位置信息，确定第一车辆的2D包络框的左上角的顶点的坐标和右上角的顶点的坐标，并将前述两个顶点的坐标确定为两个第一点的坐标。自车根据第一车辆的2D包络框的位置信息和第一车辆的分界线的位置信息，生成分界线与2D包括框之间交点的坐标，也即生成一个第一点的坐标，前述交点为第一车辆的3D包络盒的顶面的一个顶点。

为进一步理解本方案，结合图5进行举例，请参阅图7，图7为本申请实施例提供的图像的处理方法中第一点的一种示意图，图7中以第一车辆在第一图像中漏出侧面和前面为例进行说明。其中，B1代表第一车辆的2D包络框，第一车辆的2D包络框为根据第一车辆的2D包络框的位置信息确定的；B5代表第一车辆的侧边线，第一车辆的侧边线是根据第一车辆的车轮的坐标和第一角度生成的；B7代表第一车辆的侧面和前面之间的分界线，该分界线为根据第一车辆的分界线的位置信息确定的；B8代表第一车辆的主边线，第一车辆的主边线是根据第一交点的坐标和第二角度生成的。E1代表侧边线与分界线之间的交点(也即第一交点)，E1的坐标即为第一交点的坐标；E2代表侧边线与2D包络框的右边界之间的交点(也即第二交点)，E2的坐标即为第二交点的坐标；E3代表主边线与2D包络框的左边界之间的交点(也即第三交点)，E3的坐标即为第三交点的坐标；E4代表2D包络框的左上角顶点(也即一个第一点)，E4的坐标即为第一点的坐标；E5代表2D包络框的右上角顶点(也即一个第一点)，E5的坐标即为第一点的坐标；E6代表分界线与2D包络框之间的交点(也即一个第一点)，E6的坐标即为第一点的坐标。其中，E1至E6均为一种具体化的第一点，E1、E2和E3均位于第一车辆的3D包络框的底面，E1为第一车辆的3D包络框的底面的一个顶点，E4、E5和E6均位于第一车辆的3D包络框的顶面，E6为第一车辆的3D包络框的顶面的一个顶点，应理解，在其他实施例中，也可以不生成E4、E5和E6的坐标，图7中的示例仅为方便理解本方案，不用于限定本方案。

304、自车判断第一车辆与自车的距离是否超过预设阈值，若未超过预设阈值，则进入步骤305；若超过预设阈值，则进入步骤314。

本申请的一些实施例中，自车生成第一车辆与自车之间的距离，进而判断第一车辆与自车之间的距离是否超过预设阈值，若未超过预设阈值，则进入步骤305；若超过预设阈值，则进入步骤314。其中，预设阈值的取值可以为10米、15米、30米、25米或其他数值等，具体可以结合实际产品形态确定。

具体的，在一种实现方式中，自车根据第一点的坐标和地平面假设原理，生成至少一个第一点中每个第一点与自车之间的距离，进而根据每个第一点与自车之间的距离，生成第一车辆与自车之间的距离。

更具体的，针对至少两个第一点中的任一个第一点，自车可以根据第一点的坐标和地平面假设原理，生成第一点在车体坐标系下的三维坐标，根据第一点在车体坐标系下的三维坐标生成第一点与自车之间的第一距离。自车重复执行前述操作，以生成每个第一点与自车之间的第一距离。自车可以根据与至少两个第一点对应的至少两个第一距离，从前述至少两个第一距离中选取最小的第一距离，作为第一车辆与自车之间的距离，进而判断选取出的距离值最小的第一距离是否超过预设阈值，若未超过阈值，则视为第一车辆与自车的距离未超过预设阈值，也即当至少两个第一点中任一个第一点与自车之间的距离未超过预设阈值时，视为第一车辆与自车之间的距离未超过预设阈值。自车也可以从前述至少两个第一距离中选取最大的第一距离，作为第一车辆与自车之间的距离，进而判断选取出的距离值最大的第一距离是否超过预设阈值，若超过预设阈值，则视为第一车辆与自车的距离超过预设阈值，也即当至少两个第一点中任一个第一点与自车之间的距离超过预设阈值时，视为第一车辆与自车之间的距离超过预设阈值。还可以为自车将前述至少两个第一距离的平均值作为第一车辆与自车之间的距离，以执行第一车辆与自车之间的距离是否超过预设阈值的判断操作。本申请实施例中，提供了判断第一车辆与自车之间距离是否超过预设预置的两种具体实现方式，提高了本方案的实现灵活性。

在另一种实现方式中，自车也可以根据第一车辆的车轮点的坐标和地平面假设原理，生成第一车辆的车轮点在车体坐标系下的三维坐标，进而根据第一车辆的车轮点的三维坐标，生成第一车辆的车轮点与自车之间的距离，并将前述距离确定为第一车辆与自车之间的距离，以执行第一车辆与自车之间的距离是否超过预设阈值的判断操作。

应理解，在其他实施例中，自车也可以利用第一车辆的3D包络盒上的其他点的坐标来确定第一车辆与自车之间的距离，此处不做限定。

305、自车根据第一车辆在第一图像中的漏出面的指示信息，判断第一车辆是否在第一图像中漏出侧面，若未漏出侧面，则进入步骤306；若漏出侧面，则进入步骤307。

本申请实施例中，由于第一车辆在第一图像中可以漏出侧面，也可以未漏出侧面且仅漏出主面，而前述两种情况的处理方式有所不同。则自车在得到第一结果之后，可以根据第一车辆在第一图像中的漏出面的指示信息，来判断第一车辆在第一图像中是否漏出侧面。具体的，自车在根据第一车辆在第一图像中的漏出面的指示信息，确定第一车辆在第一图像中的漏出面中存在左面或者存在右面的情况下，均视为第一车俩在第一图像中漏出了侧面。对于第一图像中的漏出面的指示信息如何指示漏出了哪些面，可参阅步骤302中的描述，此处不做赘述。

306、自车根据2D包络框的中心点的坐标和小孔成像原理，生成第一车辆相对于自车的朝向角。

本申请的一些实施例中，自车在确定第一车辆在第一图像中未漏出侧面且仅漏出主面的情况下，自车可以认为第一车辆的3D质心点在图像上的投影点为第一车辆的2D包括框的中心点，进而根据第一车辆的2D包络框的中心点的坐标和小孔成像原理，生成第一车辆相对于自车的朝向角；进一步地，自车可以根据第一车辆相对于自车的朝向角，确定第一车辆的行驶意图，例如第一车辆是否会并道。

具体的，在一种实现方式中，第一车辆的2D包络框的位置信息中包括第一车辆的2D包络框的中心点的坐标，自车根据第一车辆的2D包络框的中心点的坐标和第一变换关系，生成第一射线在第一图像中的地平面上的投影与相机坐标系的x轴之间夹角的角度γ，角度γ也即第一车辆在相机坐标系下的朝向角。其中，第一变换关系为相机坐标系与坐标系之间的变换关系，该第一变换关系也可以称为相机的内参，是基于小孔成像原理预先生成并配置于自车上的。第一射线为采集第一图像的相机的光心穿过第一车辆的3D质心点的射线。相机坐标系的原点为配置于自车上用于采集第一图像的相机。自车再根据角度γ和第二变换关系，生成第一车辆在自车的车体坐标系下的朝向角θ，第二变换关系指的是前述相机坐标系与前述车体坐标系之间的转换关系，该第二变换关系也可以称为相机的外参。

进一步地，相机坐标系和车体坐标系均为3D坐标系，相机坐标系的x轴可以为向右，相机坐标系的y轴可以为向下，相机坐标系的z轴可以为向前，相机坐标系的x轴和z轴可以构成与地平面平行的平面。车体坐标系的坐标系原点可以为自车的两个后车轮连线的中点，车体坐标系的坐标系原点也可以为自车的质心点，车体坐标系的x轴可以是向左，车体坐标系的y轴可以是向前，车体坐标系的z轴可以是向下，车体坐标系的x轴和y轴可以构成与地平面平行的平面。应理解，前述对于相机坐标系和车体坐标系的描述仅为方便理解本方案，在其他实施例中，也可以调整相机坐标系和/或车体坐标系的坐标系原点，或者调整相机坐标系的x轴、y轴和/或z轴的朝向等，此处均不做限定。

307、自车通过第一计算规则，根据第一点的坐标，生成第一车辆相对于自车的朝向角。

本申请的一些实施例中，自车在确定第一车辆与自车之间的距离未超过预设阈值，且自车在第一车辆中漏出侧面的情况下，可以通过第一计算规则，根据第一点的坐标，生成第一车辆相对于自车的朝向角。

具体的，在一种实现方式中，自车根据第一点的坐标和地平面假设原理，生成第一点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内。其中，车体坐标系和地平面假设原理的概念都已经在步骤306中进行了描述，此处不做赘述。自车根据第一点的三维坐标，生成朝向角。本申请实施例中，无论第一车辆在第一图像中是否为完整的图像，都可以得到准确的第一点的坐标，由于朝向角是基于第一点的坐标和地平面假设原理生成的，从而保证生成的朝向角的准确性。

更具体的，针对第一点的坐标的获取过程。在一种情况下，若第一车辆的漏出面的指示信息指示第一车辆在第一图像中仅漏出侧面，则可以生成两个第一点的坐标，或者，可以生成四个第一点的坐标，具体第一点的坐标的生成过程可以参阅步骤303中的描述。自车可以从前述两个第一点或者前述四个第一点中获取位于第一车辆的侧边线上的两个第一点，也即获取位于第一车辆的3D包络盒的底面的侧边上的两个第一点。在另一种情况下，若第一车辆在第一图像中漏出了侧面和主面，则可以生成三个第一点的坐标，或者，可以生成六个第一点的坐标，具体第一点的坐标的生成过程可以参阅步骤303中的描述。自车可以从前述三个第一点或者前述六个第一点的坐标中，获取位于第一车辆的侧边线上的两个第一点的坐标。

针对生成朝向角的过程。自车根据位于第一车辆的外包络盒的底面两个第一点的坐标和地平面假设原理，分别生成该两个第一点在车体坐标系下的三维坐标，进而根据该两个第一点在车体坐标系下的三维坐标，生成第一车辆相对于自车的朝向角。进一步地，自车在得到一个第一点在车体坐标系下的三维坐标和另一个第一点在车体坐标系下的三维坐标之后，若车体坐标系的x轴和y轴构成的为与地平面平行的平面，则自车可以根据第一车辆的车轮的三维坐标中x轴和y轴方向的值，以及，目标点的三维坐标中x轴和y轴方向的值，生成第一车辆相对于自车的朝向角θ。作为示例，例如一个第一点的三维坐标为(x₁，y₁,，z₁)，另一个第一点的三维坐标为(x₂，y₂，z₂)，则第一车辆相对于自车的朝向角

在另一种实现方式中，自车可以根据第一点的坐标、第一车辆的车轮的坐标和地平面假设原理，生成第一点在车体坐标系下的三维坐标和第一车辆的车轮在车体坐标系下的三维坐标，根据第一点在车体坐标系下的三维坐标和第一车辆的车轮在车体坐标系下的三维坐标，生成第一车辆相对于自车的朝向角。

更具体的，针对第一点的坐标的获取过程，在通过步骤303得到多个第一点的坐标之后，可以从中获取到位于第一车辆的侧边线上的两个第一点的坐标。进而自车可以从前述两个第一点的坐标中任选一个目标点的坐标，并根据目标点的坐标、车轮的坐标和地平面假设原理，生成目标点在车体坐标系下的三维坐标和车轮在车体坐标系下的三维坐标，进而执行朝向角的生成操作。自车也可以根据两个第一点的坐标、车轮的坐标和地平面假设原理，分别生成两个第一点在车体坐标系下的三维坐标和车轮在车体坐标系下的三维坐标，进而执行朝向角的生成操作。

需要说明的是，步骤307为可选步骤，若不执行步骤307，则在执行完步骤305之后，可以直接执行步骤308。

308、自车从至少两个第一点的坐标中获取第一车辆的3D外包络盒的顶点的坐标。

本申请的一些实施例中，在确定第一车辆与自车之间的距离未超过预设阈值，且自车在第一车辆中漏出侧面的情况下，自车在通过步骤303得到多个第一点的坐标之后，从多个第一点的坐标中选取第一车辆的3D外包络盒的顶点的坐标，以利用第一车辆的3D外包络盒的顶点的坐标来生成第一车辆的质心点的三维坐标。若多个第一点中不存在位于第一车辆的3D外包络盒的顶点，则可以不再执行步骤309，也即不再生成第一车辆的质心点的三维坐标。

具体的，针对一个第一点是否为3D外包络盒的顶点的判断过程。自车上可以预先设置有第一图像的U轴方向的第一取值范围，和，第一图像的V轴方向的第二取值范围。在得到一个第一点的坐标之后，判断第一点的坐标中U轴方向的取值是否在第一取值范围内，判断第一点的坐标中V轴方向的取值是否在第二取值范围内；若第一点的坐标中U轴方向的取值在第一取值范围内，且，第一点的坐标中V轴方向的取值在第二取值范围内，则确定第一点为3D外包络盒的顶点；若第一点的坐标中U轴方向的取值不在第一取值范围内，或者，第一点的坐标中V轴方向的取值在第二取值范围内，则确定第一点不是3D外包络盒的顶点。

309、自车根据第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成第一车辆的质心点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内。

本申请的一些实施例中，自车在从多个第一点的坐标中获取到第一车辆的3D外包络盒的顶点的坐标之后，根据地平面假设原理，生成第一车辆的3D外包络盒的顶点在车体坐标系下的三维坐标。进而根据第一车辆的3D外包络盒的顶点的三维坐标和第一车辆的预设尺寸，生成第一车辆的质心点在在车体坐标系下的三维坐标。本申请实施例中，根据第一点的坐标，不仅能够生成第一车辆的朝向角，还可以生成第一车辆的质心点在车体坐标系下的三维坐标，扩展了本方案的应用场景；此外，提高了生成的质心点的三维坐标的准确性。

具体的，在一种实现方式中，自车在从多个第一点的坐标中获取到一个第一顶点的坐标之后，可以根据第一顶点的坐标和地平面假设原理，生成第一顶点在车体坐标系下的三维坐标。其中，多个第一点中可以存在至少一个第一点位于第一车辆的3D外包络盒的顶点上，第一顶点为前述至少一个第一点中的任一个顶点。自车根据第一顶点的三维坐标，可以确定第一车辆的3D外包络盒在车体坐标系下的位置，进而生成第一车辆的质心点在车体坐标系下的三维坐标。

进一步地，自车可以先根据第一图像，生成第一车辆的初始3D外包络盒的顶点的三维坐标，在得到第一顶点的三维坐标之后，通过第一顶点的三维坐标对初始3D外包络盒的顶点的三维坐标进行校正，以得到第一车辆的最终3D外包络盒的顶点的三维坐标，进而根据第一车辆的最终3D外包络盒的顶点的三维坐标生成第一车辆的质心点在车体坐标系下的三维坐标。

在另一种实现方式中，若第一车辆在第一图像中漏出侧面和主面，多个第一点中包括位于第一车辆的3D外包络盒的底面的三个第一顶点，则自车也可以直接根据前述三个第一顶点的坐标和地平面假设原理，分别生成前述三个第一顶点在车体坐标系下的三维坐标，进而得到第一车辆的3D外包络盒的底面在车体坐标系下的位置，并生成第一车辆的质心点在车体坐标系下的三维坐标，本实现方式中质心点的三维坐标中的高可以不纳入考虑。

在另一种实现方式中，由于多个第一点中可以包括多个第一顶点，若第一车辆在第一图像中漏出侧面和主面，多个第一点中包括六个第一顶点，则自车也可以直接根据六个第一顶点的坐标和地平面假设原理，分别生成六个第一顶点在车体坐标系下的三维坐标，进而得到第一车辆的3D外包络盒在车体坐标系下的位置，并生成第一车辆的质心点在车体坐标系下的三维坐标。

需要说明的是，步骤308和309为可选步骤，若不执行步骤308和309，则在执行完步骤307之后，可以直接执行步骤310。若执行步骤308和309，则本申请实施例不限定步骤308和309与步骤307之间的执行顺序，可以为先执行步骤307，再执行步骤308和309，也可以先执行步骤308和309，再执行步骤307。

310、自车根据第一点的坐标和地平面假设原理，生成第一车辆的尺寸。

本申请的一些实施例中，在一种实现方式中，自车根据第一点的坐标和地平面假设原理，只生成第一车辆的长和/或宽。

具体的，自车在第三顶点的目标个数大于或等于二的情况下，根据第一车辆的3D包络盒的底面顶点的坐标和地平面假设原理，生成第一车辆的长和/或宽，第三顶点指的是第一车辆的3D外包络盒的底面顶点。

更具体的，自车在获取到多个第一点的坐标之后，可以从中获取位于第一车辆的3D包络盒的底面边上的至少一个第一点的坐标，根据前述至少一个第一点的坐标，分别判断前述至少一个第一点中每个第一点是否为3D外包络盒的底面顶点，以计算得到与第一图像中的第一车辆对应的该目标个数。为进一步理解本方案，结合图6进行举例，图6中示出了D1、D2、D3和D4这四个第一点，D1和D2为位于第一车辆的3D包络盒的底面边上的第一点，只有D2为第一车辆的3D外包络盒的底面顶点，应当理解，此处结合图6进行举例仅为方便理解3D外包络盒的顶点这一概念，不用于限定本方案。

自车根据第一车辆的漏出面的指示信息，判断第一车辆是否在第一图像中漏出主面，若漏出主面且该目标个数等于三，则根据三个自车的3D外包络盒的底面顶点的坐标和地平面假设原理，分别生成前述三个底面顶点在自车坐标系下的三维坐标，进而根据前述三个底面顶点的三维坐标，生成第一车辆的长和宽。

若漏出主面且该目标个数等于二，则根据二个自车的3D外包络盒的底面顶点的坐标和地平面假设原理，分别生成前述二个底面顶点在自车坐标系下的三维坐标，进而根据前述二个底面顶点的三维坐标，生成第一车辆的长或宽。

若未漏出主面仅漏出侧面且该目标个数等于二，则根据二个自车的3D外包络盒的底面顶点的坐标和地平面假设原理，分别生成前述二个底面顶点在自车坐标系下的三维坐标，进而根据前述二个底面顶点的三维坐标，生成第一车辆的长。

若目标个数等于一，无论第一车辆是否在第一图像中漏出主面，均进入步骤311，也即自车利用包括第一车辆的另一张图像生成第一车辆的长和/或宽。

若目标个数等于零，自车终止执行第一车辆的长和/或宽的生成步骤。

需要说明的是，本申请实施例中不限定上述目标个数的生成步骤和第一车辆是否漏出主面的判断步骤之间的执行顺序，可以先执行生成步骤，再执行判断步骤，也可以先执行判断步骤，再执行生成步骤。

在另一种实现方式中，自车根据第一点的坐标和地平面假设原理，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。

具体的，自车在获取到多个第一点的坐标之后，会判断多个第一点中位于第一车辆的3D包络盒的顶点上的第一顶点的数量是否大于一，若大于一，则自车根据第一顶点的坐标和地平面假设原理，生成第一顶点在车体坐标系下的三维坐标，并根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。若等于一，则进入步骤311，以利用包括第一车辆的另一张图像生成第一车辆的长、宽和/或高。若等于零，则自车终止执行第一车辆的尺寸的生成步骤。

本申请实施例中，根据第一点的坐标，还可以生成第一车辆的尺寸，进一步扩展了本方案的应用场景；此外，提高了生成的第一车辆的尺寸的准确性。

311、自车获取第二图像，第二图像中包括第一车辆，第二图像和第一图像的图像采集角度不同。

本申请的一些实施例中，自车在目标个数等于一的情况下，或者，在多个第一点中第一顶点的数量等于一的情况下，获取第二图像。自车获取第二图像的方式与步骤301中自车获取第一图像的方式类似，可以参阅步骤301中的描述。第二图像与第一图像的区别在于，第二图像与第一图像对第一车辆的图像采集角度不同。

312、自车根据第二图像，通过图像处理网络，得到至少两个第二点的坐标，至少两个第二点均位于第一车辆在第二图像中的3D外包络盒的边上。

本申请的一些实施例中，自车在获取到第二图像之后，将第二图像输入到图像处理网络中，得到图像处理网络输出的第四结果，第四结果与第一结果包括的信息类型相同，区别在于第一结果是将第一图像输入到图像处理网络中得到的，第四结果是将第二图像输入到图像处理网络中得到的。自车根据第四结果，生成第一车辆在第二图像中的3D外包络盒的位置信息，第一车辆在第二图像中的3D外包络盒的位置信息包括至少两个第二点的坐标。第二点与第一点的性质相同，区别在于第一点位于第一车辆在第一图像中的3D外包络盒的边上，第二点位于第一车辆在第二图像中的3D包络盒的边上。至少两个第二点中两个第二点定位第一车辆在第二图像中的3D外包络盒的边，至少两个第二点的坐标用于定位第一车辆在第二图像中的3D外包络盒。步骤312的具体实现方式可以参阅步骤302至303的描述，此处不做赘述。

313、自车根据第一点的坐标和第二点的坐标，生成第一车辆的尺寸。

本申请的一些实施例中，在一种实现方式中，自车根据第一点的坐标和第二点的坐标，生成第一车辆的长和/或宽。具体的，自车在得到第二点的坐标之后，从第二点中选取第四顶点，第四顶点为所述第一车辆的3D外包络盒的底面的另一个顶点。自车根据第四顶点的坐标和地平面假设原理，生成第四顶点在车体坐标系下的三维坐标，进而根据第三顶点的三维坐标和第四顶点的三维坐标，生成第一车辆的长和/或宽。

在另一种实现方式中，自车根据第一点的坐标和第二点的坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。具体的，自车在得到第二点的坐标之后，从第二点中选取第二顶点，第二顶点为所述第一车辆的3D外包络盒的另一个顶点。自车根据第二顶点的坐标和地平面假设原理，生成第二顶点在车体坐标系下的三维坐标，进而根据第一顶点的三维坐标和第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。本申请实施例中，在通过第一车辆的一个图像无法生成第一车辆的尺寸的情况下，利用第一车辆的另一个图像共同生成第一车辆的尺寸，保证了在各种情况下均能生成第一车辆的尺寸，提高了本方案的全面性。

需要说明的是，步骤310至313为可选步骤，若不执行步骤310至313，则在执行完步骤309之后，可以执行结束。若执行步骤310至313，则本申请实施例不限定步骤310至313与步骤308和309的执行顺序，可以先执行步骤308和309，再执行步骤310至313；也可以先执行步骤310至313，再执行步骤308和309。

314、自车根据第一车辆在第一图像中的漏出面的指示信息，判断第一车辆是否在第一图像中漏出侧面，若未漏出侧面，则进入步骤315；若漏出侧面，则进入步骤316。

315、自车根据2D包络框的中心点的坐标和小孔成像原理，生成第一车辆相对于自车的朝向角。

本申请实施例中，自车执行步骤314和315的具体方式可以参阅步骤305和306中的描述，此处不做赘述。本申请实施例中，在第一车辆仅漏出主面的情况下，无论第一车辆与自车之间的距离是否超过预设阈值，都能够生成第一车辆的朝向角，丰富了本方案的应用场景。

316、自车通过第二计算规则，根据第一点的坐标，生成第一车辆相对于自车的朝向角。

本申请的一些实施例中，自车在确定第一车辆与自车之间的距离超过预设阈值，且，第一车辆在第一图像中漏出侧面的情况下，可以通过第二计算规则，根据第一点的坐标，生成第一车辆相对于自车的朝向角。本申请实施例中，在得到第一点的坐标之后，还可以根据第一点的坐标，生成第一车辆相对于自车的朝向角，以提高得到的朝向角的准确度。针对第一车辆与自车之间的距离超过预设阈值，和，第一车辆与自车之间的距离未超过预设阈值这两种情况，分别采用不同的计算规则，生成第一车辆的朝向角，进一步提高生成的朝向角的准确度。

具体的，在一种实现方式中，步骤316可以包括：自车根据第一点的坐标，生成第一车辆的侧边线的位置信息，根据第一车辆的侧边线的位置信息和第一图像的消失线的位置信息，生成消失点的坐标，其中，前述消失点为第一车辆的侧边线与第一图像的消失线之间的交点。自车根据消失点的坐标和两点透视原理，生成朝向角。其中，两点透视原理也可以称为成角透视原理或余角透视原理，两点透视原理指的是第一图像中第一车辆的侧面和第一车辆的主面均与第一图像斜交，在第一图像中存在两个消失点，两个消失点在同一视平线上。第一图像的消失线的位置信息具体可以表现为第一图像的消失线的直线方程，第一图像的消失线的位置仅与采集第一图像的图像采集装置有关。

本申请实施例中，提供了当第一车辆与自车之间距离超过预设阈值，且第一车辆在第一图像中漏出侧面的情况下，生成第一车辆的朝向角的一种具体实现方式，操作简单，且效率较高。

更具体的，针对消失点的坐标的生成过程。自车通过步骤303可以得到两个、四个、三个或六个第一点的坐标，具体实现方式参阅步骤303中的描述。自车在获取到多个第一点的坐标之后，可以从中选取位于第一车辆的侧边线上的两个第一点的坐标，也即获取位于第一车辆的3D包络盒的底面的侧边上的两个第一点的坐标。自车根据前述两个第一点的坐标，生成第一车辆的侧边线的直线方程，自车中可以预先配置有第一图像的消失线的直线方程，根据第一车辆的侧边线的直线方程和消失线的直线方程，得到第一车辆的侧边线与第一图像的消失线之间的交点的坐标(也即得到消失点的坐标)。

针对朝向角的生成过程。自车在得到消失点的坐标之后，根据消失点的坐标和两点透视原理，生成第二射线在第一图像中的地平面上的投影与相机坐标系x轴之间夹角的角度δ，角度δ也即第一车辆在相机坐标系下的朝向角。其中，第二射线为采集第一图像的相机的光心穿过前述消失点的射线。自车再根据角度δ和第二变换关系，生成第一车辆在自车的车体坐标系下的朝向角θ，第二变换关系指的是相机坐标系与车体坐标系之间的转换关系，该第二变换关系也可以称为相机的外参。相机坐标系和车体坐标系的概念可以参阅前述步骤中的介绍。

在另一种实现方式中，步骤316可以包括：自车根据第一点的坐标、第一角度和小孔成像原理，生成第一角度和朝向角之间的映射关系；根据映射关系和第一角度，生成朝向角。其中，小孔成像原理的含义可以参阅前述步骤中的介绍。本申请实施例中，针对第一车辆与自车之间的距离超过预设阈值的情况，提供了求得朝向角的两种可实现方式，提高本方案实现灵活性。

具体的，自车在得到多个第一点的坐标之后，从中选取第一车辆的3D包络盒的一个顶点，若多个第一点中包括3D包络盒的多个顶点，则可以从多个顶点中任选一个顶点。对于从第一点中选取第一车辆的3D包络盒的顶点的具体实现方式可以参阅步骤308中的描述，此处不做赘述。自车根据第一车辆的3D包络盒的一个顶点的坐标、第一车辆的预设尺寸和小孔成像原理，可以生成第一角度和朝向角之间的映射关系，进而可以根据第一角度，求解出朝向角。

需要说明的是，图3示出的实施例中为先通过步骤304判断第一车辆与自车的距离是否超过预设阈值，再分别通过步骤305和步骤314判断第一车辆是否在第一图像中漏出侧面。在其他实施例中，也可以将是否超过预设阈值的判断步骤，和，第一车辆是否在第一图像中漏出侧面的判断步骤交换。也即通过步骤304判断第一车辆是否在第一图像中漏出侧面，若第一车辆在第一图像中未漏出侧面，则自车根据2D包络框的中心点的坐标和小孔成像原理，生成第一车辆相对于自车的朝向角。若第一车辆在第一图像中漏出侧面，再判断第一车辆与自车的距离是否超过预设阈值，若第一车辆与自车的距离未超过预设阈值，则执行上述步骤307至313中描述的内容；若第一车辆与自车的距离超过预设阈值，则执行步骤316中描述的内容。

本申请实施例中，将获取到的图像输入到图像处理网络中，图像处理网络输出的为车辆的二维包络框的位置信息、车轮的坐标和第一角度，根据二维包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，进而定位车辆的3D外包络盒，由于二维包络框的位置信息、车轮的坐标和第一角度这三种参数的准确度与图像中车辆是否完整无关，所以无论图像中的车辆是否完整，得到的第一点的坐标是准确的，从而定位出的3D外包络盒的准确率较高，也即提高了获取到的3D外包络盒的准确度；进一步地，也即能够更为准确的判断周围车辆行驶意图，进而提高自动驾驶车辆的行驶安全度。

二、训练阶段

本申请实施例中，训练阶段描述的是训练设备220如何训练得到成熟的图像处理系统的过程。请参阅图8，图8为本申请实施例提供的网络的训练方法的一种流程示意图，本申请实施例提供的图像的处理方法可以包括：

801、训练设备获取训练图像和训练图像的标注数据。

本申请实施例中，训练设备上预先配置有训练数据集合，训练数据集合中包括多个训练图像，以及，与每个训练图像对应的一组或多组标注数据。一个训练图像中包括一个或多个第二车辆，前述多组标注数据中每组标注数据对应该训练图像中的一个第二车辆。

在第二车辆在训练图像中仅漏出侧面的情况下，一组标注数据包括第二车辆的漏出面的标注指示信息、车轮的标注坐标和第二车辆的标注第一角度，第二车辆的第一角度指示侧边线与训练图像的第一轴线之间夹角的角度，第二车辆的侧边线为漏出的侧面在训练图像中的消失点与第二车辆的车轮之间的连线，训练图像的第一轴线与训练图像的一个边平行。可选地，标注数据中还可以包括第二车辆的2D包络框的标注位置信息。

在第二车辆在训练图像中漏出侧面和主面的情况下，一组标注数据包括第二车辆的漏出面的标注指示信息、第二车辆的车轮的标注坐标、第二车辆的标注第一角度、第二车辆的分界线的标注位置信息和第二车辆的标注第二角度，第二车辆的主面为第二车辆的前面或后面，分界线为侧面与主面之间的分界线，第二车辆的第二角度指示第二车辆的主边线与训练图像的第一轴线之间夹角的角度，第二车辆的主边线为第二车辆漏出的主面在训练图像中的消失点与第二车辆的目标点之间的连线，第二车辆的目标点为第二车辆的侧边线与第二车辆的分界线的交点。可选地，标注数据中还可以包括第二车辆的2D包络框的标注位置信息。

在第二车辆在训练图像中仅漏出主面的情况下，标注数据包括第二车辆的漏出面的标注指示信息和2D包络框的标注位置信息。

对于上述各种概念的含义和具体表现形式均已在图3对应的实施例中进行了介绍，此处不做赘述。

802、训练设备将训练图像输入图像处理网络中，得到图像输入网络输出的第三结果。

本申请实施例中，训练设备在得到训练图像之后，将训练图像输入图像处理网络中，得到图像输入网络输出的一组或多组第三结果，第三结果的数量与训练图像中第二车辆的数量一致，一组第三结果用于指示一个第二车辆的特征信息。

其中，在第二车辆在训练图像中仅漏出侧面的情况下，第三结果包括所述第二车辆的漏出面的生成指示信息、第二车辆的车轮的生成坐标和第二车辆的生成第一角度。可选地，第三结果中还可以包括第二车辆的2D包络框的生成位置信息。在第二车辆在训练图像中漏出侧面和主面的情况下，一组第三结果包括第二车辆的漏出面的生成指示信息、第二车辆的车轮的生成坐标、第二车辆的生成第一角度、第二车辆的分界线的生成位置信息和第二车辆的生成第二角度。可选地，第三结果中还可以包括第二车辆的2D包络框的生成位置信息。在第二车辆在训练图像中仅漏出主面的情况下，第三结果包括第二车辆的漏出面的生成指示信息和第二车辆的2D包络框的生成位置信息。

具体的，图像处理网络可以包括目标检测网络和三维特征提取网络，前述目标检测网络可以为一阶段目标检测网络、二阶段目标检测网络或其他类型的目标检测网络等。二阶段目标检测网络包括第一特征提取网络、区域生成网络(region proposal network，RPN)和第二特征提取网络。其中，第一特征提取网络用于对训练图像执行卷积操作，以得到训练图像的特征图，将训练图像的特征图输入到RPN中。RPN根据训练图像的特征图，输出一个或多个2D包络框的位置信息。第一特征提取网络还用于根据RPN输出的2D包络框的位置信息，从训练图像的特征图中扣出第一特征图，第一特征图为训练图像的特征图中位于RPN输出的2D包络框内的特征图；第一特征提取网络还用于生成与每个第一特征图对应的类别，也即生成与每个2D包络框对应的类别，前述类别包括但不限于车辆、路灯、路障、路标、护栏和行人等。第二特征提取网络用于根据第一特征图再进行卷积，以得到一个更为精准的2D包络框的位置信息。第二特征提取网络还用于从训练图像的特征图中扣出第二特征图，第二特征图为训练图像的特征图中位于第二特征提取网络输出的2D包络框内的特征图；第二特征提取网络还用于生成与每个第二特征图对应的类别，也即生成与每个更精准的2D包络框对应的类别。

在一种实现方式中，图像处理网络包括二阶段目标检测网络和三维特征提取网络。步骤802可以包括：训练设备将训练图像输入二阶段目标检测网络中，得到二阶段目标检测网络中的RPN输出的第二车辆的2D包络框的位置信息；训练设备通过第一特征提取网络从训练图像的特征图中扣出第一特征图，第一特征图为训练图像的特征图中位于RPN输出的2D包络框内的特征图；训练设备将第一特征图输入三维特征提取网络，得到三维特征提取网络输出的第三结果。本申请实施例中，由于RPN直接输出的2D包络框的准确度较低，也即基于RPN直接输出的2D包络框得到的第一特征图的精度较低，有利于提高训练阶段的难度，进而提高训练后图像处理网络的鲁棒性。

为进一步理解本方案，请参阅图9，图9为本申请实施例提供的网络的训练方法的一种流程示意图。如图9所示，图像处理网络中包络第一特征提取网络、RPN、第二特征提取网络和三维特征提取网络，在训练过程中，根据RPN输出的2D包络框的位置信息，从训练图像的特征图中扣出的第一特征图，并生成与第一特征图对应的类别，也即根据第一特征图，生成与RPN输出的2D包络框的位置信息对应的类别，将第一特征图和与RPN输出的2D包括框对应的类别输入到三维特征提取网络中，由三维特征提取网络根据第一特征图和类别，生成三维特征信息，不再利用第二特征提取网络对RPN输出的2D包络框的位置信息进行二次校正，从而提高了训练过程的难度，应理解，图9中的示例仅为方便理解本方案，在实际产品中，三维特征提取网络还可以输出更少或更多种类的三维特征信息，此处不做限定。

在另一种实现方式中，步骤802可以包括：训练设备将训练图像输入目标检测网络中，得到整个目标检测网络输出的第二特征图，将第二特征图输出到三维特征提取网络中，得到三维特征提取网络输出的第三结果。

为进一步理解本方案，请参阅图10，图10为本申请实施例提供的网络的训练方法的一种流程示意图。图像处理网络中包络第一特征提取网络、RPN、第二特征提取网络和三维特征提取网络，在训练过程中，第二特征提取网络会根据第一特征图进行再卷积，以得到更为精确的2D包络框的位置信息，并根据更为精确的2D包络框的位置信息，从训练图像的特征图中扣出第二特征图，生成与第二特征图对应的类别，也即根据第二特征图，生成与第二特征提取网络输出的2D包络框的位置信息对应的类别2，由三维特征提取网络根据第二特征图和第二特征提取网络输出的类别2，生成三维特征信息，应理解，图10中的示例仅为方便理解本方案，不用于限定本方案。

803、训练设备根据标注数据和第三结果，利用损失函数对图像处理网络进行训练，直至满足损失函数的收敛条件，输出训练后的图像处理网络。

本申请实施例中，训练设备获取到标注数据和第三结果之后，可以利用损失函数对图像处理网络进行一次训练，训练设置利用训练数据集合中的多个训练图像和每个训练图像的标注数据对图像处理网络进行迭代训练，直至满足损失函数的收敛条件。其中，损失函数具体可以为L1损失函数、交叉熵损失函数和/或其他类型的损失函数等。

在第二车辆在训练图像中仅漏出侧面的情况下，损失函数用于拉近漏出面的生成指示信息和漏出面的标注指示信息之间的相似度，且拉近车轮的生成坐标与车轮的标注坐标之间的相似度，且拉近生成第一角度和标注第一角度之间的相似度。可选地，损失函数还用于拉近2D包络框的生成位置信息和2D包络框的标注位置信息之间的相似度。

在第二车辆在训练图像中漏出侧面和主面的情况下，除了上述作用外，损失函数还用于拉近分界线的生成位置信息和分界线的标注位置信息之间的相似度，且拉近生成第二角度与标注第二角度之间的相似度。

在第二车辆在训练图像中仅漏出主面的情况下，损失函数用于拉近漏出面的生成指示信息和漏出面的标注指示信息之间的相似度，且拉近2D包络框的生成位置信息和2D包络框的标注位置信息之间的相似度。

具体的，由于标注数据和第三结果中可以包括多种类型的信息，不同类型的信息可以采用相同类型的损失函数，也可以采用不同类型的损失函数。在一次训练的过程中，训练设备可以逐个获取到每个类型的信息的损失函数值，进而求和，以得到最终的损失函数值。训练设备在逐个获取到每个类型的信息的损失函数值之后，也可以进行加权求和，以得到最终的损失函数值。根据最终的损失函数值，生成梯度值，并利用该梯度值，梯度更新图像处理网络的参数，以完成了对图像处理网络的一次训练。

为进一步理解本方案，以下对与各种类型的信息对应的损失函数的具体公式进行展示，以与漏出面的指示信息对应的损失函数采用L1损失函数为例，公式可以如下：

其中，L_{side_visi}代表与漏出面的指示信息对应的损失函数，代表RPN输出的第i个2D包络框是否与第k类的第j个标注的2D包络框匹配，若/>取1，则证明匹配成功，若/>取0，则证明匹配失败，由于训练图像中可以不仅包括车辆，还可以包括路灯、路障、路标、护栏、行人或其他种类等，第k类指的是车辆；m∈{front,back,left,right}分别代表第二车辆的前面、后面、左面和右面，/>代表针对第j个标注的2D包络框中的第二车辆的m面是否漏出的标注指示信息，如果/>的值取1，则指示第二车辆在训练图像中漏出了m面，如果的值取0，则指示第二车辆在训练图像中没有漏出了m面，/>代表图像处理网络针对RPN输出的第i个2D包络框中的第二车辆的m面是否漏出的生成指示信息，如果/>的值取1，则代表图像处理网络预测第二车辆在训练图像中漏出了m面，如果/>的值取0，则代表图像处理网络预测第二车辆在训练图像中没有漏出了m面。

对于RPN输出的第i个2D包络框，训练设备会计算第i个2D包络框与第k类中每个标注的2D包络框之间的交并比(Intersection over Union，IOU)，训练设备上预设一个交并比的阈值，若生成的交并比大于前述阈值，则取1，若小于或等于前述阈值，则/>取0，作为示例，例如交并比的阈值可以取0.5。

以与车轮的坐标对应的损失函数采用L1损失函数为例，公式可以如下：

其中，L_wheel代表与车轮的坐标对应的损失函数，代表/>和代表/>和/> 代表图像处理网络针对RPN输出的第i个2D包络框中的第二车辆的车轮点生成的x坐标(也可以称为u坐标)，/>代表图像处理网络针对RPN输出的第i个2D包络框中的第二车辆的车轮点生成的y坐标(也可以称为v坐标)，代表针对第j个标注的2D包络框第二车辆的车轮点标注的x坐标，/>代表图像处理网络针对RPN输出的第i个2D包络框生成的中心点的x坐标，/>代表针对第j个标注的2D包络框中第二车辆的车轮点标注的y坐标，/>代表图像处理网络针对RPN输出的第i个2D包络框生成的中心点的y坐标。

以与分界线的位置信息对应的损失函数采用L1损失函数为例，公式可以如下：

其中，L_boundary代表与分界线的位置信息对应的损失函数，代表表图像处理网络针对RPN输出的第i个2D包络框中的第二车辆的分界线的生成位置信息，/>代表针对第j个标注的2D包络框第二车辆的分界线标注的x坐标，/>代表图像处理网络针对RPN输出的第i个2D包络框生成的中心点的x坐标。

对于与2D包络框的位置信息对应的损失函数，常用的损失函数为L1损失函数，训练设备可以计算第i个2D包络框的生成中心点坐标与第j个标注的2D包络框的标注中心点坐标之间的偏差，计算第i个2D包络框的生成的长宽与第j个标注的2D包络框的标注的长宽之间比值的log值。可选地，若图像处理网络还输出每个2D包络框的类别，与2D包络框的类别对应的损失函数可以为交叉熵损失函数。

以与第一角度和第二角度对应的损失函数采用L1损失函数为例，公式可以如下：

其中，L_degree代表与第一角度和第二角度对应的损失函数，alpha代表第一角度，beta代表第二角度，训练设备将360度角分为bin个区间，每个区间中所占的角度数为delta，代表图像处理网络针对RPN输出的第i个2D包络框中的第二车辆生成的m1是否在区间w内，/>的值取1，则代表生成的m1在区间w内，如果/>的值取0，则代表生成的m1不在区间w内，/>代表第j个标注的2D包络框中的第二车辆的标注的m1是否在区间w内，的值取1，则代表标注的m1在区间w内，如果/>的值取0，则代表标注的m1不在区间w内，/>生成的m1相对于区间w的区间中段的角度偏移量，/>代表标注的m1相对于区间w的区间中段的角度偏移量，/>代表标注的m1。

需要说明的是，式(1)至式(4)中的举例仅为方便理解本方案，不用于限定本方案。

训练设备在利用训练数据集合中的多个训练图像，对图像处理网络进行迭代训练，直至满足损失函数的收敛条件，训练设备会输出训练后的图像处理网络。其中，前述收敛条件指的可以为满足损失函数的收敛条件，也可以为迭代次数达到预设次数，或其他类型的收敛条件等。输出的图像处理网络包括目标检测网络和三维特征提取网络，在前述目标检测网络为二阶段目标检测网络的情况下，无论训练设备在步骤802中采用的是与图9对应的实现方式，还是采用与图10对应的实现方式，输出的图像处理网络均为包括第一特征提取网络、RPN、第二特征提取网络和三维特征提取网络。

本申请实施例中，将获取到的图像输入到图像处理网络中，图像处理网络输出的为车辆的二维包络框的位置信息、车轮的坐标和第一角度，第一角度指的是车辆的侧边线与第一轴线之间的夹角，由于二维包络框的位置信息、车轮的坐标和第一角度这三种参数的准确度与图像中车辆是否完整无关，所以无论图像中的车辆是否完整，训练后的图像处理网络都能够输出准确的信息，有利于提高图像处理网络的稳定性；此外，二维包络框的位置信息、车轮的坐标和第一角度的标注规则简单，相对于目前利用激光雷达进行训练数据标注的方式，大大降低了训练数据标注过程的难度。

本申请实施例还提供一种图像处理的方法，前述方法应用于推理阶段，请参阅图11，图11为本申请实施例提供的图像的处理方法的一种流程示意图，本申请实施例提供的图像的处理方法可以包括：

1101、自车获取第三图像，第三图像中包括第一刚体，第一刚体为立方体。

本申请实施例中，自车执行步骤1101的具体实现方式与图3对应实施例中步骤301的具体实现方式类似，此处不做赘述。区别在于第一图像中一定会包括的对象为第一车辆，第三图像中一定会包括的对象为第一刚体，第一刚体的形状为立方体，该第一刚体具体可以表现为一个物体整体，也可以表现为一个物体的一部分，作为示例，例如物体整体为道路中间的护栏，则第一刚体指的可以为护栏底部的方体部分。

1102、自车将第三图像输入图像处理网络中，得到图像处理网络输出的第二结果。

本申请实施例中，在第一刚体在第三图像中漏出侧面的情况下，每组第二结果中可以包括第一刚体的二维2D包络框的位置信息和第一角度。在第一刚体在第一图像中仅漏出主面且未漏出侧面的情况下，每组第二结果中可以包括第一刚体的2D包络框的位置信息，前述主面指的是前面或后面。可选地，在第一刚体在第一图像中漏出主面和侧面的情况下，第二结果中还可以包括第一刚体的分界线的位置信息和第一刚体的第二角度。进一步可选地，第二结果还可以包括第一刚体在第一图像中的漏出面的指示信息。

自车执行步骤1102的具体实现方式与图3对应实施例中步骤302的具体实现方式类似，图11对应实施例中第二结果的含义与图3对应实施例中第二结果的含义类似。区别在于，第一，第一结果包括的各种信息均为用于描述第一车辆的特征，第二结果包括的各种信息均为描述第一刚体的特征。第二，由于第一刚体是立方体，不像第一车辆一样存在车轮凸起，第二结果中不存在车轮的坐标这类信息。对应的，在第一刚体在第三图像中只漏出主面或者只漏出侧面的情况下，也即第二结果中不包括分界线的位置信息，第二结果中还可以包括2D包络框的左下角顶点的坐标和/或右下角顶点的坐标，以替代图3对应实施例中第一结果中的车轮的坐标；在第一刚体在第三图像中漏出主面和侧面的情况下，也即第二结果中包括第一刚体的分界线的位置信息，第二结果中还可以包括一下中的一项或多项：第一刚体的分界线与第一刚体的2D包络框的底边的交点的坐标、第一刚体的2D包络框的左下角顶点的坐标和右下角顶点的坐标，以替换图3对应实施例中第一结果中车轮的坐标。对于第二结果中包括的每种信息的具体含义，均可以参阅图3对应实施例中的描述，此处不做赘述。

1103、自车根据第二结果，生成第一刚体的三维3D外包络盒的位置信息。

本申请实施例中，在第一刚体在第三图像中只漏出主面或者只漏出侧面的情况下，若第二结果中不包括第一刚体的2D包络框的左下角顶点的坐标和/或右下角顶点的坐标，自车也可以根据第一刚体的2D包络框的位置信息，生成第一刚体的2D包络框的左下角顶点的坐标和/或右下角顶点的坐标，以替代图3对应实施例中第一结果中的车轮的坐标。在第一刚体在第三图像中漏出主面和侧面的情况下，也即第二结果中包括第一刚体的分界线的位置信息，自车可以根据第一刚体的2D包络框的位置信息和第一刚体的分界线的位置信息生成以下中的一项或多项：第一刚体的分界线与第一刚体的2D包络框的底边的交点的坐标、第一刚体的2D包络框的左下角顶点的坐标和右下角顶点的坐标，以替代图3对应实施例中第一结果中的车轮的坐标。

1104、自车判断第一刚体与自车的距离是否超过预设阈值，若未超过预设阈值，则进入步骤1105；若超过预设阈值，则进入步骤1114。

1105、自车根据第一刚体在第三图像中的漏出面的指示信息，判断第一刚体是否在第三图像中漏出侧面，若未漏出侧面，则进入步骤1106；若漏出侧面，则进入步骤1107。

1106、自车根据第一刚体的2D包络框的中心点的坐标和小孔成像原理，生成第一刚体相对于自车的朝向角。

1107、自车通过第一计算规则，根据第三点的坐标，生成第一刚体相对于自车的朝向角。

1108、自车从至少两个第三点的坐标中获取第一刚体的3D外包络盒的顶点的坐标。

1109、自车根据第一刚体的3D外包络盒的顶点的坐标和地平面假设原理，生成第一刚体的质心点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内。

1110、自车根据第三点的坐标和地平面假设原理，生成第一刚体的尺寸。

1111、自车获取第四图像，第四图像中包括第一刚体，第四图像和第三图像的图像采集角度不同。

1112、自车根据第四图像，通过图像处理网络，得到至少两个第四点的坐标，至少两个第四点均位于第一刚体的3D外包络盒的边上。

1113、自车根据第三点的坐标和第四点的坐标，生成第一刚体的尺寸。

1114、自车根据第一刚体在第三图像中的漏出面的指示信息，判断第一刚体是否在第三图像中漏出侧面，若未漏出侧面，则进入步骤1116；若漏出侧面，则进入步骤1117。

1115、自车根据第一刚体的2D包络框的中心点的坐标和小孔成像原理，生成第一刚体相对于自车的朝向角。

1116、自车通过第二计算规则，根据第三点的坐标，生成第一刚体相对于自车的朝向角。

本申请实施例中，自车执行步骤1103至1116的具体方式与图3对应实施例中步骤303至316的具体实现方式类似，均可以参阅图3对应实施例中步骤303和316中的描述，此处不做赘述。

本申请实施例中，不仅可以对车辆的3D包络盒进行定位，还可以对一般刚体的3D包络盒进行定位，大大扩展了本方案的应用场景。

为更为直观的体现本申请实施例带来的有益效果，请参阅图12，图12为本申请实施例提供的图像处理方法中3D包络盒的一种示意图。图12包括(a)和(b)两个子示意图，图12的(a)子示意图中是采用目前业界的方案定位到的车辆的3D包络盒，图12的(b)子示意图是采用本申请实施例提供的方案定位到的3D包络盒的一个侧面，很明显，采用本申请实施例中的方案定位到的3D包络盒更为准确。

此外，采用本申请实施例提供的方案可以求得更为准确的3D特征信息，以下结合数据对本申请实施例所带来的有益效果作进一步的介绍，针对图像中不包括完整的车辆这种情况，采用目前业界的方案生成的朝向角的误差在22.5度，采用本申请实施例提供的方案生成的朝向角的误差在6.7度，性能提升了约70％；采用目前业界的方案生成的质心点位置的出错率在18.4％，采用本申请实施例提供的方案生成的质心点位置的出错率在6.2％，性能提升了约66％。

在图1至图12所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图13，图13为本申请实施例提供的图像处理装置的一种结构示意图。图像处理装置1300包括可以包括获取模块1301、输入模块1302和生成模块1303。其中，获取模块1301，用于获取第一图像，第一图像中包括第一车辆；输入模块1302，用于将第一图像输入图像处理网络中，得到图像处理网络输出的第一结果，在第一车辆在第一图像中漏出侧面的情况下，第一结果包括第一车辆的二维2D包络框的位置信息、第一车辆的车轮的坐标和第一车辆的第一角度，第一车辆的第一角度指示第一车辆的侧边线与第一图像的第一轴线之间夹角的角度，第一车辆的侧边线为第一车辆漏出的侧面与第一车辆所在地平面之间的交线，第一图像的第一轴线与第一图像的一个边平行；生成模块1303，用于根据第一车辆的2D包络框的位置信息、车轮的坐标和第一角度，生成第一车辆的三维3D外包络盒的位置信息，第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，至少两个第一点均位于第一车辆的3D外包络盒的边上，至少两个第一点中两个第一点定位第一车辆的3D外包络盒的边，至少两个第一点的坐标用于定位第一车辆的3D外包络盒。

在一种可能的设计中，在第一车辆在第一图像中仅漏出侧面的情况下，至少两个第一点包括第一车辆的侧边线与第一车辆的2D包络框的两个交点。

在一种可能的设计中，生成模块1303，具体用于：根据第一车辆的车轮的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息；根据第一车辆的侧边线的位置信息和第一车辆的2D包络框的位置信息，执行坐标生成操作，以得到至少两个第一点的坐标。

在一种可能的设计中，在第一车辆在第一图像中漏出侧面和主面的情况下，第一结果中还包括第一车辆的分界线的位置信息和第一车辆的第二角度，分界线为侧面与主面之间的分界线，第一车辆的主面为第一车辆的前面或后面，第一车辆的第二角度指示第一车辆的主边线与第一图像的第一轴线之间夹角的角度，第一车辆的主边线为第一车辆漏出的主面与第一车辆所在的地平面之间的交线；至少两个第一点包括第一交点、第二交点和第三交点，第一交点为第一车辆的侧边线与第一车辆的分界线的交点，第一交点为第一车辆的3D外包络盒的一个顶点，第二交点为第一车辆的侧边线与第一车辆的2D包络框的交点，第三交点为第一车辆的主边线与第一车辆的2D包络框的交点。

在一种可能的设计中，生成模块1303，具体用于：根据第一车辆的车轮的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息；根据第一车辆的侧边线的位置信息和第一车辆的分界线的位置信息，生成第一交点的坐标；根据第一车辆的侧边线的位置信息和第一车辆的2D包络框的位置信息，生成第二交点的坐标；根据第一交点的坐标和第一车辆的第二角度，生成第一车辆的主边线的位置信息；根据第一车辆的主边线的位置信息和第一车辆的2D包络框的位置信息，生成第三交点的坐标。

在一种可能的设计中，生成模块1303，还用于在第一车辆在第一图像中漏出侧面的情况下，根据第一点的坐标，生成第一车辆相对于自车的朝向角。

在一种可能的设计中，生成模块1303，还用于根据第一点的坐标和地平面假设原理，生成第一点与自车之间的距离；生成模块1303，具体用于：在根据第一点与自车之间的距离确定第一车辆与自车之间的距离未超过预设阈值的情况下，通过第一计算规则，根据第一点的坐标，生成朝向角；在根据第一点与自车之间的距离确定第一车辆与自车之间的距离超过预设阈值的情况下，通过第二计算规则，根据第一点的坐标，生成朝向角，第二计算规则和第一计算规则为不同的计算规则。

在一种可能的设计中，当至少两个第一点中任一个第一点与自车之间的距离未超过预设阈值时，视为第一车辆与自车之间的距离未超过预设阈值；或者，当至少两个第一点中任一个第一点与自车之间的距离超过预设阈值时，视为第一车辆与自车之间的距离超过预设阈值。

在一种可能的设计中，生成模块1303，具体用于：根据第一点的坐标和地平面假设原理，生成第一点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内；根据第一点的三维坐标，生成朝向角。

在一种可能的设计中，生成模块1303，具体用于：根据第一点的坐标和第一车辆的第一角度，生成第一车辆的侧边线的位置信息，根据第一车辆的侧边线的位置信息和第一图像的消失线的位置信息，生成消失点的坐标，消失点为第一车辆的侧边线与第一图像的消失线之间的交点；根据消失点的坐标和两点透视原理，生成朝向角。

在一种可能的设计中，生成模块1303，具体用于：根据第一点的坐标、第一车辆的第一角度和小孔成像原理，生成第一车辆的第一角度和朝向角之间的映射关系；根据映射关系和第一车辆的第一角度，生成朝向角。

在一种可能的设计中，获取模块1301，还用于从至少两个第一点的坐标中获取第一车辆的3D外包络盒的顶点的坐标；生成模块1303，还用于根据第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成第一车辆的质心点在车体坐标系下的三维坐标，车体坐标系的坐标系原点位于自车内。

在一种可能的设计中，获取模块1301，还用于从至少两个第一点的坐标中获取第一顶点的坐标，第一顶点为第一车辆的3D外包络盒的一个顶点；生成模块1303，还用于根据第一顶点的坐标和地平面假设原理，生成第一顶点在车体坐标系下的三维坐标；生成模块1303，还用于若至少两个第一点中包括至少两个第一顶点，根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高，车体坐标系的坐标系原点位于自车内。

在一种可能的设计中，获取模块1301，还用于若至少两个第一点中包括一个第一顶点，获取第二图像，第二图像中包括第一车辆，第二图像和第一图像的图像采集角度不同；生成模块1303，还用于根据第二图像，通过图像处理网络，得到至少两个第二点的坐标，至少两个第二点均位于第一车辆的三维3D外包络盒的边上，至少两个第二点中两个第二点定位第一车辆的3D外包络盒的边，至少两个第二点的坐标用于定位第一车辆的3D外包络盒；生成模块1303，还用于根据第二点的坐标和地平面假设原理，生成第二顶点在车体坐标系下的三维坐标，第二顶点为第一车辆的3D外包络盒的一个顶点，第二顶点与第一顶点为不同的顶点；生成模块1303，还用于根据第一顶点的三维坐标和第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。

需要说明的是，图像处理装置1300中各模块/单元之间的信息交互、执行过程以及所带来的有益效果等内容，与本申请中图3至图7对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种图像处理装置，具体参阅图14，图14为本申请实施例提供的图像处理装置的一种结构示意图。图像处理装置1400包括可以包括获取模块1401、输入模块1402和生成模块1403。其中，获取模块1401，用于获取第三图像，第三图像中包括第一刚体，第一刚体为立方体；输入模块1402，用于将第三图像输入图像处理网络中，得到图像处理网络输出的第二结果，在第一刚体在第三图像中漏出侧面的情况下，第二结果包括第一刚体的2D包络框的位置信息和第一刚体的第一角度，第一刚体的第一角度指示第一刚体的侧边线与第三图像的第一轴线之间夹角的角度，第一刚体的侧边线为第一刚体漏出的侧面与第一刚体所在平面之间的交线，第三图像的第一轴线与第三图像的一个边平行；生成模块1403，用于根据第一刚体的2D包络框的位置信息和第一角度，生成第一刚体的三维3D外包络盒的位置信息，第一刚体的3D外包络盒的位置信息包括至少两个第三点的坐标，至少两个第三点均位于第一刚体的3D外包络盒的边上，至少两个第三点中两个第三点定位第一刚体的3D外包络盒的边，至少两个第三点的坐标用于定位第一刚体的3D外包络盒。

在一种可能的设计中，在第一刚体在第三图像中仅漏出侧面的情况下，至少两个第三点中包括第一刚体的侧边线与第一刚体的2D包络框的两个交点。

在一种可能的设计中，在第一刚体在第三图像中漏出侧面和主面的情况下，第一结果中还包括第一刚体的分界线的位置信息和第一刚体的第二角度，分界线为侧面与主面之间的分界线，第一刚体的主面为第一刚体的前面或后面，第一刚体的第二角度指示第一刚体的主边线与第三图像的第一轴线之间夹角的角度，第一刚体的主边线为第一刚体漏出的主面与第一刚体所在的地平面之间的交线；至少两个第三点包括第一交点、第二交点和第三交点，第一交点为第一刚体的侧边线与第一刚体的分界线的交点，第一交点为第一刚体的3D外包络盒的一个顶点，第二交点为第一刚体的侧边线与第一刚体的2D包络框的交点，第三交点为第一刚体的主边线与第一刚体的2D包络框的交点。

在一种可能的设计中，生成模块1403，还用于根据至少两个第三点的坐标，生成第一刚体的三维特征信息，第一刚体的三维特征信息包括以下中的一项或多项：第一刚体相当于自车的朝向角、第一刚体的质心点的位置信息和第一刚体的尺寸。

需要说明的是，图像处理装置1400中各模块/单元之间的信息交互、执行过程以及所带来的有益效果等内容，与本申请中图11对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种网络训练装置，具体参阅图15，图15为本申请实施例提供的网络训练装置的一种结构示意图。网络训练装置1500包括可以包括获取模块1501、输入模块1502和训练模块1503。其中，获取模块1501，用于获取训练图像和训练图像的标注数据，训练图像中包括第二车辆，在第二车辆在训练图像中漏出侧面的情况下，标注数据包括第二车辆的车轮的标注坐标和第二车辆的标注第一角度，第二车辆的第一角度指示第二车辆的侧边线与训练图像的第一轴线之间夹角的角度，第二车辆的侧边线为第二车辆漏出的侧面与第二车辆所在地平面之间的交线，训练图像的第一轴线与训练图像的一个边平行；输入模块1502，用于将训练图像输入图像处理网络中，得到图像输入网络输出的第三结果，第三结果包括第二车辆的车轮的生成坐标和第二车辆的生成第一角度；训练模块1503，用于根据标注数据和第三结果，利用损失函数对图像处理网络进行训练，直至满足损失函数的收敛条件，输出训练后的图像处理网络，损失函数用于拉近生成坐标与标注坐标之间的相似度，且拉近生成第一角度和标注第一角度之间的相似度。

在一种可能的设计中，在第二车辆在训练图像中漏出侧面和主面的情况下，标注数据还包括第二车辆的分界线的标注位置信息和第二车辆的标注第二角度，第三结果还包括第二车辆的分界线的生成位置信息和第二车辆的生成第二角度，损失函数还用于拉近生成位置信息和标注位置信息之间的相似度，且拉近生成第二角度与标注第二角度之间的相似度；

其中，第二车辆的主面为第二车辆的前面或后面，分界线为侧面与主面之间的分界线，第二车辆的第二角度指示第二车辆的主边线与训练图像的第一轴线之间夹角的角度，第二车辆的主边线为第二车辆漏出的主面与第二车辆所在的地平面之间的交线。

在一种可能的设计中，图像处理网络包括二阶段目标检测网络和三维特征提取网络，二阶段目标检测网络包括区域生成网络RPN。输入模块1502，具体用于：将训练图像输入二阶段目标检测网络中，得到二阶段目标检测网络中的RPN输出的第二车辆的2D包络框的位置信息；将第一特征图输入三维特征提取网络，得到三维特征提取网络输出的第三结果，第一特征图为训练图像的特征图中位于RPN输出的2D包络框内的特征图；训练模块1503，具体用于输出包括二阶段目标检测网络和三维特征提取网络的图像处理网络。

需要说明的是，网络训练装置1500中各模块/单元之间的信息交互、执行过程以及所带来的有益效果等内容，与本申请中图8至图10对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了一种执行设备，请参阅图16，图16为本申请实施例提供的执行设备的一种结构示意图，执行设备1600具体可以表现为自动驾驶车辆、自动驾驶车辆中的处理芯片或其他产品形态等。其中，执行设备1600上可以部署有图13对应实施例中所描述的图像处理装置1300，用于实现图3至图7对应实施例中自车的功能。或者，执行设备1600上可以部署有图14对应实施例中所描述的图像处理装置1400，用于实现图11对应实施例中自车的功能。执行设备1600包括：接收器1601、发射器1602、处理器1603和存储器1604(其中执行设备1600中的处理器1603的数量可以一个或多个，图16中以一个处理器为例)，其中，处理器1603可以包括应用处理器16031和通信处理器16032。在本申请实施例的一些实施例中，接收器1601、发射器1602、处理器1603和存储器1604可通过总线或其它方式连接。

存储器1604可以包括只读存储器和随机存取存储器，并向处理器1603提供指令和数据。存储器1604的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1604存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器1603控制数据生成装置的操作。具体的应用中，数据生成装置的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器1603中，或者由处理器1603实现。处理器1603可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1603中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1603可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1603可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1604，处理器1603读取存储器1604中的信息，结合其硬件完成上述方法的步骤。

接收器1601可用于接收输入的数字或字符信息，以及产生与数据生成装置的相关设置以及功能控制有关的信号输入。发射器1602可用于通过第一接口输出数字或字符信息，发射器1602还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据，发射器1602还可以包括显示屏等显示设备。

若执行设备具体表现为自动驾驶车辆，则请参阅图17，图17为本申请实施例提供的自动驾驶车辆的一种结构示意图，通过图17对自动驾驶车辆的系统做进一步描述。自动驾驶车辆配置为完全或部分地自动驾驶模式，例如，自动驾驶车辆可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制自动驾驶车辆。在自动驾驶车辆处于自动驾驶模式中时，也可以将自动驾驶车辆置为在没有和人交互的情况下操作。

自动驾驶车辆可包括各种子系统，例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地，自动驾驶车辆可包括更多或更少的子系统，并且每个子系统可包括多个部件。另外，自动驾驶车辆的每个子系统和部件可以通过有线或者无线互连。

行进系统102可包括为自动驾驶车辆提供动力运动的组件。在一个实施例中，行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。

其中，引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如，汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为自动驾驶车辆的其他系统提供能量。传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置120还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。

传感器系统104可包括感测关于自动驾驶车辆周边的环境的信息的若干个传感器。例如，传感器系统104可包括定位系统122(定位系统可以是全球定位GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)124、雷达126、激光测距仪128以及相机130。传感器系统104还可包括被监视自动驾驶车辆的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主自动驾驶车辆的安全操作的关键功能。

其中，定位系统122可用于估计自动驾驶车辆的地理位置。IMU 124用于基于惯性加速度来感知自动驾驶车辆的位置和朝向变化。在一个实施例中，IMU 124可以是加速度计和陀螺仪的组合。雷达126可利用无线电信号来感知自动驾驶车辆的周边环境内的物体，具体可以表现为毫米波雷达或激光雷达。在一些实施例中，除了感知物体以外，雷达126还可用于感知物体的速度和/或前进方向。激光测距仪128可利用激光来感知自动驾驶车辆所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机130可用于捕捉自动驾驶车辆的周边环境的多个图像。相机130可以是静态相机或视频相机。

控制系统106为控制自动驾驶车辆及其组件的操作。控制系统106可包括各种部件，其中包括转向系统132、油门134、制动单元136、计算机视觉系统140、线路控制系统142以及障碍避免系统144。

其中，转向系统132可操作来调整自动驾驶车辆的前进方向。例如在一个实施例中可以为方向盘系统。油门134用于控制引擎118的操作速度并进而控制自动驾驶车辆的速度。制动单元136用于控制自动驾驶车辆减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中，制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制自动驾驶车辆的速度。计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别自动驾驶车辆周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍体。计算机视觉系统140可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。线路控制系统142用于确定自动驾驶车辆的行驶路线以及行驶速度。在一些实施例中，线路控制系统142可以包括横向规划模块1421和纵向规划模块1422，横向规划模块1421和纵向规划模块1422分别用于结合来自障碍避免系统144、GPS122和一个或多个预定地图的数据为自动驾驶车辆确定行驶路线和行驶速度。障碍避免系统144用于识别、评估和避免或者以其他方式越过自动驾驶车辆的环境中的障碍体，前述障碍体具体可以表现为实际障碍体和可能与自动驾驶车辆发生碰撞的虚拟移动体。在一个实例中，控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。

自动驾驶车辆通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。在一些实施例中，外围设备108为自动驾驶车辆的用户提供与用户接口116交互的手段。例如，车载电脑148可向自动驾驶车辆的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中，外围设备108可提供用于自动驾驶车辆与位于车内的其它设备通信的手段。例如，麦克风150可从自动驾驶车辆的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器152可向自动驾驶车辆的用户输出音频。无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统146可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统146可利用无线局域网(wireless localarea network，WLAN)通信。在一些实施例中，无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。

电源110可向自动驾驶车辆的各种组件提供电力。在一个实施例中，电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为自动驾驶车辆的各种组件提供电力。在一些实施例中，电源110和能量源119可一起实现，例如一些全电动车中那样。

自动驾驶车辆的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器1603，处理器1603执行存储在例如存储器1604这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制自动驾驶车辆的个体组件或子系统的多个计算设备。处理器1603和存储器1604的具体形态，此处不再赘述。在此处所描述的各个方面中，处理器1603可以位于远离自动驾驶车辆并且与自动驾驶车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于自动驾驶车辆内的处理器1603上执行而其它则由远程处理器1603执行，包括采取执行单一操纵的必要步骤。

在一些实施例中，存储器1604可包含指令115(例如，程序逻辑)，指令115可被处理器1603执行来执行自动驾驶车辆的各种功能，包括以上描述的那些功能。存储器1604也可包含额外的指令，包括向行进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。除了指令115以外，存储器1604还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在自动驾驶车辆在自主、半自主和/或手动模式中操作期间被自动驾驶车辆和计算机系统112使用。用户接口116，用于向自动驾驶车辆的用户提供信息或从其接收信息。可选地，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备，例如无线通信系统146、车载电脑148、麦克风150和扬声器152。

计算机系统112可基于从各种子系统(例如，行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制自动驾驶车辆的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向系统132来避免由传感器系统104和障碍避免系统144检测到的障碍体。在一些实施例中，计算机系统112可操作来对自动驾驶车辆及其子系统的许多方面提供控制。

可选地，上述这些组件中的一个或多个可与自动驾驶车辆分开安装或关联。例如，存储器1604可以部分或完全地与自动驾驶车辆分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。

可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。在道路行进的自动驾驶车辆，如上面的自动驾驶车辆，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶车辆所要调整的速度。

可选地，自动驾驶车辆或者与自动驾驶车辆相关联的计算设备如图1的计算机系统112、计算机视觉系统140、存储器1604可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。自动驾驶车辆能够基于预测的所识别的物体的行为来调整它的速度。换句话说，自动驾驶车辆能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定自动驾驶车辆的速度，诸如，自动驾驶车辆在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。除了提供调整自动驾驶车辆的速度的指令之外，计算设备还可以提供修改自动驾驶车辆的转向角的指令，以使得自动驾驶车辆遵循给定的轨迹和/或维持与自动驾驶车辆附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。

上述自动驾驶车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等，本申请实施例不做特别的限定。

本申请实施例中，处理器1603通过应用处理器16031执行图3至图7对应实施例中自车执行的图像处理方法，或者，执行图11对应实施例中自车执行的图像处理方法。对于应用处理器16031执行图像的处理方法的具体实现方式以及带来的有益效果，可以参考图3至图7对应的各个方法实施例中的叙述，或者，可以参考图11对应的各个方法实施例中的叙述，此处不再一一赘述。

本申请实施例还提供一种训练设备，请参阅图18，图18为本申请实施例提供的训练设备的一种结构示意图。训练设备1800上可以部署有图15对应实施例中所描述的网络训练装置1500，用于实现图8至图10对应实施例中训练设备的功能，具体的，训练设备1800由一个或多个服务器实现，训练设备1800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1822(例如，一个或一个以上处理器)和存储器1832，一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中，存储器1832和存储介质1830可以是短暂存储或持久存储。存储在存储介质1830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1822可以设置为与存储介质1830通信，在训练设备1800上执行存储介质1830中的一系列指令操作。

训练设备1800还可以包括一个或一个以上电源1826，一个或一个以上有线或无线网络接口1850，一个或一个以上输入输出接口1858，和/或，一个或一个以上操作系统1841，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

本申请实施例中，中央处理器1822，用于执行图8至图10对应实施例中的训练设备执行的网络的训练方法。对于中央处理器1822执行网络的训练方法的具体实现方式以及带来的有益效果，均可以参考图8至图10对应的各个方法实施例中的叙述，此处不再一一赘述。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序，当其在计算机上运行时，使得计算机执行如前述图3至图7所示实施例描述的方法中自车所执行的步骤，或者，使得计算机执行如前述图11所示实施例描述的方法中自车所执行的步骤，或者，使得计算机执行如前述图8至图10所示实施例描述的方法中训练设备所执行的步骤。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图3至图7所示实施例描述的方法中自车所执行的步骤，或者，使得计算机执行如前述图11所示实施例描述的方法中自车所执行的步骤，或者，使得计算机执行如前述图8至图10所示实施例描述的方法中训练设备所执行的步骤。

本申请实施例中还提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行如前述图3至图7所示实施例描述的方法中自车所执行的步骤，或者，执行如前述图11所示实施例描述的方法中自车所执行的步骤，或者，执行如前述图8至图10所示实施例描述的方法中训练设备所执行的步骤。

本申请实施例提供的自车、训练设备、图像处理装置或网络训练装置具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使芯片执行如前述图3至图7所示实施例描述的方法中自车所执行的步骤，或者，执行如前述图11所示实施例描述的方法中自车所执行的步骤，或者，执行如前述图8至图10所示实施例描述的方法中训练设备所执行的步骤。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图19，图19为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 190，NPU 190作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1903，通过控制器1904控制运算电路1903提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路1903内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1903是二维脉动阵列。运算电路1903还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1903是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1902中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1901中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1908中。

统一存储器1906用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1905，DMAC被搬运到权重存储器1902中。输入数据也通过DMAC被搬运到统一存储器1906中。

BIU为Bus Interface Unit即，总线接口单元1910，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1909的交互。

总线接口单元1910(Bus Interface Unit，简称BIU)，用于取指存储器1909从外部存储器获取指令，还用于存储单元访问控制器1905从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1906或将权重数据搬运到权重存储器1902中或将输入数据数据搬运到输入存储器1901中。

向量计算单元1907包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元1907能将经处理的输出的向量存储到统一存储器1906。例如，向量计算单元1907可以将线性函数和/或非线性函数应用到运算电路1903的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1907生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1903的激活输入，例如用于在神经网络中的后续层中的使用。

控制器1904连接的取指存储器(instruction fetch buffer)1909，用于存储控制器1904使用的指令；

统一存储器1906，输入存储器1901，权重存储器1902以及取指存储器1909均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，循环神经网络中各层的运算可以由运算电路1903或向量计算单元1907执行。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (47)

1.一种图像的处理方法，其特征在于，所述方法包括：

获取第一图像，所述第一图像中包括第一车辆；

将所述第一图像输入图像处理网络中，得到所述图像处理网络输出的第一结果，在所述第一车辆在所述第一图像中漏出侧面的情况下，所述第一结果包括所述第一车辆的二维2D包络框的位置信息、所述第一车辆的车轮的坐标和所述第一车辆的第一角度，所述第一车辆的第一角度指示所述第一车辆的侧边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的侧边线为所述第一车辆漏出的侧面与所述第一车辆所在地平面之间的交线，所述第一图像的第一轴线与所述第一图像的一个边平行；

根据所述第一车辆的2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的三维3D外包络盒的位置信息，所述第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，所述至少两个第一点均位于所述第一车辆的3D外包络盒的边上，所述至少两个第一点中两个第一点定位所述第一车辆的3D外包络盒的边，所述至少两个第一点的坐标用于定位所述第一车辆的3D外包络盒。

2.根据权利要求1所述的方法，其特征在于，在所述第一车辆在所述第一图像中仅漏出侧面的情况下，所述至少两个第一点包括所述第一车辆的侧边线与所述第一车辆的2D包络框的两个交点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的3D外包络盒的位置信息，包括：

根据所述第一车辆的车轮的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息；

根据所述第一车辆的侧边线的位置信息和所述第一车辆的2D包络框的位置信息，执行坐标生成操作，以得到所述至少两个第一点的坐标。

4.根据权利要求1所述的方法，其特征在于，在所述第一车辆在所述第一图像中漏出侧面和主面的情况下，所述第一结果中还包括所述第一车辆的分界线的位置信息和所述第一车辆的第二角度，所述分界线为侧面与主面之间的分界线，所述第一车辆的主面为所述第一车辆的前面或后面，所述第一车辆的第二角度指示所述第一车辆的主边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的主边线为所述第一车辆漏出的主面与所述第一车辆所在的地平面之间的交线；

所述至少两个第一点包括第一交点、第二交点和第三交点，所述第一交点为所述第一车辆的侧边线与所述第一车辆的分界线的交点，所述第一交点为所述第一车辆的3D外包络盒的一个顶点，所述第二交点为所述第一车辆的侧边线与所述第一车辆的2D包络框的交点，所述第三交点为所述第一车辆的主边线与所述第一车辆的2D包络框的交点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一车辆的2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的三维3D外包络盒的位置信息，包括：

根据所述第一车辆的车轮的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息；

根据所述第一车辆的侧边线的位置信息和所述第一车辆的分界线的位置信息，生成所述第一交点的坐标；

根据所述第一车辆的侧边线的位置信息和所述第一车辆的2D包络框的位置信息，生成所述第二交点的坐标；

根据所述第一交点的坐标和所述第一车辆的第二角度，生成所述第一车辆的主边线的位置信息；

根据所述第一车辆的主边线的位置信息和所述第一车辆的2D包络框的位置信息，生成所述第三交点的坐标。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

在所述第一车辆在所述第一图像中漏出侧面的情况下，根据所述第一点的坐标，生成所述第一车辆相对于自车的朝向角。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一点的坐标，生成所述朝向角之前，所述方法还包括：

根据所述第一点的坐标和地平面假设原理，生成所述第一点与自车之间的距离；

所述根据所述第一点的坐标，生成所述朝向角，包括：

在根据所述第一点与自车之间的距离确定所述第一车辆与自车之间的距离未超过预设阈值的情况下，通过第一计算规则，根据所述第一点的坐标，生成所述朝向角；

在根据所述第一点与自车之间的距离确定所述第一车辆与自车之间的距离超过预设阈值的情况下，通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，所述第二计算规则和所述第一计算规则为不同的计算规则。

8.根据权利要求7述的方法，其特征在于，

当至少两个第一点中任一个第一点与自车之间的距离未超过所述预设阈值时，视为所述第一车辆与自车之间的距离未超过所述预设阈值；或者，

当至少两个第一点中任一个第一点与自车之间的距离超过所述预设阈值时，视为所述第一车辆与自车之间的距离超过所述预设阈值。

9.根据权利要求7所述的方法，其特征在于，所述通过第一计算规则，根据所述第一点的坐标，生成所述朝向角，包括：

根据所述第一点的坐标和地平面假设原理，生成所述第一点在车体坐标系下的三维坐标，所述车体坐标系的坐标系原点位于自车内；

根据所述第一点的三维坐标，生成所述朝向角。

10.根据权利要求7所述的方法，其特征在于，所述通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，包括：

根据所述第一点的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息，根据所述第一车辆的侧边线的位置信息和所述第一图像的消失线的位置信息，生成消失点的坐标，所述消失点为所述第一车辆的侧边线与所述第一图像的消失线之间的交点；

根据所述消失点的坐标和两点透视原理，生成所述朝向角。

11.根据权利要求7所述的方法，其特征在于，所述通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，包括：

根据所述第一点的坐标、所述第一车辆的第一角度和小孔成像原理，生成所述第一车辆的第一角度和所述朝向角之间的映射关系；

根据所述映射关系和所述第一车辆的第一角度，生成所述朝向角。

12.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

从所述至少两个第一点的坐标中获取所述第一车辆的3D外包络盒的顶点的坐标；

根据所述第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成所述第一车辆的质心点在车体坐标系下的三维坐标，所述车体坐标系的坐标系原点位于自车内。

13.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

从所述至少两个第一点的坐标中获取第一顶点的坐标，所述第一顶点为所述第一车辆的3D外包络盒的一个顶点；

根据所述第一顶点的坐标和地平面假设原理，生成所述第一顶点在车体坐标系下的三维坐标；

若所述至少两个第一点中包括至少两个第一顶点，根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高，所述车体坐标系的坐标系原点位于自车内。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

若所述至少两个第一点中包括一个第一顶点，获取第二图像，所述第二图像中包括所述第一车辆，所述第二图像和所述第一图像的图像采集角度不同；

根据所述第二图像，通过所述图像处理网络，得到至少两个第二点的坐标，所述至少两个第二点均位于所述第一车辆的三维3D外包络盒的边上，所述至少两个第二点中两个第二点定位所述第一车辆的3D外包络盒的边，所述至少两个第二点的坐标用于定位所述第一车辆的3D外包络盒；

根据所述第二点的坐标和地平面假设原理，生成第二顶点在所述车体坐标系下的三维坐标，所述第二顶点为所述第一车辆的3D外包络盒的一个顶点，所述第二顶点与所述第一顶点为不同的顶点；

根据所述第一顶点的三维坐标和所述第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。

15.一种图像的处理方法，其特征在于，所述方法包括：

获取第三图像，所述第三图像中包括第一刚体，所述第一刚体为立方体；

将所述第三图像输入图像处理网络中，得到所述图像处理网络输出的第二结果，在所述第一刚体在所述第三图像中漏出侧面的情况下，所述第二结果包括所述第一刚体的2D包络框的位置信息和所述第一刚体的第一角度，所述第一刚体的第一角度指示所述第一刚体的侧边线与所述第三图像的第一轴线之间夹角的角度，所述第一刚体的侧边线为所述第一刚体漏出的侧面与所述第一刚体所在平面之间的交线，所述第三图像的第一轴线与所述第三图像的一个边平行；

根据所述第一刚体的2D包络框的位置信息和所述第一角度，生成所述第一刚体的三维3D外包络盒的位置信息，所述第一刚体的3D外包络盒的位置信息包括至少两个第三点的坐标，所述至少两个第三点均位于所述第一刚体的3D外包络盒的边上，所述至少两个第三点中两个第三点定位所述第一刚体的3D外包络盒的边，所述至少两个第三点的坐标用于定位所述第一刚体的3D外包络盒。

16.根据权利要求15中所述的方法，其特征在于，在所述第一刚体在所述第三图像中仅漏出侧面的情况下，所述至少两个第三点中包括所述第一刚体的侧边线与所述第一刚体的2D包络框的两个交点。

17.根据权利要求15中所述的方法，其特征在于，在所述第一刚体在所述第三图像中漏出侧面和主面的情况下，第一结果中还包括所述第一刚体的分界线的位置信息和所述第一刚体的第二角度，所述分界线为侧面与主面之间的分界线，所述第一刚体的主面为所述第一刚体的前面或后面，所述第一刚体的第二角度指示所述第一刚体的主边线与所述第三图像的第一轴线之间夹角的角度，所述第一刚体的主边线为所述第一刚体漏出的主面与所述第一刚体所在的地平面之间的交线；

所述至少两个第三点包括第一交点、第二交点和第三交点，所述第一交点为所述第一刚体的侧边线与所述第一刚体的分界线的交点，所述第一交点为所述第一刚体的3D外包络盒的一个顶点，所述第二交点为所述第一刚体的侧边线与所述第一刚体的2D包络框的交点，所述第三交点为所述第一刚体的主边线与所述第一刚体的2D包络框的交点。

18.根据权利要求15至17任一项所述的方法，其特征在于，所述方法还包括：

根据所述至少两个第三点的坐标，生成所述第一刚体的三维特征信息，所述第一刚体的三维特征信息包括以下中的一项或多项：所述第一刚体相当于自车的朝向角、所述第一刚体的质心点的位置信息和所述第一刚体的尺寸。

19.一种网络的训练方法，其特征在于，所述方法包括：

获取训练图像和所述训练图像的标注数据，所述训练图像中包括第二车辆，在所述第二车辆在所述训练图像中漏出侧面的情况下，所述标注数据包括所述第二车辆的车轮的标注坐标和所述第二车辆的标注第一角度，所述第二车辆的第一角度指示所述第二车辆的侧边线与所述训练图像的第一轴线之间夹角的角度，所述第二车辆的侧边线为所述第二车辆漏出的侧面与所述第二车辆所在地平面之间的交线，所述训练图像的第一轴线与所述训练图像的一个边平行；

将所述训练图像输入图像处理网络中，得到所述图像输入网络输出的第三结果，所述第三结果包括所述第二车辆的车轮的生成坐标和所述第二车辆的生成第一角度；

根据所述标注数据和所述第三结果，利用损失函数对所述图像处理网络进行训练，直至满足所述损失函数的收敛条件，输出训练后的所述图像处理网络，所述损失函数用于拉近所述生成坐标与所述标注坐标之间的相似度，且拉近所述生成第一角度和所述标注第一角度之间的相似度。

20.根据权利要求19所述的方法，其特征在于，在所述第二车辆在所述训练图像中漏出侧面和主面的情况下，所述标注数据还包括所述第二车辆的分界线的标注位置信息和所述第二车辆的标注第二角度，所述第三结果还包括所述第二车辆的分界线的生成位置信息和所述第二车辆的生成第二角度，所述损失函数还用于拉近所述生成位置信息和所述标注位置信息之间的相似度，且拉近所述生成第二角度与所述标注第二角度之间的相似度；

其中，所述第二车辆的主面为所述第二车辆的前面或后面，所述分界线为侧面与主面之间的分界线，所述第二车辆的第二角度指示所述第二车辆的主边线与所述训练图像的第一轴线之间夹角的角度，所述第二车辆的主边线为所述第二车辆漏出的主面与所述第二车辆所在的地平面之间的交线。

21.根据权利要求19或20所述的方法，其特征在于，所述图像处理网络包括二阶段目标检测网络和三维特征提取网络，所述二阶段目标检测网络包括区域生成网络RPN；

所述将所述训练图像输入图像处理网络中，得到所述图像输入网络输出的第三结果，包括：

将所述训练图像输入所述二阶段目标检测网络中，得到所述二阶段目标检测网络中的所述RPN输出的所述第二车辆的2D包络框的位置信息；

将第一特征图输入所述三维特征提取网络，得到所述三维特征提取网络输出的所述第三结果，所述第一特征图为所述训练图像的特征图中位于所述RPN输出的所述2D包络框内的特征图；

所述输出训练后的所述图像处理网络，包括：

输出包括所述二阶段目标检测网络和三维特征提取网络的图像处理网络。

22.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一图像，所述第一图像中包括第一车辆；

输入模块，用于将所述第一图像输入图像处理网络中，得到所述图像处理网络输出的第一结果，在所述第一车辆在所述第一图像中漏出侧面的情况下，所述第一结果包括所述第一车辆的二维2D包络框的位置信息、所述第一车辆的车轮的坐标和所述第一车辆的第一角度，所述第一车辆的第一角度指示所述第一车辆的侧边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的侧边线为所述第一车辆漏出的侧面与所述第一车辆所在地平面之间的交线，所述第一图像的第一轴线与所述第一图像的一个边平行；

生成模块，用于根据所述第一车辆的2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的三维3D外包络盒的位置信息，所述第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，所述至少两个第一点均位于所述第一车辆的3D外包络盒的边上，所述至少两个第一点中两个第一点定位所述第一车辆的3D外包络盒的边，所述至少两个第一点的坐标用于定位所述第一车辆的3D外包络盒。

23.根据权利要求22所述的装置，其特征在于，在所述第一车辆在所述第一图像中仅漏出侧面的情况下，所述至少两个第一点包括所述第一车辆的侧边线与所述第一车辆的2D包络框的两个交点。

24.根据权利要求23所述的装置，其特征在于，所述生成模块，具体用于：

根据所述第一车辆的车轮的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息；

根据所述第一车辆的侧边线的位置信息和所述第一车辆的2D包络框的位置信息，执行坐标生成操作，以得到所述至少两个第一点的坐标。

25.根据权利要求22所述的装置，其特征在于，在所述第一车辆在所述第一图像中漏出侧面和主面的情况下，所述第一结果中还包括所述第一车辆的分界线的位置信息和所述第一车辆的第二角度，所述分界线为侧面与主面之间的分界线，所述第一车辆的主面为所述第一车辆的前面或后面，所述第一车辆的第二角度指示所述第一车辆的主边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的主边线为所述第一车辆漏出的主面与所述第一车辆所在的地平面之间的交线；

所述至少两个第一点包括第一交点、第二交点和第三交点，所述第一交点为所述第一车辆的侧边线与所述第一车辆的分界线的交点，所述第一交点为所述第一车辆的3D外包络盒的一个顶点，所述第二交点为所述第一车辆的侧边线与所述第一车辆的2D包络框的交点，所述第三交点为所述第一车辆的主边线与所述第一车辆的2D包络框的交点。

26.根据权利要求25所述的装置，其特征在于，所述生成模块，具体用于：

根据所述第一车辆的车轮的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息；

根据所述第一车辆的侧边线的位置信息和所述第一车辆的分界线的位置信息，生成所述第一交点的坐标；

根据所述第一车辆的侧边线的位置信息和所述第一车辆的2D包络框的位置信息，生成所述第二交点的坐标；

根据所述第一交点的坐标和所述第一车辆的第二角度，生成所述第一车辆的主边线的位置信息；

根据所述第一车辆的主边线的位置信息和所述第一车辆的2D包络框的位置信息，生成所述第三交点的坐标。

27.根据权利要求22至26任一项所述的装置，其特征在于，

所述生成模块，还用于在所述第一车辆在所述第一图像中漏出侧面的情况下，根据所述第一点的坐标，生成所述第一车辆相对于自车的朝向角。

28.根据权利要求27所述的装置，其特征在于，所述生成模块，还用于根据所述第一点的坐标和地平面假设原理，生成所述第一点与自车之间的距离；

所述生成模块，具体用于：

在根据所述第一点与自车之间的距离确定所述第一车辆与自车之间的距离未超过预设阈值的情况下，通过第一计算规则，根据所述第一点的坐标，生成所述朝向角；

在根据所述第一点与自车之间的距离确定所述第一车辆与自车之间的距离超过预设阈值的情况下，通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，所述第二计算规则和所述第一计算规则为不同的计算规则。

29.根据权利要求28述的装置，其特征在于，

当至少两个第一点中任一个第一点与自车之间的距离未超过所述预设阈值时，视为所述第一车辆与自车之间的距离未超过所述预设阈值；或者，

当至少两个第一点中任一个第一点与自车之间的距离超过所述预设阈值时，视为所述第一车辆与自车之间的距离超过所述预设阈值。

30.根据权利要求28所述的装置，其特征在于，所述生成模块，具体用于：

根据所述第一点的坐标和地平面假设原理，生成所述第一点在车体坐标系下的三维坐标，所述车体坐标系的坐标系原点位于自车内；

根据所述第一点的三维坐标，生成所述朝向角。

31.根据权利要求28所述的装置，其特征在于，所述生成模块，具体用于：

根据所述第一点的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息，根据所述第一车辆的侧边线的位置信息和所述第一图像的消失线的位置信息，生成消失点的坐标，所述消失点为所述第一车辆的侧边线与所述第一图像的消失线之间的交点；

根据所述消失点的坐标和两点透视原理，生成所述朝向角。

32.根据权利要求28所述的装置，其特征在于，所述生成模块，具体用于：

根据所述第一点的坐标、所述第一车辆的第一角度和小孔成像原理，生成所述第一车辆的第一角度和所述朝向角之间的映射关系；

根据所述映射关系和所述第一车辆的第一角度，生成所述朝向角。

33.根据权利要求22至26任一项所述的装置，其特征在于，

所述获取模块，还用于从所述至少两个第一点的坐标中获取所述第一车辆的3D外包络盒的顶点的坐标；

所述生成模块，还用于根据所述第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成所述第一车辆的质心点在车体坐标系下的三维坐标，所述车体坐标系的坐标系原点位于自车内。

34.根据权利要求22至26任一项所述的装置，其特征在于，

所述获取模块，还用于从所述至少两个第一点的坐标中获取第一顶点的坐标，所述第一顶点为所述第一车辆的3D外包络盒的一个顶点；

所述生成模块，还用于根据所述第一顶点的坐标和地平面假设原理，生成所述第一顶点在车体坐标系下的三维坐标；

所述生成模块，还用于若所述至少两个第一点中包括至少两个第一顶点，根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高，所述车体坐标系的坐标系原点位于自车内。

35.根据权利要求34所述的装置，其特征在于，

所述获取模块，还用于若所述至少两个第一点中包括一个第一顶点，获取第二图像，所述第二图像中包括所述第一车辆，所述第二图像和所述第一图像的图像采集角度不同；

所述生成模块，还用于根据所述第二图像，通过所述图像处理网络，得到至少两个第二点的坐标，所述至少两个第二点均位于所述第一车辆的三维3D外包络盒的边上，所述至少两个第二点中两个第二点定位所述第一车辆的3D外包络盒的边，所述至少两个第二点的坐标用于定位所述第一车辆的3D外包络盒；

所述生成模块，还用于根据所述第二点的坐标和地平面假设原理，生成第二顶点在所述车体坐标系下的三维坐标，所述第二顶点为所述第一车辆的3D外包络盒的一个顶点，所述第二顶点与所述第一顶点为不同的顶点；

所述生成模块，还用于根据所述第一顶点的三维坐标和所述第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。

36.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取第三图像，所述第三图像中包括第一刚体，所述第一刚体为立方体；

输入模块，用于将所述第三图像输入图像处理网络中，得到所述图像处理网络输出的第二结果，在所述第一刚体在所述第三图像中漏出侧面的情况下，所述第二结果包括所述第一刚体的2D包络框的位置信息和所述第一刚体的第一角度，所述第一刚体的第一角度指示所述第一刚体的侧边线与所述第三图像的第一轴线之间夹角的角度，所述第一刚体的侧边线为所述第一刚体漏出的侧面与所述第一刚体所在平面之间的交线，所述第三图像的第一轴线与所述第三图像的一个边平行；

生成模块，用于根据所述第一刚体的2D包络框的位置信息和所述第一角度，生成所述第一刚体的三维3D外包络盒的位置信息，所述第一刚体的3D外包络盒的位置信息包括至少两个第三点的坐标，所述至少两个第三点均位于所述第一刚体的3D外包络盒的边上，所述至少两个第三点中两个第三点定位所述第一刚体的3D外包络盒的边，所述至少两个第三点的坐标用于定位所述第一刚体的3D外包络盒。

37.根据权利要求36中所述的装置，其特征在于，在所述第一刚体在所述第三图像中仅漏出侧面的情况下，所述至少两个第三点中包括所述第一刚体的侧边线与所述第一刚体的2D包络框的两个交点。

38.根据权利要求36中所述的装置，其特征在于，在所述第一刚体在所述第三图像中漏出侧面和主面的情况下，第一结果中还包括所述第一刚体的分界线的位置信息和所述第一刚体的第二角度，所述分界线为侧面与主面之间的分界线，所述第一刚体的主面为所述第一刚体的前面或后面，所述第一刚体的第二角度指示所述第一刚体的主边线与所述第三图像的第一轴线之间夹角的角度，所述第一刚体的主边线为所述第一刚体漏出的主面与所述第一刚体所在的地平面之间的交线；

所述至少两个第三点包括第一交点、第二交点和第三交点，所述第一交点为所述第一刚体的侧边线与所述第一刚体的分界线的交点，所述第一交点为所述第一刚体的3D外包络盒的一个顶点，所述第二交点为所述第一刚体的侧边线与所述第一刚体的2D包络框的交点，所述第三交点为所述第一刚体的主边线与所述第一刚体的2D包络框的交点。

39.根据权利要求36至38任一项所述的装置，其特征在于，

所述生成模块，还用于根据所述至少两个第三点的坐标，生成所述第一刚体的三维特征信息，所述第一刚体的三维特征信息包括以下中的一项或多项：所述第一刚体相当于自车的朝向角、所述第一刚体的质心点的位置信息和所述第一刚体的尺寸。

40.一种网络训练装置，其特征在于，所述装置包括：

获取模块，用于获取训练图像和所述训练图像的标注数据，所述训练图像中包括第二车辆，在所述第二车辆在所述训练图像中漏出侧面的情况下，所述标注数据包括所述第二车辆的车轮的标注坐标和所述第二车辆的标注第一角度，所述第二车辆的第一角度指示所述第二车辆的侧边线与所述训练图像的第一轴线之间夹角的角度，所述第二车辆的侧边线为所述第二车辆漏出的侧面与所述第二车辆所在地平面之间的交线，所述训练图像的第一轴线与所述训练图像的一个边平行；

输入模块，用于将所述训练图像输入图像处理网络中，得到所述图像输入网络输出的第三结果，所述第三结果包括所述第二车辆的车轮的生成坐标和所述第二车辆的生成第一角度；

训练模块，用于根据所述标注数据和所述第三结果，利用损失函数对所述图像处理网络进行训练，直至满足所述损失函数的收敛条件，输出训练后的所述图像处理网络，所述损失函数用于拉近所述生成坐标与所述标注坐标之间的相似度，且拉近所述生成第一角度和所述标注第一角度之间的相似度。

41.根据权利要求40所述的装置，其特征在于，在所述第二车辆在所述训练图像中漏出侧面和主面的情况下，所述标注数据还包括所述第二车辆的分界线的标注位置信息和所述第二车辆的标注第二角度，所述第三结果还包括所述第二车辆的分界线的生成位置信息和所述第二车辆的生成第二角度，所述损失函数还用于拉近所述生成位置信息和所述标注位置信息之间的相似度，且拉近所述生成第二角度与所述标注第二角度之间的相似度；

其中，所述第二车辆的主面为所述第二车辆的前面或后面，所述分界线为侧面与主面之间的分界线，所述第二车辆的第二角度指示所述第二车辆的主边线与所述训练图像的第一轴线之间夹角的角度，所述第二车辆的主边线为所述第二车辆漏出的主面与所述第二车辆所在的地平面之间的交线。

42.根据权利要求40或41所述的装置，其特征在于，所述图像处理网络包括二阶段目标检测网络和三维特征提取网络，所述二阶段目标检测网络包括区域生成网络RPN；

所述输入模块，具体用于：

将所述训练图像输入所述二阶段目标检测网络中，得到所述二阶段目标检测网络中的所述RPN输出的所述第二车辆的2D包络框的位置信息；

将第一特征图输入所述三维特征提取网络，得到所述三维特征提取网络输出的所述第三结果，所述第一特征图为所述训练图像的特征图中位于所述RPN输出的所述2D包络框内的特征图；

所述训练模块，具体用于输出包括所述二阶段目标检测网络和三维特征提取网络的图像处理网络。

43.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至14中任一项所述的方法，或者，实现权利要求15至18中任一项所述的方法。

44.一种自动驾驶车辆，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至14中任一项所述的方法，或者，实现权利要求15至18中任一项所述的方法。

45.一种训练设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求19至21中任一项所述的方法。

46.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至14中任一项所述的方法，或者，使得计算机执行如权利要求15至18中任一项所述的方法，或者，使得计算机执行如权利要求19至21中任一项所述的方法。

47.一种电路系统，其特征在于，所述电路系统包括处理电路，所述处理电路配置为执行如权利要求1至14中任一项所述的方法，或者，执行如权利要求15至18中任一项所述的方法，或者，执行如权利要求19至21中任一项所述的方法。