CN117315035A - 一种车辆朝向的处理方法、装置以及处理设备 - Google Patents

一种车辆朝向的处理方法、装置以及处理设备 Download PDF

Info

Publication number
CN117315035A
CN117315035A CN202311618136.4A CN202311618136A CN117315035A CN 117315035 A CN117315035 A CN 117315035A CN 202311618136 A CN202311618136 A CN 202311618136A CN 117315035 A CN117315035 A CN 117315035A
Authority
CN
China
Prior art keywords
camera
angle
coordinate system
vehicle
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311618136.4A
Other languages
English (en)
Other versions
CN117315035B (zh
Inventor
姜英豪
张建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Future Phantom Technology Co Ltd
Original Assignee
Wuhan Future Phantom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Future Phantom Technology Co Ltd filed Critical Wuhan Future Phantom Technology Co Ltd
Priority to CN202311618136.4A priority Critical patent/CN117315035B/zh
Publication of CN117315035A publication Critical patent/CN117315035A/zh
Application granted granted Critical
Publication of CN117315035B publication Critical patent/CN117315035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种车辆朝向的处理方法、装置以及处理设备，用于以低成本的基于单目相机的3D车辆检测结果为基础，构建了一系列的数据处理方案，以此高精度处理得到车辆识别对象的朝向角theta，为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持，进而有助于实现更为智能化的自动驾驶。

Description

一种车辆朝向的处理方法、装置以及处理设备
技术领域
本申请涉及车辆识别领域，具体涉及一种车辆朝向的处理方法、装置以及处理设备。
背景技术
3D感知包含识别对象的位置、朝向、大小的感知内容，是自动驾驶重要的功能之一，其中，车辆识别对象的朝向对智能驾驶行为预测、避障可以做出贡献，因此针对车辆识别对象高精度的朝向识别结果具有重要作用。
而本申请发明人发现，在现有技术中，3D感知中对于车辆识别对象的朝向识别，则存在着成本较高又或者识别精度有限的问题，难以兼顾低成本和高精度。
发明内容
本申请提供了一种车辆朝向的处理方法、装置以及处理设备，用于以低成本的基于单目相机的3D车辆检测结果为基础，构建了一系列的数据处理方案，以此高精度处理得到车辆识别对象的朝向角theta，为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持，进而有助于实现更为智能化的自动驾驶。
第一方面，本申请提供了一种车辆朝向的处理方法，方法包括：
获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，单目相机图像由配置于车辆上的单目相机采集得到，单目相机预设有相机内参、相机外参，车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，实际尺寸包括长宽高尺寸，alpha角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，alpha角的范围为[-180°, 180°]，逆时针为正；
根据相机内参、2D检测框、alpha角，确定对应的r_y角，其中，r_y角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之前物体朝向与相机坐标系x轴形成的夹角，r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负；
根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc；
根据相机内参、z轴坐标Zc，确定车辆识别对象在相机坐标系中的中心点坐标center；
判断是否需要优化r_y角，若需要，则在相机内参2D检测框、实际尺寸、中心点坐标center的基础上，通过反投影法确定最优r_y角；
在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta，其中，朝向角theta指的是物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
第二方面，本申请提供了一种车辆朝向的处理装置，装置包括：
获取单元，用于获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，单目相机图像由配置于车辆上的单目相机采集得到，单目相机预设有相机内参、相机外参，车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，实际尺寸包括长宽高尺寸，alpha角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，alpha角的范围为[-180°, 180°]，逆时针为正；
第一确定单元，用于根据相机内参、2D检测框、alpha角，确定对应的r_y角，其中，r_y角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之前物体朝向与相机坐标系x轴形成的夹角，r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负；
第二确定单元，用于根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc；
第三确定单元，用于根据相机内参、z轴坐标Zc，确定车辆识别对象投影至相机坐标系的中心点坐标center；
判断单元，用于判断是否需要优化r_y角，若需要，则触发优化单元；
优化单元，用于在相机内参、2D检测框、实际尺寸、中心点坐标center的基础上，通过反投影法确定最优r_y角；
第四确定单元，用于在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta，其中，朝向角theta指的是物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
本申请以低成本的基于单目相机的3D车辆检测结果为基础，构建了一系列的数据处理方案，以此稳定地、高精度地处理得到车辆识别对象的朝向角theta，为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持，进而有助于实现更为智能化的自动驾驶。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请车辆朝向的处理方法的一种流程示意图；
图2为本申请相机坐标系下相关角度的一种场景示意图；
图3为本申请投影处理的一种场景示意图；
图4为本申请计算z轴坐标Zc的一种场景示意图；
图5为本申请构建3D检测框的一种场景示意图；
图6为本申请UTM和相机坐标系在俯视角度下的一种场景示意图；
图7为本申请车辆朝向的处理装置的一种结构示意图；
图8为本申请处理设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的车辆朝向的处理方法之前，首先介绍本申请所涉及的背景内容。
本申请提供的车辆朝向的处理方法、装置以及计算机可读存储介质，可应用于处理设备，用于以低成本的基于单目相机的3D车辆检测结果为基础，构建了一系列的数据处理方案，以此高精度处理得到车辆识别对象的朝向角theta，为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持，进而有助于实现更为智能化的自动驾驶。
本申请提及的车辆朝向的处理方法，其执行主体可以为车辆朝向的处理装置，或者集成了该车辆朝向的处理装置的车载终端、服务器、物理主机或者用户设备（UserEquipment，UE）等不同类型的处理设备。其中，车辆朝向的处理装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理（Personal Digital Assistant，PDA）等终端设备，处理设备可以通过设备集群的方式设置。
可以理解，本申请初衷是为了自动驾驶、智能驾驶服务的，解决现有技术3D感知中对于车辆识别对象的朝向识别方案所存在的难以兼顾应用成本和识别精度的问题，在该情况下，应用本申请所提供的车辆朝向的处理方法的应用服务的处理设备，可以是部署于车辆上以在车辆本地服务其自动驾驶、智能驾驶的车载终端，或者，也可以是部署于车辆上在车辆本地服务其自动驾驶、智能驾驶的UE，或者，也可以是以远程服务的形式，在云端为车辆本地提供服务其自动驾驶、智能驾驶的服务器、物理主机，或者，除了自动驾驶、智能驾驶以外，在其他应用场景下，也可能涉及到对车辆朝向的识别需求，对此，也是可以通过本申请来实现，如此只需要任意具有数据处理能力的设备即可。
可以看到，应用本申请所提供的车辆朝向的处理方法的应用服务的处理设备，其具体设备部署形式还有设备类型，在实际情况下是较为灵活的，因此本申请并不做具体限定。
下面，开始介绍本申请提供的车辆朝向的处理方法。
首先，参阅图1，图1示出了本申请车辆朝向的处理方法的一种流程示意图，本申请提供的车辆朝向的处理方法，具体可包括如下步骤S101至步骤S106：
步骤S101，获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，单目相机图像由配置于车辆上的单目相机采集得到，单目相机预设有相机内参、相机外参，车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，实际尺寸包括长宽高尺寸，alpha角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，alpha角的范围为[-180°, 180°]，逆时针为正；
可以理解的是，本申请对于3D感知中对于车辆识别对象的朝向识别，是以基于单目相机的3D检测为基础展开的，单目相机设于车辆上，相机视野中出现的车辆则可以认为是系统应当注意到的一种障碍物，如此，分析车辆障碍物的朝向，对于自动驾驶、智能驾驶的判断决策就可以提供帮助，对此，则可以以部署于车辆上的单目相机采集图像，并将其输入到预先配置的3D车辆检测网络中，让3D车辆检测网络对输入的图像进行车辆检测（车辆障碍物检测），并得到网络输出的对应车辆检测结果。
对于3D车辆检测网络，容易理解，在车辆检测场景下，所得到的车辆检测结果可以涉及到车辆识别对象（网络识别出的车辆对象）的2D检测框（2D box）、实际尺寸、alpha角这三个方面的内容。
应当理解的是，对于3D车辆检测网络的车辆检测逻辑还有其输出的车辆检测结果的内容，可以认为是属于现有技术范畴的，本申请可以采用通用的3D车辆检测网络（例如YOLO 3D网络）来获取此处所需的车辆检测结果，作为本申请后续方案处理的原始数据，因此，此处不做具体的展开说明。
当然，也可以理解的是，在具体操作中，也是可以对通用的3D车辆检测网络进行改进，或者配置新颖的3D车辆检测网络的，随实际需要进行配置即可。
此外，此处3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果的获取处理，在具体操作中，既可以是基于3D车辆检测网络实时处理车辆检测结果的数据处理，也可以是车辆检测结果这一现成数据的提取处理，随实际请调整即可。
与此同时，3D车辆检测网络所输入图像对应的单目相机，其预设有相机内参和相机外参这两种相机本身相对固定的参数，两者也是需要进行获取的，以此可以服务于后续的数据处理。
此外，还需要理解的是，单目相机的应用指的是只需要一台相机来采集图像，供数据处理，但是并不意味着车辆上只部署了一台单目相机，可以根据实际需要部署多个的单目相机，而每个单目相机所采集的图像，则可以单独的进行相应的数据处理，以满足不同视角下同一车辆障碍物或者不同车辆障碍物的朝向识别需求。
步骤S102，根据相机内参、2D检测框、alpha角，确定对应的r_y角，其中，r_y角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之前物体朝向与相机坐标系x轴形成的夹角，r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负；
在获得了相机内参（通常以矩阵参数形式配置），则可以结合车辆检测结果中的2D检测框、alpha角两者，来确定车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之前物体朝向与相机坐标系x轴形成的夹角（r_y角），或者说确定当前车辆识别对象的物体朝向与相机坐标系x轴形成的夹角（r_y角），为最终的朝向角theta或者其他参数的确定提供数据支持。
对于此处所涉及的r_y角还有前面涉及的alpha角（在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，和r_y角存在旋转前后的关系），则可以参考图2示出的本申请相机坐标系下相关角度的一种场景示意图。
在相机坐标系中，（x、y、z轴正方向分别对应右、下、前），图2所示了相机坐标系的x、z轴，其y轴垂直于直面向里（图2未直接示出y轴）。
可以理解，alpha角是3D车辆检测网络的预测输出内容之一，其具体的表示含义为：在相机坐标系下，以相机原点为中心，相机原点到物体中心的连线为半径，将物体绕相机坐标系y轴旋转至相机坐标系z轴时，物体方向与相机坐标系x轴的夹角，此时车辆识别对象的几何中心则为图2中的c1点。
而在旋转之前，车辆识别对象的几何中心则为图2中的c0点，车辆识别对象的物体朝向与相机坐标系x轴形成的夹角，记为了r_y角，当前时间即为图像的采集时间点。
此外，图2中还涉及到了theta_ray角，theta_ray角为车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴的旋转角度（车辆识别对象从c0点旋转至c1点的旋转角度），theta_ray角的范围为[-90°, 90°]，当车辆识别对象在单目相机左侧时角度为正，当车辆识别对象在单目相机右侧时角度为负。
进一步的，定义r_y角为障碍物当前时刻朝向与相机坐标系x轴形成的夹角，r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负，如图2所示。
在上述的旋转过程中，可以将车辆识别对象看成一个刚体，旋转半径（车辆中心点与相机中心点组成的连线）与车辆前进方向组成的夹角在旋转前后是保持不变的，根据这一个关系，可以得到如下表达式：
，
其中，X、Z为当前位置条件下（c0点）车辆识别对象在相机坐标系中的水平方向、垂直方向的坐标。
结合图2，作为一种具体的实现方式，此处根据相机内参、2D检测框、alpha角，确定对应的r_y角，可以包括以下内容：
1）设2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，通过下式计算2D检测框的底边的中心点像素坐标(u,v)：
；
2）（同针孔相机模型）在相机内参的基础上，将2D检测框的底边的中心点像素坐标(u,v)通过下式投影至相机坐标系（相机坐标系是三维坐标系，用X、Y、Z轴上的坐标来表示，对应的，像素坐标系为二维坐标系，用u、v轴上的坐标来表示）：
，
，
其中，为已知的内参矩阵的逆矩阵（相机内参的表现形式），cx、cy为相机内参中已知的相机光轴与成像平面的交点处的像素横纵坐标（通常是图像分辨率的一半），fx为相机内参中已知的水平方向的焦距，fy为相机内参中已知的竖直方向的焦距，Zc1是待消除的车辆识别对象在相机坐标系中的z轴坐标（在下一步可以消除），X、Y、Z为2D检测框的底边的中心点像素坐标(u,v)投影至相机坐标系后的三维坐标；
3）在投影结果的基础上，通过下式求解X/Z的反正切，并消除z轴坐标Zc1，得到theta_ray角，其中，theta_ray角指的是车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴的旋转角度，theta_ray角的范围为[-90°, 90°]，当车辆识别对象在单目相机左侧时角度为正，当车辆识别对象在单目相机右侧时角度为负：
；
其中，对于上面2）步骤中取2D检测框的底边的中心点像素坐标(u,v)来近似计算theta_ray角的原因，则可以结合图3示出的本申请投影处理的一种场景示意图来理解，由于相机成像时丢失了3D信息，因此3D的车辆障碍物在相机成像平面上的成像效果，与把这个3D的车辆障碍物沿相机坐标系的Z轴投影到如图3中AB线段所在位置的垂直于纸面的平面上后，再在相机成像平面上成像的成像效果是等效的。
在图3中，AB线段是车辆障碍物离相机最近的那个点所在的位置与相机坐标系x轴平行的线段。
另外，AB线段其实就是像素坐标系下的2D检测框投影到相机坐标系后的3D位置，当车辆障碍物离相机的距离远大于车辆障碍物的自身尺寸时，用∠OQZ表示的theta_ray角与用∠PQZ表示的theta_ray角是近似相等的，其中O点是AB线段的中点，因此这里选取2D检测框的底边的中心点像素坐标(u,v)来计算theta_ray角的具体角度。
4）在alpha角、theta_ray角的基础上，通过下式求解r_y角：
。
这里，r_y角的具体求解原理则对应了图2所示内容和上面图2的对应说明内容。
步骤S103，根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc；
与此同时，本申请还需要计算3D车辆检测网络所识别的车辆识别对象在相机坐标系中的z轴坐标Zc，这里涉及到了相机内参还有3D车辆检测网络所输出车辆检测结果中的2D检测框、实际尺寸的使用。
具体的，车辆识别对象在相机坐标系中的z轴坐标Zc可以根据针孔相机模型中的相似三角形原理来计算。
作为又一种具体的实现方式，此处根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc，可以包括以下内容：
在相机内参、2D检测框、实际尺寸的基础上，通过下式计算车辆识别对象在相机坐标系中的z轴坐标Zc：
，
，
其中，H为实际尺寸中的高度，2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，为2D检测框的像素高度，f为相机焦距，fx为相机内参中已知的水平方向的焦距，fy为相机内参中竖直方向的焦距（对应上面出现过的已知的3×3矩阵：/>）。
此外，本申请还从细微层面出发，在上面计算内容的基础上，还继续进行了方案改进，以获得更为精确的车辆识别对象在相机坐标系中的z轴坐标Zc。
作为又一种具体的实现方式，此处根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc，还可以包括以下内容：
在相机内参、2D检测框、实际尺寸、r_y角的基础上，通过下式计算车辆识别对象在相机坐标系中的z轴坐标Zc：
，
，
其中，L、W、H为实际尺寸中的长度、宽度和高度，2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，为2D检测框的像素高度，f为相机焦距，fx为相机内参中已知的水平方向的焦距，fy为相机内参中已知的竖直方向的焦距（对应上面出现过的已知的3×3矩阵：/>）。
可以看到，在上述的处理内容中，本申请引入了之前步骤S102所确定的r_y角，而对于上述的处理内容的具体优化逻辑，则可以详见下面内容：
参考图4示出的本申请计算z轴坐标Zc的一种场景示意图，由于2D检测框投影到3D的相机坐标系后的实质位置位于CD虚线段处，因此前面基于针孔相机模型计算出来的z轴坐标Zc的跨度，并不是图4中车辆障碍物中心在相机坐标系中的z轴坐标d_center，而是图4中的d（），显然还存在着细微的误差。
而在图4的基础上，根据几何关系，则可以有如下表达式（就是要求的z轴坐标Zc的跨度）：
，
OE线段的长度则可以根据车辆障碍物的长度（L）、宽度（W）计算出来：
，
∠OCE也可以根据r_y角、车辆障碍物的长度（L）、宽度（W）计算出来：
，
于是，就可以求出车辆障碍物的中心点在相机坐标系中的z轴坐标Zc了， Zc的具体数值就是图4中的d_center。
步骤S104，根据相机内参、2D检测框、z轴坐标Zc，确定车辆识别对象投影至相机坐标系的中心点坐标center；
而在获得了车辆识别对象在相机坐标系中的z轴坐标Zc之后，则可以结合相机内参来确定车辆识别对象在相机坐标系中的中心点坐标center，其中，这里的投影处理，可以理解，类似于上面在相机内参的基础上，将2D检测框的底边的中心点像素坐标(u,v)通过投影至相机坐标系的过程（此时车辆识别对象在相机坐标系中的z轴坐标Zc为已知量，可以直接代入）。
具体的，与前面将2D检测框的底边的中心点像素坐标(u,v)投影至相机坐标系类似的，计算车辆识别对象投影至相机坐标系的中心点坐标center可以通过如下内容实现：
1）设2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，通过下式计算2D检测框的中心点像素坐标(m,n)：
；
2）（同针孔相机模型）在相机内参的基础上，将2D检测框的中心点像素坐标(m,n)通过下式投影至相机坐标系（相机坐标系是三维坐标系，用X、Y、Z轴上的坐标来表示，对应的，像素坐标系为二维坐标系，用m、n轴上的坐标来表示）：
，
，
其中，为已知的内参矩阵的逆矩阵（相机内参的表现形式）。
步骤S105，判断是否需要优化r_y角，若需要，则在相机内参、2D检测框、实际尺寸、中心点坐标center的基础上，通过反投影法确定最优r_y角；
则外，应当理解的是，前面步骤S102所计算得到的r_y角，还可以涉及到对应的优化处理，以得到更为精确的r_y角。
对此，本申请在此处则需要判断是否优化r_y角，例如由人工进行设置是否进行判断，又例如基于预先配置的相应判断规则来判断是否需要优化r_y角。
而若需要对r_y角进行优化计算，则本申请还给出了一套具体的优化方案，作为又一种具体的实现方式，此处在相机内参、2D检测框、实际尺寸、中心点坐标center的基础上，通过反投影法确定最优r_y角，可以包括以下内容：
1）将360度均等分成36分，得到36个角度值，作为预选r_y角，其中，第i个预选r_y角的角度值=（i-1）×10，i在1到36中取值；
例如，第1个角度值为0度，第2个角度值为10度，…，第35个角度值为350度。
2）根据实际尺寸包括的长宽高尺寸，在相机坐标系中初步构建一个3D检测框，3D检测框的底面中心位于相机坐标系的原点；
参考图5示出的本申请构建3D检测框的一种场景示意图，图5所处坐标系为相机坐标系，初步构建的3D检测框（3D box）通过相机坐标系下的8个顶点来进行描述，构成一个3D的长方体形状，该3D检测框的底面中心（地面中心）在相机坐标系的原点，底面与Z-X面共面，3D检测框的长宽高是车辆障碍物的实际物理尺寸，图5中的center点是车辆障碍物的中心点，也是以相机坐标系为参考坐标系或者说处于相机坐标系，图5中的C点为构建的3D检测框的中心点。
3）基于36个预选r_y角、中心点坐标center，对3D检测框进行旋转平移，使得3D检测框的几何中心点C与中心点坐标center重合，其中，在旋转平移过程中，旋转由第i个预选r_y角对应的旋转矩阵来执行，平移根据几何中心点C与中心点坐标center之间的距离确定；
4）基于相机内参、z轴坐标Zc，通过下式将旋转平移后的3D检测框的8个顶点反投影至像素坐标系，得到在像素坐标系下的8个坐标：
；
可以理解，此处的反投影，是与前面的投影处理相对应的，将三维的相机坐标系下的8个坐标转化至二维的像素坐标系。
5）求解在像素坐标系中包围在像素坐标系下的8个坐标的2D包络框（新的2D检测框）；
2D包络框，可以理解为包围这8个坐标的最小矩形，即最小外接矩形。
6）求解原来的2D检测框和2D包络框的交并比；
此处的交并比可以采用重叠度（Intersection over Union，IoU）等指标来进行具体的量化，应当理解，对于交并比所采用的具体指标还有指标对应的计算内容，属于现有技术的范畴，并不是本申请方案的重点，因此不做具体的展开说明。
7）将取得最大交并比的预选r_y角作为最优r_y角。
可以理解，上面已经提及了，存在若干个候选r_y角，对此则可以针对每个候选r_y角，通过上面的3）至6）步骤，展开相应的交并比的处理，如此可以确定取得最大交并比的预选r_y角，并将其作为此处r_y角优化处理所输出的最优r_y角。
步骤S106，在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta，其中，朝向角theta指的是物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
可以理解，若步骤S105对r_y角进行优化，则放弃使用步骤S102所得的r_y角，使用步骤S105优化得到的最优r_y角，获得了最终采用的r_y角后，则可以结合相机外参来计算本申请方案用来表征车辆障碍物朝向的朝向角theta。
对于本申请所涉及的朝向角theta，参考图6示出的本申请UTM和相机坐标系在俯视角度下的一种场景示意图，两个坐标系均为3D直角坐标系，而朝向角theta指的是车辆障碍物与UTM坐标系X轴的夹角。
在计算过程中，可以理解，需要基于相机外参，将r_y角转化为朝向角theta，其中可以涉及到本申请专门配置的转换策略。
具体的，作为又一种具体的实现方式，此处在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta，具体可以包括以下内容：
设r_y角和最优r_y角两者，与朝向角theta的转换关系为：，其中，dir为3×1矩阵，dir为中间变量，为相机坐标系到UTM坐标系的旋转矩阵，/>为矩阵元素，i、j的取值范围均为0、1、2（即i=0,1,2；j=0,1,2），/>在相机外参的基础上结合车辆的定位信息算得，在r_y角或者最优r_y角的基础上，通过下式求解朝向角theta：
，
其中，dir[0]代表dir的第1个元素，dir[1]代表dir的第2个元素。
此外，在计算得到了朝向角theta之后，还可以继续对该数据进行滤波平滑处理，以此获得更为平滑的、更便于使用的朝向角theta，以避免受到噪声的影响，增强计算结果的稳定性、可靠性。
对此，作为又一种具体的实现方式，此处在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta之后，本申请车辆朝向的处理方法还可以包括如下步骤：
对朝向角theta进行滤波平滑处理。
其中，本申请所涉及的滤波平滑处理，具体可以采用卡尔曼滤波方法，或者，也可以采用其他的滤波方法，并且还可以同时使用多种滤波方法，通过组合使用的方式来获得更佳的滤波平滑效果。
值得一提的是，对于此处所计算的朝向角theta，其为一种全局坐标系（UTM坐标系）下的角度，而此前3D车辆检测网络所输出车辆检测结果中的alpha角，则是相对坐标系中描述的角度，不具备直接的使用价值，而基于高精定位与地图的智能驾驶做决策规划使用的是全局坐标，有助于知道自车在哪里，障碍物在哪里，障碍物在做什么样的运动，自车该做怎样的全局路径规划，如此本申请所处理得到的朝向角theta不仅与alpha角含义存在实质上的不同，且更具有实质意义。
对于以上内容，整体来说，本申请以低成本的基于单目相机的3D车辆检测结果为基础，构建了一系列的数据处理方案，以此稳定地、高精度地处理得到车辆识别对象的朝向角theta，为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持，进而有助于实现更为智能化的自动驾驶。
而对于本申请所处理得到的朝向角theta的处理精度，则可以通过以下一组实例来进行更为充分的理解。
在一个实例中，采用高精定位的小汽车（车辆障碍物）作为靶车，定位精度在2厘米的误差内，定位信息包含位置信息、朝向角信息，均相对于UTM坐标系而言。
在自车与靶车之间相对静止不动的情况下（两者都处于运动状态，朝向也相同），在通过本方案处理得到对应的朝向角theta后，可以得到：
1.感知输出的障碍物朝向角波动小，非常的稳定；
2.测量值与真值误差在0.01弧度的数量级内，转换为角度，在0.5度左右，误差非常的小。
当自车以一定的倾斜角度靠近靶车时（两者也是处于运动状态，但是朝向存在夹角），可以得到对于远距离倾斜相对的场景，本申请也有以下表现：
1.朝向角theta也能较准确地输出，且与真值相差在0.2弧度的误差内；
2.尽管此场景感知的检测结果不如前面第一种场景，但是整体误差并不大，仍是处于可接受范围内，取得较佳的精确性。
如此，在针对实际情况下两种运动状态的试验结果的基础上可以获悉，本申请对于朝向角theta的计算方案，具有精确且稳定的特点，可以良好地为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持。
以上是本申请提供的车辆朝向的处理方法的介绍，为便于更好的实施本申请提供的车辆朝向的处理方法，本申请还从功能模块角度提供了一种车辆朝向的处理装置。
参阅图7，图7为本申请车辆朝向的处理装置的一种结构示意图，在本申请中，车辆朝向的处理装置700具体可包括如下结构：
获取单元701，用于获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，单目相机图像由配置于车辆上的单目相机采集得到，单目相机预设有相机内参、相机外参，车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，实际尺寸包括长宽高尺寸，alpha角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，alpha角的范围为[-180°, 180°]，逆时针为正；
第一确定单元702，用于根据相机内参、2D检测框、alpha角，确定对应的r_y角，其中，r_y角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之前物体朝向与相机坐标系x轴形成的夹角，r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负；
第二确定单元703，用于根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc；
第三确定单元704，用于根据相机内参、2D检测框、z轴坐标Zc，确定车辆识别对象投影至相机坐标系的中心点坐标center；
判断单元705，用于判断是否需要优化r_y角，若需要，则触发优化单元706；
优化单元706，用于在相机内参、2D检测框、实际尺寸、中心点坐标center的基础上，通过反投影法确定最优r_y角；
第四确定单元707，用于在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta，其中，朝向角theta指的是物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
在一种示例性的实现方式，第一确定单元702，具体用于：
设2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，通过下式计算2D检测框的底边的中心点像素坐标(u,v)：
；
在相机内参的基础上，将2D检测框的底边的中心点像素坐标(u,v)通过下式投影至相机坐标系：
，
，
其中，cx、cy为相机内参中已知的相机光轴与成像平面的交点处的像素横纵坐标，fx为相机内参中已知的水平方向的焦距，fy为相机内参中已知的竖直方向的焦距，Zc1是待消除的车辆识别对象在相机坐标系中的z轴坐标，X、Y、Z为2D检测框的底边的中心点像素坐标(u,v)投影至相机坐标系后的三维坐标；
在投影结果的基础上，通过下式求解X/Z的反正切，并消除z轴坐标Zc1，得到theta_ray角，其中，theta_ray角指的是车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴的旋转角度，theta_ray角的范围为[-90°, 90°]，当车辆识别对象在单目相机左侧时角度为正，当所述车辆识别对象在单目相机右侧时角度为负：
；
在alpha角、theta_ray角的基础上，通过下式求解r_y角：
。
在又一种示例性的实现方式，第二确定单元703，具体用于：
在相机内参、2D检测框、实际尺寸的基础上，通过下式计算车辆识别对象在相机坐标系中的z轴坐标Zc：
，
，
其中，H为实际尺寸中的高度，2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，为2D检测框的像素高度，f为相机焦距，fx为相机内参中已知的水平方向的焦距，fy为相机内参中已知的竖直方向的焦距。
在又一种示例性的实现方式，第二确定单元703，具体用于：
在相机内参、2D检测框、实际尺寸、r_y角的基础上，通过下式计算车辆识别对象在相机坐标系中的z轴坐标Zc：
，
，
其中，L、W、H为实际尺寸中的长度、宽度和高度，2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，为2D检测框的像素高度，f为相机焦距，fx为相机内参中已知的水平方向的焦距，fy为相机内参中已知的竖直方向的焦距。
在又一种示例性的实现方式，优化单元706，具体用于：
将360度均等分成36分，得到36个角度值，作为预选r_y角，其中，第i个预选r_y角的角度值=（i-1）×10，i在1到36中取值；
根据实际尺寸包括的长宽高尺寸，在相机坐标系中初步构建一个3D检测框，3D检测框的底面中心位于相机坐标系的原点；
基于36个预选r_y角、中心点坐标center，对3D检测框进行旋转平移，使得3D检测框的几何中心点C与中心点坐标center重合，其中，在旋转平移过程中，旋转由第i个预选r_y角对应的旋转矩阵来执行，平移根据几何中心点C与中心点坐标center之间的距离确定；
基于相机内参、z轴坐标Zc，通过下式将旋转平移后的3D检测框的8个顶点反投影至像素坐标系，得到在像素坐标系下的8个坐标：
；
求解在像素坐标系中包围在像素坐标系下的8个坐标的2D包络框；
求解原来的2D检测框和2D包络框的交并比；
将取得最大交并比的预选r_y角作为最优r_y角。
在又一种示例性的实现方式，第四确定单元707，具体用于：
设r_y角和最优r_y角两者，与朝向角theta的转换关系为：，其中，dir为3×1矩阵，dir为中间变量，为相机坐标系到UTM坐标系的旋转矩阵，/>为矩阵元素，i、j的取值范围均为0、1、2，/>在相机外参的基础上结合车辆的定位信息算得，在r_y角或者最优r_y角的基础上，通过下式求解朝向角theta：
，
其中，dir[0]代表dir的第1个元素，dir[1]代表dir的第2个元素。
在又一种示例性的实现方式，第四确定单元707，还用于：
对朝向角theta进行滤波平滑处理。
本申请还从硬件结构角度提供了一种处理设备，参阅图8，图8示出了本申请处理设备的一种结构示意图，具体的，本申请处理设备可包括处理器801、存储器802以及输入输出设备803，处理器801用于执行存储器802中存储的计算机程序时实现如图1对应实施例中车辆朝向的处理方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能，存储器802用于存储处理器801执行上述图1对应实施例中车辆朝向的处理方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
处理设备可包括，但不仅限于处理器801、存储器802、输入输出设备803。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器801、存储器802、输入输出设备803等通过总线相连。
处理器801可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器801用于执行存储器802中存储的计算机程序时，具体可实现以下功能：
获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，单目相机图像由配置于车辆上的单目相机采集得到，单目相机预设有相机内参、相机外参，车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，实际尺寸包括长宽高尺寸，alpha角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，alpha角的范围为[-180°, 180°]，逆时针为正；
根据相机内参、2D检测框、alpha角，确定对应的r_y角，其中，r_y角指的是在车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之前物体朝向与相机坐标系x轴形成的夹角，r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负；
根据相机内参、2D检测框、实际尺寸，确定车辆识别对象在相机坐标系中的z轴坐标Zc；
根据相机内参、2D检测框、z轴坐标Zc，确定车辆识别对象在相机坐标系中的中心点坐标center；
判断是否需要优化r_y角，若需要，则在相机内参、2D检测框、实际尺寸、中心点坐标center的基础上，通过反投影法确定最优r_y角；
在相机外参的基础上，根据r_y角或者最优r_y角，确定对应的朝向角theta，其中，朝向角theta指的是物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的车辆朝向的处理装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中车辆朝向的处理方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中车辆朝向的处理方法的步骤，具体操作可参考如图1对应实施例中车辆朝向的处理方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器（Read Only Memory，ROM）、随机存取记忆体（Random Access Memory，RAM）、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中车辆朝向的处理方法的步骤，因此，可以实现本申请如图1对应实施例中车辆朝向的处理方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的车辆朝向的处理方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车辆朝向的处理方法，其特征在于，所述方法包括：
获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，所述单目相机图像由配置于车辆上的单目相机采集得到，所述单目相机预设有相机内参、相机外参，所述车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，所述实际尺寸包括长宽高尺寸，所述alpha角指的是在所述车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，所述alpha角的范围为[-180°,180°]，逆时针为正；
根据所述相机内参、所述2D检测框、所述alpha角，确定对应的r_y角，其中，所述r_y角指的是在所述车辆识别对象绕所述相机坐标系y轴旋转至所述相机坐标系z轴之前所述物体朝向与所述相机坐标系x轴形成的夹角，所述r_y角的范围为[-90°, 90°]，逆时针为正，顺时针为负；
根据所述相机内参、所述2D检测框、所述实际尺寸，确定所述车辆识别对象在相机坐标系中的z轴坐标Zc；
根据所述相机内参、所述2D检测框、所述z轴坐标Zc，确定所述车辆识别对象投影至所述相机坐标系的中心点坐标center；
判断是否需要优化所述r_y角，若需要，则在所述相机内参、所述2D检测框、所述实际尺寸、所述中心点坐标center的基础上，通过反投影法确定最优r_y角；
在所述相机外参的基础上，根据所述r_y角或者所述最优r_y角，确定对应的朝向角theta，其中，所述朝向角theta指的是所述物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相机内参、所述2D检测框、所述alpha角，确定对应的r_y角，包括：
设所述2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，通过下式计算所述2D检测框的底边的中心点像素坐标(u,v)：
；
在所述相机内参的基础上，将所述2D检测框的底边的中心点像素坐标(u,v)通过下式投影至所述相机坐标系：
，
，
其中，cx、cy为所述相机内参中已知的相机光轴与成像平面的交点处的像素横纵坐标，fx为所述相机内参中已知的水平方向的焦距，fy为所述相机内参中已知的竖直方向的焦距，Zc1是待消除的所述车辆识别对象在相机坐标系中的z轴坐标，X、Y、Z为所述2D检测框的底边的中心点像素坐标(u,v)投影至所述相机坐标系后的三维坐标；
在投影结果的基础上，通过下式求解X/Z的反正切，并消除z轴坐标Zc1，得到theta_ray角，其中，所述theta_ray角指的是所述车辆识别对象绕所述相机坐标系y轴旋转至所述相机坐标系z轴的旋转角度，所述theta_ray角的范围为[-90°, 90°]，当所述车辆识别对象在所述单目相机左侧时角度为正，当所述车辆识别对象在所述单目相机右侧时角度为负：
；
在所述alpha角、所述theta_ray角的基础上，通过下式求解所述r_y角：
。
3.根据权利要求1所述的方法，其特征在于，所述根据所述相机内参、所述2D检测框、所述实际尺寸，确定所述车辆识别对象在相机坐标系中的z轴坐标Zc，包括：
在所述相机内参、所述2D检测框、所述实际尺寸的基础上，通过下式计算所述车辆识别对象在所述相机坐标系中的所述z轴坐标Zc：
，
，
其中，H为所述实际尺寸中的高度，所述2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，为所述2D检测框的像素高度，f为相机焦距，fx为所述相机内参中已知的水平方向的焦距，fy为所述相机内参中已知的竖直方向的焦距。
4.根据权利要求1所述的方法，其特征在于，所述根据所述相机内参、所述2D检测框、所述实际尺寸，确定所述车辆识别对象在相机坐标系中的z轴坐标Zc，包括：
在所述相机内参、所述2D检测框、所述实际尺寸、所述r_y角的基础上，通过下式计算所述车辆识别对象在所述相机坐标系中的所述z轴坐标Zc：
，
，
其中，L、W、H为所述实际尺寸中的长度、宽度和高度，所述2D检测框用数组(x0,y0,x1,y1)表示，x0、y0是左上顶点的像素坐标，x1、y1是右下顶点的像素坐标，为所述2D检测框的像素高度，f为相机焦距，fx为所述相机内参中已知的水平方向的焦距，fy为所述相机内参中已知的竖直方向的焦距。
5.根据权利要求1所述的方法，其特征在于，所述在所述相机内参、所述2D检测框、所述实际尺寸、所述中心点坐标center的基础上，通过反投影法确定最优r_y角，包括：
将360度均等分成36分，得到36个角度值，作为预选r_y角，其中，第i个所述预选r_y角的角度值=（i-1）×10，i在1到36中取值；
根据所述实际尺寸包括的所述长宽高尺寸，在所述相机坐标系中初步构建一个3D检测框，所述3D检测框的底面中心位于所述相机坐标系的原点；
基于36个所述预选r_y角、所述中心点坐标center，对所述3D检测框进行旋转平移，使得所述3D检测框的几何中心点C与所述中心点坐标center重合，其中，在旋转平移过程中，旋转由第i个所述预选r_y角对应的旋转矩阵来执行，平移根据所述几何中心点C与所述中心点坐标center之间的距离确定；
基于所述相机内参、所述z轴坐标Zc，通过下式将旋转平移后的所述3D检测框的8个顶点反投影至像素坐标系，得到在所述像素坐标系下的8个坐标：
，
其中，u1、v1为旋转平移后的所述3D检测框的8个顶点反投影至所述像素坐标系后的二维坐标，X1、Y1、Z1为旋转平移后的所述3D检测框的8个顶点的三维坐标，cx、cy为所述相机内参中已知的相机光轴与成像平面的交点处的像素横纵坐标，fx为所述相机内参中已知的水平方向的焦距，fy为所述相机内参中已知的竖直方向的焦距；
求解在所述像素坐标系中包围所述在所述像素坐标系下的8个坐标的2D包络框；
求解原来的所述2D检测框和所述2D包络框的交并比；
将取得最大交并比的所述预选r_y角作为所述最优r_y角。
6.根据权利要求1所述的方法，其特征在于，所述在所述相机外参的基础上，根据所述r_y角或者所述最优r_y角，确定对应的朝向角theta，包括：
设所述r_y角和所述最优r_y角两者，与所述朝向角theta的转换关系为：，其中，dir为3×1矩阵，dir为中间变量，为所述相机坐标系到所述UTM坐标系的旋转矩阵，/>为矩阵元素，i、j的取值范围均为0、1、2，/>在所述相机外参的基础上结合车辆的定位信息算得，在所述r_y角或者所述最优r_y角的基础上，通过下式求解所述朝向角theta：
，
其中，dir[0]代表dir的第1个元素，dir[1]代表dir的第2个元素。
7.根据权利要求1所述的方法，其特征在于，所述在所述相机外参的基础上，根据所述r_y角或者所述最优r_y角，确定对应的朝向角theta之后，所述方法还包括：
对所述朝向角theta进行滤波平滑处理。
8.一种车辆朝向的处理装置，其特征在于，所述装置包括：
获取单元，用于获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，所述单目相机图像由配置于车辆上的单目相机采集得到，所述单目相机预设有相机内参、相机外参，所述车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，所述实际尺寸包括长宽高尺寸，所述alpha角指的是在所述车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，所述alpha角的范围为[-180°, 180°]，逆时针为正；
第一确定单元，用于根据所述相机内参、所述2D检测框、所述alpha角，确定对应的r_y角，其中，所述r_y角指的是在所述车辆识别对象绕所述相机坐标系y轴旋转至所述相机坐标系z轴之前所述物体朝向与所述相机坐标系x轴形成的夹角，所述r_y角的范围为[-90°,90°]，逆时针为正，顺时针为负；
第二确定单元，用于根据所述相机内参、所述2D检测框、所述实际尺寸，确定所述车辆识别对象在相机坐标系中的z轴坐标Zc；
第三确定单元，用于根据所述相机内参、所述z轴坐标Zc，确定所述车辆识别对象投影至所述相机坐标系的中心点坐标center；
判断单元，用于判断是否需要优化所述r_y角，若需要，则触发优化单元；
所述优化单元，用于在所述相机内参、所述2D检测框、所述实际尺寸、所述中心点坐标center的基础上，通过反投影法确定最优r_y角；
第四确定单元，用于在所述相机外参的基础上，根据所述r_y角或者所述最优r_y角，确定对应的朝向角theta，其中，所述朝向角theta指的是所述物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负。
9.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
CN202311618136.4A 2023-11-30 2023-11-30 一种车辆朝向的处理方法、装置以及处理设备 Active CN117315035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311618136.4A CN117315035B (zh) 2023-11-30 2023-11-30 一种车辆朝向的处理方法、装置以及处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311618136.4A CN117315035B (zh) 2023-11-30 2023-11-30 一种车辆朝向的处理方法、装置以及处理设备

Publications (2)

Publication Number Publication Date
CN117315035A true CN117315035A (zh) 2023-12-29
CN117315035B CN117315035B (zh) 2024-03-22

Family

ID=89285235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311618136.4A Active CN117315035B (zh) 2023-11-30 2023-11-30 一种车辆朝向的处理方法、装置以及处理设备

Country Status (1)

Country Link
CN (1) CN117315035B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318481A1 (en) * 2018-04-17 2019-10-17 Baidu Usa Llc Method for pitch angle calibration based on 2d bounding box and its 3d distance for autonomous driving vehicles (advs)
CN112581544A (zh) * 2020-12-30 2021-03-30 易思维（杭州）科技有限公司 基于参数优化的无公共视场相机标定方法
WO2021218693A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备
WO2022161140A1 (zh) * 2021-01-27 2022-08-04 上海商汤智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
CN115359474A (zh) * 2022-07-27 2022-11-18 成都信息工程大学 适用于移动端的轻量级三维目标检测方法、装置及介质
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备
CN115880500A (zh) * 2022-02-14 2023-03-31 中国农业大学 拖拉机检测方法、设备、系统、装置、介质及程序产品
CN116129422A (zh) * 2022-12-15 2023-05-16 广州赛特智能科技有限公司 单目3d目标检测方法、装置、电子设备和存储介质
CN116645649A (zh) * 2023-07-27 2023-08-25 深圳魔视智能科技有限公司 车辆位姿及尺寸估计方法、设备及存储介质
WO2023184868A1 (zh) * 2022-04-02 2023-10-05 合众新能源汽车股份有限公司 障碍物朝向的确定方法、装置、系统、设备、介质及产品
CN117152243A (zh) * 2023-09-06 2023-12-01 南京理工大学 一种基于ptz相机单目变焦的告警定位方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318481A1 (en) * 2018-04-17 2019-10-17 Baidu Usa Llc Method for pitch angle calibration based on 2d bounding box and its 3d distance for autonomous driving vehicles (advs)
WO2021218693A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备
CN112581544A (zh) * 2020-12-30 2021-03-30 易思维（杭州）科技有限公司 基于参数优化的无公共视场相机标定方法
WO2022161140A1 (zh) * 2021-01-27 2022-08-04 上海商汤智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
CN115880500A (zh) * 2022-02-14 2023-03-31 中国农业大学 拖拉机检测方法、设备、系统、装置、介质及程序产品
WO2023184868A1 (zh) * 2022-04-02 2023-10-05 合众新能源汽车股份有限公司 障碍物朝向的确定方法、装置、系统、设备、介质及产品
CN115359474A (zh) * 2022-07-27 2022-11-18 成都信息工程大学 适用于移动端的轻量级三维目标检测方法、装置及介质
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备
CN116129422A (zh) * 2022-12-15 2023-05-16 广州赛特智能科技有限公司 单目3d目标检测方法、装置、电子设备和存储介质
CN116645649A (zh) * 2023-07-27 2023-08-25 深圳魔视智能科技有限公司 车辆位姿及尺寸估计方法、设备及存储介质
CN117152243A (zh) * 2023-09-06 2023-12-01 南京理工大学 一种基于ptz相机单目变焦的告警定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEE MIN CHOI 等: "Multi-View Reprojection Architecture for Orientation Estimation", 《CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW) AUTHORS: HEE MIN CHOI UNIVERSITY OF FLORIDA HYOA KANG YOONSUK HYUN REQUEST FULL-TEXT PAPER PDF REQUEST FULL-TEXT PDF TO READ THE FULL-TEXT OF THIS RESEARCH, YOU CAN REQUEST A COPY》 *
赵嘉豪 等: "基于轮胎特征点的并行大型车辆朝向角计算", 《汽车工程》 *

Also Published As

Publication number Publication date
CN117315035B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
EP3751519B1 (en) Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
US11012620B2 (en) Panoramic image generation method and device
WO2019192358A1 (zh) 一种全景视频合成方法、装置及电子设备
CN111383279B (zh) 外参标定方法、装置及电子设备
CN112444242B (zh) 一种位姿优化方法及装置
CN111862302B (zh) 图像处理和对象建模方法与设备、图像处理装置及介质
CN111750820A (zh) 影像定位方法及其系统
WO2022052582A1 (zh) 一种图像配准方法、装置及电子设备和存储介质
CN109903346A (zh) 相机姿态检测方法、装置、设备及存储介质
CN113870379A (zh) 地图生成方法、装置、电子设备及计算机可读存储介质
CN114047487B (zh) 雷达和车体的外参标定方法、装置、电子设备和存储介质
CN114120149B (zh) 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
US20230351625A1 (en) A method for measuring the topography of an environment
CN113034612A (zh) 一种标定装置、方法及深度相机
CN110825079A (zh) 一种地图构建方法及装置
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN113034347B (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN117315035B (zh) 一种车辆朝向的处理方法、装置以及处理设备
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
US11240477B2 (en) Method and device for image rectification
CN110470232A (zh) 一种测量高度差的方法、装置、测量系统及电子设备
CN116152347A (zh) 一种车载摄像头安装姿态角标定方法及系统
WO2021068723A1 (zh) 传感器标定方法和传感器标定装置
CN114792343A (zh) 图像获取设备的标定方法、获取图像数据的方法、装置
CN114648639A (zh) 一种目标车辆的检测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant