CN115170648A - 一种车厢位姿确定方法及装置 - Google Patents

Abstract

本发明公开了一种车厢位姿确定方法及装置，涉及车辆智能化控制领域。用以解决现有针对卡车车厢实时位置和姿态检测存在智能化低、成本高且不适用于室外无人自主作业的问题。该方法包括：通过设置在挖掘机上的双目相机获取左目彩色图像以及与左目彩色图像对应的双目相机点云数据；根据深度卷积神经网络对左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；根据卡车目标检测框内包括的像素索引从双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；根据与左目彩色图像对应的关键点图像坐标从卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

Description

一种车厢位姿确定方法及装置

技术领域

本发明涉及车辆智能化控制领域，更具体的涉及一种车厢位姿确定方法及装置。

背景技术

土方机械、矿山机械、路面机械等工程机械设备在进行无人化自主作业升级中需要机群协同作业，如挖掘机向卡车进行卸料，在这种应用场景下就需要挖掘机具备卡车车厢实时位置和姿态检测能力。

现有技术中，在固定位置利用视觉进行车厢位置检测，其利用视觉在多个位置检测出往返运动车厢的几个关键点来确定车厢的位置，进而执行作业操作。该方法适用于单个场景重复工作的车厢位置检测，属于重复性检测，智能化程度低，不适用于挖掘机室外无人自主作业卡车车厢动态位置、姿态检测中。在AGV(Automated Guided Vehicle，中文为无人搬运车)行业中利用安装在AGV小车上的激光发射器和货架上的激光接收器进行AGV小车和货架的相对位置矫正，引导AGV小车进行卸货。此种AGV小车对货架位置的感知只能用于固定路线的末端精确矫正，并不能用于挖掘机室外无人自主作业卡车车厢动态位置、姿态检测中。在无人驾驶中也对前方卡车进行检测，得到前方卡车与本车的空间相对位置，但无人驾驶中并不关心卡车车厢的精确位置及姿态，只将卡车作为一个整体检测，视卡车为一种障碍物，因此无人驾驶中的卡车检测不能直接用于工程机械室外无人自主作业卡车车厢位置、姿态的精确检测中。RTK(Real Time Kinematic，中文为实时动态测量)利用差分定位原理可以检测出卡车位于地图坐标系的位置，同时通过卡车自身的尺寸信息推算得到车厢的地图坐标系位置。同时挖掘机也可以利用RTK定位得到自己在地图坐标系的位置，两者相比较就可以得到卡车车厢跟挖掘机的相对位置，进而完成卸料。此种方案可以完成挖掘机室外无人自主作业，但随之带来的问题是高昂的成本。

综上所述，现有针对卡车车厢实时位置和姿态检测存在智能化低、成本高且不适用于室外无人自主作业的问题。

发明内容

本发明实施例提供一种车厢位姿确定方法及装置，用以解决现有针对卡车车厢实时位置和姿态检测存在智能化低、成本高且不适用于室外无人自主作业的问题。

本发明实施例提供一种车厢位姿确定方法，包括：

通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；

根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；

根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

优选地，所述通过设置在挖掘机上的双目相机获取左目彩色图像之前，还包括：

从双目相机拍摄的原始图像中选择训练图像，其中，训练图像中包括卡车，且卡车在所述原始图像中漏出的车体至少占自身车体66％以上；

通过labelme工具对所述训练图像进行数据标注，得到包括所述卡车目标检测框和关键点位置的标签文件；

将所述训练图像和所述标签文件输入加载预训练权重的初始训练模型，通过迭代训练得到深度卷积神经网络模型。

优选地，所述关键点位置包括卡车头点、车厢左上点、车厢左下点、车厢右上点、车厢右下点；

与所述关键点位置对应的所述关键点图像坐标包括卡车头点的图像坐标、车厢左上点的图像坐标、车厢左下点的图像坐标、车厢右上点的图像坐标、车厢右下点的图像坐标。

优选地，所述根据卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据，具体包括：

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中抽取与所述卡车目标检测框对应的卡车点云数据；

通过体素降采样算法对所述卡车点云数据进行点云降采样稀疏，得到稀疏点云数据；

通过欧式聚类算法和平面分割算法对所述稀疏点云数据处理，得到所述卡车侧面点云数据。

优选地，所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中还可以得到车头点的三维空间坐标和车厢左下点的三维空间坐标；

所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标，具体包括：

根据所述关键点图像坐标从所述卡车侧面点云数据中得到分别属于车厢左上点的半径30cm范围内的点云数据、车厢右上点的半径30cm范围内的点云数据和车厢右下点的半径30cm范围内的点云数据；

根据车厢左上点的半径30cm范围内的点云数据得到车厢左上点的三维空间坐标；根据车厢右上点的半径30cm范围内的点云数据得到车厢右上点的三维空间坐标；根据车厢右下点的半径30cm范围内的点云数据得到车厢右下点的三维空间坐标。

本发明实施例还提供一种车厢位姿确定装置，包括：

获取单元，用于通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；

第一得到单元，用于根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；

抽取单元，用于根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；

第二得到单元，用于根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

优选地，所述获取单元还用于：

从双目相机拍摄的原始图像中选择训练图像，其中，训练图像中包括卡车，且卡车在所述原始图像中漏出的车体至少占自身车体66％以上；

通过labelme工具对所述训练图像进行数据标注，得到包括所述卡车目标检测框和关键点位置的标签文件；

将所述训练图像和所述标签文件输入加载预训练权重的初始训练模型，通过迭代训练得到深度卷积神经网络模型。

优选地，所述关键点位置包括卡车头点、车厢左上点、车厢左下点、车厢右上点、车厢右下点；

与所述关键点位置对应的所述关键点图像坐标包括卡车头点的图像坐标、车厢左上点的图像坐标、车厢左下点的图像坐标、车厢右上点的图像坐标、车厢右下点的图像坐标。

优选地，所述抽取单元用于：

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中抽取与所述卡车目标检测框对应的卡车点云数据；

通过体素降采样算法对所述卡车点云数据进行点云降采样稀疏，得到稀疏点云数据；

通过欧式聚类算法和平面分割算法对所述稀疏点云数据处理，得到所述卡车侧面点云数据。

优选地，所述第二得到单元用于：所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中还可以得到车头点的三维空间坐标和车厢左下点的三维空间坐标；

根据所述关键点图像坐标从所述卡车侧面点云数据中得到分别属于车厢左上点的半径30cm范围内的点云数据、车厢右上点的半径30cm范围内的点云数据和车厢右下点的半径30cm范围内的点云数据；

根据车厢左上点的半径30cm范围内的点云数据得到车厢左上点的三维空间坐标；根据车厢右上点的半径30cm范围内的点云数据得到车厢右上点的三维空间坐标；根据车厢右下点的半径30cm范围内的点云数据得到车厢右下点的三维空间坐标。

本发明实施例提供一种车厢位姿确定方法及装置，该方法包括：通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。该方法中，通过双目相机分别获取左目彩色图像以及双目相机点云数据；进一步地，通过深度卷积神经网络技术对左目彩色图像进行识别，得到卡车目标检测框以及关键点图像坐标；通过对双目相机点云数据的处理，得到卡车侧面点云数据，卡车侧面点云数据与关键点图像坐标相结合，最后得到卡车关键点的三维空间坐标，从而可以确定卡车的车厢位置以及姿态。该方法基于深度卷积神经网络，利用双目相机图像和点云数据，可以对各种型号的卡车在各个场景下进行识别并得到卡车车厢的位置和姿态，满足工程机械室外无人自主作业的要求；再者，该方法利用双目相机进行的是单端检测，避免了现有技术需要安装移动站的缺陷，从而降低成本。通过本发明实施例提供的方法，解决了现有针对卡车车厢实时位置和姿态检测存在智能化低、成本高且不适用于室外无人自主作业的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车厢位姿确定方法流程示意图；

图2为本发明实施例提供的挖掘机两侧各安装一个双目相机结构示意图；

图3为本发明实施例提供的被测卡车包括的关键点位置示意图；

图4为本发明实施例提供的双目纵向测距原理示意图；

图5为本发明实施例提供的空间点横向坐标和垂直方向坐标求取示意图；

图6为本发明实施例提供的一种车厢位姿确定装置结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种车厢位姿确方法流程示意图，以下根据图1提供的流程图，详细介绍卡车车厢位姿确定方法。

如图1所示，该方法主要包括以下步骤：

步骤101，通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；

步骤102，根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；

步骤103，根据所述卡车目标检测框内包含的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；

步骤104，根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

在介绍本发明实施例提供的卡车车厢位姿确定方法之前，先以挖掘机为例，介绍双目相机在挖掘机上的设置位置，再以卡车为例，介绍被检测对象为卡车时，其包括的关键点的位置。

如图2所示，在挖掘机两侧各安装一个双目相机，其中，左侧双目相机可以简称为左相机，右侧双目相机可以简称为右相机。在实际应用中，左右相机各自独立识别卡车并检测卡车的位置和姿态，计算结果将统一转换至挖掘机整车坐标系。这里的挖掘机整车坐标系就是预先定义的挖掘机中心点。

如图3所示，图中的被检测对象为卡车，其中，卡车头点、车厢左上点、车厢左下点、车厢右上点、车厢右下点这几个点为双目相机的最终检测目标，当根据图像识别和点云计算结果得到这几个点的空间坐标信息之后，就可以利用这几个点引导挖掘机进行自主卸料作业。

需要说明的是，在本发明实施例中，关键点的数量最少可以包括三个，其分别为车厢左上点、车厢右上点、车厢右下点。

在步骤101之前，需要先得到后续应用的深度卷积神经网络。

在实际应用中，深度卷积神经网络一般由输入层(image)、主干特征提取网络(backbone)、加强特征提取网络(neck)、检测头(head)组成。输入层一般对图像数据进行归一化再送入神经网络进行推理，归一化的方法有多种，其中一种方式是将图像像素值由0～255归一化至0～1。归一化的输入层图像数据要经过卷积操作和激活操作不断提取图像特征。卷积操作即通过卷积核在图像上从左到右、从上至下进行卷积求和，提取特征。卷积操作后通过激活函数得到当前卷积层的输出。

主干特征提取网络之后一般会接加强特征提取网络，加强特征提取网络将主干特征提取网络提取的不同尺度特征图进行特征融合，然后进一步进行卷积提取特征。加强特征提取采用特征金子塔堆叠加卷积操作进行，一个典型的加强特征提取网络是FPN(Feature Pyramid Network--特征金字塔网络)。FPN网络将低层高分辨率特征图和高层高语义特征图进行融合，然后在融合后的每一层特征图上单独做预测得到预测结果。加强特征提取网络之后一般接1x1的卷积(即检测头head)得到网络的预测结果，即检测框回归结果和种类置信度结果。

本发明实施例中采用的深度卷积神经网络(RetinaTruck)，其具有泛化能力，能够对各个场景下，各个厂家的各种型号卡车进行有效的识别，不依赖于卡车图像模板和卡车尺寸等先验知识。具体地，深度卷积神经网络采用ResNet-101作为主干特征提取网络，FPN作为加强特征提取网络，接着使用种类预测子网络(class subnet)预测每个网格的类别、检测框回归子网络(box subnet)回归检测框、关键点回归子网络(key point subnet)回归关键点，得到最终的网络预测结果。损失函数RetinaTruck使用Focal Loss函数，FocalLoss能很好地解决样本不均衡问题，使得检测准确性有非常大的提高。

具体地，深度卷积神经网络的得到包括以下步骤：

步骤101-1，数据采集：使用设置在挖掘机上的双目摄像头去拍摄各个场景下、各种型号的卡车照片；图像采集完成后通过人工挑选的方式，从原始图像中挑选出符合要求的训练图像，然后对训练图像进行标注。其中，训练图像中包含卡车且卡车在画面中露出的车体至少在2/3以上。需要说明的是，挑选训练图像时，重复出现的包含卡车的原始图像，相互之间变化不大，我们只需挑选出其中一幅图像作为训练图像保留下来。

步骤101-2，数据标注：数据采集得到训练图像之后，训练图像需要通过labelme工具进行数据标注，通过数据标注得到每张训练图像所对应的包含卡车目标检测框和关键点位置的标签文件(labels)。

需要说明的是，在本发明实施例中，关键点可以只包括车厢左上点、车厢右上点和车厢右下点这三个点。

步骤101-3，模型训练：在模型训练时首先加载预训练权重，然后输入训练图像和标签文件进行模型训练。具体地，训练图像通过预处理模块进行归一化和缩放操作，归一化和缩放后的训练图像送入网络模型进行前向传播得到预测结果，预测结果与标签文件所包含的训练图像真实目标位置及类别(ground truth)通过损坏函数求出模型输出与真实目标之间的偏差，即损失(loss)。损失(loss)包含三部分，分别为目标分类损失、目标检测框回归损失、关键点回归损失。损失(loss)通过反向传播对网络每一层权重进行权值更新，至此完成一次训练，通过不断迭代训练使得模型收敛，当达到收敛目标或者达到最大迭代次数时就完成了整个模型的训练，即得到了深度卷积神经网络。

步骤101-4，将训练好的深度卷积神经网络部署至CPU处理器、图形处理器GPU(Graphic Processing Unit)或者AI芯片即可进行模型推理预测，得到双目相机实时拍摄图像的卡车和关键点识别结果。具体地，模型训练阶段通过现场数据训练得到了具备检测能力的深度卷积神经网络，深度卷积神经网络可以通过opencv或libtorh库部署至CPU处理器或者图形处理器GPU，而AI芯片也可以通过AI芯片厂家提供的库及部署要求部署至AI芯片上，一般部署至AI芯片时要经过模型格式的转换。

在本发明实施例中，若将训练好的深度卷积神经网络部署至CPU处理器，此时深度卷积神经网络完成一次推理计算得到实时输入图像中的卡车目标检测框及卡车关键点耗时约200ms；若系统计算单元含有图形处理器GPU或AI芯片，可将深度卷积神经网络部署至图形处理器GPU或AI芯片上，提升实时性，此时深度卷积神经网络完成一次推理计算得到实时输入图像中的卡车的目标检测框及卡车关键点耗时约30ms。

在本发明实施例中，双目相机左目彩色图像识别卡车目标检测框及卡车关键点过程包含三个阶段，当输入一张左目彩色图像时首先经过预处理阶段，完成左目彩色图像的归一化和缩放操作；归一化和缩放后的图像再送入深度卷积神经网络进行前向推理得到图像上每个网格点的预测结果；最后每个网格点的预测结果通过后处理，即非极大值抑制，得到最终的预测结果。

在步骤101中，通过设置在挖掘机上的双目相机拍摄卡车的左目彩色图像。

进一步地，还要根据双目相机实时采集的图像数据通过左右目图像视觉差生成双目相机点云数据。具体地，双目相机左右目图像进行图像匹配，得到同一物体在左右目图像中的像素；然后同一物体在左右目图像中的像素作差得到像素差，即视差图；最后像素差和双目基线构成空间相似三角形，利用空间相似三角形计算出每一个像素对应的空间三维坐标。

举例来说，如图4所示，图中o_l、o_r分别是双目相机左右目的投影中心，o_l、o_r之间的连线T称作双目基线。P是空间中的一点，P在左右图像上的成像点在X轴上的坐标分别为x^l、x^r，d＝x^l-x^r称为视差。根据相似三角形定理，ΔPO_lO_r与ΔPP_lP_r相似，P_l是点P在左目上的成像点，即图中x^l所在的位置；P_r是点P在右目上的成像点，即图中x^r所在的位置。则深度Z可由公式(1)确定：

进一步地，得到深度信息Z之后基于左目相机坐标系及空间点P在左目图像上的成像点P_l，利用相似三角形定理可以求取空间点P的横向坐标X和垂直方向坐标Y。P(X,Y,Z)在左目相机坐标系下的坐标为P(X_c,Y_c,Z_c)，p(x,y)是空间点P(X_c,Y_c,Z_c)在左目图像坐标系下的成像点图像坐标。进一步地，根据图5可以确定X_c、Y_c，其中，X_c、Y_c计算分别如公式(2)和(3)所示：

基于此，空间点P(X_c,Y_c,Z_c)所有坐标已求出。双目相机可视范围内所有空间点的三维坐标组成双目相机的点云数据，其坐标为左目相机坐标系下的坐标。

在步骤102中，将双目相机拍摄的左目彩色图像输入深度卷积神经网络，可以得到卡车目标检测框和关键点图像坐标。

具体地，左目彩色图像的分辨率为1280x720RGB，在将左目彩色图像输入深度卷积神经网络之前，需要对左目彩色图像进行预处理，预处理包括图像归一化和图像缩放。深度卷积神经网络预处理中图像归一化采用图像中每个像素RGB值减去对应通道平均值(104,117,123)进行归一化，即像素R通道值减去104、G通道值减去117、B通道值减去123；图像缩放操作是将左目彩色图像缩放至1280x736 RGB，满足深度卷积神经网络输入图像尺寸要求。经过预处理后，左目彩色图像输入深度卷积神经网络进行推理得到模型输出，模型输出为每个网格点上每个锚框的物体分类结果、目标检测框回归结果和关键点回归结果。之后，深度卷积神经网络通过非极大值抑制(NMS)得到最终的卡车目标检测框和关键点图像坐标。

在步骤103中，因为双目相机拍摄的左目彩色图像像素索引与双目相机点云数据索引一一对应，因此，根据步骤102确定的目标检测框，可以根据目标检测框内包含的像素索引，从双目相机点云数据中抽取与卡车目标检测框对应的属于卡车的卡车点云数据。

在实际应用中，利用体素降采样算法进行点云降采样稀疏化，可以提高点云处理算法效率。在本发明实施例中，根据卡车目标检测框抽取的卡车点云数据很稠密，需要进行10x10cm体素降采样将点云稀疏化，以提高后续点云处理的算法效率。

体素降采样有两种方式，一种方式通过求取体素的质心作为体素的表征；另一种方式通过求取体素的平均值作为体素的表征。其中，体素是空间立方体方格，体素降采样就是利用空间立方体方格对空间进行划分，以立方体方格的质心或者平均值作为该立方体方格的表征。在本发明实施例中，体素降采样的方式是利用体素平均值作为体素的表征，这方式计算效率更高，同时带来的局部信息丢失对我们也没有影响。

即通过体素降采样算法对卡车点云数据进行点云降采样稀疏，得到稀疏点云数据。

进一步地，点云降采样稀疏之后得到的稀疏点云数据，还可以使用欧式聚类算法去除噪声点云以及部分不属于卡车的点云。在实际应用中，欧式聚类算法计算空间点与点之间的欧式距离，当两点之间的欧式距离小于设定的阈值时，则认为两个点属于同一块点云。通过欧式聚类算法可以将部分不属于卡车的点云及噪声点去除掉。

进一步地，通过欧式聚类算法去除噪声及部分不属于卡车的点云后的稀疏点云数据，可以使用随机样本一致性(ransac)平面分割算法进行卡车侧面点云分割，分割后得到只属于卡车侧面的卡车侧面点云数据。其中，ransac平面分割算法先假设一个卡车侧面平面方程，然后判断点云中每个点是不是属于这个平面，属于这个平面方程则归属于卡车侧面点云数据。每次遍历完整幅稀疏点云数据即迭代一次，平面方程会不断迭代直到找到属于此平面方程的点数最多或者达到设定的最大迭代次数即完成分割算法，也就得到了卡车侧面点云数据。

在步骤104中，根据步骤102确定的关键点图像坐标从卡车侧面点云数据中抽取属于关键点周围半径30cm范围内的点云数据，即分别得到属于车头点半径30cm范围内的点云数据、车厢左上点半径30cm范围内的点云数据、车厢左下点半径30cm范围内的点云数据、车厢右上点半径30cm范围内的点云数据和车厢右下点半径30cm范围内的点云数据。

进一步地，每个关键点周围半径30cm范围内的点云数据单独求取其中心点，作为每个关键点的精确三维空间坐标，根据上述精确三维空间坐标即可以确定卡车的位置和姿态。

需要说明的是，这里可以根据车厢左上点半径30cm范围内的点云数据确定车厢左上点点云数据的中心点，将该中心点确定为车厢左上点的三维空间坐标；同时，还可以根据车厢右上点半径30cm范围内的点云数据和车厢右下点半径30cm范围内的点云数据，分别确定车厢右上点的三维空间坐标和车厢右下点的三维空间坐标。

在本发明实施例中，可以根据上述三个关键点确定卡车的位置和姿态。进一步地，当关键点还包括卡车头点和车厢左下点时，同时也可以确定卡车头点的三维空间坐标和车厢左下点的三维空间坐标。

在本发明实施例中，当确定至少三个三维空间坐标之后，可以根据空间坐标引导挖掘机或其他车辆进行自主卸料。需要说明的是，卡车车厢位置、姿态动态感知算法部署在控制器CPU上，其运行速度可以达到250ms/次，在挖掘机无人自主作业这种低速场景中可以满足实时性要求，如果运行在AI加速硬件上(如GPU、AI芯片)实时性会进一步提升，运算速度可以达到80ms/次以内。

通过本发明实施例提供的卡车车厢位姿确定方法，其基于人工智能领域深度卷积神经网络技术，利用双目相机图像和点云可以对各种型号卡车在各种场景下进行识别并得到精确的卡车车厢位置和姿态。再者，双目相机进行的是单端检测，像人的眼睛一样对外界事物进行识别并测量。无需像RTK那样要求卡车和挖掘机都安装移动站，卡车的RTK定位结果需要通过通信终端发往无人挖掘机，无人挖掘机收到卡车定位数据后与自身定位数据做比较才能得到两者的相对位置关系；目前达到车规级的双目相机，具备防水防尘能力，在大规模应用中可以将成本降低至数千元，成本低，能够实现工程机械室外无人自主作业的大规模应用。

基于同一发明构思，本发明实施例提供了一种车厢位姿确定装置，由于该系统解决技术问题的原理与一种车厢位姿确定方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。

如图6所示，该装置包括

获取单元201，用于通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；

第一得到单元202，用于根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；

抽取单元203，用于根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；

第二得到单元204，用于根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

优选地，所述获取单元201还用于：

从双目相机拍摄的原始图像中选择训练图像，其中，训练图像中包括卡车，且卡车在所述原始图像中漏出的车体至少占自身车体66％以上；

通过labelme工具对所述训练图像进行数据标注，得到包括所述卡车目标检测框和关键点位置的标签文件；

将所述训练图像和所述标签文件输入加载预训练权重的初始训练模型，通过迭代训练得到深度卷积神经网络模型。

优选地，所述关键点位置包括卡车头点、车厢左上点、车厢左下点、车厢右上点、车厢右下点；

与所述关键点位置对应的所述关键点图像坐标包括卡车头点的图像坐标、车厢左上点的图像坐标、车厢左下点的图像坐标、车厢右上点的图像坐标、车厢右下点的图像坐标。

优选地，所述抽取单元203用于：

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中抽取与所述卡车目标检测框对应的卡车点云数据；

通过体素降采样算法对所述卡车点云数据进行点云降采样稀疏，得到稀疏点云数据；

通过欧式聚类算法和平面分割算法对所述稀疏点云数据处理，得到所述卡车侧面点云数据。

优选地，所述第二得到单元204用于：

所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中还可以得到车头点的三维空间坐标和车厢左下点的三维空间坐标；

根据所述关键点图像坐标从所述卡车侧面点云数据中得到分别属于车厢左上点的半径30cm范围内的点云数据、车厢右上点的半径30cm范围内的点云数据和车厢右下点的半径30cm范围内的点云数据；

根据车厢左上点的半径30cm范围内的点云数据得到车厢左上点的三维空间坐标；根据车厢右上点的半径30cm范围内的点云数据得到车厢右上点的三维空间坐标；根据车厢右下点的半径30cm范围内的点云数据得到车厢右下点的三维空间坐标。

应当理解，以上一种车厢位姿确定装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种车厢位姿确定装置所实现的功能与上述实施例提供的一种车厢位姿确定方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种车厢位姿确定方法，其特征在于，包括：

通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；

根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；

根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

2.如权利要求1所述的方法，其特征在于，所述通过设置在挖掘机上的双目相机获取左目彩色图像之前，还包括：

从双目相机拍摄的原始图像中选择训练图像，其中，训练图像中包括卡车，且卡车在所述原始图像中漏出的车体至少占自身车体66％以上；

通过labelme工具对所述训练图像进行数据标注，得到包括所述卡车目标检测框和关键点位置的标签文件；

将所述训练图像和所述标签文件输入加载预训练权重的初始训练模型，通过迭代训练得到深度卷积神经网络模型。

3.如权利要求2所述的方法，其特征在于，所述关键点位置包括卡车头点、车厢左上点、车厢左下点、车厢右上点、车厢右下点；

与所述关键点位置对应的所述关键点图像坐标包括卡车头点的图像坐标、车厢左上点的图像坐标、车厢左下点的图像坐标、车厢右上点的图像坐标、车厢右下点的图像坐标。

4.如权利要求1所述的方法，其特征在于，所述根据卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据，具体包括：

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中抽取与所述卡车目标检测框对应的卡车点云数据；

通过体素降采样算法对所述卡车点云数据进行点云降采样稀疏，得到稀疏点云数据；

通过欧式聚类算法和平面分割算法对所述稀疏点云数据处理，得到所述卡车侧面点云数据。

5.如权利要求1所述的方法，其特征在于，所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中还可以得到车头点的三维空间坐标和车厢左下点的三维空间坐标；

所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标，具体包括：

根据所述关键点图像坐标从所述卡车侧面点云数据中得到分别属于车厢左上点的半径30cm范围内的点云数据、车厢右上点的半径30cm范围内的点云数据和车厢右下点的半径30cm范围内的点云数据；

根据车厢左上点的半径30cm范围内的点云数据得到车厢左上点的三维空间坐标；根据车厢右上点的半径30cm范围内的点云数据得到车厢右上点的三维空间坐标；根据车厢右下点的半径30cm范围内的点云数据得到车厢右下点的三维空间坐标。

6.一种车厢位姿确定装置，其特征在于，包括：

获取单元，用于通过设置在挖掘机上的双目相机获取左目彩色图像以及与所述左目彩色图像对应的双目相机点云数据；

第一得到单元，用于根据深度卷积神经网络对所述左目彩色图像进行图像识别得到卡车目标检测框和关键点图像坐标；

抽取单元，用于根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中获取与所述卡车目标检测框对应的卡车侧面点云数据；

第二得到单元，用于根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中得到车厢左上点的三维空间坐标、车厢右上点的三维空间坐标、车厢右下点的三维空间坐标。

7.如权利要求6所述的装置，其特征在于，所述获取单元还用于：

从双目相机拍摄的原始图像中选择训练图像，其中，训练图像中包括卡车，且卡车在所述原始图像中漏出的车体至少占自身车体66％以上；

通过labelme工具对所述训练图像进行数据标注，得到包括所述卡车目标检测框和关键点位置的标签文件；

将所述训练图像和所述标签文件输入加载预训练权重的初始训练模型，通过迭代训练得到深度卷积神经网络模型。

8.如权利要求7所述的装置，其特征在于，所述关键点位置包括卡车头点、车厢左上点、车厢左下点、车厢右上点、车厢右下点；

与所述关键点位置对应的所述关键点图像坐标包括卡车头点的图像坐标、车厢左上点的图像坐标、车厢左下点的图像坐标、车厢右上点的图像坐标、车厢右下点的图像坐标。

9.如权利要求6所述的装置，其特征在于，所述抽取单元用于：

根据所述卡车目标检测框内包括的像素索引从所述双目相机点云数据中抽取与所述卡车目标检测框对应的卡车点云数据；

通过体素降采样算法对所述卡车点云数据进行点云降采样稀疏，得到稀疏点云数据；

通过欧式聚类算法和平面分割算法对所述稀疏点云数据处理，得到所述卡车侧面点云数据。

10.如权利要求6所述的装置，其特征在于，所述第二得到单元用于：所述根据与左目彩色图像对应的关键点图像坐标从所述卡车侧面点云数据中还可以得到车头点的三维空间坐标和车厢左下点的三维空间坐标；

根据所述关键点图像坐标从所述卡车侧面点云数据中得到分别属于车厢左上点的半径30cm范围内的点云数据、车厢右上点的半径30cm范围内的点云数据和车厢右下点的半径30cm范围内的点云数据；

根据车厢左上点的半径30cm范围内的点云数据得到车厢左上点的三维空间坐标；根据车厢右上点的半径30cm范围内的点云数据得到车厢右上点的三维空间坐标；根据车厢右下点的半径30cm范围内的点云数据得到车厢右下点的三维空间坐标。

Images