CN117197769A - 一种基于铲斗位置观测的装载机前方影像生成系统及方法 - Google Patents

Abstract

本发明公开一种基于铲斗位置观测的装载机前方影像生成系统及方法，由摄像机、角度传感器和影像处理器构建影像生成系统，利用摄像机对车前方进行拍摄，利用角度传感器感知铲斗的位置和姿态，利用影像处理器接收和处理摄像机拍摄的图像并结合传感器数据进行图像处理。在影像生成方法中，首先确定铲斗在摄像机像素坐标系下的位置；其次对铲斗图像做透明化处理；再次确定摄像机在铲斗前方的视野盲区；最后，采用两个摄像机对视野盲区完成图像的拼接。本发明利用透明化技术和图像拼接技术，实现了铲斗前方图像的透明化处理，解决了驾驶盲区问题。

Description

一种基于铲斗位置观测的装载机前方影像生成系统及方法

技术领域

本发明属于机械工程领域，具体涉及一种基于铲斗位置观测的装载机前方影像生成系统及方法。

背景技术

现有的装载机铲斗通常遮蔽了大量的驾驶视野，装载机通常也缺少前方影像的拼接生成系统，操作员只能凭借自己的经验来操控装载机。这不仅导致工作效率的下降，而且，还增加多种安全事故发生的可能性。

有一些研究提出了利用上下两个摄像机做行车影像拼接的方案，将上下两个摄像机拍摄的画面设计不同的权重，通过影像处理器合成一个画面。但是对于具体的拼接方法，采用的是实际观测前方障碍物的距离，来动态确定拼接投影像面，进行影像合成和铲斗遮挡部分图像的透明化处理。该方案是基于对目标对象的检测结果为影像拼接参数，来实现铲斗的透明化。在实际应用中，可能的目标对象有很多，如人、石头、泥土、车等。这些物体的边界难以确定，目标对象的多样性也增加了识别目标对象的难度，从而需要使用大量的数据集来进行训练学习，这使得通过识别目标对象来实现铲斗的透明化变得低效、训练工作量巨大，尤其是烟尘环境下的识别效果难以保证。此外当一个目标物体的边界与另一个目标物体的边界重合或者部分重合时，目标重叠可能会导致算法对目标的边界或位置进行错误的解释或误判，最终导致识别失败，严重影响影像拼接的效果。

发明内容

鉴于现有技术的上述缺陷，本发明提出一种基于铲斗位置观测的装载机前方影像生成系统及方法，利用铲斗位置观测结果来优化装载机的两组行车摄像机前方影像生成，以得到更宽阔视野、更高刷新率的装载机前方影像。本发明旨在将装载机铲斗相对于摄像机的三维位置定位技术与图像拼接技术进行整合，以实现更精确、更直观和更高效的前方影像生成，这样的整合方案有助于提高装载机操作的精度和效率，降低误差和减少事故的发生率。

本发明的具体技术方案是：

首先本发明提供一种基于铲斗位置观测的装载机前方影像生成系统，包括摄像机、角度传感器和影像处理器；

所述摄像机，对车辆前方进行拍摄；

所述角度传感器，感知铲斗的位置和姿态；

所述影像处理器，接收和处理摄像机拍摄的图像，并结合传感器数据进行图像处理。

进一步地：所述摄像机，包括上摄像机和下摄像机，在车上上、下布置，并且分别位于铲斗的后上方和后下方。

进一步地：所述角度传感器，包括第一角度传感器和第二角度传感器，第一角度传感器装在动臂与车体连接的一端，第二角度传感器装在动臂与铲斗连接的一端。

其次，本发明还提供一种基于铲斗位置观测的装载机前方影像生成方法，其特征在于：

首先，确定铲斗在摄像机像素坐标系下的位置；

其次，对铲斗图像做透明化处理；

再次，确定摄像机在铲斗前方的视野盲区；

最后，采用两个摄像机对视野盲区互补完成图像的拼接。

进一步地：确定铲斗在上摄像机像素坐标系下的位置的方法是：

（1）确定铲斗在相机坐标系下的位置；

（2）将铲斗在相机坐标系下的坐标转换到图像坐标系中；

（3）将铲斗在图像坐标系下的坐标转换到像素坐标系中。

再进一步地：确定铲斗在相机坐标系下的位置的方法是：

建立相机坐标系O _c-X _c Y _c Z _c，以上摄像机的光心为坐标原点O _c，水平指向车体前方的方向为X _c轴正半轴，垂直指向地面下方的方向为Y _c轴正半轴的坐标系，水平向左为Z _c轴正方向，整个铲斗在Z _c轴方向是固定的，这个距离可以测量确定；

在此基础上，设：

上摄像机的光心坐标为(x ₁,y ₁)；

下摄像机的光心坐标为(x ₂,y ₂)；

动臂与装载机连接端的坐标为(x ₃,y ₃)；

动臂与铲斗连接端的坐标为(x ₄,y ₄)；

动臂长度为L ₃₄；

摇臂与铲斗连接端坐标为(x ₆,y ₆)；

动臂与铲斗连接端(x ₄,y ₄)至摇臂与铲斗连接端(x ₆,y ₆)的距离为L ₄₆；

第一角度传感器测量的角度为α，为车端的动臂与竖直方向的夹角；

第二角度传感器测量的角度为β，为动臂与铲斗连接端至摇臂与铲斗连接端的连线，与动臂之间的夹角；

利用上述参数，有：

动臂与铲斗连接端的X _c轴坐标为：x ₄=x ₃+L ₃₄sinα，Y _c轴坐标为：y ₄=y ₃+L ₃₄cosα；

摇臂与铲斗连接端的X _c轴坐标为：x ₆=x ₄-L ₄₆cos(90-α+β)，Y _c轴坐标y ₆=y ₄-L ₄₆sin(90-α+β)；

结合铲斗上的两点坐标(x ₄,y ₄)、(x ₆,y ₆)，以及铲斗的三维模型，加之铲斗在Z _c轴方向的坐标固定，便可得到铲斗相机坐标系下每一个点的三维坐标P _c(x _c,y _c,z _c)^T。

再进一步地：将铲斗在相机坐标系下的坐标转换到图像坐标系中的方法是：

建立图像坐标系O _I-Y _I Z _I，以光轴与成像平面交点为坐标原点O _I，Z _I轴水平向左，Y _I轴水平向下，设相机坐标系中存在一点P _c(x _c,y _c,z _c)^T，设成像平面到相机原点之间的距离为焦距记作f，则该点投影到图像坐标系统中的坐标为P _I(f,y _I,z _I)^T，其中：

（1-1）。

再进一步地，将铲斗在图像坐标系下的坐标转换到像素坐标系中的方法是：

建立像素坐标系O _P-UV，以物理成像平面的图像左上角为原点O _P，U对应Z _I，V对应Y _I，坐标轴方向与图像坐标系相同，设a和b分别为图像坐标系Z _I轴到像素坐标系U轴和图像坐标系Y _I轴到像素坐标系V轴的缩放倍数，c _z和c _y分别表示U轴和V轴的偏移量，

则设图像坐标系上的一点P _I(f,y _I,z _I)^T转换到像素坐标系下为点P _P(u,v)^T，其中：

（1-2）

结合式（1-1）以及式（1-2），得出相机坐标系到像素坐标系的转换关系如下：

（1-3）

定义af=f _z，bf=f _y，式（1-3）可以写成矩阵形式：

（1-4）

其中K称为相机的内参矩阵。

进一步地，对相机进行畸变校正，其方法是：

设相机坐标系下一点P _c(x _c,y _c,z _c)^T，用该点除以距离相机成像平面的深度也就是x _c，得到P _c在相机归一化平面上的投影点，该点坐标为(y,z)^T，极坐标表示为(r,q)^T，其中r为点P _c与原点的距离，则r ²=z ²+y ²，q表示r与z轴的夹角；

对于相机径向畸变，用以下多项式进行图像的校正：

（1-6）

其中k ₁,k ₂为径向畸变系数，它们是通过张正友标定法计算得出，代表经过畸变矫正后还原的点；

对于相机切向畸变，用以下多项式进行图像的校正：

（1-7）

其中k ₃,k ₄为切向畸变系数，它们是通过张正友标定法计算得出，代表经过畸变矫正后还原的点，还原后的点依然在归一化平面上；

联合式(1-6)及式(1-7)，可以得到对图像做径向畸变和切向畸变校正的多项式：

（1-8）

校正过后的点在相机坐标系中的坐标为：

（1-9）。

进一步地，确定铲斗前方的视野盲区，以及对视野盲区互补，完成图像拼接的方法是：

基于铲斗的位姿，确定铲斗前方的水平视野区域；

基于铲斗的位姿，确定上、下摄像机在铲斗前方的视野盲区；

对于铲斗前方水平视野区域，上摄像机的视野盲区由下摄像机图像补充，下摄像机的视野盲区由上摄像机图像补充，将上、下摄像机的图像在铲斗水平面互补形成合成画面，将合成的画面中的铲斗透明化，由此完成图像拼接。

本发明通过设置摄像机、角度传感器和影像处理器构成的影像生成系统，利用透明化技术获得铲斗前方的盲区影像，该技术方案带来的有益效果是：

（1）安全性增强：本发明通过对前方影像当中的铲斗透明化，驾驶员可以更清楚地看到铲斗前方的地面和障碍物，从而避免意外碰撞或损坏，这有助于提高装载机的操作安全性。

（2）提高操作效率：透明化技术允许驾驶员在视线受阻的情况下依然可以清晰地看到工作区域，使得操作更加精确和高效，减少不必要的调整和重复操作。

（3）增强操作精度：透明化技术使驾驶员能够更准确地控制铲斗的位置和姿态，从而实现更精确的装载和卸载操作。

（4）防止误操作：透明化技术可以帮助驾驶员更好地理解工作环境，避免错误的操作和判断，减少因误操作造成的损失。

（5）减少盲区：装载机的铲斗常常会产生盲区，透明化技术可以通过虚拟显示来弥补这些盲区，使驾驶员能够看到更广阔的视野。

附图说明

图1是六连杆装载机结构示意图。

图2是装载机视野盲区示意图。

图3是装载机视野盲区互补图。

图4是装载机铲斗平面视野示意图。

图5是铲斗图像透明化处理流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述，本领域的技术人员应该知道，以下实施例并不是对本发明技术方案作的唯一限定，凡是在本发明技术方案精神实质下所做的任何等同变换或改动，均应视为属于本发明的保护范围。

本发明是利用图像透明化技术获得铲斗前方影像，铲斗透明化技术是一种应用于工程机械（如挖掘机、装载机等）的先进技术。它通过安装摄像机和传感器，将机械设备前方的实时图像传输到驾驶员的显示屏上，同时应用图像拼接和图像增强技术，使得驾驶员可以在显示屏上看到透明铲斗的效果。这意味着驾驶员可以清晰地看到铲斗前方的工作环境，包括前方目标物体、前方人员等障碍物，避免了传统操作中的盲区问题。

因此，本发明提及的装载机前方影像生成系统，主要由以下三部分组成：摄像机、角度传感器和影像处理器。该影像生成系统可以应用于三连杆、四连杆、五连杆、六连杆、七连杆、八连杆、九连杆铲斗机构的装载机。摄像机至少需要两个，在车前上、下位置布置，作合成图像用；角度传感器数量一般需要根据杆数确定，杆数多可能导致需要检测的位置就多，角度传感器也就多，但数量也是至少两个，位置设置的目的是以计算出铲斗的空间位置为准，一般一个设置在动臂与车体连接的一端，另一个设置在动臂与铲斗连接的一端。

本实施例以六连杆铲斗机构（如图1所示）作为讲解示例，对以下几部分分别详细介绍其特征和原理。

（一）摄像机

本系统至少需要上、下两个摄像机，本实施例中为上摄像机1和下摄像机2，设置于装载机车体高处和低处，一般一个设置于车顶，一个设置于车体前下方，分别位于铲斗的后上方和后下方，主要功能是拍摄前方影像，将上、下两个摄像机拍摄的画面进行互补。当铲斗运动到不同位置时候，铲斗对上、下两个摄像机的遮挡程度是不一样的，上、下两个摄像机共同工作，可以提供更全面、多角度的视觉信息，有效地减少遮挡，实现装载机前方环境的更全面、更细致的感知。上、下两个摄像机是固定的焦距，此外再确定摄像机的内参数和外参数，就能将铲斗的三维位置信息转换到摄像机坐标系中，方便后续的图像处理。

（二）角度传感器

角度传感器一般设置于车和铲斗之间连接的动臂的两端，一个用于检测铲斗所处的前方位置，另一个用于检测铲斗的翻转角度。对于本实施例六连杆机构来讲，需要两个角度传感器即可，第一角度传感器3，装在动臂与车体连接的一端，这个角度传感器角度决定了动臂的终点位置也就是所连接的铲斗的位置；第二角度传感器4，装在动臂与铲斗连接的一端，这个角度传感器角度感知了铲斗的翻转角度；动臂为连接在车体与铲斗之间的一根固定长度的杆。通过这两个角度信息以及铲斗三维模型信息即可准确描绘出铲斗的三维空间位置信息。

因为装载机的铲斗在空间上只能进行上下和前后运动，相对于车体左右方向是不动的，所以两个角度传感器相对于摄像机的三维空间信息，在相对于车体的左右方向这个维度方向是固定的，所以只需要利用两个角度传感器考虑二维的空间位置关系，即可以确定铲斗相对于车体的三维空间位置。

而对于任意一个确定的铲斗位置，上、下摄像机必然存在一组最优的影像拼接方法和参数，以达到最优的剔除区和铲斗位置透明化的效果。可离线进行标定，建立相关数学模型，精确地将铲斗位置映射成摄像机图像中的像素坐标，从而实现图像拼接、铲斗位置图像透明化等影像生成动作。

（三）影像处理器

影像处理器5，可安装于驾驶室中，用于接收和处理上、下两个摄像机拍摄的图像，并结合传感器数据进行算法处理。影像处理器利用影像处理算法，对上、下两个摄像机拍摄的图像结合角度传感器信息进行实时处理，包括图像拼接、图像分割、铲斗部分透明化处理等。最终，处理后的图像信息将呈现在驾驶员的显示屏上，提供更全面、清晰的前方环境感知和障碍物可视化。

由于上、下两个摄像机相对于装载机的位置是确定的，装载机的铲斗只能进行上下、前后运动，不能进行左右运动，故铲斗的位置预测只需要简化为二维平面中的铲斗位置的计算。

基于上述系统，本发明提供一种基于铲斗位置观测的装载机前方影像生成方法，该方法包括：

首先，确定铲斗在摄像机像素坐标系下的位置；

其次，对铲斗图像做透明化处理；

再次，确定铲斗前方的摄像机视野盲区；

最后，采用两个摄像机针对视野盲区完成图像的拼接。

这其中，确定铲斗在摄像机像素坐标系下的位置的方法是：

（1）首先确定铲斗在相机坐标系下的位置

首先建立铲斗运动的相机坐标系O _c-X _c Y _c Z _c，铲斗在空间上只能相对于车体做上下和前后运动，所以建立表征铲斗上下和前后运动的二维坐标系便可。选择方便于坐标值计算的一点作为坐标原点，在图1实施例中，以上摄像机1的光心作为坐标原点O _c，水平指向车体前方的方向为X _c轴正半轴，垂直指向地面的方向为Y _c轴正半轴，水平向左为Z _c轴正方向，整个铲斗在Z _c轴方向是固定的，故各结构之间Z _c轴距离是固定不变的，这个距离可以测量确定。在其他实施例中，也可以选取下摄像机2的位置为坐标原点，或者第一角度传感器3的位置为坐标原点。

在此基础上，设：

上摄像机1的中心（也就是坐标原点）坐标为(x ₁,y ₁)，这一位置是固定的；

下摄像机2的中心坐标为(x ₂,y ₂)，这一位置也是固定的；

动臂与装载机连接端（也就是第一角度传感器3的位置）坐标为(x ₃,y ₃)，这一位置也是固定的；

动臂与铲斗连接端（也就是第二角度传感器4的位置）坐标为(x ₄,y ₄)，这一位置是变化的，通过计算得到；

动臂（连接在车体与铲斗之间近似为直杆），长度为L ₃₄，这一长度是固定的；

摇臂与铲斗连接端6的坐标为(x ₆,y ₆)，这一位置是变化的，根据铲斗动作通过计算得到，摇臂由部分连杆铰接构成可屈伸；

动臂与铲斗连接端(x ₄,y ₄)至摇臂与铲斗连接端(x ₆,y ₆)的直线长度为L ₄₆，这两个端点的相对位置是固定的；

第一角度传感器3测量的角度为α，是车端动臂与竖直方向的夹角；

第二角度传感器4测量的角度为β，是动臂与铲斗连接端(x ₄,y ₄)至摇臂与铲斗连接端(x ₆,y ₆)的连线与动臂之间的夹角，也即L ₃₄代表的直线和L ₄₆代表的直线之间的夹角，也即表征铲斗相对于动臂的倾斜角。

则通过上述设定可知，只需获得动臂与铲斗连接端的坐标(x ₄,y ₄)和摇臂与铲斗连接端的坐标(x ₆,y ₆)，便可获知铲斗某一时刻在相机坐标系下的位置和姿态。

因此，利用上述参数，有：

1）上摄像机1到第一角度传感器3的X _c轴方向的距离为：dx ₃₁=x ₃-x ₁，Y _c轴方向的距离dy ₃₁=y ₃-y ₁；

2）上摄像机1到第二角度传感器4的X _c轴方向的距离为：dx ₄₁=（x ₃-x ₁）+L ₃₄ sinα，Y _c轴方向的距离为：dy ₄₁=（y ₃-y ₁）+L ₃₄cosα；

则第二角度传感器4，也即动臂与铲斗连接端的X _c轴坐标为：x ₄=x ₃+L ₃₄sinα，Y _c轴坐标为：y ₄=y ₃+L ₃₄cosα；

3）摇臂与铲斗连接端6的X _c轴坐标为：x ₆=x ₄-L ₄₆cos(90-α+β)，Y _c轴坐标y ₆=y ₄-L ₄₆sin(90-α+β)。

根据铲斗上的两点坐标(x ₄,y ₄)、(x ₆,y ₆)，便可获知铲斗的运动状态，结合铲斗的三维模型，加之铲斗在Z向的坐标是固定的可定义为1，因此整体来讲通过传感器确认便可知道整个铲斗的位置和姿态，得到整个铲斗相机坐标系下每一个点的三维坐标P _c(x _c,y _c,z _c)^T。

（2）将铲斗在相机坐标系下的坐标转换到图像坐标系中

摄像机的参数有外参数和内参数，外参数为旋转矩阵R和平移向量t，内参数为内参矩阵K。外参数的作用是把坐标从世界坐标系转换到相机坐标系中，本系统相机位置安装之后是固定的，且以相机为参考系，无需关注外参数，相机内参数的作用是把坐标从相机坐标系转换到像素坐标系中。因此，铲斗的三维空间坐标投影到二维平面这个过程需要两步完成：

建立图像坐标系O _I-Y _I Z _I，以光轴与成像平面交点为坐标原点O _I，Z _I轴水平向左，Y _I轴水平向下，设相机坐标系中存在铲斗的一点P _c(x _c,y _c,z _c)^T，该点投影到图像坐标系统中的坐标为P _I(f,y _I,z _I)^T，转换过程可以记为：

（1-1）

f为成像平面到相机原点之间的距离，即焦距。

P _I(f,y _I,z _I)^T是相机坐标系转换为图像坐标系之后的坐标，用于表示铲斗在图像坐标系中的位置。

（3）将铲斗在图像坐标系下的坐标转换到像素坐标系中

将铲斗在相机坐标系下的坐标转换到像素坐标系中，就可以将铲斗的位置信息融合到图像中，可以利用成像系统处理铲斗图像。

建立像素坐标系O _P-UV，以物理成像平面的图像左上角为坐标原点O _P，U对应图像坐标系的Z _I，V对应Y _I，坐标轴方向与图像坐标系相同，将铲斗在图像坐标系下的坐标P _I(f,y _I,z _I)^T转换到像素坐标系下的坐标P _P(u,v)^T。将a和b分别记为图像坐标系Z _I轴到像素坐标系U轴和图像坐标系Y _I轴到像素坐标系V轴的缩放倍数，c _z和c _y分别表示

U轴和V轴的偏移量，则这个转换过程可以记作：

（1-2）

结合式（1-1）和式（1-2），得出相机坐标系到像素坐标系的转换关系如下：

（1-3）

定义af=f _z，bf=f _y，式（1-3）可以写成矩阵形式：

（1-4）

其中K称为相机的内参矩阵，式（1-4）即为相机坐标系到像素坐标系的转换关系，即为铲斗在上摄像机像素坐标系下的坐标。

同理，对另一个相机进行相同处理方式，即可得到另一个摄像机下的相机坐标系到图像坐标系的转换关系：

（1-5）

其中，、/>都为铲斗在像素坐标系下的投影点，即在二维空间平面上的坐标。

进一步地，相机畸变校正。传统的相机会因为透镜自身以及安装位置等因素，对成像平面所成图像造成畸变。而因为透镜的光学特性，其边缘到中心部分的放大倍率不一致将产生径向畸变，该种畸变不影响成像的清晰度，只会改变所成图像的形状。因安装位置产生偏差所导致透镜与成像平面并非绝对平行将产生切向畸变。

消除畸变需要对相机拍摄的图像进行校正。设相机坐标系下一点P _c(x _c,y _c,z _c)^T，用该点除以距离相机成像平面的深度也就是x _c，得到P _c在相机归一化平面上的投影点，该点坐标为(y,z)^T，极坐标表示为(r,q)^T，其中r为点P _c与原点的距离，则r ²=z ²+y ²，q表示r与Z _c 轴的夹角。对于径向畸变，通常使用以下多项式进行图像的校正：

（1-6）

其中k ₁,k ₂为径向畸变系数，它们是通过张正友标定法计算得出，代表经过畸变矫正后还原的点，还原后的点依然在归一化平面上。

对于切向畸变同样使用两个多项式进行图像校正：

（1-7）

其中k ₃,k ₄为切向畸变系数，它们是通过张正友标定法计算得出，代表经过畸变矫正后还原的点，还原后的点依然在归一化平面上。

联合式(1-6)及式(1-7)，可以得到对图像做径向畸变和切向畸变校正的多项式：

（1-8）

式(1-8)用于图像畸变矫正所用到的系数有四个，实际操作中，可以结合不同的模型进行校正，使用校正过后的点在相机坐标系中的坐标，结合式（1-3）得到点P _c在图像上的正确位置：

（1-9）

至此，通过式（1-9）的计算得到校正后的图像，图像的处理在图像校正之后，后续的图像操作均使用校正过后的图像。

对于上摄像机1和下摄像机2，都可以采用上述方法将铲斗位置信息转换到自身的像素坐标系下。上摄像机1和下摄像机2的位置是相对固定的，所以知道了铲斗在上摄像机1中的像素坐标，也可以换算到下摄像机2中，上摄像机1和下摄像机2中的铲斗相对位置也就确定了。

现有的图像合成技术是直接根据图像合成，本发明添加了铲斗部分在图像中的位置参数，提前预知装载机铲斗的位置以及摄像机的位置和参数，无需图像识别，即可提前计算出哪一部分和哪一部分图像匹配，哪一部分图像需要拼接处理，一个摄像机的视野盲区在画面的哪一部分，应该用另一个摄像机哪一部分画面进行图像拼接。标出铲斗在装载机摄像机中画面的位置精准轮廓，有利于后面铲斗的透明化处理。

本发明采用两个摄像机完成图像的拼接。

如图2所示，由于铲斗的遮挡，上摄像机1存在上摄像机视野盲区，下摄像机2存在下摄像机视野盲区，对于上、下两个摄像机只需要各做两条与铲斗上界和下界的切线即可确定盲区的具体位置，在图2中可以看到，上摄像机1的盲区在于水平向下γ ₁～θ ₁度，下摄像机2的盲区在于水平向上γ ₂～θ ₂度。

如图3所示，下摄像机2的视野盲区在上摄像机1的水平向上γ ₃～水平向下γ ₄这个角度范围内，上摄像机1视野盲区在于下摄像机2水平向上γ ₅～水平向下γ ₆这个角度范围内。就可以利用上摄像机1的水平向上γ ₃～水平向下γ ₄这个角度结合图像拼接技术补全下摄像机2的盲区；就可以利用下摄像机2水平向上γ ₅～水平向下γ ₆这个角度结合图像拼接技术补全上摄像机1的盲区。

对于铲斗所在的前方水平面，要做到铲斗的透明化，可以先将铲斗的图像进行图像处理，置于顶层设置一定的透明度，使其成为透明状态。如图4所示，影像处理器基于铲斗的位姿确定铲斗的上、下两个边界点，然后再进一步确定铲斗前方的水平视野A-B区域；同样上、下摄像机根据铲斗的位姿，也决定了在铲斗前方的视野范围。其中，两个摄像机在铲斗水平视野前方既有一定的盲区，也有着双方都能观测到的共同视野，对于下摄像机来讲，盲区是A-C区域，对于上摄像机来讲，盲区是D-B区域，而对于A-C区域上摄像机能拍摄得到，对于D-B区域下摄像机能拍摄得到。因此能够结合上、下两个摄像机的画面和图像拼接技术就可以得到铲斗水平前方的视野，置于图像的底层，但是由于图像的顶层铲斗设置了图像的透明度，即可实现铲斗的透明化，使驾驶员能够看到由于铲斗遮挡产生的视野盲区，同时也能看到铲斗的状态，从而实现了在图像上显示铲斗的位置的实时跟踪，通过图像拼接技术、图像增强等技术即可实现铲斗的透明化，具体的实现过程如图5所示。

本发明在影像生成系统上创新性的采用了角度传感器获取了铲斗位置信息，结合上、下摄像机内外参数实现了提前预测铲斗在图像中的位置，无需进行实时计算，即可精准定位铲斗的位置，提高了装载机铲斗识别的准确性。

本发明采用摄像机结合角度传感器的方案，解决了传统方案中图像识别铲斗定位问题以及实际驾驶过程中铲斗遮挡驾驶员视线的问题，可显著改善图像处理过程目标识别的计算复杂度计算结果的准确性。

本发明利用摄像机、角度传感器和影像处理器给铲斗透明化技术的应用带来了诸多好处。首先，它大幅度提升了操作人员的视野和空间感知能力，使其能够清晰地看到铲斗前方被遮挡区域的工作环境，避免了操作中的盲区和误操作。其次，透明化技术改善了作业的精确度，操作员能够更准确地判断铲斗和目标物体的距离，提高了作业的精细度和效率。此外，透明化技术还增加了操作的安全性，避免了与前方的其他障碍物的碰撞、人员误走入视野盲区产生意外，降低了各种意外事故的发生几率。综合而言，铲斗透明化带来的直接效益是提高了作业的准确性、效率和安全性，间接地提高了工程机械作业的整体生产力和可靠性。这项技术的核心是将摄像机捕捉到的实时画面进行处理，通过在显示屏上叠加显示工程机械的实际结构和传感器数据并通过图像拼接和图像增强技术，形成一个透明铲斗的效果。这使得驾驶员可以更加准确地掌握机械设备与工作环境的关系，提高了操作的精准性、效率和安全性。

同时，上述实施例仅是为了更清楚的表达本发明技术方案，对本领域技术人员来说，可根据以上描述的实施例做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种基于铲斗位置观测的装载机前方影像生成系统，其特征在于：包括摄像机、角度传感器和影像处理器；

所述摄像机，包括上摄像机和下摄像机，分别在车前上、下布置，位于铲斗的后上方和后下方，对车辆前方进行拍摄；

所述角度传感器，感知铲斗的位置和姿态；

所述影像处理器，接收和处理摄像机拍摄的图像，并结合传感器数据进行图像处理。

2.根据权利要求1所述的影像生成系统，其特征在于：所述角度传感器，包括第一角度传感器和第二角度传感器，第一角度传感器装在动臂与车体连接的一端，第二角度传感器装在动臂与铲斗连接的一端。

3.一种根据权利要求1-2任一所述系统的基于铲斗位置观测的装载机前方影像生成方法，其特征在于：

首先，确定铲斗在摄像机像素坐标系下的位置；

其次，对铲斗图像做透明化处理；

再次，确定摄像机在铲斗前方的视野盲区；

最后，采用两个摄像机对视野盲区互补完成图像的拼接。

4.根据权利要求3所述的影像生成方法，其特征在于，确定铲斗在摄像机像素坐标系下的位置的方法是：

（1）确定铲斗在相机坐标系下的位置；

（2）将铲斗在相机坐标系下的坐标转换到图像坐标系中；

（3）将铲斗在图像坐标系下的坐标转换到像素坐标系中。

5.根据权利要求4所述的影像生成方法，其特征在于，确定铲斗在相机坐标系下的位置的方法是：

建立相机坐标系O _c-X _c Y _c Z _c，以上摄像机的光心为坐标原点O _c，水平指向车体前方的方向为X _c轴正半轴，垂直指向地面下方的方向为Y _c轴正半轴的坐标系，水平向左为Z _c轴正方向，铲斗在Z _c轴方向是固定的，可以测量确定；

在此基础上，设：

上摄像机的光心坐标为(x ₁,y ₁)；

下摄像机的光心坐标为(x ₂,y ₂)；

动臂与装载机连接端的坐标为(x ₃,y ₃)；

动臂与铲斗连接端的坐标为(x ₄,y ₄)；

动臂长度为L ₃₄；

摇臂与铲斗连接端坐标为(x ₆,y ₆)；

动臂与铲斗连接端(x ₄,y ₄)至摇臂与铲斗连接端(x ₆,y ₆)的距离为L ₄₆；

第一角度传感器测量的角度为α，为车端的动臂与竖直方向的夹角；

第二角度传感器测量的角度为β，为动臂与铲斗连接端至摇臂与铲斗连接端的连线，与动臂之间的夹角；

利用上述参数，有：

动臂与铲斗连接端的X _c轴坐标为：x ₄=x ₃+L ₃₄sinα，Y _c轴坐标为：y ₄=y ₃+L ₃₄cosα；

摇臂与铲斗连接端的X _c轴坐标为：x ₆=x ₄-L ₄₆cos(90-α+β)，Y _c轴坐标y ₆=y ₄-L ₄₆sin(90-α+ β)；

结合铲斗上的两点坐标(x ₄,y ₄)、(x ₆,y ₆)，以及铲斗的三维模型，加之铲斗在Z _c轴方向的坐标固定，便可得到铲斗相机坐标系下每一个点的三维坐标P _c(x _c,y _c,z _c)^T。

6.根据权利要求4或5所述的影像生成方法，其特征在于，将铲斗在相机坐标系下的坐标转换到图像坐标系中的方法是：

建立图像坐标系O _I-Y _I Z _I，以光轴与成像平面交点为坐标原点O _I，Z _I轴水平向左，Y _I轴水平向下，设相机坐标系中存在一点P _c(x _c,y _c,z _c)^T，设成像平面到相机原点之间的距离为焦距记作f，则该点投影到图像坐标系统中的坐标为P _I(f,y _I,z _I)^T，其中：

（1-1）。

7.根据权利要求6所述的影像生成方法，其特征在于，将铲斗在图像坐标系下的坐标转换到像素坐标系中的方法是：

建立像素坐标系O _P-UV，以物理成像平面的图像左上角为原点O _P，U对应Z _I，V对应Y _I，坐标轴方向与图像坐标系相同，设a和b分别为图像坐标系Z _I轴到像素坐标系U轴和图像坐标系Y _I轴到像素坐标系V轴的缩放倍数，c _z和c _y分别表示U轴和V轴的偏移量；

则设图像坐标系上的一点P _I(f,y _I,z _I)^T转换到像素坐标系下为点P _P(u,v)^T，其中：

（1-2）

结合式（1-1）以及式（1-2），得出相机坐标系到像素坐标系的转换关系如下：

（1-3）

定义af=f _z，bf=f _y，式（1-3）可以写成矩阵形式：

（1-4）

其中K称为相机的内参矩阵。

8.根据权利要求7所述的影像生成方法，其特征在于，

对相机进行畸变校正：

设相机坐标系下一点P _c(x _c,y _c,z _c)^T，用该点除以距离相机成像平面的深度也就是x _c，得到P _c在相机归一化平面上的投影点，该点坐标为(y,z)^T，极坐标表示为(r,q)^T，其中r为点P _c与原点的距离，则r ²=z ²+y ²，q表示r与z轴的夹角；

对于相机径向畸变，用以下多项式进行图像的校正：

（1-6）

其中k ₁,k ₂为径向畸变系数，它们是通过张正友标定法计算得出，代表经过畸变矫正后还原的点；

对于相机切向畸变，用以下多项式进行图像的校正：

（1-7）

其中k ₃,k ₄为切向畸变系数，它们是通过张正友标定法计算得出，代表经过畸变矫正后还原的点，还原后的点依然在归一化平面上；

联合式(1-6)及式(1-7)，可以得到对图像做径向畸变和切向畸变校正的多项式：

（1-8）

校正过后的点在相机坐标系中的坐标为：

（1-9）。

9.根据权利要求3所述的影像生成方法，其特征在于，确定铲斗前方的视野盲区，以及对视野盲区完成图像拼接的方法是：

基于铲斗的位姿，确定铲斗前方的水平视野区域；

基于铲斗的位姿，确定上、下摄像机在铲斗前方的视野盲区；

对于铲斗前方水平视野区域，上摄像机的视野盲区由下摄像机图像补充，下摄像机的视野盲区由上摄像机图像补充，将上、下摄像机的图像在铲斗水平面互补形成合成画面，将合成的画面中的铲斗透明化，由此完成图像拼接。