CN115661794A - 一种立体视觉感知方法、装置、设备、介质及无人收割机 - Google Patents

Abstract

本发明涉及一种立体视觉感知方法、装置、设备、介质及无人收割机，该方法包括：获取通过立体视觉传感器获取到的彩色图像、第一灰度图和第二灰度图；根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。通过本发明的方法，可以更加准确的识别目标障碍物的位置，同时，本申请方案没有采用激光雷达和单目视觉，可避免现有技术中采用激光雷达和单目视觉带来的技术问题。

Description

一种立体视觉感知方法、装置、设备、介质及无人收割机

技术领域

本发明涉及图像处理、机器学习和拖拉机技术领域，具体而言，本发明涉及一种立体视觉感知方法、装置、设备、介质及无人收割机。

背景技术

收割机通过开发基于GNSS—RTK定位、电子信息等综合技术实现无人驾驶导航系统，按照设定好的规划路径对田间的作物进行自动收割作业，通过无人驾驶系统收割农作物，既提升了收割作业的效率，又缓解了驾驶人员劳动力紧缺问题，促进了农业生产力的发展，是高端农业装备发展和精细化智能农业发展的重要方向。收割机在收割过程中，由于收割机处于在导航路径规划基础上行进状态，对田间的行驶过程中的状态和障碍物信息不能良好的感知，容易引发安全事故。因此，通过搭配开发立体视觉感知系统，实现前进方向的环境情况感知，为无人化作业的安全性、可靠性提供重要保障。

目前基于无人驾驶收割机环境感知视觉系统应用较少，国内外厂家多使用激光雷达搭配普通单目视觉摄像头实现环境感知方案，激光雷达的优点是测量的准确性和精度，分辨率高，能够生成三维点云图像。但是在收割机无人驾驶应用领域，车辆振动、谷物扬尘等都对激光雷达测量进度有很大的影响，且激光雷达成本极高，系统产品化落地不成熟。由于激光雷达为外置设备，收割机收割过程中环境恶劣，设备容易受污染，维护困难且性能不够稳定，无法识别特定的的目标障碍物信息。

毫米波雷达具有能够实时检测障碍物速度、距离等特点，在道路划无人驾驶中是常用的感知传感器，但是毫米波雷达在收割机无人驾驶上适用性差，因为收割机割台具在过程中需要随时升降，毫米波雷达反射易受干扰，安装位置存在干涉。

单目视觉能够实现一般深度学习算法进行障碍物感知学习，但是单目相机单独进行障碍物距离感知测量准确率低，单独开发使用难度大。

综上所述，激光雷达传感器、毫米波视觉传感器和单目相机传感器各具优势，但是单目视觉传感器和毫米波雷达传感器需要搭配使用，无法单独实现环境感知检测功能，而激光雷达传感器成本高难维护，且小麦收割工作活动环境复杂，易起麦土麦渣扬尘等干涉激光雷达反射波检测功能。因此，现有技术中亟需一种可准确识别收割机行驶过程中的障碍物的方案。

发明内容

本发明所要解决的技术问题是提供了一种立体视觉感知方法、装置、设备、介质及无人收割机，旨在解决上述至少一个技术问题。

本发明解决上述技术问题的技术方案如下：一种立体视觉感知方法，该方法包括：

获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；

根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

本发明的有益效果是：本申请方案结合立体视觉传感器获取的彩色图像、第一灰度图和第二灰度图，基于第一灰度图和第二灰度图可以确定出三维深度图信息，通过三维深度图信息表征图像的深度信息，通过彩色图像和预先训练的障碍物识别模型，可准确识别出彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，然后结合目标框和所述三维深度图信息，可以准确的确定出目标障碍物的中心点在相机坐标系下的目标三维位置，通过目标三维位置可以更加准确的表征目标障碍物的位置，以使得农用车可以基于识别出的目标三维位置进行准确的导航，同时，本申请方案中没有采用激光雷达，也没有采用单目视觉，可避免现有技术中采用激光雷达和单目视觉带来的技术问题。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，上述根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，包括：

根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图之间的位置视差，所述位置视差表示的是同一个对象在两个灰度图中各自对应的像素点的位置之差；

根据所述位置视差，确定所述第一灰度图和所述第二灰度图之间的视差图；

根据所述视差图和预先建立的第一对应关系，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，所述第一对应关系为不同的视差图与不同的三维深度图信息之间的对应关系。

采用上述进一步方案的有益效果是，在确定三维深度图信息过程中，基于两个灰度图之间的位置视差可以确定出第一灰度图和所述第二灰度图之间的视差图，然后基于第一对应关系，可以准确地确定出所述第一灰度图和所述第二灰度图对应的三维深度图信息。

进一步，上述障碍物识别模型中包括CSPDarknet-53的主干网络，所述根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，包括：

通过预先训练的障碍物识别模型对所述彩色图像进行以下第一步骤的处理，得到所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，所述第一步骤包括：

通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图；

根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

采用上述进一步方案的有益效果是，采用CSPDarknet-53的主干网络进行障碍物的特征信息提取，即障碍物特征图的提取，通过将梯度的变化集成到特征图里，解决其它卷积神经网络框架中主干网络梯度信息重复的问题，轻量化的设计同时也增强了网络的学习能力。

进一步，上述CSPDarknet-53的主干网络包括5个CPS模块，每个所述CPS模块对应的分辨率不同，所述障碍物识别模型中还包括neck层，所述neck层与所述CSPDarknet-53的主干网络连接，所述neck层包括FPN模块和PAN模块，所述FPN模块分别连接所述CSPDarknet-53的主干网络和所述PAN模块；

上述通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图，包括：

对于每个所述CPS模块，根据所述CPS模块对应的分辨率，提取所述彩色图像中的目标障碍物的障碍物特征图，所述障碍物特征图包括各个所述CPS模块输出的不同分辨率的障碍物特征图；

上述根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，包括：

根据不同分辨率的障碍物特征图，通过所述FPN模块对所述不同分辨率的障碍物特征图进行下采样融合，得到第一融合障碍物特征图；

根据所述第一融合障碍物特征图，通过所述PAN模块对所述第一融合障碍物特征图进行上采样融合，得到第二融合障碍物特征图；

根据所述第二融合障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

采用上述进一步方案的有益效果是，由于neck层包括的FPN模块和PAN模块，FPN模块主要是通过融合提升目标检测效果，实现一个自顶向下的语义增强，PAN是在FPN基础上实现一个自底向上的定位增强，两者结合进行障碍物特征图的提取，可加强了网络特征。

进一步，上述根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置，包括：

根据所述三维深度图信息，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的深度距离；

根据所述目标障碍物对应的深度距离和预设的第二对应关系，确定所述目标障碍物的中心相对于所述立体视觉传感器的角度，所述第二对应关系为图像坐标系和实际物体坐标系之间的坐标转换关系；

根据所述角度和所述目标障碍物对应的深度距离，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的X轴坐标和Y轴坐标；

根据所述X轴坐标、所述Y轴坐标和所述目标障碍物对应的深度距离，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

采用上述进一步方案的有益效果是，基于图像坐标系和实际物体坐标系之间的第二对应关系，可准确的基于三维深度图信息确定出目标障碍物的中心点在相机坐标系下的目标三维位置。

进一步，上述立体视觉传感器的安装角度是基于所述农用车的车身高度、所述立体视觉传感器的安装高度、所述立体视觉传感器的检测距离和所述立体视觉传感器的的视场角确定的。

采用上述进一步方案的有益效果是，为了确保农用车近点无视野盲区，可将立体视觉传感器的安装角度是基于所述农用车的车身高度、所述立体视觉传感器的安装高度、所述立体视觉传感器的检测距离和所述立体视觉传感器的的视场角确定的，从而能够有效的感知无人驾驶小麦收割机前进道路过程中的所有障碍物信息。

第二方面，本发明为了解决上述技术问题还提供了一种立体视觉感知装置，该装置包括：

图像获取模块，用于获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

深度图信息确定模块，用于根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

识别模块，用于根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；

目标三维位置确定模块，用于根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

第三方面，本发明为了解决上述技术问题还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现本申请的立体视觉感知方法。

第四方面，本发明为了解决上述技术问题还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请的立体视觉感知方法。

第五方面，本发明为了解决上述技术问题还提供了一种无人收割机，该无人收割机包括第三方面所描述的电子设备。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。

图1为本发明一个实施例提供的一种立体视觉感知方法的流程示意图；

图2为本发明一个实施例提供的一种双目立体视觉的原理示意图；

图3为本发明一个实施例提供的一种深度学习方法识别处理流程图；

图4为本发明一个实施例提供的一种立体视觉检测流程图；

图5为本发明一个实施例提供的一种FPN+PAN结构示意图；

图6为本发明一个实施例提供的一种对齐后的深度图和RGB图；

图7为本发明一个实施例提供的一种坐标转换关系示意图；

图8为本发明一个实施例提供的一种障碍物识别检测效果图；

图9为本发明一个实施例提供的一种立体视觉感知装置的结构示意图；

图10为本发明一个实施例提供的一种电子设备的结构示意图。

具体实施方式

以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明实施例所提供的方案可以适用于任何需要无人收割机进行障碍物识别的应用场景中。本发明实施例提供了一种可能的实现方式，如图1所示，提供了一种立体视觉感知方法的流程图，如图1中所示的流程图，该方法可以包括以下步骤：

步骤S110，获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

步骤S120，根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

步骤S130，根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；

步骤S140，根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在在相机坐标系下的目标三维位置。

通过本发明的方法，结合立体视觉传感器获取的彩色图像、第一灰度图和第二灰度图，基于第一灰度图和第二灰度图可以确定出三维深度图信息，通过三维深度图信息表征图像的深度信息，通过彩色图像和预先训练的障碍物识别模型，可准确识别出彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，然后结合目标框和所述三维深度图信息，可以准确的确定出目标障碍物的中心点在相机坐标系下的目标三维位置，通过目标三维位置可以更加准确的表征目标障碍物的位置，以使得农用车可以基于识别出的目标三维位置进行准确的导航，同时，本申请方案中没有采用激光雷达，也没有采用单目视觉，可避免现有技术中采用激光雷达和单目视觉带来的技术问题。

下面结合以下具体的实施例，对本发明的方案进行进一步的说明，在该实施例中，可将立体视觉传感器和控制器(可以是域控制器)组成立体视觉感知系统，立体视觉相机(立体视觉传感器)安装位置在无人收割机的驾驶舱的内测靠上位置，用于感知无人驾驶车辆在前进区域的环境目标信息。域控制器安装在主驾驶位旁侧，用于接收处理立体视觉相机所传输的图像视频信息、深度信息、执行感知策略算法以及与无人驾驶收割机导航进行车辆CAN信号通讯。立体视觉相机与域控制器通过千兆以太网连接传输信息，域控制器与无人驾驶通过CAN线连接进行整车通讯。则上述立体视觉感知方法的执行主体可以为域控制器，本实施例中所提供的一种立体视觉感知方法可以包括以下步骤：

步骤S110，获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

其中，立体视觉传感器可以是设置在农用车的驾驶室辆顶部多个摄像头，本方案中选用的是一个获取彩色图像的摄像头，两个是用于获取深度图像的深度摄像头，两个深度摄像头可以设置在驾驶室顶部的左右两侧，获取的两张深度图像可分别称为第一灰度图和第二灰度图。上述农用车可以为无人收割机，比如，无人小麦收割机。

本申请方案中，上述立体视觉传感器的安装角度可以是基于所述农用车的车身高度、所述立体视觉传感器的安装高度、所述立体视觉传感器的检测距离和所述立体视觉传感器的的视场角确定的。

作为一个示例，该立体视觉传感器的检测的最远距离为35米，视场角为±30°，安装高度为距离车顶部0.3m，由于无人收割机自身高度约为3.5m左右，车身较高，所以为了确保车辆近点无视野盲区，立体视觉传感器的安装角度可以为竖直方向倾斜20°，从而能够有效的感知无人驾驶小麦收割机前进道路过程中的所有障碍物信息。

步骤S120，根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

由于第一灰度图和第二灰度图都是由深度摄像头采集得到的深度图像，因此基于第一灰度图和第二灰度图可以确定出三维深度信息，该三维深度信息也可理解为是目标障碍物对应的三维深度图信息。

可选的，上述根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，可以包括：

根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图之间的位置视差，所述位置视差表示的是同一个对象在两个灰度图中各自对应的像素点的位置之差；

根据所述位置视差，确定所述第一灰度图和所述第二灰度图之间的视差图；

根据所述视差图和预先建立的第一对应关系，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，所述第一对应关系为不同的视差图与不同的三维深度图信息之间的对应关系。

其中，位置时差表示的是两个图像之间存在像素位置视差，即同一个对象在两个灰度图中各自对应的像素点的位置之差，作为一个示例，参见图2所示的双目立体视觉原理图，图2中左侧O_l表示第一深度摄像头的中心点，第一深度摄像头用于采集第一灰度图，右侧O_r表示第二深度摄像头的中心点，第二深度摄像头用于采集第二灰度图，P表示被拍摄对象，被拍摄对象在第一灰度图中对应的一个像素点p位置坐标为x_l，在第二灰度图像中对应位置的像素点p’位置坐标为x_r，x_l和x_r与基础线(图2中所示的B(Baseline))的竖直距离相同，即p和p’与基础线之间的竖直距离相同，两个像素点对应的位置视差d＝x_l-x_r，基于第一灰度图和第二灰度图中每个像素点对应的位置视差，即可确定得到两张灰度图对应的视差图，视差图表示的是同一个对象在两个灰度图中对应的位置之差。

可选的，上述第一对应关系可表示为第一公式：

其中，D表示深度，即三维深度图信息，d表示视差图，B表示基线长度，即相机间距，f表示焦距，x_0l和x_0r分别表示第一灰度图和第二灰度图中主点的列坐标。

则根据上述第一公式可计算得到三维深度图信息，通过确定的三维深度图信息，我们可以得到每个位置该像素点的深度值Z，对图像能够进行三维表达，即相机坐标系下的Z坐标，流程如图3所示，其中，图3中所示的左深度相机可为获取第一灰度图的深度摄像头，右深度相机可为获取第二灰度图的深度摄像头，基于第一灰度图和第二灰度图可确定得到视差图，然后基于上述第一公式进行三维转换，得到点云深度图，即三维深度图信息。

步骤S130，根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

其中，障碍物识别模型可以是预先基于yolov5的深度学习方法训练得到的，该模型的训练过程可具体参见图4所示的流程图，先获取包含障碍物的多张图像(图4中所示的输入图片)，然后对多张图像采用预处理增强方法，该方法的主要目的是通过对各张图像进行随即缩放、随机剪裁、随机拼接等实现生成新的组合图片，作为训练样本从而增加数据集的丰富性，使得网络的鲁棒性更好，基于训练样本对初始模型进行训练，得到障碍物识别模型，该初始模型可是现有的深度学习模型，比如，卷积神经网络等。

可选的，上述障碍物识别模型中包括CSPDarknet-53的主干网络，所述根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，包括：

通过预先训练的障碍物识别模型对所述彩色图像进行以下第一步骤的处理，得到所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，所述第一步骤包括：

通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图；

根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

采用CSPDarknet-53的主干网络进行障碍物的特征信息提取，通过将梯度的变化集成到特征图里，解决其它卷积神经网络框架中主干网络梯度信息重复的问题，轻量化的设计同时也增强了网络的学习能力。在主干网络部分有5个CPS模块，用来进行卷积操作。

可选的，上述CSPDarknet-53的主干网络包括5个CPS模块，每个所述CPS模块对应的分辨率不同，所述障碍物识别模型中还包括neck层，所述neck层与所述CSPDarknet-53的主干网络连接，所述neck层包括FPN模块和PAN模块，所述FPN模块分别连接所述CSPDarknet-53的主干网络和所述PAN模块；

上述通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图，包括：

对于每个所述CPS模块，根据所述CPS模块对应的分辨率，提取所述彩色图像中的目标障碍物的障碍物特征图，所述障碍物特征图包括各个所述CPS模块输出的不同分辨率的障碍物特征图；

上述根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，包括：

根据不同分辨率的障碍物特征图，通过所述FPN模块对所述不同分辨率的障碍物特征图进行下采样融合，得到第一融合障碍物特征图；

根据所述第一融合障碍物特征图，通过所述PAN模块对所述第一融合障碍物特征图进行上采样融合，得到第二融合障碍物特征图；

根据所述第二融合障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

具体的，参见图4，在本申请的方案中，在训练模型的过程中，初始模型可采用主干网络进行特征提取，即采用主干网络提取障碍物特征图，然后通过初始模型中的FPN+PAN对障碍物特征图进行采样融合，得到融合后的障碍物特征图，最后基于分类回归确定目标障碍物，并基于BoudingBox回归确定目标障碍物在所述彩色图像上的目标框，将目标障碍物以及所述目标障碍物在所述彩色图像上的目标框作为目标识别输出，即障碍物识别模型的输出。

其中，上述FPN+PAN结构可参见图5所示的结构示意图，输入至障碍物识别模型的彩色图像的分辨率为608*608，经过5次CPS模块后，就能得到其它大小的特征图，卷积生成特征图分辨率的规律为608、304、152、76、38、19。并且在主干网络和Neck部分设计FPN+PAN结构来实现目标障碍物的识别，如图5所示。因为在采样过程中，深层的feature map强语义而弱定位，浅层的feature map强定位而弱语义，FPN主要是通过融合提升目标检测效果，实现一个自顶向下的语义增强，PAN是在FPN基础上实现一个自底向上的定位增强，两者结合可以实现采样三个特征图(76*76、38*38、19*19)的参数聚合，加强了网络特征。即在图5中，通过FPN+PAN结构融合不同分辨率的特征图，从而提升目标检测的准确性，尤其是提高小目标检测效果。

在得到上述三个分辨率的特征图后，可基于这三个分辨率的特征图得到所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

步骤S140，根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在在相机坐标系下的目标三维位置。

考虑到彩色图像、第一灰度图和第二灰度图是随着车不断行进，由不同的摄像头获取的，为了确定的目标障碍物更加准确，即为了确保在具体的某一帧下两种摄像头采集的三维深度信息图像特征与二维图像特征信息为同一个时间、空间画面，需要将彩色图像和两张灰度图在时序上对齐，即将RGB图像(彩色图像)按照逐帧方式传入队列(存储不断获取的彩色图像和两张灰度图的队列)中与三维深度图信息进行时序对齐，实现由深度摄像头拍摄转化的深度图像与RGB摄像头拍摄的RGB图像进行时间戳同步，如图6所示。对齐后的彩色图像和灰度图像中，目标障碍物为图6中所示的人物，图6左侧为深度图，图6右侧为彩色图，即RGB图，由左右两张图可以看出，对齐后的两张图中人物的动作是一致的，即对齐后的两张图在时序上是对齐的。

可选的，在进行图像对齐后，上述根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置，包括：

根据所述三维深度图信息，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的深度距离；

根据所述目标障碍物对应的深度距离和预设的第二对应关系，确定所述目标障碍物的中心相对于所述立体视觉传感器的角度，所述第二对应关系为图像坐标系和实际物体坐标系之间的坐标转换关系；

根据所述角度和所述目标障碍物对应的深度距离，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的X轴坐标和Y轴坐标；

根据所述X轴坐标、所述Y轴坐标和所述目标障碍物对应的深度距离，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

其中，根据所述三维深度图信息，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的深度距离指的是，计算匹配目标框内深度图的深度信息，基于三维深度图信息获得了被测障碍物(目标障碍物)的深度距离Z，接着，根据所述目标障碍物对应的深度距离和预设的第二对应关系，确定所述目标障碍物的中心相对于所述立体视觉传感器的角度，即根据图像坐标系和实际物体坐标系进行坐标转换可以得到被测障碍物体的中心相对于相机的角度θ。其具体计算过程可参见图7，第二对应关系可通过第二公式表示，第二公式为：

其中，w为图像像素宽，HFOV为相机的视场角，f为相机焦距，y为目标障碍物在图像像素坐标系上的y坐标。

根据上述第二公式，θ＝arctan(tan(HFOV/2)*y/(w/2))，在确定了角度θ后，可根据所述角度和所述目标障碍物对应的深度距离，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的X轴坐标和Y轴坐标，具体可根据第三公式：

其中，Yc表示障碍物在相机坐标系中Y方向的实际的距离，Zc表示障碍物在相机坐标系中Z方向的实际的距离，如图7所示。

通过勾股定律可以推出Y为Y＝Z*tanθ，X可基于上述相同的原理计算得到，从而可得到目标障碍物的中心点在相机坐标系下的目标三维位置，分别为X、Y和Z。最终障碍物识别检测效果如图8所示，图8中最终障碍物识别检测结果中包括图像中各目标障碍物的类型(person)、各目标障碍物的标识(ID[1]，ID[2]和ID[3])、各目标障碍物对应的目标框、各目标障碍物对应的目标三维位置。

另外，本申请方案还可基于匈牙利匹配的跟踪算法，检测实现前后两帧图像之间通过深度学习识别到的同一个障碍物最优匹配，即判断前后两帧识别到的目标结果是否为同一个障碍物，因为在正常的无人驾驶障碍物目标检测中，会存在多个障碍物、新目标障碍物的出现、旧目标障碍物的消失等情况，且障碍物的动作姿态等会存在变化情况，通过使用该匈牙利算法，可以实现障碍物的姿态跟踪稳定性。避免在目标识别检测中因车辆震动俯仰角变化等原因导致检测的障碍物结果丢失，确保检测障碍物目标的稳定性。

通过本发明的方案，可带来以下技术效果：

1)无人驾驶收割机行进过程中的障碍物由立体感知系统(指的是本申请方案)实时感知，将感知到的信息传输给域控制器执行感知策略部分，最终将感知结果发送给无人驾驶系统，保障了无人驾驶小麦机过程中的安全性和可靠性等问题。

2)能够感知田间常见的动态障碍物信息。

3)距离检测精度高，满足农田小麦机感知无人驾驶需求，受环境干扰影响小。

基于与图1中所示的方法相同的原理，本发明实施例还提供了一种立体视觉感知装置20，如图9中所示，该立体视觉感知装置20可以包括图像获取模块210、深度图信息确定模块220、识别模块230和目标三维位置确定模块240，其中：

图像获取模块210，用于获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

深度图信息确定模块220，用于根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

识别模块230，用于根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；

目标三维位置确定模块240，用于根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

可选的，上述深度图信息确定模块220在根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息时，具体用于：

根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图之间的位置视差，所述位置视差表示的是同一个对象在两个灰度图中各自对应的像素点的位置之差；

根据所述位置视差，确定所述第一灰度图和所述第二灰度图之间的视差图；

根据所述视差图和预先建立的第一对应关系，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，所述第一对应关系为不同的视差图与不同的三维深度图信息之间的对应关系。

可选的，上述障碍物识别模型中包括CSPDarknet-53的主干网络，所上述识别模块230在根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框时，具体用于：

通过预先训练的障碍物识别模型对所述彩色图像进行以下第一步骤的处理，得到所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，所述第一步骤包括：

通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图；

根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

可选的，上述CSPDarknet-53的主干网络包括5个CPS模块，每个所述CPS模块对应的分辨率不同，所述障碍物识别模型中还包括neck层，所述neck层与所述CSPDarknet-53的主干网络连接，上述neck层包括FPN模块和PAN模块，所述FPN模块分别连接所述CSPDarknet-53的主干网络和所述PAN模块；

上述识别模块230在通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图时，具体用于：

对于每个所述CPS模块，根据所述CPS模块对应的分辨率，提取所述彩色图像中的目标障碍物的障碍物特征图，所述障碍物特征图包括各个所述CPS模块输出的不同分辨率的障碍物特征图；

上述识别模块230在根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框时，具体用于：

根据不同分辨率的障碍物特征图，通过所述FPN模块对所述不同分辨率的障碍物特征图进行下采样融合，得到第一融合障碍物特征图；

根据所述第一融合障碍物特征图，通过所述PAN模块对所述第一融合障碍物特征图进行上采样融合，得到第二融合障碍物特征图；

根据所述第二融合障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

可选的，上述目标三维位置确定模块240在根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置时，具体用于：

根据所述三维深度图信息，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的深度距离；

根据所述目标障碍物对应的深度距离和预设的第二对应关系，确定所述目标障碍物的中心相对于所述立体视觉传感器的角度，所述第二对应关系为图像坐标系和实际物体坐标系之间的坐标转换关系；

根据所述角度和所述目标障碍物对应的深度距离，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的X轴坐标和Y轴坐标；

根据所述X轴坐标、所述Y轴坐标和所述目标障碍物对应的深度距离，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

可选的，上述立体视觉传感器的安装角度是基于所述农用车的车身高度、所述立体视觉传感器的安装高度、所述立体视觉传感器的检测距离和所述立体视觉传感器的的视场角确定的。

本发明实施例的立体视觉感知装置可执行本发明实施例所提供的立体视觉感知方法，其实现原理相类似，本发明各实施例中的立体视觉感知装置中的各模块、单元所执行的动作是与本发明各实施例中的立体视觉感知方法中的步骤相对应的，对于立体视觉感知装置的各模块的详细功能描述具体可以参见前文中所示的对应的立体视觉感知方法中的描述，此处不再赘述。

其中，上述立体视觉感知装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该立体视觉感知装置为一个应用软件；该装置可以用于执行本发明实施例提供的方法中的相应步骤。

在一些实施例中，本发明实施例提供的立体视觉感知装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的立体视觉感知装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的立体视觉感知方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

在另一些实施例中，本发明实施例提供的立体视觉感知装置可以采用软件方式实现，图9示出了存储在存储器中的立体视觉感知装置，其可以是程序和插件等形式的软件，并包括一系列的模块，包括图像获取模块210、深度图信息确定模块220、识别模块230和目标三维位置确定模块240，用于实现本发明实施例提供的方法。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。

基于与本发明的实施例中所示的方法相同的原理，本发明的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本发明任一实施例所示的方法。

在一个可选实施例中提供了一种电子设备，如图10所示，图10所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器4003用于存储执行本发明方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备也可以是终端设备，图10示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

根据本发明的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种实施例实现方式中提供的立体视觉感知方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解的是，附图中的流程图和框图，图示了按照本发明各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种立体视觉感知方法，其特征在于，包括以下步骤：

获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；

根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，包括：

根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图之间的位置视差，所述位置视差表示的是同一个对象在两个灰度图中各自对应的像素点的位置之差；

根据所述位置视差，确定所述第一灰度图和所述第二灰度图之间的视差图；

根据所述视差图和预先建立的第一对应关系，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息，所述第一对应关系为不同的视差图与不同的三维深度图信息之间的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述障碍物识别模型中包括CSPDarknet-53的主干网络，所述根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，包括：

通过预先训练的障碍物识别模型对所述彩色图像进行以下第一步骤的处理，得到所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，所述第一步骤包括：

通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图；

根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

4.根据权利要求3所述的方法，其特征在于，所述CSPDarknet-53的主干网络包括5个CPS模块，每个所述CPS模块对应的分辨率不同，所述障碍物识别模型中还包括neck层，所述neck层与所述CSPDarknet-53的主干网络连接，所述neck层包括FPN模块和PAN模块，所述FPN模块分别连接所述CSPDarknet-53的主干网络和所述PAN模块；

所述通过CSPDarknet-53的主干网络提取所述彩色图像中的目标障碍物的障碍物特征图，包括：

对于每个所述CPS模块，根据所述CPS模块对应的分辨率，提取所述彩色图像中的目标障碍物的障碍物特征图，所述障碍物特征图包括各个所述CPS模块输出的不同分辨率的障碍物特征图；

所述根据所述障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框，包括：

根据不同分辨率的障碍物特征图，通过所述FPN模块对所述不同分辨率的障碍物特征图进行下采样融合，得到第一融合障碍物特征图；

根据所述第一融合障碍物特征图，通过所述PAN模块对所述第一融合障碍物特征图进行上采样融合，得到第二融合障碍物特征图；

根据所述第二融合障碍物特征图，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置，包括：

根据所述三维深度图信息，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的深度距离；

根据所述目标障碍物对应的深度距离和预设的第二对应关系，确定所述目标障碍物的中心相对于所述立体视觉传感器的角度，所述第二对应关系为图像坐标系和实际物体坐标系之间的坐标转换关系；

根据所述角度和所述目标障碍物对应的深度距离，确定所述目标障碍物在所述立体视觉传感器对应的相机坐标系下的X轴坐标和Y轴坐标；

根据所述X轴坐标、所述Y轴坐标和所述目标障碍物对应的深度距离，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述立体视觉传感器的安装角度是基于所述农用车的车身高度、所述立体视觉传感器的安装高度、所述立体视觉传感器的检测距离和所述立体视觉传感器的的视场角确定的。

7.一种立体视觉感知装置，其特征在于，包括以下步骤：

图像获取模块，用于获取通过立体视觉传感器获取到的多张图像，所述立体视觉传感器设置在农用车的驾驶室辆顶部，所述立体视觉传感器包括一个摄像头和两个深度摄像头，通过所述摄像头获取的图像为彩色图像，通过两个所述深度摄像头获取的两张图像分别为第一灰度图和第二灰度图；

深度图信息确定模块，用于根据所述第一灰度图和所述第二灰度图，确定所述第一灰度图和所述第二灰度图对应的三维深度图信息；

识别模块，用于根据所述彩色图像，通过预先训练的障碍物识别模型，识别出所述彩色图像中的目标障碍物以及所述目标障碍物在所述彩色图像上的目标框；

目标三维位置确定模块，用于根据所述目标框和所述三维深度图信息，确定所述目标障碍物的中心点在相机坐标系下的目标三维位置。

8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。

10.一种无人收割机，其特征在于，包括如权利要求8所述的电子设备。

Images