CN112937444B - 作业机械的辅助影像生成方法、装置和作业机械 - Google Patents

Abstract

本发明提供一种作业机械的辅助影像生成方法、装置和作业机械，该方法包括：获取作业机械的摄像头采集的目标区域的初始图像，以及作业机械的雷达采集的目标区域的第一点云数据；以初始图像为参考系，映射第一点云数据，得到第二点云数据；按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集；基于第二点云集，确定对应的子区域的平整度特征；将子区域的平整度特征与初始图像融合，得到目标图像。本发明的辅助影像生成方法通过雷达和摄像头的结合使用，将子区域的平整度特征与初始图像融合，得到二维图像和三维信息的结合的目标图像，提高作业机械辅助影像的精度和准确度。

Description

作业机械的辅助影像生成方法、装置和作业机械

技术领域

本发明涉及作业机械辅助设备技术领域，尤其涉及一种作业机械的辅助影像生成方法、装置和作业机械。

背景技术

作业机械的操作员无法直接观察到操作区域的地形，通常需要利用辅助影像进行参考辅助作业机械作业。目前，操作区域的辅助影像主要通过作业机械上的摄像头采集得到。所采集的图像一般不经过处理直接呈现给操作员，同时在图像上显示简单的辅助线条，用于辅助操作员操作。

摄像头直接采集的辅助影像，呈现的地形信息精度较低，辅助影像中辅助线条仅通过摄像头焦距大致推算获得，较为简单，无法应对复杂场景。

发明内容

本发明提供一种作业机械的辅助影像生成方法、装置和作业机械，用以解决现有技术中作业机械的辅助影像精度较低，无法应对复杂场景的缺陷。

本发明提供一种作业机械的辅助影像生成方法，包括：

获取作业机械的摄像头采集的目标区域的初始图像，以及所述作业机械的雷达采集的所述目标区域的第一点云数据；

以所述初始图像为参考系，映射所述第一点云数据，得到第二点云数据；

按所述初始图像的多个子区域一一对应将所述第二点云数据划分为多个第二点云集；

基于所述第二点云集，确定对应的所述子区域的平整度特征；

将所述子区域的平整度特征与所述初始图像融合，得到目标图像。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

基于所述第二点云集和目标基准面，确定对应的所述子区域的平整度特征。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

以所述目标基准面为参考系，映射所述第二点云集，得到第三点云集；

将所述第三点云集进行平面拟合，得到对应的所述子区域的平整度特征。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

基于所述第三点云集中的各个点云到所述目标基准面的距离，确定对应的所述子区域的平整度特征。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

基于所述第三点云集中的各个点云到所述目标基准面的距离，确定所述第三点云集中的各个点云到所述目标基准面的距离的平均值和方差；

在所述平均值小于目标均值，且所述方差小于目标方差的情况下，确定所述第三点云集对应的所述子区域为平整；

在所述平均值不小于目标均值，或所述方差不小于目标方差的情况下，确定所述第三点云集对应的所述子区域为不平整。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

将所述第三点云集进行平面拟合，在确定对应的所述子区域平整的情况下，确定拟合平面与所述目标基准面的夹角；

将所述第三点云集进行平面拟合，在确定对应的所述子区域不平整的情况下，确定所述子区域的高度。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

将所述子区域的夹角或高度标注于所述初始图像的对应位置上，得到所述目标图像。

根据本发明提供一种的作业机械的辅助影像生成方法，包括：

将所述高度相等的相邻所述子区域的平整度特征合并为连续的整体；

将所述夹角相等的相邻所述子区域的平整度特征合并为连续的整体。

本发明还提供一种作业机械的辅助影像生成装置，包括：

第一获取模块，用于获取所述作业机械的摄像头采集的目标区域的初始图像，以及所述作业机械的雷达采集的所述目标区域的第一点云数据；

第一映射模块，用于以所述初始图像为参考系，映射所述第一点云数据，得到第二点云数据；

第一计算模块，用于按所述初始图像的多个子区域一一对应将所述第二点云数据划分为多个第二点云集；

第二计算模块，基于所述第二点云集，确定对应的所述子区域的平整度特征；

第三计算模块，用于将所述子区域的平整度特征与所述初始图像融合，得到目标图像。

本发明还提供一种作业机械，包括：

摄像头，雷达以及如上述作业机械的辅助影像生成装置。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述作业机械的辅助影像生成方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作业机械的辅助影像生成方法的步骤。

本发明提供的作业机械的辅助影像生成方法、装置和作业机械，通过雷达和摄像头的结合使用，将子区域的平整度特征与初始图像融合，得到二维图像和三维信息的结合的目标图像，提高辅助影像的精度和准确度，可有效应对复杂场景，为操作员提供更加准确和全面的操作区域地形和环境情况。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的作业机械的辅助影像生成方法的流程示意图；

图2是本发明提供的作业机械的雷达和摄像头的安装示意图之一；

图3是本发明提供的作业机械的雷达和摄像头的安装示意图之二；

图4是本发明提供的作业机械的辅助影像生成方法的处理流程示意图；

图5是本发明提供的作业机械的辅助影像生成方法的标定流程示意图；

图6是本发明提供的作业机械的辅助影像生成方法的子区域划分示意图；

图7是本发明提供的作业机械的辅助影像生成方法的子区域合并示意图；

图8是本发明提供的作业机械的辅助影像生成装置的结构示意图；

图9是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1至图7描述本发明的作业机械的辅助影像生成方法。该方法的执行主体，可以为设备端的控制器，或者云端，或者边缘服务器。

作业机械可为塔式起重机、汽车起重机、挖掘机、打桩机、混凝土机械、压路机、搅拌车、掘进机、泵车或消防车等作业机械。

作业机械在行走或辅助作业时，操作员根据操作区域的辅助影像，判断操作区域的地形情况，操作作业机械行走或作业。

辅助影像实时显示作业机械周围的地形和环境情况，包括倒车影像，全景影像和车侧盲区影像等。

本发明提供一种作业机械的辅助影像生成方法，如图1所示，该方法包括步骤110至步骤150。

步骤110、获取作业机械的摄像头20采集的目标区域的初始图像，以及作业机械的雷达10采集的目标区域的第一点云数据。

目标区域是操作员操作作业机械进行行走或操作作业的区域。

目标区域可以为作业机械的行走区域、操作区域、倒车区域或车侧盲区等区域。

由安装于作业机械上的摄像头20和雷达10对目标区域的地形和环境情况进行采集，获得目标区域的初始图像和第一点云数据。

摄像头20和雷达10的安装位置可根据作业机械类型和作业需求的不同进行调整。

以起重机为例，如图2所示为起重机的俯视图，摄像头20和雷达10可安装于起重机操作室的前侧，对进行作业的操作区域和履带前方的行走区域进行初始图像和第一点云数据的采集。

如图3所示为起重机的正视图，摄像头20和雷达10可安装于起重机操作室的上方，摄像头20和雷达10可随操作室或回转平台一同转动，对周围不同方向的操作区域进行初始图像和第一点云数据的采集。

摄像头20用于目标区域的初始图像的采集，可为通用摄像头，也可根据作业机械类型和作业需求选取具有夜视功能、防水功能或清晰度较高的摄像头。

摄像头20采集的初始图像可以为RGB图像，初始图像与摄像头类型及图像处理要求相关。

雷达10用于目标区域的第一点云数据的采集，可为机械类雷达或固态激光雷达。

雷达10采集点云数据，是由雷达10发射系统发送信号，传播到地面或其他物体上，经目标反射后被接收系统收集，通过测量反射光的运行时间而确定目标的距离。

固态激光雷达采用相控阵原理，取消了机械结构，通过调节发射阵列中每个发射单元的相位差来改变激光信号的出射角度。

雷达10扫描采集的第一点云数据是目标区域内地形和环境情况的表面形状的点云数据。

点云数据是物体表面形状在一个三维坐标系统中的向量的集合，通常以横向、纵向和竖直方向上三维坐标的形式表示。

第一点云数据是目标区域内的一个三维坐标系统中的向量的集合，包含目标区域中每一点的三维坐标。

摄像头20采集的初始图像是目标区域内的图像信息，以二维平面图像的方式呈现。

雷达10扫描采集的第一点云数据是目标区域内的表面形状信息，以三维坐标的方式呈现。

初始图像和第一点云数据均是采集的目标区域内地形情况的数据，因此，初始图像和第一点云数据具有映射关系。

通过获取目标区域的初始图像和第一点云数据，得到目标区域的二维平面的图像信息以及代表地形环境外表形状的三维坐标，能够更加全面地描绘展现目标区域的地形和环境情况。

步骤120、以初始图像为参考系，映射第一点云数据，得到第二点云数据。

目标区域的第一点云数据与初始图像间具有映射关系，第一点云数据上的各个点云在初始图像一一对应不同的点。

第一点云数据中各个点云三维坐标所处的三维坐标系统，是以雷达10的安装位置为参考系。

将第一点云数据的参考系改变，各个点云的三维坐标相应进行转换，可以得到第一点云数据中各个点云在初始图像中所对应的位置信息。

根据第一点云数据与初始图像间具有映射关系，以初始图像为参考系，将第一点云数据映射到初始图像中，第一点云数据中各个点云三维坐标发生改变。

第一点云数据上的各个点云一一映射到初始图像上不同的点，形成新的第二点云数据。

第一点云数据映射到初始图像的过程中，第一点云数据中各个点云三维坐标的横向和纵向坐标值发生变化。

形成的第二点云数据中三维坐标的横向和纵向坐标值，与初始图像中第一点云数据对应的点的位置坐标相同。

第二点云数据中三维坐标的竖直方向坐标值不发生改变，第二点云数据是代表目标区域内地形和环境情况的表面形状的点云数据。

摄像头20和雷达10的安装位置不同，初始图像和第一点云数据的采集视角存在差异，摄像头20采集的初始图像是以摄像头20安装位置为参考系，雷达10采集的第一点云数据是以雷达10安装位置为参考系。

可以通过预先确定摄像头20安装位置与雷达10安装位置的映射关系，利用该映射关系，映射第一点云数据得到第二点云数据。

可以理解的是，第一点云数据映射得到第二点云数据，是第一点云数据中各个点云三维坐标的转化过程，第一点云数据与第二点云数据所代表的目标区域内地形情况的三维信息本身不发生改变。

第一点云数据的各个点云与初始图像的不同点是一一对应的，经过映射得到的第二点云数据与初始图像上各点的位置坐标相同，第二点云数据能够更加直接的描述初始图像中不同区域的地形信息。

将第一点云数据映射到初始图像上得到第二点云数据，可通过建立矩阵映射或线性映射等映射关系进行映射。

如图5所示，以矩阵映射为例，映射过程如下：

雷达10和摄像头20固定安装于作业机械上，建立雷达10位置和摄像头20位置间相对位置关系的第一映射矩阵R1。

将第一点云数据中各个点云的三维坐标通过第一映射矩阵进行映射，得到各个点云新的三维坐标，形成第二点云数据。

步骤130、按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集。

将初始图像划分为多个子区域，初始图像所展示的目标区域内地形情况差异较大，划分后的子区域内地形情况的差异度减小。

将第二点云数据按初始图像中多个子区域的划分规则进行划分，得到多个第二点云集。

划分后的子区域内地形情况的差异度减小，相应地，划分后的第二点云集中代表子区域内地形情况的三维信息精度更高。

按初始图像的多个子区域划分第二点云数据得到多个第二点云集，第二点云集与子区域是一一对应的关系，第二点云集的数量与子区域的数量相等。

例如，将初始图像划分为N个子区域，对应将第二点云数据划分为N个第二点云集。

可以理解的是，N的数值越大，子区域和第二点云集的划分区域越小，该子区域中地形情况的差异度越小，第二点云集所代表子区域内地形情况的三维信息精度越高。

N的数值越小，子区域和第二点云集的划分区域越大，在进行第二点云集的相关计算时，能够减小计算时间，提高作业效率。

N的取值可根据作业类型以及目标区域的实际情况进行选择，N可以取定值，也可以根据实际作业需求进行设置。

例如，操作作业机械行走时，N取值可以较小，将初始图像划分为N个子区域，子区域的大小略小于作业机械履带或轮胎的大小即可，减小计算时间，提高行走效率。

操作作业机械在复杂区域作业时，N取值可以较大，将初始图像划分为N个子区域，子区域中地形情况的差异度小，第二点云集的三维信息精度高，让操作员更加准确地了解地形状况。

步骤140、基于第二点云集，确定对应的子区域的平整度特征。

第二点云集是初始图像中对应子区域内地形信息的三维坐标的集合。

第二点云集中各个点云的三维坐标横向和纵向坐标与子区域中对应点的坐标位置相同，各个点云的三维坐标竖直方向坐标表示子区域中对应点的高度信息。

各个点云的竖直坐标组成子区域内各点的高度信息，第二点云集中的竖直坐标的集合组成了子区域内平面的平整度特征。

子区域内平面的平整度特征用于描述子区域内地形中凸起和凹陷的情况。

子区域的平整度特征是子区域中各点间高度的差异程度。

子区域中各点高度相差不大，表明该子区域的平整度良好，该子区域内无明显凸起和凹陷的情况；各点高度相差较大，表明该子区域的平整度不佳，该子区域内凸起和凹陷的情况较为明显。

子区域和第二点云集的划分区域越小，子区域中各点的高度信息集合后构成了子区域的平整度特征准确度越高。

步骤150、将子区域的平整度特征与初始图像融合，得到目标图像。

初始图像划分为多个子区域，多个子区域的平整度特征代表了初始图像所展示的目标区域内地形的平整度情况。

子区域的平整度特征表征了目标区域内地形的三维信息。

子区域的平整度特征与初始图像融合得到目标图像，目标图像是目标区域内地形三维信息和二维图像的结合。

子区域的平整度特征与初始图像融合，实现地形三维信息与二维图像结合，得到的目标图像能够更加全面准确的描述目标区域的地形和环境情况。

子区域的平整度特征是子区域中各点间高度的差异程度，可以呈现为子区域中各点高度的具体值；也可以呈现为根据差异程度确定的平整或不平整的标注信息。

子区域的平整度特征与初始图像融合，融合方式可以为将平整度特征各点高度的具体值直接覆盖在初始图像上；也可以为在初始图像各子区域分别标记平整度特征的标注信息。

由子区域的平整度特征与初始图像融合得到的目标图像，能够实时显示作业机械周围的地形和环境情况。

将目标图像呈现给操作员，操作员可根据目标图像这一辅助影像，判断目标区域内地形情况，操作作业机械行走或作业。

将目标图像呈现给操作员的呈现方式可以为同时显示第二点云数据、初始图像和目标图像；也可以为显示初始图像和目标图像；也可以只显示目标图像。

目标图像是的二维图像和三维信息的结合，提高了辅助影像的准确度，进一步提高了根据目标图像中子区域的平整度特征生成辅助线条的精度。

本发明提供一种作业机械的辅助影像生成方法，通过雷达和摄像头的结合使用，将子区域的平整度特征与初始图像融合，得到二维图像和三维信息的结合的目标图像，提高辅助影像的精度和准确度，可有效应对复杂场景，为操作员提供更加准确和全面的操作区域地形和环境情况。

在一些实施例中，步骤140还可以包括：基于第二点云集和目标基准面，确定对应的子区域的平整度特征。

第二点云集是初始图像上对应子区域的三维坐标的集合，第二点云集中各个点云的三维坐标的横向和纵向坐标与子区域中对应点的坐标位置相同。

第二点云集中各个点云的竖直方向坐标值表示子区域中对应点的高度信息，各个点云间竖直方向上高度的差异程度代表对应子区域的平整度特征。

第二点云集中各个点云在竖直方向坐标值指各个点云垂直于地面或水平面的距离。

目标基准面可以为地面或其他平面。

目标基准面为地面，第二点云集中各个点云到目标基准面的距离为各个点云的坐标值。

目标基准面为其他平面，第二点云集中各个点云到目标基准面的距离，为各个点云的坐标值和目标基准面中与各个点云垂直相对的点的坐标值的差值。

例如，目标基准面可为作业机械行走上坡时的坡面，也可以为作业机械轮胎或履带接触目标区域的平面。

第二点云集中各个点云到目标基准面的距离间的离散程度，代表第二点云集所代表的子区域与目标基准面竖直方向上高度的差异程度，也即子区域的平整度特征。

基于第二点云集和目标基准面，确定对应的子区域的平整度特征是以目标基准面为基础的，该平整度特征代表的是子区域相对于目标基准面是否平整。

目标基准面是子区域平整度特征的参考平面，可以理解的是，目标基准面可以为地面或其他平面，也即目标基准面平面内无凸起和凹陷。

目标基准面的选取，与作业机械所处环境以及将要进行的作业操作相关。

目标基准面可以为作业机械的行走机构所处的平面；也可以为作业机械操作的操作区域平面。

基于第二点云集和目标基准面确定子区域的平整度特征，目标基准面为子区域的平整度特征提供了参考框架，减小操作误差，提高操作员操作作业机械作业和行走的准确度。

在一些实施例中，步骤140还可以包括：以目标基准面为参考系，映射第二点云集，得到第三点云集；将第三点云集进行平面拟合，得到对应的子区域的平整度特征。

第一次映射，以初始图像为参考系，实现了雷达10的点云数据与初始图像的位置对应。

第二次映射，以目标基准面为参考系，实现了第二点云集与目标基准面的位置对应。

两次映射过程，雷达10的第一点云数据经过两次位置转化，得到直接表示目标基准面的三维信息的第三点云集。

第三点云集描述了对应子区域的三维信息，包括子区域相对目标基准面的平面位置信息以及子区域相对目标基准面的高度信息。

在步骤120中，以初始图像为参考系，映射第一点云数据，得到第二点云数据，进而划分得到第二点云集中横向纵向三维坐标与初始图像中子区域的位置对齐。

第二点云集中各个点云在竖直方向上的坐标值指各个点云垂直于地面或水平面的距离。

第二点云集中各个点云到目标基准面的距离为各个点云的坐标值和目标基准面中与各个点云垂直相对的点的坐标值的差值。

以目标基准面为参考系映射第二点云集，得到第三点云集，第三点云集的参考系从初始图像转化为目标基准面。

第三点云集是第二点云集位置转换的结果，第三点云集也与初始图像中的子区域一一对应。

第三点云集中各个点云到目标基准面的距离间的离散程度，代表第三点云集对应的子区域与目标基准面间高度的差异程度。

需要说明的是，第二点云集中各个点云到目标基准面的距离连线是垂直于地面或水平面的，第三点云集中各个点云到目标基准面的距离连直接垂直于目标基准面。

第二点云集中各个点云的坐标以初始图像所处的地面或水平面为参考平面，第三点云集中各个点云的坐标以目标基准面为参考平面。

将第三点云集进行平面拟合，也即将第三点云集中的各个点云进行拟合连接，得到第三点云集的拟合平面。

第三点云集的拟合平面，可通过平面拟合算法或平面拟合软件获得。

第三点云集的拟合平面代表了对应的子区域的平面，第三点云集中各个点云与目标基准面的差异程度代表了对应子区域相对于目标基准面而言的平整度特征。

第三点云集进行平面拟合后得到的子区域的平整度特征，能够准确描述子区域相对于目标基准面的平面位置和高度信息，为作业机械在目标区域作业和行走的提供具有参考性的辅助图像。

在一些实施例中，步骤140还可以包括：基于第三点云集中的各个点云到目标基准面的距离，确定对应的子区域的平整度特征。

对第三点云集进行平面拟合，第三点云集中各个点云连接形成相应的拟合平面。

该拟合平面的平整度特征由第三点云集中的各个点云到目标基准面的距离进行确定。

以目标基准面为参考系，映射得到的第三点云集，第三点云集中各个点云横向纵向与目标基准面的平面位置相同。

第三点云集中各个点云竖直方向上与目标基准面的距离，代表了第三点云集相对于目标基准面的高度。

根据第三点云集拟合得到的拟合平面，拟合平面上各点与目标基准面的距离，代表了第三点云集对应的子区域与目标基准面的竖直方向上的差异程度，也即子区域的平整度特征。

第三点云集中各个点云横向纵向与目标基准面的平面位置相同，简化了第三点云集与目标基准面的距离的计算过程，得到的子区域的平整度特征，能够准确描述子区域相对于目标基准面高度信息。

在一些实施例中，步骤140中还可以包括：基于第三点云集中的各个点云到目标基准面的距离，确定第三点云集中的各个点云到目标基准面的距离的平均值和方差。

第三点云集中各个点云横向纵向与目标基准面的平面位置相同，各个点云竖直方向上坐标值代表了各个点云到目标基准面的距离。

第三点云集各个点云到目标基准面距离间的差异程度代表了对应子区域的平整度特征。

第三点云集各个点云到目标基准面距离间的差异程度，可通过数学中的平均值以及方差进行描述。

平均值是各个点云到目标基准面距离的总和除以点云的个数。

第三点云集中各个点云到目标基准面距离为第三点云集中各个点云的竖直方向上的坐标值。

当点云高于目标基准面时，竖直方向上的坐标值为正值，可称为该点云的高度值；当点云低于目标基准面时，竖直方向上的坐标值为负值，可称为该点云的深度值。

可以理解的是，在进行各个点云到目标基准面距离的总和的计算时，直接代入坐标值进行计算即可，无需将深度值负值转化为绝对值。

方差是各个点云与目标基准面距离与平均数之差的平方和的平均数，方差代表了各个点云与目标基准面距离的差异程度。

平均值小于目标均值，表明第三点云集对应的子区域平面与目标基准面的距离较短，两个平面位置接近。

方差小于目标方差，表明第三点云集对应的子区域平面各个点云与目标基准面距离的差异程度较小，对应的子区域较为平整，无明显凹陷和凸起的情况。

在平均值小于目标均值，且方差小于目标方差的情况下，确定第三点云集对应的子区域为平整。

第三点云集对应的子区域为平整，表明子区域平面与目标基准面的平面位置接近，且对应子区域无明显凹陷和凸起的情况。

在平均值不小于目标均值，或方差不小于目标方差的情况下，确定第三点云集对应的子区域为不平整。

以目标基准面为参考面，通过平均值和方差的计算，判定第三点云集对应的子区域是否为平整，准确描述子区域平面相对于目标基准面的位置关系和平整度特征，为操作员操作作业机械提供更加准确参考信息。

在一些实施例中，步骤140中还可以包括：将第三点云集进行平面拟合，在确定对应的子区域平整的情况下，确定拟合平面与目标基准面的夹角。

第三点云集进行平面拟合后对应的子区域为平整，表明子区域平面与目标基准面的平面位置接近，且对应子区域无明显凹陷和凸起的情况。

在平均值小于目标均值，且方差小于目标方差的情况下，确定第三点云集对应的子区域为平整。

当平均值为零且方差也为零时，表明第三点云集对应的子区域的平面与目标基准面重合或平行。

当平均值不为零时，第三点云集对应的子区域的平面相对于目标基准面为坡面。

第三点云集对应的子区域的平面与目标基准面成一定的夹角，该夹角用于表示子区域的平面相对于目标基准面的坡度，表明对应子区域的陡缓程度。

可以理解的是，子区域的平面与目标基准面的坡度，可以通过计算子区域对应的第三点云集两个不同点间高度差与水平距离的比值，或以第三点云集对应的子区域的平面与目标基准面所成的夹角进行计算。

第三点云集对应的子区域的平面与目标基准面的夹角为角度值，坡度是一个比值。

在第三点云集对应的子区域平整的情况下，确定拟合平面与目标基准面的夹角，为作业机械提供表明目标区域的平面陡缓程度的重要参考信息。

在一些实施例中，步骤140中还可以包括：将第三点云集进行平面拟合，在确定对应的子区域不平整的情况下，确定子区域的高度。

第三点云集进行平面拟合后对应的子区域为不平整，表明子区域平面内凹陷和凸起的情况较多。

子区域的高度，包括子区域的高度值和深度值。

第三点云集中高于目标基准面各个点云到目标基准面距离的平均值为子区域的高度值，可标记为子区域高度值Xmm或子区域高度+Xmm。

第三点云集中低于目标基准面各个点云到目标基准面距离的平均值为子区域的深度值，可标记为子区域深度值Ymm或子区域高度-Ymm。

子区域的高度直观的表现了子区域平面内凸起和凹陷的情况，子区域高度值Xmm表明子区域凸起程度为Xmm，子区域深度值Y表明子区域凹陷程度为Ymm。

在第三点云集对应的子区域不平整的情况下，确定子区域平面内凸起和凹陷的情况，为作业机械提供表明目标区域的凹陷凸起的重要参考信息。

子区域对应拟合平面与目标基准面的夹角和子区域的高度，都是目标区域辅助图像重要的参考信息，以子区域的夹角和高度生成的辅助线条，能够辅助操作员了解地形情况，提前避让潜在危险。

在一些实施例中，步骤150中还可以包括：将子区域的夹角或高度标注于初始图像的对应位置上，得到目标图像。

目标图像是初始图像平面信息与对应的子区域的夹角或高度三维信息的集合。

将子区域的夹角或高度标注于初始图像的对应位置上，得到目标图像，目标图像为操作员提供更加全面准确的地形信息。

在初始图像的对应位置，可直接标注子区域的夹角或高度值，也可通过颜色变化或警示图标的方式对夹角或高度值进行展示。

通过在初始图像上标注子区域对应拟合平面与目标基准面的夹角，为操作员提供更加全面准确的地形信息，辅助操作员了解地形情况，拓宽作业机械安全作业的使用范围，可用于隧道、室内、等其他非平面、不规则的复杂环境。

在一些实施例中，步骤150中还可以包括，将高度相等的相邻子区域的平整度特征合并为连续的整体，将夹角相等的相邻子区域的平整度特征合并为连续的整体。

第三点云集进行平面拟合后对应的子区域为不平整，子区域内存在较多凸起和凹陷的情况，标注对应子区域的高度。

高度相等的相邻子区域，子区域内存在较多凸起和凹陷情况接近。

将高度相等的相邻子区域的平整度特征合并为连续的整体，将相邻子区域合并，对应的高度连续标注。

合并为连续整体的方法可以为以相同的颜色进行连接，也可以在子区域连接的地方以连接标志进行描述。

将高度相等的相邻子区域的平整度特征合并为连续的整体，描述连续的不平整子区域的高度，更加直观的表现目标区域内凸起和凹陷情况接近的区域。

第三点云集进行平面拟合后对应的子区域为平整，标注对应子区域的夹角。

夹角相等的相邻子区域，相邻子区域间所处的平面是连续的，并且相邻子区域间无凸起和凹陷情况。

将夹角相等的相邻子区域的平整度特征合并为连续的整体，将相邻子区域合并，对应的夹角连续标注。

将夹角相等的相邻子区域的平整度特征合并为连续的整体，描述连续的平整子区域的夹角，为操作员提供目标区域内平整子区域的范围以及坡度信息。

将高度相等的相邻子区域的平整度特征，以及夹角相等的相邻子区域的平整度特征合并为连续的整体，简化子区域内平整度特征标注，更加直观的展现目标区域内各个子区域间平整度的差异程度。

下面结合图4至图7描述一个具体的作业机械的辅助影像生成过程。

通过安装在作业机械上的摄像头20和雷达10采集目标区域的初始图像和第一点云数据。

通过如图5所示的映射标定关系510，标定雷达10和摄像头20安装位置的相对关系R1，相对关系R1可在雷达10和摄像头20安装后进行标定，也可在初始图像和第一点云数据采集完成后进行标定。

步骤410、以初始图像为参考系，利用相对关系R1映射第一点云数据，得到第二点云数据。

第一点云数据中各个点云的三维坐标发生转换，经过映射得到的第二点云数据与初始图像上各点的位置坐标相同。

步骤420、按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集。

如图6所示，将目标区域的初始图像划分为A1至A15的15个子区域，第二点云数据也对应划分为15个第二点云集。

划分后的子区域内地形情况的差异度减小，划分后的第二点云集中代表子区域内地形情况的三维信息精度更高。

步骤430、以目标基准面为参考系，映射第二点云集，得到第三点云集。

以水平面为目标基准面为例，以目标基准面为参考系映射第二点云集，得到第三点云集，第三点云集的参考系从初始图像转化为水平面。

第三点云集描述了对应子区域的三维信息，包括子区域相对目标基准面的平面位置信息以及子区域相对目标基准面的高度信息。

在步骤430前，通过如图5所示的映射标定关系520，标定摄像头20和目标基准面的相对关系R2。

步骤441、将第三点云集进行平面拟合，基于第三点云集中的各个点云到目标基准面的距离，确定对应的子区域的平整度特征，并计算第三点云集中的各个点云到目标基准面的距离的平均值和方差。

在平均值小于目标均值且方差小于目标方差的情况下，确定第三点云集对应的子区域为平整。

在平均值不小于目标均值或方差不小于目标方差的情况下，确定第三点云集对应的子区域为不平整。

步骤442、计算不平整子区域相对于目标基准面的高度。

步骤443、计算平整子区域的平面与目标基准面的夹角。

步骤450、如图7所示，将夹角相等的，相邻平整子区域的平整度特征合并为连续的整体，A8、A9、A11、A12、A15标记为连续平地，以相同的颜色进行连接。

将高度相等的，相邻不平整子区域的平整度特征合并为连续的整体，除A8、A9、A11、A12、A15外的10块子区域标记为不平，以相同的颜色进行连接。

步骤460、显示器显示目标图像。

将合并后的子区域的平整度特征与初始图像融合的到目标图像，并且将初始图像和目标图像同时在显示器中显示，为操作员提供全面准确的辅助影像。

下面对本发明提供的作业机械的辅助影像生成装置进行描述，下文描述的作业机械的辅助影像生成装置与上文描述的作业机械的辅助影像生成方法可相互对应参照。

如图8所示，本发明提供一种作业机械的辅助影像生成装置，包括：

第一获取模块810，用于获取作业机械的摄像头20采集的目标区域的初始图像，以及作业机械的雷达10采集的目标区域的第一点云数据；

第一映射模块820，用于以初始图像为参考系，映射第一点云数据，得到第二点云数据；

第一计算模块830，用于按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集；

第二计算模块840，基于第二点云集，确定对应的子区域的平整度特征；

第三计算模块850，用于将子区域的平整度特征与初始图像融合，得到目标图像。

本发明提供一种作业机械的辅助影像生成装置，通过雷达和摄像头的结合使用，更加全面准确的描述目标区域的地形和环境情况，提高辅助影像的精度和准确度，有效应对复杂场景，提高复杂场景下辅助影像的精度和准确度。

在一些实施例中，第二计算模块840还用于，基于第二点云集和目标基准面，确定对应的子区域的平整度特征。

在一些实施例中，第二计算模块840还用于，以目标基准面为参考系，映射第二点云集，得到第三点云集；将第三点云集进行平面拟合，得到对应的子区域的平整度特征。

在一些实施例中，第二计算模块840还用于，基于第三点云集中的各个点云到目标基准面的距离，确定对应的子区域的平整度特征。

在一些实施例中，第二计算模块840还用于，基于第三点云集中的各个点云到目标基准面的距离，确定第三点云集中的各个点云到目标基准面的距离的平均值和方差；在平均值小于目标均值，且方差小于目标方差的情况下，确定第三点云集对应的子区域为平整；在平均值不小于目标均值，或方差不小于目标方差的情况下，确定第三点云集对应的子区域为不平整。

在一些实施例中，第二计算模块840还用于，将第三点云集进行平面拟合，在确定对应的子区域平整的情况下，确定拟合平面与目标基准面的夹角；将第三点云集进行平面拟合，在确定对应的子区域不平整的情况下，确定子区域的高度。

在一些实施例中，第三计算模块850还用于，将子区域的夹角或高度标注于初始图像的对应位置上，得到目标图像。

在一些实施例中，第三计算模块850还用于，将高度相等的相邻子区域的平整度特征合并为连续的整体；将夹角相等的相邻子区域的平整度特征合并为连续的整体。

本发明还提供一种作业机械，包括：摄像头20，雷达10以及如上述的辅助影像生成装置。

本发明提供的作业机械，通过雷达和摄像头的结合使用，更加全面准确的描述目标区域的地形和环境情况，提高辅助影像的精度和准确度，有效应对复杂场景。

图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行的作业机械的辅助影像生成方法，该方法包括：获取作业机械的摄像头采集的目标区域的初始图像，以及作业机械的雷达采集的目标区域的第一点云数据；以初始图像为参考系，映射第一点云数据，得到第二点云数据；按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集；基于第二点云集，确定对应的子区域的平整度特征；将子区域的平整度特征与初始图像融合，得到目标图像。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械的辅助影像生成方法，该方法包括：获取作业机械的摄像头采集的目标区域的初始图像，以及作业机械的雷达采集的目标区域的第一点云数据；以初始图像为参考系，映射第一点云数据，得到第二点云数据；按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集；基于第二点云集，确定对应的子区域的平整度特征；将子区域的平整度特征与初始图像融合，得到目标图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的作业机械的辅助影像生成方法，该方法包括：获取作业机械的摄像头采集的目标区域的初始图像，以及作业机械的雷达采集的目标区域的第一点云数据；以初始图像为参考系，映射第一点云数据，得到第二点云数据；按初始图像的多个子区域一一对应将第二点云数据划分为多个第二点云集；基于第二点云集，确定对应的子区域的平整度特征；将子区域的平整度特征与初始图像融合，得到目标图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种作业机械的辅助影像生成方法，其特征在于，包括：

获取作业机械的摄像头采集的目标区域的初始图像，以及所述作业机械的雷达采集的所述目标区域的第一点云数据；

以所述初始图像为参考系，映射所述第一点云数据，得到第二点云数据；

按所述初始图像的多个子区域一一对应将所述第二点云数据划分为多个第二点云集；多个所述子区域是基于所述子区域的数量对所述初始图像进行划分得到的；所述子区域的数量是基于作业类型以及所述目标区域的复杂程度确定的；

以目标基准面为参考系，映射第二点云集，得到第三点云集；所述目标基准面是所述子区域的平整度特征的参考平面；

基于所述第三点云集中的各个点云到所述目标基准面的距离，确定所述第三点云集中的各个点云到所述目标基准面的距离的平均值和方差；

在所述平均值小于目标均值，且所述方差小于目标方差的情况下，确定所述第三点云集对应的所述子区域为平整，并将所述第三点云集进行平面拟合，确定拟合平面与所述目标基准面的夹角；

在所述平均值不小于目标均值，或所述方差不小于目标方差的情况下，确定所述第三点云集对应的所述子区域为不平整，并将所述第三点云集进行平面拟合，确定所述子区域的高度；

将所述子区域的夹角或高度标注于所述初始图像的对应位置上，得到所述目标图像。

2.根据权利要求1所述的作业机械的辅助影像生成方法，其特征在于，将所述子区域的平整度特征与所述初始图像融合，得到目标图像，包括：

将所述高度相等的相邻所述子区域的平整度特征合并为连续的整体；

将所述夹角相等的相邻所述子区域的平整度特征合并为连续的整体。

3.一种作业机械的辅助影像生成装置，其特征在于，包括：

第一获取模块，用于获取所述作业机械的摄像头采集的目标区域的初始图像，以及所述作业机械的雷达采集的所述目标区域的第一点云数据；

第一映射模块，用于以所述初始图像为参考系，映射所述第一点云数据，得到第二点云数据；

第一计算模块，用于按所述初始图像的多个子区域一一对应将所述第二点云数据划分为多个第二点云集；多个所述子区域是基于所述子区域的数量对所述初始图像进行划分得到的；所述子区域的数量是基于作业类型以及所述目标区域的复杂程度确定的；

第二计算模块，以目标基准面为参考系，映射第二点云集，得到第三点云集；所述目标基准面是所述子区域的平整度特征的参考平面；基于所述第三点云集中的各个点云到所述目标基准面的距离，确定所述第三点云集中的各个点云到所述目标基准面的距离的平均值和方差；在所述平均值小于目标均值，且所述方差小于目标方差的情况下，确定所述第三点云集对应的所述子区域为平整，并将所述第三点云集进行平面拟合，确定拟合平面与所述目标基准面的夹角；在所述平均值不小于目标均值，或所述方差不小于目标方差的情况下，确定所述第三点云集对应的所述子区域为不平整，并将所述第三点云集进行平面拟合，确定所述子区域的高度；

第三计算模块，用于将所述子区域的夹角或高度标注于所述初始图像的对应位置上，得到所述目标图像。

4.一种作业机械，其特征在于，包括：

摄像头，雷达以及如权利要求3所述作业机械的辅助影像生成装置。

5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至2任一项所述作业机械的辅助影像生成方法的步骤。

6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述作业机械的辅助影像生成方法的步骤。