CN114445590A - 用于工程设备的方法、装置、处理器及工程设备 - Google Patents

Abstract

本申请实施例提供一种用于工程设备的方法、装置、处理器及工程设备。用于工程设备的方法包括：获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据；根据定位信息和点云数据生成目标区域的点云地图；根据图像数据识别点云地图中的语义实体，其中，语义实体与目标区域内的物理实体相关联；确定语义实体的属性信息；根据点云地图、语义实体以及属性信息生成目标区域的语义地图。通过上述技术方案，不仅能够在语义地图中识别出目标区域内的物理实体，而且能够分辨出该物理实体的属性信息，从而为工程设备自动驾驶作业提供准确的环境信息。

Description

用于工程设备的方法、装置、处理器及工程设备

技术领域

本申请涉及工程设备技术领域，具体涉及一种用于工程设备的方法、装置、处理器及工程设备。

背景技术

工程设备自动驾驶已成为目前工程设备智能化的主要研究方向，如卡耐基大学研发的自动装载挖掘机，日本的自动挖掘机器人等。而环境感知是工程设备自动驾驶主要的研究课题，通过环境感知建立环境地图，能够为工程设备自动驾驶提供信息指示，保证自动驾驶的安全。

现有的工程设备自动驾驶环境感知系统主要采用雷达和导航定位来感知环境，通过雷达和导航定位依靠形状可以对周围环境中的物体进行建模，以使工程设备在自动驾驶时进行避障。然而工程设备在自动驾驶作业时，周围环境中的物体不仅包括障碍物，还包括作业对象等，因此现有的环境感知方式具有很大的局限性。

发明内容

本申请实施例的目的是提供一种用于工程设备的方法、装置、处理器及工程设备。

为了实现上述目的，本申请第一方面提供一种用于工程设备的方法，包括：

获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据；

根据定位信息和点云数据生成目标区域的点云地图；

根据图像数据识别点云地图中的语义实体，其中，语义实体与目标区域内的物理实体相关联；

确定语义实体的属性信息；

根据点云地图、语义实体以及属性信息生成目标区域的语义地图。

在本申请实施例中，根据定位信息和点云数据生成目标区域的点云地图，包括：

对点云数据进行特征提取和里程计优化，得到第一里程计因子，并建立因子图；

根据定位信息得到第二里程计因子；

将第一里程计因子和第二里程计因子加入因子图中进行联合优化，得到联合优化结果；

根据联合优化结果进行地图拼接，以生成目标区域的点云地图。

在本申请实施例中，根据图像数据识别点云地图中的语义实体，包括：

从点云地图中提取语义实体的初始三维模型；

根据图像数据识别点云地图中语义实体的边界线；

根据初始三维模型和边界线生成语义实体的实际三维模型。

在本申请实施例中，确定语义实体的属性信息，包括：

计算实际三维模型的实际特征值；

将实际特征值与预设特征数据库中的特征值进行匹配；

根据匹配结果确定语义实体的属性信息。

在本申请实施例中，计算实际三维模型的实际特征值，包括：

将实际三维模型投影到预设栅格中得到栅格地图，并将栅格地图中位于边界的栅格作为目标栅格；

分别计算各个目标栅格内的点云高度最大值，得到点云高度最大值集合；

计算点云高度最大值集合的平均值和方差，得到实际三维模型的实际特征值。

在本申请实施例中，该方法还包括：

获取与语义实体相关联的物理实体的实时经纬度信息；

根据实时经纬度信息对语义地图进行校正。

在本申请实施例中，根据实时经纬度信息对语义地图进行校正，包括：

获取语义实体在语义地图中的初始经纬度信息；

计算实时经纬度信息与初始经纬度信息的差值；

确定差值是否超过预设差值；

在确定差值超过预设差值的情况下，根据实时经纬度信息对语义地图进行校正。

在本申请实施例中，该方法还包括：

根据点云地图确定目标区域内的地面坡度信息；

将地面坡度信息保存在语义地图中。

在本申请实施例中，根据点云地图确定目标区域内的地面坡度信息，包括：

从点云地图中提取地面特征点云，并建立地面平面模型；

计算地面特征点云中各个点到地面平面模型的距离值；

根据距离值确定目标区域内的地面坡度信息。

在本申请实施例中，语义实体为工作对象、障碍物和协同对象中的至少一种。

本申请第二方面提供一种处理器，被配置成执行上述的用于工程设备的方法。

本申请第三方面提供一种用于工程设备的装置，包括：

定位设备，被配置成采集工程设备在目标区域内运动过程中的定位信息；

环境感知设备，被配置成采集工程设备在目标区域内运动过程中的周围环境的点云数据；

图像采集设备，被配置成采集工程设备在目标区域内运动过程中的周围环境的图像数据；以及

上述的处理器。

在本申请实施例中，定位设备包括全球卫星导航定位单元和惯性导航定位单元，环境感知设备为激光雷达，图像采集设备为摄像头。

本申请第四方面提供一种工程设备，包括上述的用于工程设备的装置。

本申请第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行上述的用于工程设备的方法。

通过上述技术方案，即通过获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据，并根据定位信息和点云数据生成目标区域的点云地图，然后根据图像数据识别点云地图中的语义实体，并确定语义实体的属性信息，再根据点云地图、语义实体以及属性信息生成目标区域的语义地图，通过该类方式，不仅能够在语义地图中识别出目标区域内的物理实体，而且能够分辨出该物理实体的属性信息，从而为工程设备自动驾驶作业提供准确的环境信息。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1是本申请实施例中所提供的用于工程设备的方法的流程示意图；

图2是本申请实施例中所提供的用于工程设备的方法中的步骤S12的流程示意图；

图3是本申请实施例中所提供的用于工程设备的方法中的步骤S13的流程示意图；

图4是本申请实施例中所提供的用于工程设备的方法中的步骤S14的流程示意图；

图5是本申请实施例中所提供的用于工程设备的方法中的步骤S141的流程示意图；

图6是本申请实施例中所提供的用于工程设备的方法中的另一流程示意图；

图7是本申请实施例中所提供的用于工程设备的方法中的步骤S17的流程示意图；

图8是本申请实施例中所提供的用于工程设备的方法中的另一流程示意图；

图9是本申请实施例中所提供的用于工程设备的方法中的步骤S18的流程示意图；

图10是本申请实施例中所提供的用于工程设备的装置的结构示意图；

图11是本申请实施例中所提供的计算机设备的内部结构图。

附图标记说明

10、定位设备； 20、环境感知设备；

30、图像采集设备； 40、处理器。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请实施例中所提供的用于工程设备的方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种用于工程设备的方法，包括以下步骤：

步骤S11：获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据；

步骤S12：根据定位信息和点云数据生成目标区域的点云地图；

步骤S13：根据图像数据识别点云地图中的语义实体，其中，语义实体与目标区域内的物理实体相关联；

步骤S14：确定语义实体的属性信息；

步骤S15：根据点云地图、语义实体以及属性信息生成目标区域的语义地图。

具体地，在步骤S11中，目标区域是该工程设备自动驾驶作业的工作场地，在作业开始前，可以人工驾驶该工程设备绕目标区域一周，并获取该工程设备在运动过程中的定位信息以及周围环境的点云数据和图像数据。在步骤S12中，根据获取到的定位信息和点云数据，可以生成目标区域的点云地图。在步骤S13中，根据获取到的图像数据，通过区分目标区域内的物理实体与周围环境的不同颜色，可以在点云地图中识别出与目标区域内的物理实体相关联的语义实体，然后进入步骤S14。在步骤S14中，语义实体的属性信息是表征语义实体的物理属性的信息，例如可以是语义实体的类别信息，也可以是语义实体的运动状态信息。在步骤S15中，生成的目标区域的语义地图中含有语义实体的定位信息以及属性信息。通过以上方式，不仅能够在语义地图中识别出目标区域内的物理实体，而且能够分辨出该物理实体的属性信息，从而为工程设备自动驾驶作业提供准确的环境信息。

在一个实施例中，语义实体为工作对象、障碍物和协同对象中的至少一种。

具体地，该工程设备可以是挖掘机，则工作对象可以是土堆，障碍物可以是固定建筑物，协同对象可以是与该挖掘机协同作业的其他工程设备或车辆。由于生成的语义地图中不仅包含有语义实体的定位信息，还包含有语义实体的属性信息，例如语义实体的类别信息，在为挖掘机规划自动驾驶作业路线时，可以使挖掘机自动驾驶至工作对象所在位置进行自主作业，并在驾驶途中自动避开障碍物，同时还可以与其他协同对象进行协同作业，从而大大提高挖掘机自动驾驶作业的自主性。

请参阅图2，图2是本申请实施例中所提供的用于工程设备的方法中的步骤S12的流程示意图。对步骤S12中根据定位信息和点云数据生成目标区域的点云地图，可以包括以下步骤：

步骤S121：对点云数据进行特征提取和里程计优化，得到第一里程计因子，并建立因子图；

步骤S122：根据定位信息得到第二里程计因子；

步骤S123：将第一里程计因子和第二里程计因子加入因子图中进行联合优化，得到联合优化结果；

步骤S124：根据联合优化结果进行地图拼接，以生成目标区域的点云地图。

具体地，在步骤S121中，可以先对点云数据进行预处理，去除点云数据中的杂点，然后对预处理后的点云数据中的每一帧点云进行特征提取，得到每一帧点云的特征点，再利用得到的特征点进行点云配准，并基于点云配准结果进行里程计优化，得到位姿信息，将其转换为第一里程计因子，并建立因子图。在步骤S122中，根据定位信息同样可以建立运动里程计，且不受外界环境和运动畸变的影响。在步骤S123中，以10HZ的频率在因子图加入第一里程计因子，并在因子图中以小于10HZ的频率增加第二里程计因子，计算误差值，优选地图因子。在步骤S124中，根据联合优化结果进行地图拼接，即可生成目标区域的点云地图。即根据定位信息和点云数据联合计算出运动里程计，再将两个里程计的数据加以融合，并在此基础上建立目标区域的点云地图，可以消除部分运动畸变，减少地图误差。

请参阅图3，图3是本申请实施例中所提供的用于工程设备的方法中的步骤S13的流程示意图。对步骤S13中根据图像数据识别点云地图中的语义实体，可以包括以下步骤：

步骤S131：从点云地图中提取语义实体的初始三维模型；

步骤S132：根据图像数据识别点云地图中语义实体的边界线；

步骤S133：根据初始三维模型和边界线生成语义实体的实际三维模型。

具体地，在步骤S131中，可以对点云数据进行聚类分割处理，得到语义实体的初始三维模型。在步骤S132中，根据获取到的图像数据，可以通过颜色识别出点云地图中语义实体与周围环境的边界线。进而在步骤S133中，根据初始三维模型和边界线生成语义实体的实际三维模型。

请参阅图4，图4是本申请实施例中所提供的用于工程设备的方法中的步骤S14的流程示意图。对步骤S14中确定语义实体的属性信息，可以包括以下步骤：

步骤S141：计算实际三维模型的实际特征值；

步骤S142：将实际特征值与预设特征数据库中的特征值进行匹配；

步骤S143：根据匹配结果确定语义实体的属性信息。

具体地，在步骤S141中，实际特征值是用以区分各个语义实体的实际三维模型与其他三维模型的特征值，例如可以是长宽高等特征数据，也可以是长度平均值、宽度平均值、高度平均值等特征数据。在步骤S142中，预设特征数据库中预先保存有各个语义实体对应的特征值数据，且特征值数据与语义实体的属性信息具有对应关系。进而在步骤S143中，根据匹配结果即可确定语义实体的属性信息。可以理解，本申请实施例通过计算实际三维模型的实际特征值，并将其与预设特征数据库中的特征值进行匹配，即可分辨出语义实体的属性信息，相比于通过图像识别的方式进行分辨，计算量大大降低，提高了工作效率。

请参阅图5，图5是本申请实施例中所提供的用于工程设备的方法中的步骤S141的流程示意图。对步骤S141中计算实际三维模型的实际特征值，可以包括以下步骤：

步骤S1411：将实际三维模型投影到预设栅格中得到栅格地图，并将栅格地图中位于边界的栅格作为目标栅格；

步骤S1412：分别计算各个目标栅格内的点云高度最大值，得到点云高度最大值集合；

步骤S1413：计算点云高度最大值集合的平均值和方差，得到实际三维模型的实际特征值。

具体地，在步骤S1411中，预设栅格是以实际三维模型的几何中心为中心，以实际三维模型的尺寸设置预设栅格的长宽高。将实际三维模型投影到预设栅格中得到栅格地图，并记录栅格地图中所有位于边界的栅格，将其作为目标栅格。在步骤S1412中，取各个目标栅格内的点云高度最大值作为该目标栅格的高度值，得到点云高度最大值集合。在步骤S1413中，将点云高度最大值集合的平均值和方差作为该实际三维模型的实际特征值。可以理解，工作对象如土堆和协同对象如矿卡的高度平均值均大于一个高度阈值，同时土堆的高度方差会大于一个方差阈值，而矿卡的高度方差会小于一个方差阈值，因此以高度平均值和高度方差作为实际三维模型的实际特征值，即可分辨出语义实体的属性信息。

实际应用时，在生成语义地图后，与语义实体相关联的物理实体的实际位置有可能发生变化，后续在以生成的语义地图的基础上为工程设备规划自动驾驶作业路线时，有可能会导致工程设备与物理实体发生碰撞。

有鉴于此，在一个实施例中，请参阅图6，图6是本申请实施例中所提供的用于工程设备的方法中的另一流程示意图。基于步骤S11至步骤S15，该方法还可以包括：

步骤S16：获取与语义实体相关联的物理实体的实时经纬度信息；

步骤S17：根据实时经纬度信息对语义地图进行校正。

具体地，在步骤S16中，可以在工程设备自动驾驶作业时，实时获取与语义实体相关联的物理实体的实时经纬度信息。相应地，在步骤S17中，可以根据物理实体的实时经纬度信息对语义地图进行校正，避免因物理实体的实际位置发生变化导致工程设备自动驾驶作业时与其发生碰撞的风险。

请参阅图7，图7是本申请实施例中所提供的用于工程设备的方法中的步骤S17的流程示意图。对步骤S17中根据实时经纬度信息对语义地图进行校正，可以包括以下步骤：

步骤S171：获取语义实体在语义地图中的初始经纬度信息；

步骤S172：计算实时经纬度信息与初始经纬度信息的差值；

步骤S173：确定差值是否超过预设差值；

步骤S174：在确定差值超过预设差值的情况下，根据实时经纬度信息对语义地图进行校正。

具体地，在步骤S171中，初始经纬度信息是在生成语义地图时与语义实体相关联的物理实体的经纬度信息。在步骤S173中，预设差值可以根据实际需要进行设置，当语义地图的精度要求较高时可以设置为较小的值，当语义地图的精度要求较低时可以设置为较大的值。在步骤S173中，当实时经纬度信息与初始经纬度信息的差值超过预设差值时，需要根据实时经纬度信息对语义地图进行校正。可以理解，物理实体的位置变化有可能较小，例如当物理实体为工作对象土堆时，随着作业的进行，土堆的大小和位置会发生一定改变，但是并不足以影响工程设备的正常驾驶作业，因此，当实时经纬度信息与初始经纬度信息的差值不超过预设差值时，无需对语义地图进行校正。

实际应用时，工程设备自动驾驶作业与车辆自动驾驶不一样，目标区域的地面并不平整，在根据生成的语义地图为工程设备规划自动驾驶作业路线时，由于自动驾驶作业路线上的地面具有一定的坡度，可能会对工程设备的水平角度造成很大影响，甚至导致工程设备出现倾覆的危险。

有鉴于此，在一个实施例中，请参阅图8，图8是本申请实施例中所提供的用于工程设备的方法中的另一流程示意图。与上述实施例不同之处在于，该方法还可以包括：

步骤S18：根据点云地图确定目标区域内的地面坡度信息；

步骤S19：将地面坡度信息保存在语义地图中。

具体地，在步骤S18中，根据点云地图可以确定目标区域内的地面坡度信息。进而在步骤S19中，通过在语义地图中建立目标区域内地面的坡度曲线，可以在为工程设备规划自动驾驶作业时，提供防倾覆策略依据。

请参阅图9，图9是本申请实施例中所提供的用于工程设备的方法中的步骤S18的流程示意图。对步骤S18中根据点云地图确定目标区域内的地面坡度信息，可以包括以下步骤：

步骤S181：从点云地图中提取地面特征点云，并建立地面平面模型；

步骤S182：计算地面特征点云中各个点到地面平面模型的距离值；

步骤S183：根据距离值确定目标区域内的地面坡度信息。

具体地，在步骤S181中，可以对点云数据进行聚类分割处理，提取出地面特征点云，地面平面模型为与水平面平行并且最接近真实地面的平面参考模型。在步骤S182和步骤S183中，计算出地面特征点云中各个点到地面平面模型的距离值，即可确定目标区域内的地面坡度信息。

通过上述技术方案，即通过获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据，并根据定位信息和点云数据生成目标区域的点云地图，然后根据图像数据识别点云地图中的语义实体，并确定语义实体的属性信息，再根据点云地图、语义实体以及属性信息生成目标区域的语义地图，通过该类方式，不仅能够在语义地图中识别出目标区域内的物理实体，而且能够分辨出该物理实体的属性信息，从而为工程设备自动驾驶作业提供准确的环境信息。

本申请实施例还提供一种处理器，处理器被配置为执行如下方法：获取工程设备在目标区域内运动过程中的定位信息以及工程设备的周围环境的点云数据和图像数据；根据定位信息和点云数据生成目标区域的点云地图；根据图像数据识别点云地图中的语义实体，其中，语义实体与目标区域内的物理实体相关联；确定语义实体的属性信息；根据点云地图、语义实体以及属性信息生成目标区域的语义地图。

在一个实施例中，根据定位信息和点云数据生成目标区域的点云地图，包括：对点云数据进行特征提取和里程计优化，得到第一里程计因子，并建立因子图；根据定位信息得到第二里程计因子；将第一里程计因子和第二里程计因子加入因子图中进行联合优化，得到联合优化结果；根据联合优化结果进行地图拼接，以生成目标区域的点云地图。

在一个实施例中，根据图像数据识别点云地图中的语义实体，包括：从点云地图中提取语义实体的初始三维模型；根据图像数据识别点云地图中语义实体的边界线；根据初始三维模型和边界线生成语义实体的实际三维模型。

在一个实施例中，确定语义实体的属性信息，包括：计算实际三维模型的实际特征值；将实际特征值与预设特征数据库中的特征值进行匹配；根据匹配结果确定语义实体的属性信息。

在一个实施例中，计算实际三维模型的实际特征值，包括：将实际三维模型投影到预设栅格中得到栅格地图，并将栅格地图中位于边界的栅格作为目标栅格；分别计算各个目标栅格内的点云高度最大值，得到点云高度最大值集合；计算点云高度最大值集合的平均值和方差，得到实际三维模型的实际特征值。

在一个实施例中，方法还包括：获取与语义实体相关联的物理实体的实时经纬度信息；根据实时经纬度信息对语义地图进行校正。

在一个实施例中，根据实时经纬度信息对语义地图进行校正，包括：获取语义实体在语义地图中的初始经纬度信息；计算实时经纬度信息与初始经纬度信息的差值；确定差值是否超过预设差值；在确定差值超过预设差值的情况下，根据实时经纬度信息对语义地图进行校正。

在一个实施例中，方法还包括：根据点云地图确定目标区域内的地面坡度信息；将地面坡度信息保存在语义地图中。

在一个实施例中，根据点云地图确定目标区域内的地面坡度信息，包括：从点云地图中提取地面特征点云，并建立地面平面模型；计算地面特征点云中各个点到地面平面模型的距离值；根据距离值确定目标区域内的地面坡度信息。

请参阅图10，图10是本申请实施例中所提供的用于工程设备的装置的结构示意图。如图10所示，在本申请一实施例中，提供了一种用于工程设备的装置，该装置包括：

定位设备10，被配置成采集工程设备在目标区域内运动过程中的定位信息；

环境感知设备20，被配置成采集工程设备在目标区域内运动过程中的周围环境的点云数据；

图像采集设备30，被配置成采集工程设备在目标区域内运动过程中的周围环境的图像数据；

处理器40，被配置为执行上述的用于工程设备的方法。

在一个实施例中，定位设备10包括全球卫星导航定位单元和惯性导航定位单元，环境感知设备20为激光雷达，图像采集设备30为摄像头。

实际应用时，图像采集设备30可以为单目或多目摄像头，环境感知设备20可以由激光雷达和信号转换装置等组成，激光雷达可以是机械式雷达或固态雷达。全球卫星导航定位单元为差分式GNSS(英文全称：Global Navigation Satellite System，中文全称：全球导航卫星系统)全球定位系统，由卫星信号接收器和天线的等组成。该用于工程设备的装置还可以包括差分式导航基站，通过建立以基站为中心的导航坐标系，用差分式的计算方法可以减少误差。

需要说明的是，上述实施例提供的装置在执行相关操作时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与上述实施例中的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供一种工程设备，包括上述的用于工程设备的装置。

在一个实施例中，该工程设备为挖掘机。

在一个实施例中，挖掘机还可以包括：

通信接口，能够与其他设备(比如网络设备、终端等)进行信息交互；

处理器，与通信接口连接，以实现与其他设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的方法；

存储器，用于存储能够在处理器上运行的计算机程序。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现上述一个或多个技术方案提供的方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

需要说明的是，处理器具体执行上述操作的过程详见方法实施例，这里不再赘述。

实际应用时，挖掘机中的各个组件可以通过总线系统耦合在一起。可以理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请实施例中的存储器用于存储各种类型的数据以支持挖掘机的操作。这些数据的示例包括：用于在挖掘机上操作的任何计算机程序。

上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，挖掘机可以被一个或多个应用专用集成电路(A S I C，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。

可以理解，本申请实施例的存储器可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable ReadOnly Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD ROM，Compact Disc Read Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器执行上述的用于工程设备的方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、显示屏A04、输入装置A05和存储器(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现上述任意一项实施例的方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任意一项实施例的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种用于工程设备的方法，其特征在于，包括：

获取工程设备在目标区域内运动过程中的定位信息以及所述工程设备的周围环境的点云数据和图像数据；

根据所述定位信息和所述点云数据生成所述目标区域的点云地图；

根据所述图像数据识别所述点云地图中的语义实体，其中，所述语义实体与所述目标区域内的物理实体相关联；

确定所述语义实体的属性信息；

根据所述点云地图、所述语义实体以及所述属性信息生成所述目标区域的语义地图。

2.根据权利要求1所述的方法，其特征在于，所述根据所述定位信息和所述点云数据生成所述目标区域的点云地图，包括：

对所述点云数据进行特征提取和里程计优化，得到第一里程计因子，并建立因子图；

根据所述定位信息得到第二里程计因子；

将所述第一里程计因子和所述第二里程计因子加入所述因子图中进行联合优化，得到联合优化结果；

根据所述联合优化结果进行地图拼接，以生成所述目标区域的点云地图。

3.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据识别所述点云地图中的语义实体，包括：

从所述点云地图中提取语义实体的初始三维模型；

根据所述图像数据识别所述点云地图中所述语义实体的边界线；

根据所述初始三维模型和所述边界线生成所述语义实体的实际三维模型。

4.根据权利要求3所述的方法，其特征在于，所述确定所述语义实体的属性信息，包括：

计算所述实际三维模型的实际特征值；

将所述实际特征值与预设特征数据库中的特征值进行匹配；

根据匹配结果确定所述语义实体的属性信息。

5.根据权利要求4所述的方法，其特征在于，所述计算所述实际三维模型的实际特征值，包括：

将所述实际三维模型投影到预设栅格中得到栅格地图，并将所述栅格地图中位于边界的栅格作为目标栅格；

分别计算各个所述目标栅格内的点云高度最大值，得到点云高度最大值集合；

计算所述点云高度最大值集合的平均值和方差，得到所述实际三维模型的实际特征值。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取与所述语义实体相关联的物理实体的实时经纬度信息；

根据所述实时经纬度信息对所述语义地图进行校正。

7.根据权利要求6所述的方法，其特征在于，所述根据所述实时经纬度信息对所述语义地图进行校正，包括：

获取所述语义实体在所述语义地图中的初始经纬度信息；

计算所述实时经纬度信息与所述初始经纬度信息的差值；

确定所述差值是否超过预设差值；

在确定所述差值超过所述预设差值的情况下，根据所述实时经纬度信息对所述语义地图进行校正。

8.根据权利要求1所述的方法，其特征在于，还包括：

根据所述点云地图确定所述目标区域内的地面坡度信息；

将所述地面坡度信息保存在所述语义地图中。

9.根据权利要求8所述的方法，其特征在于，所述根据所述点云地图确定所述目标区域内的地面坡度信息，包括：

从所述点云地图中提取地面特征点云，并建立地面平面模型；

计算所述地面特征点云中各个点到所述地面平面模型的距离值；

根据所述距离值确定所述目标区域内的地面坡度信息。

10.根据权利要求1所述的方法，其特征在于，所述语义实体为工作对象、障碍物和协同对象中的至少一种。

11.一种处理器，其特征在于，被配置为执行根据权利要求1至10中任意一项所述的用于工程设备的方法。

12.一种用于工程设备的装置，其特征在于，包括：

定位设备，被配置成采集工程设备在目标区域内运动过程中的定位信息；

环境感知设备，被配置成采集所述工程设备在所述目标区域内运动过程中的周围环境的点云数据；

图像采集设备，被配置成采集所述工程设备在所述目标区域内运动过程中的周围环境的图像数据；以及

根据权利要求11所述的处理器。

13.根据权利要求12所述的装置，其特征在于，所述定位设备包括全球卫星导航定位单元和惯性导航定位单元，所述环境感知设备为激光雷达，所述图像采集设备为摄像头。

14.一种工程设备，其特征在于，包括根据权利要求12或13所述的用于工程设备的装置。

15.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至10中任一项所述的用于工程设备的方法。

Images