CN114821553A - 作业机械的贴边控制方法、装置、作业机械与电子设备 - Google Patents

Abstract

本发明提供一种作业机械的贴边控制方法、装置、作业机械与电子设备，其中，所述贴边控制方法包括：获取作业机械侧面的图像信息和作业机械侧面的点云数据；基于图像信息，确定分类识别结果；基于分类识别结果，确定测距算法；使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态，贴边距离和所述走行姿态用于进行贴边控制。本发明的贴边控制方法，通过采集作业机械两侧环境图像并进行特征识别，基于特征识别结果选择对应的测距算法，以避免障碍物类型对计算误差的影响，有效提高贴边距离测量结果的精确度以及该方法的普适度；通过输出贴边距离和走行姿态，用于共同表征作业机械的实时位置姿态，以实现自动化贴边控制或辅助人工驾驶。

Description

作业机械的贴边控制方法、装置、作业机械与电子设备

技术领域

本发明涉及作业机械技术领域，尤其涉及一种作业机械的贴边控制方法、装置、作业机械与电子设备。

背景技术

作业机械广泛应用于道路施工等作业场景，尤其是在进行压实作业等需要进行贴边作业的作业场景里，往往对贴边精度有较高的要求；随着自动控制技术的发展，作业机械开始实现自动贴边控制，从而对贴边精度有了更高的要求。

在现有技术中，主要是通过GPS定位、借助游标人工观察或通过全景相机观察等方式进行贴边控制，通过这些技术进行贴边控制，往往作业精度较低，不能满足无人作业要求。

发明内容

本发明提供一种作业机械的贴边控制方法、装置、作业机械与电子设备，用以至少部分的解决或者改善现有技术中在进行贴边作业时，作业机械贴边精度不高，作业人员操作繁琐的缺陷，实现高精度、简便化的贴边作业。

本发明提供一种作业机械的贴边控制方法，包括：

获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；

基于所述图像信息，确定分类识别结果；

基于所述分类识别结果，确定测距算法；

使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

根据本发明提供的一种作业机械的贴边控制方法，所述作业机械包括沿前后方向间隔设置的第一传感器和第二传感器；

所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，包括：

基于第一传感器采集的点云数据，确定所述作业机械的第一贴边距离；

基于第二传感器采集的点云数据，确定所述作业机械的第二贴边距离；

基于所述第一贴边距离和所述第二贴边距离，确定所述走行姿态。

根据本发明提供的一种作业机械的贴边控制方法，在所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态之前，还包括：

以所述作业机械的目标点为原点，设定参考坐标系；

将所述点云数据转换到所述参考坐标系。

根据本发明提供的一种作业机械的贴边控制方法，所述参考坐标系包括沿走行方向的X向、沿横向的Y向和沿竖向的Z向；

在所述分类识别结果为路沿的情况下，所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离，包括：

基于与所述分类识别结果对应的高度目标范围和所述点云数据在Z向的数值，筛选所述点云数据，得到第一点云数据；

将所述第一点云数据进行一个类别的聚类，去除超出聚类中心第一目标距离的点云，得到第二点云数据；

基于所述第二点云数据，确定所述贴边距离；

或者，在所述分类识别结果为栏杆的情况下，所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离，包括：

基于与所述分类识别结果对应的高度目标范围和所述点云数据在Z向的数值，筛选所述点云数据，得到第三点云数据；

将所述第三点云数据进行基于Z向的点云数据提取，对提取到的点云数据进行拟合，得到点云曲线函数；

基于所述点云曲线函数，确定所述贴边距离；

或者，在所述分类识别结果为其他的情况下，所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离，包括：

基于距离目标范围和所述点云数据在Y向的数值，进行多个类别的聚类，选择聚类中心距离作业机械最近的点云，作为备选点云数据；

基于所述备选点云数据，确定所述贴边距离。

根据本发明提供的一种作业机械的贴边控制方法，所述基于所述图像信息，确定分类识别结果，包括：

将所述图像信息输入至图像识别模型，输出与所述图像信息对应的所述分类识别结果；其中

所述图像识别模型为神经网络模型，以样本图像信息为样本，以预先确定的与所述样本图像信息对应的分类识别结果为样本标签，训练得到。

根据本发明提供的一种作业机械的贴边控制方法，在所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态之后，还包括：

基于所述贴边距离和所述走行姿态，控制所述作业机械的转向系统；

或者，

基于所述贴边距离和所述走行姿态，输出驾驶辅助信息。

本发明还提供一种作业机械的贴边控制装置，包括：

信息获取模块，用于获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；

图像识别模块，用于基于所述图像信息，确定分类识别结果；

算法选择模块，用于基于所述分类识别结果，确定测距算法；

计算模块，用于使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

本发明还提供一种作业机械，包括：用于采集环境图像的图像传感器、用于采集点云数据的雷达传感器和如上所述的作业机械的贴边控制装置。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述作业机械的贴边控制方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作业机械的贴边控制方法的步骤。

本发明提供的作业机械的贴边控制方法、装置、作业机械与电子设备，通过对作业机械两侧环境图像进行特征识别，基于特征识别结果选择对应的测距算法，以避免障碍物类型对计算误差的影响，能够有效提高贴边距离测量结果的精确度及该方法的普适度；通过贴边距离和走行姿态，能更好地用于自动贴边控制或辅助人工贴边驾驶。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一些实施例提供的作业机械的贴边控制方法的流程示意图之一；

图2是本发明一些实施例提供的作业机械的贴边控制方法的流程示意图之二；

图3是本发明一些实施例提供的作业机械在贴边作业时的俯视图；

图4是本发明一些实施例提供的作业机械的贴边距离计算方法示意图；

图5是本发明一些实施例提供的作业机械的走行姿态计算方法的流程示意图；

图6是本发明一些实施例提供的作业机械的贴边控制装置的结构示意图；

图7是本发明一些实施例提供的一种作业机械的结构示意图；

图8是本发明一些实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1描述本发明提供的作业机械的贴边控制方法。

该贴边控制方法的执行主体可以为作业机械上的控制器，或者独立于作业机械的控制装置，或者与该作业机械通信连接的服务器，或者操作员的终端，终端可以为操作员的手机或电脑等。

如图1所示，本发明实施例提供的作业机械的贴边控制方法包括：步骤110、步骤120、步骤130和步骤140。

步骤110，获取作业机械侧面的图像信息和作业机械侧面的点云数据；

在该步骤中，图像信息用于表征作业机械行进方向两侧的障碍物类别。

在不同的场景下，图像信息可能具有不同的对象，比如可以包括路沿、栏杆或者其他障碍物。

点云数据为在一个三维坐标系中的一组向量的集合。

在该步骤中，点云数据用于表征作业机械行进方向两侧障碍物上的点的三维位置坐标集合，基于三维位置坐标，可以确定传感器距离作业机械两侧障碍物的距离。

例如，当作业机械行进方向两侧障碍物为路沿时，点云数据为路沿上所有点对应的三维坐标集合；或者当作业机械行进方向两侧障碍物为栏杆时，点云数据为栏杆上所有点对应的三维坐标集合；或者当作业机械行进方向两侧障碍物为已知形状特征之外的其他障碍物时，点云数据为对应的其他障碍物上所有点对应的三维坐标集合。

在不同的传感器类型下，点云数据的类型可能不同，比如可以包括单线激光雷达点云数据、多线激光雷达点云数据，或其他固态雷达点云数据等。

根据本发明的一些实施例，图像信息可以由安装于作业机械之上的图像传感器采集。

图像传感器可以为摄像头，摄像头可为多个，分别安装于作业机械左右两侧，镜头斜向下向外；或安装于作业机械前后端，镜头斜向下，并朝向行进方向两侧；或安装于作业机械前后左右各个方位；用于采集作业机械行进方向两侧的环境信息和地面信息，保证当作业机械距障碍物很近时，也能采集到障碍物的图像信息。

点云数据可以由安装于作业机械之上的雷达传感器采集。

雷达传感器至少为两个，分别安装于作业机械前后两端；或者为四个，分别安装于作业机械左右两侧，每侧前后各一个，用于采集雷达距作业机械行进方向两侧的距离。

在实际的执行中，上述传感器采集的数据(图像信息和点云数据)发送给控制器。

以上仅为本发明提出的一些实施例，本发明并不仅限于此。本发明不对图像传感器和雷达传感器的数量及安装位置做限定，也不对图像传感器和雷达传感器的类型做限定，在实际作业中，可根据具体情况，选择最佳方案。

步骤120，基于图像信息，确定分类识别结果；

在该步骤中，由于在步骤110中得到的图像信息本身就包含障碍物特征，通过图像识别，即可得到图像信息中的障碍物类别，从而得到分类识别结果。

步骤130，基于分类识别结果，确定测距算法；

需要说明的是，发明人在研发过程中，发现了如下技术问题：相关技术中，在进行贴边控制时，并未考虑到不同类型的障碍物的结构形状差距，对所有障碍物均采用同样的算法进行测距，使得得到的贴边距离精度不足，且无法适用于各种路况。

发明人在研发过程中，发现不同类型的障碍物的结构形状差距较大，选取与障碍物类型适配的测距算法可以对各种路况均得到精度高的测距结果。

由此，本发明实施例的贴边控制方法，预先设置了多套测距算法，以针对各个类型的障碍物。从而帮助提高测距精度和该方法的普适性。

例如，在实际执行中，当分类识别结果为路沿时，选择路沿对应的测距算法；当分类识别结果为栏杆时，选择栏杆对应的测距算法；当分类识别结果为其他障碍物时，选择其他障碍物对应的测距算法。

步骤140，使用该测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态，贴边距离和走行姿态用于进行贴边控制。

在该步骤中，使用的测距算法与通过图像识别后得到的分类识别结果对应。

其中，贴边距离为作业机械靠近障碍物一侧的底部侧边缘，距障碍物边缘的横向距离。

贴边距离用于表征作业机械距离障碍物的横向距离。

在一些需要进行贴边作业的作业情景里，往往对贴边距离的精度有较高的要求。

走行姿态包括作业机械车身与障碍物边界的夹角，用于表征作业机械走行的角度方向。

当夹角为钝角时，表示作业机械即将远离障碍物；当夹角为锐角时，表示作业机械即将靠近障碍物；当夹角为0时，表示作业机械车身与障碍物平行。

贴边距离和走行姿态可共同用于作业机械的贴边控制。

根据本发明的一些实施例，通过将贴边距离和走行姿态输入至用于控制作业机械走行的自动控制器中，自动控制器根据输入数据判断作业机械距障碍物的距离和当前走行角度，根据判断结果生成控制指令，进而控制转向系统转向，从而实现作业机械的自动贴边控制。

根据本发明的另一些实施例，通过将贴边距离和走行姿态以数值、语音或图像等方式进行输出，可以为作业人员提供驾驶辅助信息。

根据本发明实施例提供的作业机械的贴边控制方法，通过采集作业机械两侧环境图像并进行特征识别，基于特征识别结果选择对应的测距算法，以避免障碍物类型对计算误差的影响，有效提高测量结果的精确度以及该方法的普适性；再通过贴边距离确定走行姿态，能更好地用于自动贴边控制或辅助人工贴边驾驶。

根据本发明的一些实施例，步骤120，基于图像信息，确定分类识别结果，还包括：

将图像信息输入至图像识别模型，输出与图像信息对应的分类识别结果；其中

图像识别模型为神经网络模型，以样本图像信息为样本，以预先确定的与样本图像信息对应的分类识别结果为样本标签，训练得到。

在该步骤中，图像识别模型可以包括神经网络，用于识别输入的图像特征，输出对应的特征识别结果。

在对图像识别模型进行训练时，输入样本图像信息和与样本图像信息对应的分类识别结果，用预先确定的样本集对图像识别模型进行训练，可以得到训练好的图像识别模型，以便于后续的识别应用。

例如，样本集可以包括包含有路沿的样本图像信息以及该样本图像信息的标签——路沿，样本集可以包括包含有栏杆的样本图像信息以及该样本图像信息的标签——栏杆，当然，样本集还可以包括其他类型的样本，比如包含有行道树的样本图像信息。

根据样本集中样本的类型，训练出的图像识别模型可以适用于不同的场景。

在一些实施例中，图像识别模型中的神经网络可以为卷积网络，卷积网络训练过程包括制作数据集、卷积神经网络结构定义、定义优化和损失函数、网络训练和结构测试验证。卷积网络可根据需求扩展检测种类，若加入新的道路边界种类，只需按照上述训练步骤，对卷积网络训练一次即可，在使用时，输入环境图像后便可直接输出分类识别结果，简单、快捷。

根据本发明实施例提供的作业机械的贴边控制方法，通过图像识别模型对图像信息进行分类识别并输出分类识别结果，可准确区分路沿、栏杆或其他道路边界种类；若要加入新的识别对象，只需按照相同训练步骤对图像识别模型进行一次新的训练即可完成训练，操作简单、快捷，具有较好的灵活性。

根据本发明的一些实施例，在进行步骤140，使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态之前，还包括：

以作业机械的目标点为原点，设定参考坐标系；将点云数据转换到参考坐标系。

发明人在研发过程中发现，在实际作业中，根据不同作业环境、不同作业机械或不同作业场景的需要，用于采集点云数据的传感器安装在作业机械上的位置往往是不同的，进而导致采集得到的点云数据处在不同的坐标系下。

以作业机械的目标点为原点，设定参考坐标系。在该步骤中，通过建立一个统一的参考坐标系，方便在后续计算过程中，能够快速将不同坐标系下的点云数据都能转换到同一个坐标系下。

在一些实施例中，可以设参考坐标系原点为作业机械中心在地面上的投影，设作业机械前进方向为X轴方向、垂直于路面竖直向上方向为Z轴、根据右手法则确定Y轴方向，并以此作为参考坐标系。但本发明并不仅限于此，比如也可将参考坐标系原点设为作业机械某侧车轮的中心、或设为安装于作业机械上的某个传感器的位置，或设为其他任何可测算坐标的位置，本发明不做限定。

在设定参考坐标系后，就可以将点云数据转换到参考坐标系下。

在该步骤中，基于上一步骤中设定的参考坐标系，根据坐标变换关系，将采集到的点云数据转换到参考坐标系下，能够保证在同一作业机械上的不同位置的所有传感器采集到的点云数据都处于同一个参考坐标系下，避免在后续计算中，因坐标系不一致而导致计算结果出现偏差。

根据本发明实施例提供的作业机械的贴边控制方法，通过将基于传感器坐标系下的点云数据转换到作业机械的参考坐标系下，统一了坐标系，避免在后续计算中，因坐标系不一致而导致计算结果出现偏差，提高了测算结果的精确度和准确性。

下面结合图2-图4描述本发明实施例提供的作业机械的贴边控制方法。

如图3所示，作业机械为压路机，压路机在道路边界限定的区域内进行压实操作；压路机上安装有第一单线激光雷达311和第二单线激光雷达312，以及第一相机321和第二相机322。

第一单线激光雷达311和第二单线激光雷达312分别安装于压路机前后两侧中间位置，用于采集其距压路机走行方向两侧障碍物的横向距离；第一相机321和第二相机322分别安装于压路机左右两侧的前端，镜头朝斜向下向外，用于采集压路机走形方向两侧的环境图像及路面信息。

第一单线激光雷达311、第二单线激光雷达312和第一相机321、第二相机322分别与控制器电连接。

如图2所示，压路机在实际作业过程中，通过传感器采集得到图像信息和点云数据后，将图像信息输入图像识别模型，基于图像识别模型对图像数据进行分类识别并输出分类识别结果，然后根据分类识别结果，选择对应的测距算法。

在一些实施例中，分类识别结果为路沿，使用测距算法，处理点云数据，确定作业机械的贴边距离，具体步骤如下所述。

继续参考图3，首先设定参考坐标系，参考坐标系原点为压路机中心在地上的投影，参考坐标系包括沿走行方向的X向、沿横向的Y向和沿竖向的Z向。

将通过第一单线激光雷达311和第二单线激光雷达312采集的点云数据转化为参考系坐标下的点云数据，并将点云数据输入至测距算法中。

根据路沿特征，设定Z方向的阈值范围，如5mm≤Z≤300mm，作为高度目标范围，基于该高度目标范围对点云数据进行筛选，保留处于该高度目标范围内的点云数据，得到第一点云数据；

第一点云数据即为路沿上的点的三维位置坐标集合。

设定阈值t，将第一点云数据进行一个类别的聚类，去除距离聚类中心大于t的点云，得到第二点云数据；

第二点云数据即为路沿对应的点云数据中，距离单线激光雷达安装点最近的部分点的三维位置坐标集合。

对第二点云数据求解Y方向上的平均值，得到数据值a1和a2，该数据值分别表示在参考系坐标下，第一单线激光雷达311和第二单线激光雷达312的安装点距离路沿的横向距离；

获取第一单线激光雷达311距离压路机前轮的横向距离b1、第二单线激光雷达312距离压路机后轮的横向距离b2，利用公式“c1＝a1-b1、c2＝a2-b2”分别计算得到第一贴边距离c1和第二贴边距离c2。其中，第一贴边距离表示压路机前车轮外边缘距路沿的距离，第二贴边距离表示压路机后车轮外边缘距路沿的距离。

得到贴边距离后，按照上述实施例的方法，利用正弦函数，可以得到压路机与路沿的夹角θ，即压路机的走行姿态，结合压路机的贴边距离和走行姿态，可以准确、清晰地表征压路机当前的位置姿态，从而更好地用于自动控制或辅助驾驶。

在另一些实施例中，分类识别结果为栏杆，使用测距算法，处理点云数据，确定作业机械的贴边距离，具体步骤如下所述。

将通过第一单线激光雷达311和第二单线激光雷达312采集的点云数据转化为参考系坐标下的点云数据，并将点云数据输入给测距算法。

如图4所示，根据栏杆特征，确定栏杆高度上限和高度下限，设定Z方向的阈值范围作为高度目标范围，如阈值范围可以为栏杆高度上限和高度下限之间的范围。基于该高度目标范围对点云数据进行筛选，保留处于该高度目标范围内的点云数据，得到第三点云数据；

第三点云数据即为栏杆上的点的三维位置坐标集合。

继续参考图4，设定滑动窗口的高度H，从高度上限沿Z向由上自下依次滑动滑动窗口，每次滑动固定的间隔距离d，对多个滑窗位置的点云数据进行提取，得到每个窗口对应的点云数据；

在该步骤中，滑动窗口的高度H一般设置为栏杆横截面长度的4/5，间隔距离d＝1/4*H。

分别对每个窗口对应的点云数据进行3次多项式拟合，得到拟合误差，选择拟合误差最小值对应的曲线函数为栏杆对应的曲线函数；

基于栏杆对应的曲线函数，计算得到其在Y方向上的两个最小值，对这两个最小值求平均值，该平均值即为在参考坐标系下，单线激光雷达的安装点距离栏杆的横向距离。

在得到横向距离后，基于横向距离，即可确定贴边距离。该步骤与上述路沿特征对应的实施例步骤相同，在此不做赘述。

在又一些实施例中，分类识别结果为其他障碍物，使用测距算法，处理点云数据，确定作业机械的贴边距离，具体步骤如下所述。

将通过第一单线激光雷达311和第二单线激光雷达312采集的点云数据转化为参考系坐标下的点云数据，并将点云数据输入给测距算法。

基于距离目标范围和点云数据在Y向的数值进行多个类别的聚类，选择聚类中心距离作业机械最近的点云数据，作为备选点云数据；

备选点云数据即为距离作业机械最近的障碍物上的点的三维位置坐标集合。

在该步骤中，目标为除已知形状特征的道路标志物以外的任意障碍物，如目标可以为树、山石、人或其他作业机械等。

通过该步骤得到的备选点云数据，为距离作业机械横向距离最近的障碍物的点云数据。

对备选点云数据求解Y方向上的平均值，该平均值即为单线激光雷达的安装点距离最近障碍物的横向距离。

在得到横向距离后，基于与上述两个实施例相同的步骤，即可确定贴边距离。

在一些实施例中，当需要扩展道路边界种类时，只需按照步骤120所提供的方法，对图像识别模型重新进行训练，即可输出对应的道路边界分类识别结果。

根据该道路边界对应的特征，设定Z方向的阈值范围作为高度目标范围，基于该高度目标范围对点云数据进行筛选，保留处于该高度目标范围内的点云数据，得到第四点云数据；

第四点云数据即为该道路边界上的点的三维位置坐标集合。

设定滑动窗口的高度H1，在高度目标范围内，沿Z向由上自下依次滑动滑动窗口，每次滑动固定的间隔距离d1，提取得到每个窗口对应的点云数据；

分别对每个窗口对应的点云数据进行多项式拟合，得到拟合误差，选择拟合误差最小值对应的曲线函数为该道路边界对应的曲线函数；

基于曲线函数，计算得到其在Y方向上的极值，对极值求平均值，该平均值即为在参考坐标系下，单线激光雷达的安装点距离该道路边界的横向距离。

在得到横向距离后，基于与上述三个实施例相同的步骤，即可确定贴边距离。

在得到压路机前后贴边距离后，通过前后两个贴边距离可以得到压路机与道路、栏杆或其他障碍物边界的夹角值，即压路机的走行姿态。通过将贴边距离与走行姿态输入至控制器或者展示给作业人员，以及时调整压路机自身位置姿态，进行贴边压实作业。

根据本发明实施例提供的作业机械的贴边控制方法，通过采集作业机械两侧环境图像并进行特征识别，基于特征识别结果选择对应的测距算法，以避免障碍物类型对计算误差的影响，有效提高算法的精确度，从而提高测量结果的精确度。通过贴边距离得到走行姿态，以共同展示作业机械的实施作业状态，再将贴边距离和走行姿态输入至控制器或者展示给作业人员，可以实现作业机械的自动贴边控制，或辅助作业人员及时调整作业机械的位置姿态，更好地进行贴边压实作业。

根据本发明的一些实施例，步骤140，在获取点云数据后，使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态，还包括：步骤141、步骤142和步骤143，如图5所示。

在实际作业过程中，作业机械可以包括沿前后方向间隔设置的第一传感器和第二传感器。

第一传感器用于采集作业机械前端的点云数据，第二传感器用于采集作业机械后端的点云数据。

步骤141，基于第一传感器采集的点云数据，确定作业机械的第一贴边距离；

在该步骤中，第一贴边距离包括作业机械靠近障碍物一侧的前端距离障碍物的第一横向距离。

基于分类识别结果，选择对应的测距算法，输入基于第一传感器采集的点云数据，通过测距算法，可以得到第一贴边距离。

在一些实施例中，如当分类识别结果为路沿时，选择路沿对应的测距算法，输入基于第一传感器采集的点云数据，通过测距算法，即可得到作业机械靠近路沿一侧的前端距离路沿的横向距离。

步骤142，基于第二传感器采集的点云数据，确定作业机械的第二贴边距离；

在该步骤中，第二贴边距离包括作业机械靠近障碍物一侧的后端距离障碍物的第一横向距离。

第二贴边距离的确定步骤与步骤141相同，在此不做赘述。

步骤143，基于第一贴边距离和第二贴边距离，确定走行姿态。

在该步骤中，在得到第一贴边距离和第二贴边距离之后，可以利用第一贴边距离与第二贴边距离的差值a，以及第一传感器与第二传感器沿作业机械前进方向的距离差值b，通过正切函数，即可得到作业机械车身与障碍物的夹角的正切值，进而计算得到夹角值。

走行姿态包括作业机械车身与障碍物的夹角，用于表征作业机械行进的角度，当夹角为钝角时，表示作业机械即将远离障碍物；当夹角为锐角时，表示作业机械即将靠近障碍物；当夹角为0时，表示作业机械车身与障碍物平行。

根据本发明实施例提供的作业机械的贴边控制方法，通过第一贴边距离和第二贴边距离计算得到作业机械的走行姿态，在获取作业机械与障碍物之间距离的同时，还能获取作业机械前进的角度方向，能够更全面、精确地呈现作业机械的实时姿态位置，为后续自动控制或人工辅助驾驶提供强大支撑。

在实际作业场景下，在完成步骤140，使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态之后，还会基于贴边距离和走行姿态，优化作业机械的贴边控制操作。

在一些实施例中，基于贴边距离和走行姿态，控制作业机械的转向系统。

其中，贴边距离表征作业机械距障碍物的横向距离，走行姿态表征作业机械与障碍物边界的夹角。

通过将贴边距离和走行姿态输入用于自动控制作业机械转向系统的控制器中，控制器可以判断出当前作业机械的位置姿态，根据作业环境要求，控制器生成对应的控制指令，自动调整作业机械的转向，以对作业机械当前的位置姿态进行调整，使其在规定的作业环境要求范围内作业。

例如，当控制器接收到的贴边距离大于作业规定的贴边距离时，控制器控制转向系统转向该道路边界一侧，以缩小贴边距离直至贴边距离满足规定的要求；然后通过走行姿态，继续调整作业机械转向系统，直到使作业机械车身与道路边界保持平行，然后保持该方向行进，进行作业。

在另一些实施例中，基于贴边距离和走行姿态，输出驾驶辅助信息。

在该实施例中，通过将贴边距离和走行姿态展示给作业人员，以给作业人员展示作业机械当前的位置姿态，作业人员根据当前的位置姿态调整作业机械转向，直到将作业机械调整至作业要求的距离范围内。

其中，输出可以表现为如下至少一种方式：

其一，输出可以表现为数据输出。

在该实施例中，直接将表征作业机械贴边距离和走行姿态的距离数值和角度数值输出于操作台的显示屏界面，作业人员根据数值的变化控制作业机械转向系统，以调整作业机械位置姿态直至数值满足要求。

其二，输出可以表现为图像输出。

在该实施例中，可以在图像界面显示作业机械实时姿态、周边障碍物边界以及目标运动轨迹。

与其他输出形式相比，该形式能更直观地展现出作业机械当前的位置姿态，辅助作业人员调整作业机械转向。

其三，输出可以表现为语音输出。

在该实施例中，终端可以通过语音的方式播报当前作业机械的边界距离与走行姿态。

当然，在其他实施例中，输出也可以表现为其他形式，包括但不限于信号灯输出等，可根据实际需要决定，本发明实施例对此不作限定。

根据本发明实施例提供的作业机械的贴边控制方法，通过输出作业机械的贴边距离与走行姿态，可以用于控制器自动控制作业机械的转向系统，实现作业机械的自动贴边作业，进而实现无人化作业，尤其在一些较危险的作业环境下，通过无人化作业，可有效保障作业人员的生命安全。除此之外，也可以用于辅助驾驶，通过向作业人员呈现更精确、更清晰的作业机械位置姿态，以满足高精度的作业要求。

下面对本发明提供的作业机械的贴边控制装置进行描述，下文描述的作业机械的贴边控制装置与上文描述的作业机械的贴边控制方法可相互对应参照。

图6提供了一种作业机械的贴边控制装置，如图6所示，包括：信息获取模块610、图像识别模块620、算法选择模块630和计算模块640。

信息获取模块610，用于获取作业机械侧面的图像信息和作业机械侧面的点云数据；

图像识别模块620，用于基于图像信息，确定分类识别结果；

算法选择模块630，用于基于分类识别结果，确定测距算法；

计算模块640，用于使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态，贴边距离和走行姿态用于进行贴边控制。

在一些实施例中，作业机械包括沿前后方向间隔设置的第一传感器和第二传感器；

使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态，包括：

基于第一传感器采集的点云数据，确定作业机械的第一贴边距离；

基于第二传感器采集的点云数据，确定作业机械的第二贴边距离；

基于第一贴边距离和第二贴边距离，确定走行姿态。

在一些实施例中，在使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态之前，还包括：

以作业机械的目标点为原点，设定参考坐标系；

将点云数据转换到参考坐标系。

在一些实施例中，参考坐标系包括沿走行方向的X向、沿横向的Y向和沿竖向的Z向；

在分类识别结果为路沿的情况下，使用测距算法，处理点云数据，确定作业机械的贴边距离，包括：

基于与分类识别结果对应的高度目标范围和点云数据在Z向的数值，筛选点云数据，得到第一点云数据；

将第一点云数据进行一个类别的聚类，去除超出聚类中心第一目标距离的点云，得到第二点云数据；

基于第二点云数据，确定贴边距离；

或者，在分类识别结果为栏杆的情况下，使用测距算法，处理点云数据，确定作业机械的贴边距离，包括：

基于与分类识别结果对应的高度目标范围和点云数据在Z向的数值，筛选点云数据，得到第三点云数据；

将第三点云数据进行基于Z向的点云数据提取，对提取到的点云数据进行拟合，得到点云曲线函数；

基于点云曲线函数，确定贴边距离；

或者，在分类识别结果为其他的情况下，使用测距算法，处理点云数据，确定作业机械的贴边距离，包括：

基于距离目标范围和点云数据在Y向的数值，进行多个类别的聚类，选择聚类中心距离作业机械最近的点云，作为备选点云数据；

基于备选点云数据，确定贴边距离。

在一些实施例中，基于图像信息，确定分类识别结果，包括：

将图像信息输入至图像识别模型，输出与图像信息对应的分类识别结果；其中

图像识别模型为神经网络模型，以样本图像信息为样本，以预先确定的与样本图像信息对应的分类识别结果为样本标签，训练得到。

在一些实施例中，在使用测距算法，处理点云数据，确定作业机械的贴边距离和走行姿态之后，还包括：

基于贴边距离和走行姿态，控制作业机械的转向系统；

或者，

基于贴边距离和走行姿态，输出驾驶辅助信息，辅助信息可通过语音或图像的形式进行提示，驾驶员可根据提示调整车辆方向盘确保车辆行进方向与道路边界处于近似平行状态。

根据本发明实施例提供的作业机械的贴边控制装置，通过信息获取模块610采集作业机械两侧环境图像，通过图像识别模块620对环境图像进行特征识别，通过算法选择模块630基于特征识别结果选择对应的测距算法，以避免障碍物类型对计算误差的影响，有效提高算法的精确度，从而提高测量结果的精确度。最后通过计算模块640处理点云数据，确定作业机械的贴边距离和走行姿态，用于共同表示作业机械的实时作业状态，通过将贴边距离与走行姿态输入至控制器或者展示给作业人员，以及时调整压路机自身位置姿态，更好地进行贴边压实作业。

下面对本发明提供的作业机械进行描述。

本发明实施例的作业机械可以为压路机、清扫车或道路冷喷画线机等。

作业机械上设置有图像传感器、雷达传感器和作业机械的贴边控制装置。

图像传感器用于采集作业机械走行方向两侧的环境图像，雷达传感器用于采集点云数据。图像传感器与雷达传感器分别安装于作业机械之上，其中雷达传感器数量至少为两个，用于分别采集作业机械前后两端的点云数据。

如图7所示，作业机械为压路机，压路机上设置有第一摄像机711、第二摄像机712，第一雷达721、第二雷达722和如上所述的作业机械的贴边控制装置。

在一些实施例中，通过第一摄像机711和第二摄像机712采集压路机走形方向两侧的环境图像及路面信息，并输入至压路机的贴边控制装置，进行特征提取，得到分类识别结果，根据分类识别结果确定测距算法。

通过将第一雷达721和第二雷达722采集的点云数据输入至压路机的贴边控制装置，转化为压路机参考系坐标下的点云数据，并将点云数据输入给对应的测距算法，使用测距算法，处理点云数据，确定压路机的贴边距离和走行姿态。

通过将贴边距离和走行姿态输入至用于自动控制压路机走行的控制器中，便可以自动控制压路机调整自身位置姿态，实现自动贴边控制。或者将贴边距离和走行姿态展示给作业人员，以辅助作业人员及时调整压路机的位置姿态，实现高精度贴边控制。

根据本发明实施例提供的作业机械，通过在作业机械上设置图像传感器和雷达传感器，以实时采集作业机械两侧的环境图像和点云数据；通过在作业机械上设置如上所述的作业机械的贴边控制方法，以对环境图像进行特征识别，并基于特征识别结果选择对应的测距算法，避免障碍物类型对计算误差的影响，有效提高算法的精确度，从而提高贴边距离测量结果的精确度，更好地服务于作业机械的无人化自动作业，或更好地辅助作业人员作业。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行作业机械的贴边控制方法，该方法包括：获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；基于所述图像信息，确定分类识别结果；基于所述分类识别结果，确定测距算法；使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械的贴边控制方法，该方法包括：获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；基于所述图像信息，确定分类识别结果；基于所述分类识别结果，确定测距算法；使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的作业机械的贴边控制方法，该方法包括：获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；基于所述图像信息，确定分类识别结果；基于所述分类识别结果，确定测距算法；使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种作业机械的贴边控制方法，其特征在于，包括：

获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；

基于所述图像信息，确定分类识别结果；

基于所述分类识别结果，确定测距算法；

使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

2.根据权利要求1所述的作业机械的贴边控制方法，其特征在于，所述作业机械包括沿前后方向间隔设置的第一传感器和第二传感器；

所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，包括：

基于第一传感器采集的点云数据，确定所述作业机械的第一贴边距离；

基于第二传感器采集的点云数据，确定所述作业机械的第二贴边距离；

基于所述第一贴边距离和所述第二贴边距离，确定所述走行姿态。

3.根据权利要求1所述的作业机械的贴边控制方法，其特征在于，在所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态之前，还包括：

以所述作业机械的目标点为原点，设定参考坐标系；

将所述点云数据转换到所述参考坐标系。

4.根据权利要求3所述的作业机械的贴边控制方法，其特征在于，所述参考坐标系包括沿走行方向的X向、沿横向的Y向和沿竖向的Z向；

在所述分类识别结果为路沿的情况下，所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离，包括：

基于与所述分类识别结果对应的高度目标范围和所述点云数据在Z向的数值，筛选所述点云数据，得到第一点云数据；

将所述第一点云数据进行一个类别的聚类，去除超出聚类中心第一目标距离的点云，得到第二点云数据；

基于所述第二点云数据，确定所述贴边距离；

或者，在所述分类识别结果为栏杆的情况下，所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离，包括：

基于与所述分类识别结果对应的高度目标范围和所述点云数据在Z向的数值，筛选所述点云数据，得到第三点云数据；

将所述第三点云数据进行基于Z向的点云数据提取，对提取到的点云数据进行拟合，得到点云曲线函数；

基于所述点云曲线函数，确定所述贴边距离；

或者，在所述分类识别结果为其他的情况下，所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离，包括：

基于距离目标范围和所述点云数据在Y向的数值，进行多个类别的聚类，选择聚类中心距离作业机械最近的点云，作为备选点云数据；

基于所述备选点云数据，确定所述贴边距离。

5.根据权利要求1-4中任一项所述的作业机械的贴边控制方法，其特征在于，所述基于所述图像信息，确定分类识别结果，包括：

将所述图像信息输入至图像识别模型，输出与所述图像信息对应的所述分类识别结果；其中

所述图像识别模型为神经网络模型，以样本图像信息为样本，以预先确定的与所述样本图像信息对应的分类识别结果为样本标签，训练得到。

6.根据权利要求1-4中任一项所述的作业机械的贴边控制方法，其特征在于，在所述使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态之后，还包括：

基于所述贴边距离和所述走行姿态，控制所述作业机械的转向系统；

或者，

基于所述贴边距离和所述走行姿态，输出驾驶辅助信息。

7.一种作业机械的贴边控制装置，其特征在于，包括：

信息获取模块，用于获取所述作业机械侧面的图像信息和所述作业机械侧面的点云数据；

图像识别模块，用于基于所述图像信息，确定分类识别结果；

算法选择模块，用于基于所述分类识别结果，确定测距算法；

计算模块，用于使用所述测距算法，处理所述点云数据，确定所述作业机械的贴边距离和走行姿态，所述贴边距离和所述走行姿态用于进行贴边控制。

8.一种作业机械，其特征在于，包括：用于采集环境图像的图像传感器、用于采集点云数据的雷达传感器和如权利要求7所述的作业机械的贴边控制装置。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述作业机械的贴边控制方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述作业机械的贴边控制方法的步骤。

Images