CN111373338A - 用于操作移动系统的方法和设备 - Google Patents

Abstract

用于操作移动系统（200）的方法，所述方法具有如下步骤：‑检测前方的限定长度的行驶路线的3D轮廓；‑根据所检测到的3D轮廓来确定所述移动系统（200）和/或所述移动系统（200）的工具（210）的额定轨迹（ST）；并且‑在考虑所述额定轨迹（ST）的情况下以所限定的方式沿着所述行驶路线操作所述移动系统（200）。

Description

用于操作移动系统的方法和设备

技术领域

本发明涉及一种用于操作移动系统的方法。本发明还涉及一种用于操作移动系统的设备。本发明还涉及一种计算机程序产品。

背景技术

公知有被纳入（einbinden）到车辆的驾驶辅助系统中的摄像机系统。在立体摄像机的情况下，从不同的摄像机位置出发拍摄同一场景的两张或更多张图像。根据特定场景点在至少两张图像中的方位（Lage），在知道摄像机的内在的和外来的校准参数的情况下可以确定空间位置。

利用这样的摄像机，可能的是：在摄像机的视野内创建土地的非常精确的3D表面轮廓地图（“视差地图”）。

原则上，为了创建这样的表面轮廓地图，也可以使用测距系统，诸如激光雷达（Lidar）扫描系统、飞行时间（Time-of-Flight）摄像机，等等。

尤其是在农业中，GPS辅助的自动转向系统越来越流行。所述自动转向系统即使在环境条件恶劣和/或驾驶员不熟练的情况下也有助于使用整个工作宽度并且尽可能避免工作区的重叠。

为了提高精度，必须借助于所谓的RTK（实时运动学（Real Time Kinematik））校正信号来校正由于对流层和电离层中的运行时干扰、卫星的轨道误差和时钟误差所引起的不准确性。

检测GPS数据的前提条件是已知天线的精确方位。该天线通常处在农用机械的驾驶室顶的中间。在农用机械在土地上的所确定的位置与实际位置之间可能存在偏差（例如由于倾斜、运动方向及其变化等等所引起），这些偏差例如可以借助于加速度传感器和陀螺仪来测量。

在所谓的“转向控制器（Steering-Controller）”或者也在IMU（英文InertialMeasurement Unit，惯性测量单元）中对GPS数据、RTK数据、加速度数据和陀螺仪数据进行融合和处理。在此，例如使用卡尔曼滤波器（Kalman-Filter）。最后，操控工具的液压执行机构和/或在转向轮处的伺服器。

发明内容

本发明的任务是提供一种经改善的用于操作移动系统的方法。

按照第一方面，该任务利用一种用于操作移动系统的方法来解决，该方法具有如下步骤：

- 检测前方的限定长度的行驶路线的3D轮廓；

- 根据所检测到的3D轮廓来确定该移动系统和/或该移动系统的工具的额定轨迹；并且

- 在考虑该额定轨迹的情况下以所限定的方式沿着该行驶路线操作该移动系统。

有利地，以这种方式，可以在知道移动系统或车辆的前方行驶路线的精确的三维表面轮廓的情况下来对车辆进行所限定的操作。尤其是，可以在知道高度精确的三维表面轮廓的情况下确定车辆的所预测的轨迹，该轨迹然后在考虑机械学、运动学、流体力学等等的情况下对移动系统或车辆的至少一个执行器进行控制。有利地，以这种方式来对移动系统的与土地的不平坦和波浪性无关的工作方式进行支持。

按照第二方面，该任务利用一种用于操作移动系统的设备来解决，该设备具有：

- 传感器装置，用于对该移动系统的周围环境进行三维检测；和

- 预测装置，该预测装置被构造为依据三维地检测到的周围环境来预测该移动系统和/或该移动系统的工具的额定轨迹；和

- 控制装置，该控制装置被构造为根据该额定轨迹来控制该移动系统和/或该移动系统的工具。

该方法的有利的扩展方案是从属权利要求的主题。

该方法的一个有利的扩展方案规定：执行如下步骤：

- 预测移动系统的轮子和/或移动系统的工具的轨迹；

- 确定与所预测的额定轨迹的所预测的偏差；并且

- 确定用于预测性的执行器管理的预控制值。

以这种方式，在知道高度精确的3D轮廓的情况下对预测性的执行器管理进行控制，该预测性的执行器管理针对移动系统尽可能好地考虑或补偿车道的前方的不平坦或不均匀。执行器管理可包括对工具的管理或对移动系统的工具的控制。

该方法的另一有利的扩展方案规定：针对该工具调节如下参数中的至少一个：高度、取向、倾斜度。以这种方式，可以尽可能好地与前方车道的拓扑适配地操作移动系统的工具。

该方法的另一有利的扩展方案规定：对于不能充分保持所述工具的所述额定轨迹的情况，也对所述移动系统的转向进行干预。由此，对于移动系统来说可以实现对前方车道的不平坦的更好的补偿。

该方法的另一有利的扩展方案规定：为了检测3D轮廓，使用如下装置中的至少一个：激光雷达、雷达、3D摄像机、飞行时间摄像机。由此，可以使用如下传感器装置，所述传感器装置基于其检测特性来尽可能好地与所要检测的周围环境适配。

该方法的另一有利的扩展方案的特点在于：从摄像机图像中计算出移动系统的自身运动。以这种方式，可以有利地从该图像中计算出晃动干扰，由此提供平稳的图像，该图像对于随后确定执行器的所预测的运动来说是有利的。

该方法的另一有利的扩展方案的特点在于：所述3D轮廓在工具的工作区内被检测。以这种方式来执行对移动系统的周围环境的高效的3D检测，由此计算能力被有效使用。

该方法的另一有利的扩展方案的特点在于：借助于唯一的控制设备来执行对该额定轨迹的确定和对相对应的执行器数据的确定。由此，可以有利地减少时延时间，由此可尽可能快地实施所提出的方法。

在下文，依据多幅图利用其它特征和优点来详细地描述本发明。在此，所有所描述的或者所示出的特征本身或以任意的组合形成本发明的主题，与它们在专利权利要求书中的合并或者它们的回引无关，以及与它们在说明书中或在附图中的表达或示出无关。所公开的方法特征从相对应的所公开的设备特征中类似地得到，并且反之亦然。这尤其是意味着：与用于操作移动系统的方法有关的特征、技术优点和实施方案以类似的方式从用于操作移动系统的设备的相对应的实施方案、特征和优点中得到，并且反之亦然。

附图说明

在图中：

图1示出了用于操作移动系统的设备的实施方式的原理性框图；

图2示出了用于阐述所提出的方法的工作方式的原理性系统图；

图3示出了用于阐述所提出的方法的实施方式的原理性工作方式的三张图像；

图4示出了用于阐述所提出的方法的实施方式的原理性工作方式的另一图示；

图5示出了用于阐述所提出的方法的实施方式的原理性工作方式的另一图示；以及

图6示出了所提出的方法的实施方式的原理性流程图。

具体实施方式

本发明的核心思想尤其是提供对移动系统的经改善的操作。在此规定：对移动系统的将来的或前方的车道的土地不平坦进行检测并且基于此来执行对移动系统的元件（转向装置和/或工具）的及时的/预测性的预控制，以便减小关于GPS位置的调节偏差。工作过程和车道保持（Spurtreu）的由此实现的更高的精度有利地导致产量更高、地面压实更少以及对移动系统的基于GPS的辅助系统的接受度更高。

图1示出了用于操作移动系统200（例如农用机械、建筑机械等等形式的移动系统200）的设备100的示意性框图。在此，所提到的移动系统200不仅可以手动控制地来构造而且也可以自动化地或部分自动化地、自主地或部分自主地来构造。在此，该移动系统不仅可以具有在行驶期间被用于处理地表的工具而且也可以没有工具地来构造。

可以看到用于检测移动系统200前方的3D周围环境轮廓的传感器装置10，该传感器装置在功能上与预测装置20连接，该预测装置20用于确定移动系统200的所预测的轨迹。预测装置20基于所检测到的3D周围环境轮廓的数据来确定所预测的轨迹（“额定轨迹”）。预测装置20在功能上与控制装置30连接，借助于该控制装置根据所检测到的三维轮廓来操控移动系统200的至少一个执行器。

这例如意味着：执行器被控制为使得移动系统200尽可能保持车道地被引导。还可以理解为：移动系统200的在功能上与移动系统200连接的工具（例如割草机、建筑工具等等）在知道三维表面轮廓的情况下被预测性地预控制并且由此可以更均匀地并且借此更高效地行动。

根据应用情况，例如GPS精确的转向、GPS精确的工作等等，从GPS接收直至执行机构（例如轮子、工具）的系统的路线模型事先已经可以供移动系统200使用或者在移动系统200的运行时被应用。

如上文所提及的那样，借助于测距方法，可以在补偿移动系统200的自身运动的情况下创建3D表面轮廓地图。为此所需的传感器相对应地构建在移动系统200的前部区域中。在地表有植被的情况下，例如借助于特征提取法以及可选地对象分类法来识别空地（通常是犁沟或固定车道）并且将所述空地本身标记为原则上可通行的面。

根据移动系统200的预先给定的GPS车道或自身运动以及3D表面轮廓地图，可以预测移动系统200的每个轮子或每个工具的轨迹。

尤其是由于土地耕作、航道、冲刷、土地沉降、天然不平坦等等，可能导致轮子或工具轨道中的突然的高度变化，借此导致不符合期望的滚动和/或俯仰和/或偏航力矩。

通常，构造为农用机械的移动系统200关于要执行的过程总是尽可能在相同的轨道内行驶，以便尽可能少地将地面压实并且尽可能不损坏植被。在此，3D表面轮廓地图并没有由于车辆/机械的自重而显著发生变化。在首次驶过（例如经过之前耕种过/疏松过的土地、不存在的车道或犁沟）时，可以在第一路线区段上学习到事后的土地压实或者事先应用该事后的土地压实。该土地压实例如可以在3D表面轮廓地图中一并予以考虑。

也可设想的是：存储借助于传感器装置10所确定的3D表面轮廓地图并且将该3D表面轮廓地图可选地经由云/后台设备来提供给其它车辆/机械。

以这种方式，可以与系统的路线模型一起预测性地确定滚动、俯仰和偏航力矩，并且视距预测性干扰（滚动、俯仰和偏航力矩）的时间和/或地点间隔而定，可以针对移动系统200的转向和/或移动系统200的工具的引导来相对应地对调节器进行预控制。尤其是在车辆或机械沉重并且因此迟缓的情况下，这有利地导致与车辆和/或车辆的工具的所希望的轨迹的最小和最大偏差更小。

由于调节对象中的公差、漂移等等而还存在的调节偏差可以被学习并且一并被包括在预控制内。

可选地，所预测的和/或真实的数据可以被存储在地图中并且例如用于相同或其它车辆和机械的下一次驶过、例如在其预测性控制中的下一次驶过。

为了优化所提出的系统的调节和实时能力的精度，优选具有唯一的电子控制设备（例如微控制器/微处理器和ASIC/DSP）的集成方案，因为该单控制设备方案在在整个调节中的抖动和时延方面相对于具有多个控制设备的方案来说具有优点。

尤其是传感器数据融合和算法以及图像处理算法和3D地图需要在高性能的、高度集成的微控制器/微处理器和ASIC/DSP上实施软件。

图2示出了所提出的方法的系统概览图。

在步骤300中，提供周围环境传感器形式的传感器装置10用于对在移动系统200前方的表面轮廓进行三维检测，所述周围环境传感器例如是一个或多个3D摄像机、飞行时间摄像机等等，它们在步骤310中被用于创建分辨率高的3D表面轮廓。在此，传感器装置10的检测区基本上对应于移动系统200的工具210的工作区。在随后的步骤320中，对移动系统200的车轮和/或工具的目标轨迹进行预测。在步骤330中，确定与所预测的额定轨迹的所预测的偏差。

在步骤340中，确定用于移动系统200的预测性的执行器管理的预控制值。在步骤350中，确定相应执行器的预测性的调定量部分（Stellgrößenanteil）。

在步骤360中，考虑移动系统和/或其工具的运动学和/或动力学。此外，在步骤370中，考虑工作机械（车辆和工具）的一个/多个调节回路的调节技术上的传递特性。

图3示出了对所提出的方法的原理性工作方式的阐述。在三张图像a)至c)中，分别示出了移动系统200，该移动系统构造为农用机械，该农用机械具有布置在其上的工具210（例如割草机）。移动系统200利用适当的传感装置来确定前方行驶路线的3D表面轮廓地图并且以这种方式来检测凸起1和凹陷2形式的不平坦。基于所确定的3D表面轮廓，确定工具210的额定轨迹ST并且在沿车道行进的过程中将工具210调节得沿着额定轨迹ST。

以这种方式，工具210在车道的不平坦的地方由于所执行的预控制而已经处在“正确的”位置并且可以以这种方式来有效地行动。该原理在图像b)中也针对凹陷2来示出并且在图像c)中针对凸起1和凹陷2来示出。

当然，该原理也可以被用于没有工具210的移动系统200。在这种情况下，使用移动系统200的执行器来补偿不平坦1、2，使得移动系统200尽可能不受这些不平坦影响地遵循预先给定的车道。

图4示出了所提出的方法的作用方式的另一示例，其中在这种情况下工具210遵循凸起1的走向，使得以这种方式例如在田地的庄稼上方以所限定的高度来引导喷洒工具。

图5示出了另一种情况，其中在这种情况下移动系统200沿着车道由于凸起1和凹陷2而总是反复倾斜。尽管如此，借助于对工具210的额定轨迹ST的所预测的确定，可以使该工具总是留在所规定的水平工作位置中并且由此有效地行动。

图6示出了所提出的方法的原理性流程。

在步骤400中，执行对前方的限定长度的行驶路线的3D轮廓的检测。

在步骤410中，基于所检测到的3D轮廓来执行对移动系统200和/或移动系统200的工具210的额定轨迹ST的确定。

在步骤420中，在考虑所预测的轨迹ST的情况下，以所限定的方式沿着行驶路线操作移动系统200操作。

有利地，按照本发明的方法可以作为软件来实现，该软件例如在设备100上运行，该设备具有传感器装置10、预测装置20和控制装置30。以这种方式来支持该方法的简单的可适应性。

本领域技术人员将适当地修改和/或相互组合本发明的特征，而不偏离本发明的核心。

Claims (10)

1.用于操作移动系统（200）的方法，所述方法具有如下步骤：

- 检测前方的限定长度的行驶路线的3D轮廓；

- 根据所检测到的3D轮廓来确定所述移动系统（200）和/或所述移动系统（200）的工具（210）的额定轨迹（ST）；并且

- 在考虑所述额定轨迹（ST）的情况下以所限定的方式沿着所述行驶路线操作所述移动系统（200）。

2.根据权利要求1所述的方法，其中执行如下步骤：

- 预测所述移动系统（200）的轮子和/或所述移动系统（200）的工具（210）的轨迹；

- 确定与所预测的额定轨迹的所预测的偏差；并且

- 确定用于预测性的执行器管理的预控制值。

3.根据权利要求2所述的方法，其中针对所述工具（210）调节如下参数中的至少一个：高度、取向、倾斜度。

4.根据上述权利要求中任一项所述的方法，其中对于不能充分保持所述工具（210）的所述额定轨迹（ST）的情况，也对所述移动系统（200）的转向进行干预。

5.根据上述权利要求中任一项所述的方法，其中为了检测所述3D轮廓，使用如下装置中的至少一个：激光雷达、雷达、3D摄像机、飞行时间摄像机。

6.根据上述权利要求中任一项所述的方法，其中从摄像机图像中计算出所述移动系统（200）的自身运动。

7.根据上述权利要求中任一项所述的方法，其中所述3D轮廓在所述工具（210）的工作区内被检测。

8.根据上述权利要求中任一项所述的方法，其中借助于唯一的控制设备来执行对所述额定轨迹（ST）的确定和对相对应的执行器数据的确定。

9.用于操作移动系统（200）的设备（100），所述设备具有：

- 传感器装置（10），用于对所述移动系统（200）的周围环境进行三维检测；和

- 预测装置（20），所述预测装置被构造为依据三维地检测到的周围环境来预测所述移动系统（200）和/或所述移动系统（200）的工具（210）的额定轨迹（ST）；和

- 控制装置（30），所述控制装置被构造为根据所述额定轨迹（ST）来控制所述移动系统（200）和/或所述移动系统（200）的工具（210）。

10.计算机程序产品，所述计算机程序产品具有程序代码装置用于当所述计算机程序产品在用于操作移动系统（200）的电子设备（100）上运行或者存储在计算机可读数据载体上时执行根据权利要求1至8中任一项所述的方法。

Images