CN110027001A

CN110027001A - 用于运行移动的作业机器的方法以及移动的作业机器

Info

Publication number: CN110027001A
Application number: CN201910004419.7A
Authority: CN
Inventors: D.内耶; N.施特克; P.纳格尔; S.罗泽
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-01-04
Filing date: 2019-01-03
Publication date: 2019-07-19
Also published as: GB2571004A; DE102018200060B4; GB2571004B; DE102018200060A1

Abstract

本发明涉及一种用于运行移动的作业机器的方法，所述作业机器具有操纵器，所述操纵器能够移动地布置在移动的作业机器的组件上，其中在使用至少一个布置在所述操纵器上的传感器的情况下获取所述操纵器相对于组件的位置，其中在使用相对于组件位置固定地布置的旋转速率传感器的情况下检测所述组件围绕所述移动的作业机器的竖直轴（H）的旋转（D），其中借助于操纵器相对于所述组件的位置以及所述组件围绕竖直轴（H）的旋转（D）获取操纵器在移动的作业机器之内的位置，并且其中所述组件围绕竖直轴（H）的旋转（D）此外在使用至少一个布置在移动的作业机器上的摄像机的情况下得到检测以及本发明涉及一种这样的移动的作业机器。

Description

用于运行移动的作业机器的方法以及移动的作业机器

技术领域

本发明涉及一种用于运行具有操纵器的移动的作业机器的方法，以及一种用于执行该方法的计算单元和一种这样的移动的作业机器。

背景技术

移动的作业机器的运动学或者操纵器、例如挖掘机的工作臂可以纯粹液力地操控，但是对于移动的作业机器、特别是对于建筑机器以及特殊地对于挖掘机而言存在一种将液压系统电气化的趋势。此外可以借助于辅助系统改善操作，在所述辅助系统中驾驶员在显示器上被显示地得到，该驾驶员例如必须多么精确地挖掘，或者在所述辅助系统中预先给定了这样的线或者轮廓，驾驶员不允许超过所述线或者轮廓。先进的系统也能够例如介入对液压系统的控制，如果驾驶员超过了边界线或者所述先进的系统自动地实施部分任务。

这样的功能的基础是以下可能性：即，精确地在关于移动的作业机器的、也就是说例如关于挖掘机的上部车厢并且绝对地在地球上确定如下方面：运动学的或者操纵器的状态以及特殊地所谓的工具-中心-点（TCP）、用于在操纵器上、例如挖掘机臂上的工具的参照点。

作为移动的作业机器的挖掘机的上部车厢在地球仪（Globus）上的的位置大多通过基于GPS的系统来获取。为了确定在地球上的工具-中心-点，因此还需要获取工具-中心-点相对于在上部车厢上的GPS-参照点的位置。为此存在不同的方案，例如借助于挖掘机臂的运动学以及安装在缸上的位移传感器、安装在铰接件上的角度传感器或者也借助于在挖掘机臂的单个部件上的惯性传感器来计算所述工具-中心-点。特别地，惯性传感器以及旋转角度传感器或者旋转速率传感器广泛得到使用。

由DE 10 2009 018 070 A1例如已知一种移动的作业机器，在所述移动的作业机器中，位置借助于倾斜传感器或者旋转速率传感器来获取。由DE 10 2012 102 291 A1例如已知一种用于运行移动的作业机器的方法，在所述方法中使用了磁罗盘，以便获取移动的作业机器或者该移动的作业机器的操纵器的更加精确的定向。

发明内容

根据本发明，提出了一种用于运行移动的作业机器的方法、用于执行该方法的计算单元以及具有独立权利要求的特征的这种移动的作业机器。有利的构造方案是从属权利要求以及以下的说明书的主题。

本发明涉及一种用于运行移动的作业机器的方法，所述移动的作业机器具有操纵器，所述操纵器能够移动地布置在移动的作业机器的组件上。在挖掘机作为移动的作业机器的情况下，挖掘机的上部车厢可以被考虑作为这样的组件。在载重车辆的装载吊车的情况下，其也可以例如是指在载重车辆上的铰接设备，在其上固定了操纵器或者吊车臂。

在此，在使用至少一个布置在操纵器上的传感器的情况下获取操纵器相对于组件的位置。特别地位移传感器、角度传感器以及惯性传感器、在此于是又一方面特别是旋转速率传感器和/或加速度传感器被考虑作为这样的传感器。在使用相对于组件位置固定地布置的旋转速率传感器的情况下于是检测组件围绕移动的作业机器的竖直轴的旋转。借助于操纵器相对于组件的位置以及组件围绕竖直轴的旋转于是获取了操纵器在移动的作业机器之内的位置。

接下来将借助于作为移动的作业机器的具有挖掘机臂或者工作臂作为操纵器的挖掘机来进一步地描述和解释本方法。但是要理解的是，这样的方法相应地也可以在另外的具有操纵器的移动的作业机器中使用。

所提到的传感器可以在挖掘机中现在布置在工作臂的单个的节段（Glied）上，旋转速率传感器于是在作为所提到的组件的上部车厢或者其一部分上得到布置。所述传感器特别地可以是指惯性传感器，所述惯性传感器不仅能够测量加速度而且能够测量围绕确定的、优选地围绕所有三个空间轴的旋转速率。由此产生的所测量的加速度可以在挖掘机的以及其运动学的或者其操纵器的静止状态中被解释成重力加速度，由此于是可以推断出相应的惯性传感器绝对地相对于地球重力场的角度。

因为该信号通常剧烈地消失（verrauschen），并且在上部车厢运动时能够通过由运动所引起的加速度非常剧烈地被失真（verfälschen），由加速度信号所引起的角度信号可以与沿着上部车厢的旋转轴或者挖掘机的竖直轴所测量出的旋转速率或者旋转速率的积分通过卡尔曼-滤波器进行合并（fusionieren）。在知道工作臂的单个节段的所有的绝对角度的情况下，可以确定在各个节段之间的相对角度，以至于（在考虑到其余的尺寸的情况下）能够推断出操纵器的位置或者推断出工具-中心-点（TCP）。

但是因为旋转轴或者竖直轴通常（或者至少在大多情况中）始终平行于地球重力场地定向，可以对于上部车厢的位置确定并且由此工具-中心-点在空间中的位置确定，仅仅使用相应的利用上部车厢上的旋转速率传感器所测量的旋转速率。利用关于地球重力场的加速度传感器对该信号的支撑不能实行。因为旋转速率传感器大多具有未知的偏移和/或噪声，通过对于位置确定所必须的旋转速率的积分而越来越累计并且因此增大了可能的误差（产生了所谓的漂移）。

根据本发明现在规定，组件的围绕竖直轴的旋转此外（也就是说附加地）在使用至少一个布置在移动的作业机器上的摄像机来检测。因此可以支持旋转速率信号（也就是说旋转速率传感器的信号），也就是说改善或者相应地与用于确定位置的另外的信号、即摄像机的信号合并。

因为例如挖掘机或者另外的作业机器经常已经配备了倒车摄像机（Rückfahrkamera），并且也存在用于检测环境的趋势，未来的挖掘机或者另外的移动的作业机器本来会增多地配备摄像机。为了能够借助于这样的摄像机的信号支持上部车厢旋转速率或者为了改善借助于旋转速率传感器所检测到的或者获取到的旋转，可以获取上部车厢绝对地相对于环境的和/或相对与下部车厢的速度，并且例如输送给已经存在的合并算法（例如卡尔曼-滤波器）。

就这方面而言，同样优选的是，在使用至少一个布置在移动的作业机器上的摄像机的情况下此外检测了移动的作业机器的平移的运动。

移动的作业机器在空间中的位置可以正如已经提到的那样优选地无线电支持地和/或卫星支持地、特别地在使用GPS和/或移动无线电-三角测量法的情况下获取。所获取的移动的作业机器在空间中的位置于是借助于所检测到的平移的运动得到改善。这可以不仅在以卫星支持的方式进行位置获取时而且在以其他方式来获取位置时、必要时也仅仅相对地实行。

借助于操纵器在移动的作业机器之内的位置以及移动的作业机器在空间中的位置于是可以特别优选地获取操纵器（或者工具-中心-点）在空间中的位置。

特别优选地的是，移动的作业机器包括挖掘机，在所述挖掘机中，组件是上部车厢的一部分，在所述组件上布置有构造成挖掘机臂的操纵器。但是备选地同样地优选的是，移动的作业机器包括伸缩抓手（Teleskophandler）、具有装载吊车的载重车辆或者林业机器，其同样分别具有操纵器或者工作臂。

如下方面是有益的，在这样的移动的工作机器中，于是当正如已经提到的那样借助于操纵器的所获取的位置来引导移动的作业机器的驾驶员，例如其方法是，在显示机构（例如显示器）上显示操纵器的或者工具-中心-点的相比于预先给定的工作区域的位置，所述工作区域例如借助于线来示出。这简化了利用移动的作业机器的作业并且提高了安全性。在此也可以考虑的是，自动地并且主动地介入操纵器的运动，以便遵守预先给定的工作区域。通过建议的使用摄像机再次提高了这样被引导的运动的优点，因为能够明显地更好或者更精确地获取操纵器的位置。

根据本发明的计算单元、例如移动的作业机器的控制器特别是以程序技术的方式被设置用于执行根据本发明的方法。

此外，本发明的主题是一种移动的作业机器，其具有：布置在移动的作业机器的组件上的操纵器、至少一个布置在操纵器上的传感器、相对于所述组件位置固定地布置的旋转速率传感器、至少一个摄像机以及根据本发明的计算单元，也就是说例如控制单元或者控制器，利用其能够执行本方法的所提到的步骤。

同样地，所述方法以计算机程序形式的实现是有利的，因为这产生特别小的费用——特别是当实施的控制器还用于另外的任务并且因此本来就存在时。用于提供计算机程序的合适的数据载体特别地是磁的、光学的以及电的存储器，诸如硬盘、闪存、EEPROM、DVD等等。通过计算机网络（因特网、内网等等）下载程序也是可能的。

本发明的另外的优点以及构造方案由说明书以及附图得出。

可以理解的是，上述提到的以及以下还待解释的特征在没有离开本发明的框架的情况下不仅能够用在相应给出的组合方案中，而且可以用在另外的组合方案中或在独有方案中。

本发明借助于实施例在附图中示意性地示出，并且以下参考附图详尽地描述。

附图说明

图1 示意性地示出了在一种优选的实施方式中的根据本发明的移动的作业机器，利用该作业机器可以相应地执行根据本发明的方法；

图2 示意性地示出了在一种优选的实施方式中的根据本发明的方法的一部分的流程；

图3 示意性地示出了在另一种优选的实施方式中的根据本发明的方法的流程；

图4 示意性地示出了在另一种优选的实施方式中的根据本发明的移动的作业机器。

具体实施方式

在图1中示意性地示出了在一种优选的实施方式中的、在此呈挖掘机的形式的根据本发明的移动的作业机器100，利用所述作业机器能够相应地执行根据本发明的方法。

挖掘机100具有呈挖掘机臂或者工作臂的形式的操纵器110，所述操纵器在上部车厢120的一部分上作为移动的作业机器的组件能够移动地得到布置或者固定。上部车厢120又围绕挖掘机的竖直轴H能够旋转地与下部车厢130连接。

在此，在操纵器110上现在示例性地分别在操纵器110的节段上布置有五个传感器111、112、113、114和115。所述传感器可以是指惯性传感器、特别是加速度-以及旋转速率传感器。在所述上部车厢120上布置有旋转速率传感器121，利用该旋转速率传感器可以检测围绕竖直轴H的旋转速率或者旋转D（然后通过旋转速率的积分）。此外，在上部车厢120上布置有在此呈倒车摄像机的形式的摄像机125。

在此，为此设置有倒车摄像机125，该倒车摄像机拍摄挖掘机100的后面的环境。为此，所述倒车摄像机也指向地面。通过对于图像信号的合适的分析可以不仅推断出车辆速度而且推断出挖掘机的或者上部车厢的旋转速度（也就是说围绕竖直轴旋转的速度）。以合适的方式，该信号可以正如以下会详细地解释的那样被考虑用于支持由惯性传感器所获得的测量信号，以便改善对于工具-中心-点的位置的估计。这样的方法可以在此特别是借助于例如呈挖掘机100的控制器的形式的计算单元140 来执行。

一种可能的为了能够基于摄像机地推断出车辆速度或者上部车厢旋转的方法可以在对于光的通量（optischer Fluss）的分析中看出。为此，存在基于特征的方法（例如匹配-方法）或者基于同一性的方法（微分的技术、例如借助于梯度或者结构张量、相关性技术或者基于滤波器的技术）以供使用。因为必须保证实时能力，特别地参考匹配-方法，正如所述匹配-方法例如在来自赫尔曼维纳、斯蒂芬哈库里、菲利克斯劳兹以及克里斯缇娜森格等作者的“驾驶员辅助系统手册：用于主动安全性和舒适性的基础、组件以及系统”，施普林格-出版社，2015年版本（"Handbuch Fahrerassistenzsysteme: Grundlagen,Komponenten und Systeme für aktive Sicherheit und Komfort", Springer-Verlag,2015, von Hermann Winner, Stephan Hakuli, Felix Lotz und Christina Singer）中所描述的那样。

在此，仅仅在通过图像栅格预先给定的图像位置之内寻找一致性。所述一致性通过在被确定的量度或者对象的意义上的最相似的区域得出。寻找范围（Suchraum）可以在此被限制到显著的图像结构上（例如显著的、始终具有挖掘机的和/或其环境的被记录的点）。由图像次序和通过算法分析出的、彼此相继的图像的相同的特征的所产生的距离可以推断出速度。

原则上，上部车厢旋转D通过围绕Z轴、这里是竖直轴H的旋转速率的积分来确定。但是这有以下述缺点：例如基于MEMS-技术的旋转速率传感器相对于所测量出的旋转速率附加地具有偏移。这在积分时在短的时间之后已经导致了计算出的角度的大的漂移并且强烈地与实际的上部车厢旋转偏离。

与之相应地，直到现在执行了利用加速度传感器的支持，以便能够补偿漂移。但是这具有以下缺点：正如开头已经解释的那样，没有用于偏转运动的、也就是围绕竖直轴H的旋转的支持信息可供使用。在假设挖掘机的平坦的定位的情况下，偏转轴（z-轴）正如在图1中示出的那样与重力加速度g的方向重合。与之相应地，从加速度测量值不能获得针对当前的偏转角度的信息。为了克服这个问题，可以例如使用磁力计，以便支持偏转运动。

所述传感器采用地球磁场作为用于计算当前的相对于地球磁场的定向的参照。但是，移动的作业机器的、在此挖掘机的很多金属组件带来了问题，所述金属组件决定性地影响传感装置（Sensorik）。

由传感器所测量出的磁场

对应于实际的、从地面固定的导航系统借助于齐次的（homogen）坐标变换变换成传感器自身的坐标系的磁场mⁿ，所述磁场由于附近的金属的物体（软-铁，以矩阵K表示）以及磁性的干扰场o^b（硬-铁）而经受扭曲（Verzerrung）。由于取决于在移动的作用机器的附近的周围中的不持久（inkonsistent）的磁场，磁力计仅仅有限制地适合用于支持。

为了能够实现支持带有偏移的旋转速率传感器，上部车厢旋转现在借助于提到的摄像机得到探测，并且被输送给合并算法、例如卡尔曼滤波器。视觉地检测上部车厢的当前的旋转可以借助于特别的图像处理算法来实行。与此有关地，由加速度传感器、旋转速率传感器以及摄像机所组成的总体模型可以被建立：

在此，q^nb表示单位四元数（Einheitsquaternion），所述单位四元数描述在导航坐标系（所谓的n-框架）中相对于传感器自身的坐标系（所谓的b-框架）的自身的定向。rⁿ和描述了上部车厢在n-框架中的位置和速度。扫描率利用取样-间隔T来说明。符号对应于四位数-乘法。

所引起的加速度

在n-框架或者导航坐标系中表示，其由加速度传感器的测量的加速度z_a、偏移、具有平均值0的白的高斯分布的噪声以及重力加速度gⁿ所组成。描述了科里奥利-加速度，并且描述了由地球旋转所决定的向心加速度（Zentripetalbeschleunigung）。

摄像机-姿势（Pose）可以被描述成投影，根据

，

其中，对应于经转换的2D-特征，并且与白的高斯的噪声一起对应于摄像机在摄像机-坐标系中的所属的3D-位置。投影描述了借助于光的通量对姿势的计算。为此以图像顺序计算了光的通量，也就是说将位置点成像到成像平面上，由此图像的运动利用通量向量来示出。分割可以根据颜色或者纹理（Textur）来进行。该通量向量对应于速度向量并且用作用于获取上部车厢旋转的基础。

合并可以借助于卡尔曼-滤波器来进行。卡尔曼-滤波器的功能被分成预测步骤和校正步骤。之前描述的总体模型被概括成向量，该向量包含当前的姿势（也就是说位置r，速度以及定向q）和传感器偏移b：

。

为此，在图2中示出了这样的合并的流程作为在一种优选的实施方式中的根据本发明的方法的一部分。在投影步骤200中，所测量出的旋转速率u_k被视作到模型中的输入。旋转速率因此预测了以下方向，定向改变到该方向中。

这在步骤210中在此与输入参量一起包括在对卡尔曼-放大率（Kalman-Verstärkung）的计算中。这以高的动态进行，然而是带有偏移的，并且使得具有绝对的参量z_k的校正步骤220变得必要。在俯仰-和滚动方向上，加速度传感器用于支持是足够的，但是由于之前所提到的理由，对偏转运动的支持是不可能的。与之相应地，通过从光的通量所计算出的旋转速率实现对于偏转运动的支持，所述旋转速率同样地被概括在矢量z_k中，以便获得经合并的状态。在校正步骤之后在步骤230中进行了对协方差的计算，其又通入到预测步骤200中。

该方法可以在两个情况下得到使用。这使得在移动的作业机器的静止状态中实现对上部车厢旋转的无漂移的支持以及在由整个移动的作业机器的（平移的）运动所决定的叠加的加速度的情况下实现对铰接角度计算的支持。这两种情况的分离应该被保证，因为在组合的运动（也就是说上部车厢旋转以及平移的运动）的情况下，通常不能实现在光的通量中分开速度矢量。为了能够同样地考虑该情况，但是可以例如同样地将控制输入（例如通过操纵杆）包括到合并中。

正如已经描述的那样，现在在图3中示意性地示出了在另一种优选的实施方式中的根据本发明的方法的流程。在步骤330中可以首先正如提到过的那样在使用布置在操纵器上的传感器的情况下获取操纵器相对于挖掘机的组件或者上部车厢的位置。

在步骤310中然后在使用旋转速率传感器的情况下获取上部车厢围绕竖直轴H（同样参看图1）的旋转D。在此可以附加地在步骤315中，此外在使用提到的摄像机的情况下获取围绕竖直轴H的旋转D。在步骤320中然后可以基于来自步骤300的位置以及来自步骤310和315的旋转来获取操纵器在挖掘机之内的位置。在步骤330中然后还可以一并考虑挖掘机在空间中的位置，所述位置例如无线电支持地或者卫星支持地和/或在使用摄像机的情况下被获取，从而能够获取操纵器在空间中的位置。

在图4中示意性地示出了在另一种优选的实施方式中的在此同样呈挖掘机的形式的根据本发明的移动的作业机器100’。所述挖掘机100’对应于来自图1的挖掘机100，但是具有以下区别：即，在此布置有两个摄像机126和127。

所述两个摄像机126和127在这里布置在上部车厢120的底侧上。总的来说可以以这样的方式特别是也布置四个指向下部车厢130的各个角的摄像机。以有利的方式，所述摄像机实施成鱼眼摄像机，并且因此可以在大的区域中不仅检测环境而且检测下部车厢。通过检测下部车厢可实现直接地确定在上部车厢和下部车厢之间的相对速度，并且因此与总车辆速度分开。由此可以显著地改善对上部车厢上的惯性传感器或者旋转速率传感器的旋转速率信号的支持，因为不必区别通过摄像机测量出的速度由上部车厢的旋转还是由挖掘机的平移的运动造成。

Claims

1.用于运行移动的作业机器（100、100’）的方法，所述作业机器具有操纵器（110），所述操纵器能够移动地布置在所述移动的作业机器（100、100’）的组件（120）上，

其中在使用至少一个布置在所述操纵器（110）上的传感器（111、112、113、114、114）的情况下获取所述操纵器（110）相对于所述组件（120）的位置，

其中在使用相对于所述组件（120）位置固定地布置的旋转速率传感器（121）的情况下检测所述组件（120）围绕所述移动的作业机器（100、100’）的竖直轴（H）的旋转（D），并且

其中借助于所述操纵器（110）相对于所述组件（120）的位置以及所述组件（120）围绕所述竖直轴（H）的旋转（D）来获取所述操纵器（110）在所述移动的作业机器（100、100’）之内的位置，

其特征在于，所述组件（120）围绕所述竖直轴（H）的旋转（D）此外在使用至少一个布置在所述移动的作业机器（100、100’）上的摄像机（125、126、127）的情况下得到检测。

2.根据权利要求1所述的方法，其中在使用至少一个布置在所述移动的作业机器（100、100’）上的摄像机（125、126、127）的情况下此外检测所述移动的作业机器（100、100’）的平移的运动。

3.根据权利要求1或2所述的方法，其中所述移动的作业机器（100、100’）在空间中的位置无线电支持地或者卫星支持地、特别地在使用GPS的情况下被获取。

4.根据权利要求2和3所述的方法，其中所获取的移动的作业机器（100、100’）在空间中的位置借助于所检测到的平移的运动进行改善。

5.根据权利要求3或4中任一项所述的方法，其中借助于所述操纵器（110）在所述移动的作业机器（100、100’）之内的位置以及所述移动的作业机器（100、100’）在空间中的位置来获取所述操纵器（110）在空间中的位置。

6.根据前述权利要求中任一项所述的方法，其中所述至少一个布置在所述操纵器（110）上的传感器（111、112、113、114、114）从位移传感器、角度传感器和惯性传感器、特别是旋转速率传感器和加速度传感器中选出。

7.根据前述权利要求中任一项所述的方法，其中所述移动的作业机器（100、100’）包括挖掘机，在所述挖掘机中所述组件（120）是上部车厢的一部分，在所述组件上布置有构造成挖掘机臂的操纵器（110），或者其中，所述移动的作业机器包括伸缩抓手、具有装载吊车的载重车辆或者林业机器。

8.计算单元（140），其被设置用于执行根据前述权利要求中任一项所述的方法。

9.移动的作业机器（100、100’），所述移动的作业机器具有：布置在所述移动的作业机器的组件（120）上的操纵器（110）、至少一个布置在所述操纵器（110）上的传感器（111、112、113、114、114）、相对于所述组件（120）位置固定地布置的旋转速率传感器（121）、至少一个摄像机（125、126、127）以及根据权利要求8所述的计算单元（140）。

10.计算机程序，当该计算程序在所述计算单元（140）上实施时，所述计算机程序使得计算单元（140）执行根据权利要求1至7中任一项所述的方法。

11.机器能够读取的存储介质，其具有存储在其上的根据权利要求10所述的计算机程序。