CN105604120A - 用于辅助包括主体和能够相对于主体运动的执行器的类型的机器的使用者的系统 - Google Patents

Abstract

公开一种用于向包括主体和能够相对于主体运动的执行器的类型的机器的使用者提供辅助的系统。该系统可以向使用者提供有关执行器的一个或多个部分的当前位置的信息，否则位于机器驾驶室中的使用者可能看不见执行器的该一个或多个部分。该系统可以基于关于当前机器位置和运动的感测的数据向使用者提供有关执行器的一个或多个部分的后续轨迹的信息。

Description

用于辅助包括主体和能够相对于主体运动的执行器的类型的机器的使用者的系统

技术领域

本发明涉及包括主体和能够相对于主体运动的执行器的类型的机器的领域。

背景技术

具有机器主体和能够相对于机器主体运动的执行器的类型的机器的使用者能够在任何时候只从一个角度直接来看。如此，使用者只可从一个角度看得见能够相对于机器主体运动的执行器，诸如从执行器的后面或侧面，而非例如从执行器的前面。因此，当需要对执行器的位置进行精确控制时，使用者可能要求附加信息以便准确地定位执行器，尤其针对使用者不能直接看得见的执行器部分。这种辅助可以例如通过相机或通过与机器相距一定距离的同事来提供。

即使使用者得到同事或来自相机的辅助，使用者仍需要能够作出有关执行器的后续位置(futureposition)的判断，以便能够调节机器的地面推进的控制和/或执行器相对于机器主体的位置的控制，从而确保执行器相对于例如执行器待接触的物体到达期望的位置。

使用者可能随着时间的推移具备足够的经验和熟悉度以能够推断他们不能直接看得见的执行器部分的位置。通过更进一步的经验，使用者能够基于各种控制输入作出有关执行器的后续位置的判断以及如何通过改变一个或多个控制输入来影响该后续位置。

针对该背景技术，提出一种用于向包括主体和能够相对于主体运动的执行器的类型的机器的使用者提供辅助的系统。

发明内容

一种用于向包括主体和能够相对于主体运动的执行器的类型的机器的使用者提供辅助的系统，其中，该系统包括：

处理器，其能够接收多个系统输入并且传送系统输出；和

显示器，其能够向使用者显示系统输出；

其中，多个系统输入包括：

(a)关于执行器的类型和/或尺寸的第一系统输入数据；

(b)关于执行器的当前位置的第二系统输入数据；

(c)关于管控机器的地面推进的第一类型的使用者输入控制的第三系统输入数据；和

(d)关于管控执行器相对于主体的运动的第二类型的使用者输入控制的第四系统输入数据；并且

其中，处理器能够处理多个系统输入以便传送表示对使用者有关执行器的位置的引导的系统输出。

附图说明

现在将参照附图仅通过例子描述本发明的具体实施方式，在附图中：

图1示出具有作为执行器的装载机铲斗的机器的示意图，在该机器中可以采用本发明的系统的实施方式；

图2示出具有作为执行器的铲叉附接件的机器的示意图，在该机器中可以采用本发明的系统的实施方式；

图3示出具体为具有抓斗附接件的挖掘机的机器的示意图，其中可以采用本发明的系统的实施方式；

图4示出具体为具有抓斗附接件的挖掘机的机器的示意图，其中可以采用本发明的系统的实施方式；

图5示出具体为具有前置铲刀的履带式拖拉机的机器的示意图，其中可以采用本发明的系统的实施方式；

图6示出从图5的机器上方看的示意图，示出处于第一构型的前置铲刀；

图7示出从图5的机器上方看的示意图，示出处于第二构型的前置铲刀；

图8示出从图5的机器上方看的示意图，示出处于第三构型的前置铲刀；

图9示出可以与本发明的系统的实施方式相配的各种执行器9a至9f；

图10示出可以在显示器上呈现给使用者的鸟瞰示意图，在其上叠加有基于感测的输入通过处理器计算的各种轨迹；

图11示出可以在显示器上呈现给使用者的鸟瞰示意图，在其上叠加有附接件安全区域；

图12示出可以与本发明的系统的实施方式相配的各种执行器12a至12c；

图13示出可以与本发明的系统的实施方式相配的两种锯执行器13a和13b；

图14示出具有作为其执行器的灌木切割器的滑移装载机；

图15示出具有作为其执行器的螺旋钻的滑移装载机；

图16示出可以向使用者显示的示意图，示出铲叉末端相对于周围环境的轨迹；

图17示出可以向使用者显示的示意图，示出有关执行器的当前位置的信息；

图18示出由包括与执行器相关联的字母数字指示器的执行器的相机提供的视图，用于辅助通过本发明的系统的实施方式识别执行器；

图19示出从安装在执行器上的相机提供给显示器的视图，执行器诸如为抓斗，具有可相对于彼此运动的两个对置的爪；和

图20示出机器的视图，其中示出可以由根据本发明的系统使用的输入的例子。

具体实施方式

在第一实施方式中，本发明的系统可以应用在机器100的情况中，图1示出其示意图。为便于解释，机器100的一些特征部在图1的示意图中未示出。

机器100可以包括具有驾驶室140的主体130。机器100还可以包括作为执行器的许多选择之一的在机器的前端处的装载机铲斗120，其可以相对于主体130运动。虽然图示的实施方式示出装载机铲斗120，但执行器可以与众多替代的执行器互换。

机器100和执行器120的运动可以由驾驶室140内的使用者控制。使用者由此可以控制机器的地面推进和执行器120相对于主体130的运动。

机器100的地面推进可以通过本领域熟知的装置和技术管控。在图1的机器100的情况中，地面推进由四个轮执行。例如，机器向前和向后的运动可以通过从机器的发动机经由齿轮箱向机器的四个轮中的一个或多个传送动力来实现。使用者可以使用位于驾驶室内侧的包括加速踏板、制动踏板、离合器和变速棒的装置的组合来控制这种运动。机器100向左和向右的运动可以通过使前轮相对于机器的主体的纵向方向旋转且同时机器向前或向后运动来管控。使用者可以通过运动位于驾驶室140内侧的方向盘来控制前轮向左或向右运动。

执行器120相对于主体130的运动可以例如通过位于驾驶室140中的一个或多个控制杆来液压致动和控制，使得使用者能够在与操作管控地面推进的控制器相同或相似的位置操作控制杆。根据执行器120和连接至机器100的主体130的机构的性质，执行器120可以被控制以多个自由度相对于机器100的主体130运动。图1的执行器120可以经由一对臂156、158连接至主体130，该对臂156、158中的每个的近端在一对枢轴152、154处枢转地连接至机器的主体。枢轴152、154可以共有公共轴线。执行器120可以经由一对另外的枢轴(图1中未示出)连接至每个臂156、158的远端。

在图1的实施方式中，执行器可以是装载机铲斗120。装载机铲斗120相对于机器100的主体130(并且由此间接地相对于周围地面)的高度可以通过一对臂156、158在第一对枢轴152、154处的角度来管控。装载机铲斗120的角度可以通过(a)一对臂156、158在第一对枢轴152、154处的角度和(b)装载机铲斗120相对于该对臂在第二对枢轴(未示出)处的角度来管控。为了本说明书的目的，当讨论一对臂156、158的角度时，除非另外陈述，这是指相对于主体130的角度。也为了本说明书的目的，当装载机铲斗120的底表面126平行于由机器的轮位于其上的周围地面限定的平面时，装载机铲斗120可以被描述为水平。当装载机铲斗120的底表面126相对于机器100向前倾覆使得装载机铲斗120的内容物可以在重力作用下从装载机铲斗120的前开口落下时，装载机铲斗120可以被描述为具有向下角度。相反地，当装载机铲斗120的底表面相对于机器100向后倾覆使得可以防止铲斗的内容物在重力作用下从装载机铲斗120落下时，装载机铲斗120可以被描述为具有向上角度。

将理解的是，对于臂角度和装载机铲斗角度的许多组合，坐在机器100的驾驶室140中的使用者都看不见装载机铲斗120的前边缘122。对于坐在机器100的驾驶室140中的使用者可以看见装载机铲斗120的前边缘122的情况下的臂角度和装载机铲斗角度的其它组合，使用者可能看不见装载机铲斗120的其它特征部，诸如装载机铲斗120的顶边缘。此外，由于对于许多执行器，包括装载机铲斗120，具有另外的自由度，包括改变铲斗的底表面126和铲斗的后表面128之间的角度的可能性，具有当在某些角度时使用者可能看不见的执行器及其位置的另外的方面。

系统可以包括一个或多个传感器、处理器、和机器100的驾驶室内的使用者可以看得见的显示器。

在图1的实施方式中，传感器可以包括安装在机器上的第一相机(未示出)。传感器可以包括另外的相机。第一相机可以被构造为在其视场内获得执行器的一些或全部图像。(图18中给出了这种视图的例子)。处理器可以装备为运行图像处理软件，图像处理软件可以被构造为从图像识别图像的子集，该子集示出在执行器1820上显示的字母数字字符1890或类似物，以便从数据库或类似物获得与具有该字母数字字符1890的执行器相关联的数据。例如，数据可以包括执行器的类型(例如，铲斗、铲叉、扫帚、铲刀或本领域已知的任何其它执行器)以及其尺寸和执行器的其它特征部，包括例如自由度、张开和闭合对置的爪的可能性，或执行器的一部分相对于执行器的另一部分的其它运动。

数据库可以是任何数据源，包括位于处理器内的数据源或位于远离处理器处且可能在网络上无线访问或通过其它装置访问的数据源。

图像处理软件还可以被构造为检测执行器120的一个或多个参考点和主体130的一个或多个参考点，以便确定执行器120参考点相对于主体130参考点的位置。

确定了执行器120上的至少一个参考点的位置以及来自数据库的执行器类型和尺寸的细节，这两组数据可以由图像处理软件使用以确定有关较宽范围的参考点的执行器位置数据，可能包括未在相机视场范围内的参考点。

显示器(图1中未示出)可以是任何形式的显示装置。其可以是例如安装在机器100的驾驶室140中的方便位置处的传统发射显示器(诸如像LCD、LED、OLED或任何其它显示装置)。在一种替代方案中，显示器可以包括能够投射在例如驾驶室140的挡风玻璃/防风罩上的投射器装置。显示器可以与驾驶室140中的其它器械成一体，可能在机器100的制造时，或者可以随后简单地配装在任何便利的位置处。替代地，显示器可以是平视显示器、光学头盔显示器或其它可穿戴技术。可由使用者看的任何显示器都是适合的。

显示器可以被构造为显示其周围环境中执行器的至少一部分的即时视图。即时视图可以是由第一相机或另一相机获得的。替代地，即时视图本质上可以是示意性的，并且可以由从一个或多个相机得到的数据或从一个或多个其它传感器得到的其它数据产生。

在一些实施方式中，显示器可以不提供图像的即时视图或视图的示意表示。而是，其可以简单地在使用者的视野上叠加信息(诸如引导或轨迹信息)。例如，在涉及平视显示器的实施方式中，引导或轨迹信息可以作为如使用者所见的环境的实际视图的覆盖图提供。

即时视图可以来自不同于任何和所有相机的角度是可能的。例如，不是使相机位于机器上方的一定距离处以便获得直接鸟瞰视野，而是即时视图可以是通过从多个相机或传感器获得的数据推算(assimilate)的机器和其周围的执行器的示意性鸟瞰表示，所述多个相机或传感器的视场或感测场可以从机器100向外投射。这种推算的示意性鸟瞰视图尤其可以用于可能在使执行器120相对于主体130运动之前向使用者提供有关如何相对于周围环境中的一个或多个物体定位机器(例如，如何控制机器的地面推进)的信息。

图像处理软件可以被构造为在视图上叠加驾驶室内的机器的使用者可能看不见的执行器的一个或多个方面的表示。例如，机器100的驾驶室140内的使用者可能看不见如图1的实施方式中的装载机铲斗120的前边缘122(参见图18)。图像处理软件可以在执行器和机器连同周围人工制品一起的环境中提供执行器120的前边缘的当前位置的指示。这可能例如在鸟瞰视图中示出。

显示器可以替代地或另外提供有关执行器的位置的原始数据，而非视图。例如，显示器可以示出装载机铲斗的前边缘相对于地面或相对于主体130上的参考位置的高度。可以示出装载机铲斗相对于纵向水平方向的倾斜角度和装载机铲斗相对于横向水平方向的角度。这些可能被显示为一个或多个数值，可能也有图标并且可能也有颜色编码表示以标示适当的(例如绿色)和不适当的(例如红色)值。图17中给出示出这种信息的显示器的一个例子。

除了呈现本机器和执行器位置数据之外，本发明的系统可以用以向使用者提供有关执行器的后续位置的预测信息。

在这种预测执行方式的一种设置中，处理器可以基于当前传感器输入预测机器和执行器的后续位置。处理器可以假设当前传感器输入保持在恒定水平首先预测一个后续位置。进一步的功能性可以对传感器输入中的变化作出反应以更新执行器的预测的后续位置。提供的输入数据越多，当预测后续位置时可能具有的变量越多。

图2示出作为反铲装载机的本领域已知的机器200的示意性表示。这种机器200可以包括主体230、驾驶室240、在机器的前端处可相对于主体230运动的第一执行器220和在机器200的后端处也可相对于主体230运动的第二执行器270。机器200及其执行器220、270可以通过驾驶室240中的使用者操作。使用者由此可以控制机器200的地面推进和执行器220、270相对于主体230的运动。

机器200可以如图2中图示具有作为执行器的许多选择之一的铲叉附接件220，作为其第一加载执行器。虽然图示的实施方式示出铲叉附接件220，执行器可以与众多替代执行器互换。

铲叉附接件220自身可以包括一个或多个传感器229。一个或多个传感器229之一可以是相机，其可以被构造为向显示器提供图像反馈和/或可以通过图像反馈计算数据以便向使用者提供例如铲叉的高度信息和/或有关铲叉之间的当前距离的宽度信息。在图像反馈的情况中，使用者因此能够在例如使用者希望使用铲叉提升托盘的情况中看到铲叉。这种功能性尤其可以适合托盘在明显高于机器的驾驶室中的使用者的高度处的情况，在其它情况下，使用者可能(a)需要在距机器一定距离处的另一人的辅助，该距离允许该人看到托盘和铲叉，或(b)需要离开机器的驾驶室以便从替代角度看铲叉相对于托盘的位置。

可应用于所有实施方式但针对图2的实施方式详细解释的另一特征是执行器轨迹映射。如上解释的，有经验的使用者能够基于各种控制输入作出有关执行器220的后续位置的判断以及判断如何通过改变一个或多个控制输入来影响后续位置。本发明的系统能够基于当前输入预测后续位置以便允许不具有足够经验的使用者作出这种判断来赢得效率。

在一些实施方式中，一个或多个传感器之一可以是安装在机器200的主体230上的相机，其可以经由处理器向显示器提供图像反馈。这种图像反馈的示意性表示可以在图16中找到。图像反馈1600可以示出铲叉1610、1620，或在示出铲叉周围环境中的物品的较宽角度视野的情况中的其它执行器，可能包括在铲叉前方一些距离的环境中的物体1690。在转向角度保持不变的情况下，有关机器的转向角度的数据可以由处理器使用以计算末端的轨迹。这种轨迹1630、1640可以叠加(参见例如图16中的虚线)在由相机提供的显示图像(或其示意版)，以便图示假设转向角度输入保持不变的情况下铲叉的末稍将处于的点位。在转向角度改变的情况下，处理器可以基于当前转向角度更新轨迹预测并接近于实时显示更新的轨迹。

在一些实施方式中，轨迹可以是二维的，而在其它实施方式中，轨迹可以是三维的。

有关机器的转向角度的数据可以由控制轮的角度的转向齿条上的位置传感器提供，以确定相对于机器的纵向方向的转向角度。用于感测轮角度的替代技术也是合适的。

在另一变形中，指示由使用者控制的铲叉的高度改变的传感器读数也可以提供给处理器，使得铲叉位置的轨迹也可以包括后续高度的指示。以此方式，可以计算后续高度并叠加在由相机提供的图像上。再次，指示执行器高度控制的传感器读数的变化可以反馈至处理器，并且轨迹可以几乎实时更新以考虑这种变化。

以此方式，可以给缺乏经验的使用者提供充分的信息以能够同时改变转向控制和执行器高度控制，以便得到与感兴趣的物体交汇的轨迹。在铲叉的情况中，使用者可能处于同时改变转向角度和铲叉高度的位置，使得铲叉到达合适的位置以拾取期望的托盘。使用者可以基于由系统的轨迹映射元件提供的反馈来控制机器位置和铲叉高度，使得机器和铲叉协力地到达合适的位置。这可以避免缺乏经验的使用者必须连续地执行各种操纵，诸如在第一阶段，通过改变地面推进控制、包括转向而将机器定位在合适的位置，以及在仅于第一阶段完成之后开始的第二阶段中，仅在机器本身静止之后将执行器的铲叉相对于机器定位。这也降低如下可能性：第一阶段机器定位的误差仅在第二阶段(铲叉提升阶段)已完成后由使用者识别，从而导致使用者必须返回第一阶段将机器完全重新定位。

在另一变形中，在具有多个自由度的执行器的情况中，这些附加的自由度可以由系统的轨迹映射元件调整。相应地，例如，在执行器能够相对于机器主体进行高度和角度方面运动的情况中，涉及执行器位置相对于机器主体的这些方面的控制的传感器可以提供给处理器用在轨迹映射功能中，以便基于当前控制输入向使用者提供执行器的后续位置的详细预测，并且可以在那些输入中的任意输入改变的情况中接近实时地更新。

如本领域技术人员将理解的，在图2示例的反铲装载机的情况中，本发明的实施方式可以用于在机器后部的第二执行器。在图示中，示出铲斗附接件，尽管其它附接件在本发明的范围内是可以想到的。实际上，一种这样的替代执行器可以是抓斗，诸如参照图3中图示的实施方式描述的。

图3示出机器，具体是挖掘机300，在该例子中其执行器为抓斗320。虽然图示的实施方式示出抓斗320，执行器可以与众多替代执行器互换。

在挖掘机300的情况中，执行器相对于机器的自由度可以与在图1的机器100的情况中示出的装载机铲斗120或者与图2的机器200的情况中示出的铲叉220相关联的自由度不同。

挖掘机可以包括转动地安装在驱动部分335上的主体330，驱动部分335可以包括用于地面推进的履带。旋转安装可以允许围绕正交于驱动部分所处的地面投射的轴线旋转。主体330可以包括驾驶室340，使用者可以自驾驶室340控制挖掘机300的地面推进和抓斗320相对于主体330的运动。

挖掘机300还可以包括具有第一端351和第二端352的第一臂350。第一臂350的第一端351可以经由第一枢轴355(未示出)枢转地连接至主体330。挖掘机还可以包括具有第一端361和第二端362的第二臂360。第二臂360的第一端361可以经由第二枢轴365枢转地连接至第一臂350的第二端352。第二臂360在第二臂360的第二端362处可以包括执行器联接部分368。第一枢轴355的轴线可以平行于第二枢轴365的轴线。

在图3的图示实施方式中，抓斗320附接至执行器联接部分368。执行器联接部分368可以被构造为使抓斗320能够在围绕垂直于第二臂360的轴线的轴线的方向上旋转运动。

抓斗320可以包括第一爪321和第二爪322。第一爪321可以经由铰链布置323相对于第二爪322张开和闭合，反之亦然。

系统可以包括一个或多个传感器、处理器、以及在挖掘机300的驾驶室内的使用者可见的显示器。一个或多个传感器可以包括位于抓斗320中的抓斗相机324，可能邻近铰链布置323在两个爪321、322之间，使得当抓斗爪321、322张开时，相机可以提供图像以包括两个爪321、322中每个的张开的齿325、326和可能在齿325、326附近的任何物体。这可以有助于使用者将爪321、322相对于物体对准，以便将物体牢固地抓持在爪321、322之间。例如，图像处理软件可以被构造为表示抓斗(示意性地或作为即时相机视图)并且基于当前控制输入在该表示上叠加抓斗爪的后续位置的投影。这可以在输入改变的情况下由图像处理软件更新。

另外，图3的实施方式可以包括用于提供有关以下各项中的一项或多项的数据的一个或多个另外的传感器：履带相对于地面的向前、向后和旋转运动的控制；第一臂350和第二臂360围绕其相应的枢轴的控制；主体330和执行器联接部分368之间的距离；抓斗320围绕第二臂360的纵向方向的旋转角度；表示与第一爪321和第二爪322的张开的齿325、326之间的铰链布置323的角度对向的角度的抓斗爪角度。

从相机和传感器获得的数据可以例如用以产生为使用者显示抓斗320相对于抓斗相机324的视场内的物体的示意表示，其尺寸和位置可以从由抓斗相机324提供的视图获得。该示意表示可以从邻近抓斗的推算位置示出抓斗，尽管在该位置处没有相机。执行器相对于机器主体的示意性表示可以示出其相对于周围环境中的其它物体的位置，诸如但不限于使用者有理由避开的障碍物。

另外或在替代方案中，这种数据也可以以包括原始距离和角度的各种格式且针对相对尺度提供给使用者。

本领域已知多种抓斗执行器。图4示出与图3的挖掘机相同的挖掘机400，除了图3的抓斗320(蛤壳型抓斗)替代分拣类型的抓斗420。

在本发明的范围内可以想到另外的抓斗。对于许多类型的抓斗，诸如图4的分拣抓斗，其尤其用于提供在构思上类似于为图2的铲叉220提供的轨迹信息的轨迹信息。相机可以存在于抓斗内，位于两个爪之间。相机可以提供在抓斗直接下方的环境视图。该视图可以在系统显示器上显示给使用者。此外，可以基于当前输入提供与后续抓斗爪位置相关的、以与图2的铲叉类似的方式(如图16所示)获得的轨迹信息。

图19中示出可能显示的图像类型的例子。该图示出抓斗的相对爪1921、1922，诸如图4的抓斗。还示出砖的托盘1925，作为预备由抓斗收集的物体的例子。本发明的系统基于当前输入在显示器上叠加抓斗1923、1924的后续轨迹的指示，以便给使用者提供有关如何定位抓斗爪的引导。

图5示出包括作为其执行器的铲刀520的履带式拖拉机500的前端的示意表示。履带式拖拉机500可以包括主体驾驶室540，使用者从驾驶室540可以控制履带式拖拉机500的地面推进以及铲刀520相对于机器主体的运动。图6示出从上方看的图5的履带式拖拉机500的前端的示意表示。铲刀520示出为第一直的构型。图7和图8示出图6的履带式拖拉机500的前端的示意表示，铲刀520分别处于第二和第三构型。

如能够从第一、第二和第三铲刀构型看到的，铲刀520可以包括铰链。铲刀520的第一部分521可以位于铰链的第一侧上，铲刀520的第二部分522可以位于铰链的第二侧上。铰链可以使铲刀520能够用在单一直的铲刀构型中或折叠构型中，由此铲刀520的第一部分521相对于铲刀520的第二部分522处于不同于180°的角度。

另外，铲刀520可以相对于履带式拖拉机500的主体530上下运动。此外，铲刀520的一侧可以独立于铲刀520的相对侧上下运动，使得铲刀520可以在第一端处比在第二端处低。此外，虽然在图5中铲刀520被图示为基本上正交于履带式拖拉机500所处的表面，铲刀520的倾斜角度可以改变使得铲刀520相对于履带式拖拉机500的主体530向前或向后成角度。

在该实施方式中，如在之前的实施方式中，传感器可以用以检测执行器类型、角度、倾斜、铰链位置(因为铲刀可以被另一执行器替代)。此外，传感器可以被构造为提供有关机器地面推进控制的数据。这种传感器可以包括本领域已知的那些。例如，有关机器相对于地面的速度的传感器在用于向速度计提供数据以显示给使用者的机器中已知。此外，传感器可以被构造为以频率间隔反馈感测的参数的变化。从这些传感器获得的数据可以在处理器中处理并且用以经由显示器向使用者提供信息。

如以上针对图示例子所称，执行器可以是可互换的。这对于本领域中已知的许多机器都是这样。例如，代替铲刀，图5的履带式拖拉机可以附接有任意数量的替代执行器，诸如图9a至9f中图示的那些。图9a示出铲斗910，图9b示出铲刀920，图9c示出冷整平器930，图9d示出压实器940；图9e示出扫帚950并且图9f示出除雪器960。类似地，如本领域技术人员将理解的，图2的反铲装载机或图1的机器可能能够接收这些执行器中的任意一种。

对于诸如这些(和其它)的执行器，在一种实施方式中，本发明的系统可以提供在其环境中机器的示意性鸟瞰视图，其上叠加相对于执行器的宽度和面积的各种表示。图10中示出其例子。

首先，系统可以被构造为获得有关执行器类型和尺寸的信息。这可以以任意方式获得，包括对在执行器上并且机器上的相机可见的代码的字母数字识别的方式，如上面参照图1实施方式描述的。

基于有关机器类型的信息，可以在鸟瞰视图上叠加表示以下任意项或全部项的(潜在的)平行线对的示意性表示：

(a)执行器的作业宽度(例如，在扫帚的情况中，得益于扫帚的宽度)；

(b)执行器的实际宽度(例如，在扫帚的情况中，执行器的宽度包括延伸到得益于扫帚的宽度以外的宽度)；

(c)安全区域，表示建议在其内避开人的宽度，并且可以通过执行器向前的距离扩宽并且/或者可以通过机器的速度加宽；

(d)雪轨迹区域，在除雪器的情况中，其可以向使用者指示依赖于输出喷嘴的方向的由除雪器影响的雪的期望轨迹，其在三维中是可变的。

根据所选择的执行器，其它表示也可以示出。

图10实施方式所需的信息可以通过以下传感器的组合获得：

安装在机器上的一个或多个光学相机；

安装在机器上的一个或多个红外相机以允许检测可能在机器附近的人和动物；

用于检测附接件类型的一个或多个传感器，诸如经由相机的字母数字识别、经由相机的条形码识别、经由相机的QR代码识别、经由RDIF收发器的RFID识别，或任何其它执行器检测策略；

有关机器速度的一个或多个传感器，其可以或可以不与机器的速度计相关；

有关机器转向控制的一个或多个传感器；

有关执行器高度的一个或多个传感器；

有关执行器角度的一个或多个传感器；

有关执行器倾斜的一个或多个传感器；

有关其它执行器因素的一个或多个传感器，诸如执行器的爪张开的程度、或除雪喷嘴相对于执行器的角度、或任何其它执行器特定变量；

可以用以提供有关机器位置、机器速度、机器转向、执行器在任意方向的运动的数据的任何其它传感器，或任何其它适合的传感器。

可以检测用于由这里图示的任意实施方式的系统使用的各种标准的示意性图示在图20中提供。虽然图20示出具有铲叉的实施方式，雷达功能可以尤其适用于诸如锯的执行器中。

以下是示出待感测的一些变量的列表，并且在每种情况中，可以使用传感器类型的表示例子：

附接件的类型可以由相机利用图像处理算法或非接触感应(RFID)传感器感测。转向角度可以由非接触磁性位置传感器感测。除雪喷嘴方向可以由非接触磁性位置传感器感测。附接件角度可以由非接触磁性位置传感器感测。机器速度可以由感应或霍尔效应轴旋转速度传感器感测。铲刀角度可以由非接触线性位置传感器感测。前连杆高度、倾斜和/或角度可以由非接触旋转磁性位置传感器感测。机器水平高度可以由加速度计或陀螺倾斜传感器感测。铲叉宽度可以由相机利用图像处理算法感测。前向雷达可以由基于雷达的传感器利用目标检测算法感测。前向(作业区域)相机可以由光学相机感测。向下(地面以下)雷达可以由基于雷达的传感器利用目标检测算法感测。鸟瞰相机视图可以由多个相机利用图像处理/拼接功能感测。

在一些实施方式中，执行器自身可以包括能够经由本发明的系统向使用者提供数据的相机。这可以尤其在将执行器与待由执行器接触的物体对准时有用。

在图11中所示的另一实施方式中，可以在执行器周围表示安全区域，其叠加在机器和执行器的示意图上。由此和由其它传感器数据(可能包括红外相机以允许图像处理软件解释一个或多个人的存在)，可以看到环境中的人相对于他们是否落入该区域的位置。在一些变形中，在安全区域内检测到人的事件中，本发明的系统可以自动地阻止执行器使用或运动。

包括安全区域的实施方式可以尤其应用于典型地在机器相对于其周围运动时使用的附接件。例如，除雪器(参见图9f)或扫帚(图9e)在极大程度上一般在机器相对于地面运动时使用。

可能存在与此相关的潜在危害。在扫帚950例子的情况中，可能存在碎屑被从扫帚950推进明显距离的风险。类似地，在除雪器960的情况中，可能存在如下动机：使雪从除雪器960以特定方向转向。

为了降低潜在危害，建议在非常靠近周围的人和/或具体特征部时执行器不被使用。自执行器的安全距离可以依赖于众多因素，包括执行器类型、执行器特定参数(例如，在扫帚的情况中，旋转速度)、执行器相对于机器主体的位置、机器的向前或向后推进速度、机器的转向位置、和可能的许多其它因素。

例如，在扫帚的情况中，当机器的向前或向后推进快速时，自机器的适当距离可以大于当其缓慢时。类似地，当扫帚快速旋转时，自机器的适当距离可以大于当其缓慢时。该距离根据自执行器的方向可以是不同的。例如，该距离可以在执行器的前方比在执行器的侧方长。安全区域可以被称为由执行器周围的周界限定，不建议进入该周界。安全区域的尺寸和形状可以依赖于多种变量。安全区域的尺寸和形状可以基于当前输入数据的组合确定，并且可以例如从数据库或类似物获得或在处理器中计算。

在一种实施方式中，安全区域可以简单地在显示器上示意性呈现给使用者。图11示出这种实施方式的例子。在该实施方式中，显示器可以提供示出主体1130和执行器1120的机器1100的鸟瞰视图的示意性表示。该视图可以例如针对图10实施方式描述的从多个传感器推算。安全区域1190的表示可以叠加在示意性表示上。在该例子中，安全区域1190在执行器的前方比在执行器的后方延伸更大距离。可能的情况是：当机器或执行器操作越快时，安全区域的向前范围越大。

存在于安全区域内外的物体可以在鸟瞰视图中表示。例如，例如可能通过图像或可能通过在检测到人的位置处的显示器上的图标表示人。

在另一实施方式中，替代地或另外，系统可以自动地超驰控制执行器(例如，扫帚的旋转)，以便在安全区域内检测到障碍物(例如，人)的事件中降低风险。系统可以替代地或另外自动地超驰控制机器的地面推进，可能通过施加制动以防止机器的地面推进。

图12a示出锯1210，图12b示出灌木切割器1220且图12c示出表土疏松器1230。这种执行器以及已经描述的一些执行器可以得益于有关执行器使用和执行器位置的进一步数据感测。例如，锯1210可以得益于有关在切割过程准备中或切割过程中邻近锯铲刀的具体物体的感测。

图14示出作为已知为滑移装载机1400类型的机器的附接件的灌木切割器1420。

在一些实施方式中，执行器可以得益于相对于周围环境的进一步感测。例如，锯可以得益于有关在待由锯切割的表面下方或其内的未见特征部的感测。例如，在锯可能用以切入表面的情况中，检测可能隐藏在待切割表面内的管、缆线、钢和其它物体是有益的。

图13a和13b图示锯执行器连同雷达检测区域和光学相机聚焦区域。

为此，锯执行器可以装备有雷达功能。雷达功能可以被构造为检测物体，其可能包括管、缆线、钢和其它物体，包括可能隐藏在其它物体和表面下方或其内的那些。雷达功能可以由可聚焦在当前锯位置前方的感兴趣位置上的雷达设备提供。与其并行，可以提供聚焦在感兴趣的相同或类似位置上的光学相机。以此方式，处理器可以从雷达设备和光学相机接收数据并处理信息，以便将经由那些技术获得的信息叠加在执行器和其周围的示意性表示上，使得可以向使用者提供信息以辅助控制机器的地面推进并控制执行器相对于机器主体以便确定优选切割路径。传感器数据可以接近实时地提供并且处理器可以接近实时地操作以便向使用者提供接近实时的信息并且使得使用者可以连续地调节机器和执行器的控制以绘制执行器相对于周围、诸如待切割表面的优选路径。

在一些实施方式中，可以有多于一个雷达设备。例如，可以有第一雷达设备，其能够获得锯前方且关于前方锯轨迹绘制的信息，并且可以有第二雷达设备，其能够获得接近于锯的当前影响区域的信息。以此方式，可以提供信息以影响锯的向前运动的使用者控制以及提供信息以影响在当前位置处锯铲刀的使用者控制。这对于防止刚好在即将进行所述切割之前意外切割对象的方面尤其有效。

图15示出具体地已知为滑移装载机1500类型的机器，具有作为其执行器的用于在表面钻孔的螺旋钻1520(代替例如装载机铲斗)。在包括螺旋钻的一些执行器的情况中，除了在钻孔之前向使用者提供有关如何相对于表面定位螺旋钻的信息之外，可以有助于使用者获得螺旋钻的远侧端部相对于参考点的深度的指示，以便能够钻出所需深度的孔。这种信息可以作为相对于表面形成的原始深度呈现或者可以示意性地表示在显示器上。

在本发明的另一实施方式中，传感器信息可以用以辅助使用者将具有装载执行器(诸如装载机铲斗120)的机器100邻近卡车定位，使用者可能希望将装载机铲斗120的内容物投放在卡车中。这种信息可以在显示器上呈现给使用者和/或可以以其它方式向使用者提供信息，诸如像当机器或执行器的一部分在卡车的特定距离内时提供声学指示。在一些实施方式中，可以存在接合机器的制动器的主动制动，以便防止碰撞。替代地或另外，在这种运动跟随将导致执行器与例如卡车侧面碰撞的轨迹的情况下，它可以防止使用者进一步运动执行器。

虽然已经针对各种机器类型公开了各种执行器，本领域技术人员当然将理解这里描述和图示的具体机器-执行器组合仅仅是指示性的。在执行器相配地附接至特定机器的程度，本发明的系统可以等同地应用于该执行器-机器组合。

例如，本发明可以等同地应用于具有本领域已知的任何类型的地面推进的机器。系统可以使用有关地面推进的输入数据，而可以不知道如何实现地面推进。相应地，本发明的任何特定实施方式不限于其操作的机器是否由轮、履带、这两者或任何其它部件的组合推进。本领域已知除了这里明确记载的这些之外的其它地面推进手段。

本发明可以应用于具有较大范围的不同执行器可能性的机器。执行器可以永久地附接至特定机器或可联接至机器，并且由此可替换另一范围的执行器中的一种或多种。

虽然已经针对具体实施方式公开了传感器和输入的一些特定组合，但本领域技术人员将理解传感器和输入的不同组合可以应用于机器和执行器的不同实施方式。本发明不被理解为限制在针对特定机器和执行器公开的传感器和输入的特定组合。传感器和输入的任意组合可以等同地应用于机器和执行器的任意组合。

工业实用性

本发明可应用于改进机器的有效使用，特别地但不排他地在由缺乏经验的使用者使用时有所改进。

Claims (14)

1.一种用于向包括主体和能够相对于主体运动的执行器的类型的机器的使用者提供辅助的系统，其中所述系统包括：

处理器，其能够接收多个系统输入并且传送系统输出；和

显示器，其能够向使用者显示系统输出；

其中所述多个系统输入包括：

(a)第一系统输入数据，其与执行器的类型和/或尺寸有关；

(b)第二系统输入数据，其与执行器的当前位置有关；

(c)第三系统输入数据，其与管控机器的地面推进的第一类型的使用者输入控制有关；和

(d)第四系统输入数据，其与管控执行器相对于主体的运动的第二类型的使用者输入控制有关；并且

其中，处理器能够处理所述多个系统输入以便传送表示对使用者有关执行器的位置的引导的系统输出。

2.根据权利要求1所述的系统，还包括能够用于获得第一系统输入数据、第二系统输入数据、第三系统输入数据和第四系统输入数据中的至少一些的一个或多个传感器。

3.根据权利要求2所述的系统，其中，所述一个或多个传感器包括一个或多个相机。

4.根据权利要求3所述的系统，其中，所述一个或多个相机包括定位成提供连接至机器的执行器联接部的执行器的图像的相机。

5.根据权利要求2或引用权利要求2的任一权利要求所述的系统，其中，所述传感器中的一个或多个位于能够联接至机器的执行器上。

6.根据任一前述权利要求所述的系统，还包括数据库，所述数据库包括对应于第一系统输入数据、第二系统输入数据、第三系统输入数据和第四系统输入数据中的每个的值的数据、以及用于系统输入数据值的每种组合的数据、对应的系统输出数据值，其中所述处理器能够从数据库搜索与第一系统输入数据值、第二系统输入数据值、第三系统输入数据值和第四系统输入数据值对应的一个或多个输出数据值。

7.根据权利要求1至5中任一项所述的系统，其中，所述处理器能够计算函数，所述函数具有多个函数输入和一个或多个函数输出，并且其中所述处理器能够将多个系统输入转移至函数输入并且将一个或多个函数输出作为系统输出传送。

8.根据任一前述权利要求所述的系统，其中，用于使用者的引导包括以下各项中的一项或多项：

基于当前系统输入数据的有关执行器相对于机器的当前位置的信息；和

基于当前系统输入数据的有关执行器和/或机器相对于机器周围环境的当前位置的信息。

9.根据任一前述权利要求所述的系统，其中，用于使用者的引导包括有关执行器相对于机器周围环境的一个或多个后续位置的信息，其中所述一个或多个后续位置是基于当前系统输入数据计算的。

10.根据权利要求4或引用权利要求4的任一权利要求所述的系统，其中，所述系统输出包括由相机提供的即时图像，即时图像包括执行器的至少一部分，并且所述系统输出还包括执行器的相对于执行器的当前位置的一个或多个后续位置的表示。

11.根据权利要求9或权利要求10所述的系统，其中，执行器的一个或多个后续位置的表示是轨迹的表示。

12.根据权利要求3或引用权利要求3的任一权利要求所述的系统，其中，关于执行器的类型和/或尺寸的第一系统输入数据通过处理器进行以下各项来获得：

从所述一个或多个相机之一获得图像，其中，所述图像包括在连接至机器的执行器上的感兴趣区域，其中所述感兴趣区域是期望示出一个或多个字母数字字符的区域；

利用字母数字识别技术来识别所述一个或多个字母数字字符；

在数据库中搜索一个或多个字母数字字符的组合，并且从与存储在数据库中的一个或多个字母数字字符数据的组合相关联的数据库的一部分获得有关执行器的包括以下各项中的一项或多项的数据：

执行器类型；

执行器的一个或多个尺寸；

执行器或执行器部件的自由度；

有关执行器的其它数据。

13.根据权利要求2或引用权利要求2的任一权利要求所述的系统，其中，关于执行器的类型和/或尺寸的第一系统输入数据通过处理器进行以下各项来获得：

利用以下技术中的一项或多项获得用于识别执行器的信息：

图像识别；

条形码识别；

QR码识别；

RFID检测；

从与所获得的信息相关联的数据库的一部分检索存储在数据库中且有关执行器的包括以下各项中的一项或多项的数据：

执行器类型；

执行器的一个或多个尺寸；

执行器或执行器部件的自由度；

有关执行器的其它数据。

14.一种包括任一前述权利要求所述的系统的机器。