CN104302848B - 用于挖掘机的俯视图系统及其方法 - Google Patents

Abstract

用于提供工业机器比如挖掘机的俯视图的系统和方法。一个系统包括至少一个处理器，其配置成：从安装在所述挖掘机上的至少一个传感器接收涉及所述挖掘机周围的区域的数据；基于所述数据识别多个平面；确定所述多个平面是否定位在与运输卡车相关联的预定配置中；以及如果所述多个平面定位在预定配置中，则将所述多个平面叠加在所述挖掘机和所述区域的俯视图图像上。

Description

用于挖掘机的俯视图系统及其方法

相关申请

本申请要求2012年3月29日提交的美国临时申请No.61/617,516和2013年2月11日提交的美国临时申请No.61/763,229的优先权，这两个申请的整个内容都通过引用并入本文。

背景

本发明的实施方式涉及提供围绕工业机器比如电绳或动力挖掘机定位的检测到的物理物体的俯视。

发明内容

工业机器，比如电绳铲挖掘机或动力挖掘机、拉铲挖土机等，用于执行挖掘操作以从例如矿山堆去除材料。操作者在挖掘操作期间控制绳铲挖掘机以给铲斗加载材料。操作者将材料从铲斗中放置到运输卡车中。在放置材料之后，挖掘循环继续且操作者将铲斗摆回到矿山堆以进行另外的挖掘。

随着铲斗移动，具有畅通的摆动路径以避免与其它物体碰撞是重要的。例如，铲斗可在摆动路径中冲击运输卡车或其它装备。铲斗还可冲击矿山堆、地面或挖掘机的其它部分，和/或位于挖掘机周围的其它物体。冲击特别是如果强的话可造成对铲斗和冲击的物体的破坏。此外，冲击可造成对挖掘机的其它部件的破坏。

因此，本发明的实施方式提供了用于检测和减轻挖掘机碰撞的系统和方法。为了检测碰撞，系统和方法检测挖掘机周围的区域内的物体。在检测到物体之后，系统和方法可以任选地增加挖掘机的控制以减轻与检测到的物体的可能碰撞的冲击。当减轻碰撞时，系统和方法可以利用听觉、视觉和/或触觉反馈向挖掘机操作者提供警告。

具体地，本发明的一个实施方式提供了一种用于提供挖掘机周围的区域的俯视图的系统。所述系统包括至少一个处理器。该至少一个处理器配置成：从安装在所述挖掘机上的至少一个传感器接收数据，其中所述数据涉及所述挖掘机周围的区域；基于所述数据识别多个平面；以及确定所述多个平面是否定位在与运输卡车相关联的预定配置中。如果所述多个平面定位在预定配置中，则所述至少一个处理器配置成将所述多个平面叠加在所述挖掘机和所述区域的俯视图图像上。

本发明的另一实施方式还提供了一种用于提供工业机器周围的区域的俯视图的方法。所述方法包括：在至少一个处理器处从安装在所述工业机器上的至少一个传感器接收数据，其中所述数据涉及所述工业机器周围的区域。方法还包括通过至少一个处理器基于所述数据识别多个平面；通过至少一个处理器确定所述多个平面是否定位在与预定的物理物体相关联的预定配置中；以及如果所述多个平面定位在所述预定配置中，则将所述多个平面叠加在所述工业机器和所述区域的俯视图图像上。

本发明的其它方面将通过考虑详细说明和附图而变得明显。

附图说明

专利或申请文件包含彩色实现的至少一个附图。具有彩色图的该专利或专利申请公布的副本将通过官方在请求和付必要费用时提供。

图1示出根据本发明的一个实施方式的工业机器和运输卡车。

图2示出图1的工业机器的控制器。

图3是示出由图2的控制器执行的检测物体的方法的流程图。

图4示出由图2的控制器检测的示意性平面。

图5示出基于图4的平面由图2的控制器界定的示例性排除的体积。

图6示出围绕工业机器捕捉的图像。

图7示出基于图6的图像的工业机器的俯视图。

图8示出与由图2的控制器检测的平面叠加的图7的俯视图。

图9是示出由图2的控制器执行的减轻碰撞的方法的流程图。

图10是根据本发明的另一实施方式的工业机器的控制器。

具体实施方式

在详细解释本发明的任何实施方式之前，应理解，本发明的应用不限于在下面的描述中阐述或在附图中示出的构造的细节和部件的布置。本发明能够是其它实施方式且以各种方式被实践或执行。而且，应理解，本文使用的短语和术语用于描述的目的且不应被认为是限制的。在本文中“包括”、“包含”或“具有”和其变形的使用意味着包含下文列举的项和其等同物以及另外的项。术语“安装”、“连接”和“联接”被宽泛地使用且包含直接和间接安装、连接和联接两者。而且，“连接”和“联接”不限于物理的或机械的连接或联接且可包括电连接或联接，不管是直接还是间接。而且，电子通信和通告可以利用包括直接连接、无线连接等的任何已知方式来执行。

还应注意，可以使用多个基于硬件和软件的设备以及多个不同的结构部件来实施本发明。此外，应理解，本发明的实施方式可以包括硬件、软件和电子部件或模块，其为论述的目的可以被示出和描述，好像大部分部件仅在硬件中实施。然而，本领域技术人员中的一个基于该详细说明的阅读将认识到在至少一个实施方式中，本发明的基于电子的方面可以在由一个或多个处理器可执行的软件中实现(比如，存储在非暂时性计算机可读介质上)。这样，应注意，多个基于硬件和软件的设备，以及多个不同的结构部件可以用于实施本发明。而且，且如随后的段落中描述的，在附图中示出的具体机械构型旨在示范本发明的实施方式且其他可替代的机械构型是可能的。例如，在说明书中描述的“控制器”可包括标准处理部件，比如一个或多个处理器、一个或多个计算机可读介质模块、一个或多个输入/输出接口和连接部件的各种连接件(比如，系统总线)。

图1描述了示范性绳铲挖掘机100。绳铲挖掘机100包括用于向前和向后推动绳铲挖掘机100以及用于转动绳铲挖掘机100(即，通过改变左和右履带相对于彼此的速度和/或方向)的履带105。履带105支撑包括驾驶室115的基座110。基座110能够围绕摆动轴线125摆动或旋转，例如，以从挖掘位置移动到倾卸位置并返回到挖掘位置。在某些实施方式中，履带105的移动对于摆动运动不是必须的。绳铲挖掘机还包括铲斗轴或吊臂130，其支撑可枢转的铲斗柄135和铲斗140。铲斗140包括用于将容纳在铲斗140中的内容物倾卸到倾斜位置的门145。

挖掘机100还包括；联接在基座110和吊臂130之间以用于支撑铲斗轴130的张紧悬挂缆绳150；附接到基座110内的用于缠绕缆绳155的绞盘(未显示)以升高和降低铲斗140的起重缆绳155；以及附接到另一绞盘(未显示)以打开铲斗140的门145的铲斗门缆绳160。在某些情形中，挖掘机100是由P&H开采装备公司生产的系列挖掘机，尽管挖掘机100可以是电开采装备的其它类型或模型。

当开采挖掘机100的履带105静止时，铲斗140是可操作的以基于三个控制动作，起重、推压和摆动运动。起重控制通过缠绕和解开起重缆绳155来升高和降低铲斗140。推压控制延伸和缩回柄135和铲斗140的位置。在一个实施方式中，柄135和铲斗140通过使用齿条和小齿轮系统来推压。在另一实施方式中，柄135和铲斗140使用液压驱动系统来推压。摆动控制使柄135相对于摆动轴线125旋转。在操作期间，操作者控制铲斗140从挖掘位置挖掘泥土材料、将铲斗140摆动到倾卸位置、释放门145以倾卸泥土材料并卷起铲斗140，这使门145关闭且铲斗140摆动到相同的另一挖掘位置。

图1还描述了运输卡车175。在操作期间，绳铲挖掘机100通过打开门145将容纳在铲斗140内的材料倾卸到运输卡车床176内。尽管绳铲挖掘机100被描述为与运输卡车175一起使用，但是绳铲挖掘机100还能够将材料从铲斗140倾卸到其它材料收集器，比如移动式开采破碎机或直接地倾卸到地面。

如上面在概述部分中描述的，随着操作者摆动铲斗140，铲斗140可与其它物体比如运输卡车175(比如，运输卡车175的床176)和挖掘机100的其它部件(比如履带105、位于挖掘机100的后部的平衡重量，等)碰撞。这些碰撞(比如，金属-金属冲击)可以对铲斗140、挖掘机100和冲击的物体造成破坏。因此，挖掘机100包括检测物体和增加铲斗140的控制以减轻铲斗140和检测的物体之间的碰撞的控制器。

控制器包括如果合适的话是可操作的以便除了别的之外监测挖掘机100的操作和增强挖掘机100的控制的硬件和软件的组合。根据本发明的一个实施方式的控制器300在图2中示出。如图2所示，控制器300包括检测模块400和减轻模块500。检测模块400除了别的之外还包括处理单元402(比如，微处理器、微控制器或其它合适的可编程设备)、非暂时性计算机可读介质404和输入/输出接口406。处理单元402、存储器404和输入/输出接口406通过一个或多个控制和/或数据总线(比如公共总线408)连接。类似地，减轻模块500除了别的之外还包括处理单元502(比如，微处理器、微控制器或其它合适的可编程设备)、非暂时性计算机可读介质504和输入/输出接口506。处理单元502、存储器504和输入/输出接口506通过一个或多个控制和/或数据总线(比如公共总线508)连接。应理解，在其它构造中，检测模块400和/或减轻模块500包括另外的、较少的或不同的部件。

如下面更详细地描述的，检测模块400检测物体并向减轻模块500提供关于检测的物体的信息。减轻模块500使用来自检测模块400的信息和关于挖掘机100的其它信息(比如，电流位置、运动等)来识别或检测可能的碰撞并且可选择地减轻碰撞。应理解，控制器300的功能可以在各种配置中在检测模块400和减轻模块500之间分配。例如，在某些实施方式中，可替代地或除减轻模块500的功能之外，检测模块400基于检测的物体(以及直接地或间接地通过减轻模块500接收的关于挖掘机100的其它信息)检测可能的碰撞并向操作者提供警告。检测模块400还可以向减轻模块500提供关于识别的可能碰撞的信息，且减轻模块500可以使用该信息自动地减轻碰撞。

将控制器300分成检测模块400和减轻模块500允许每一个模块的功能独立地和在各种配置中使用。例如，检测模块400可以在没有减轻模块500的情况下使用以检测物体、检测碰撞和/或向操作者提供警告。此外，减轻模块500可配置成接收来自多个检测模块400的数据(例如，每一个检测模块400检测特定的物体或挖掘机100周围的特定区域)。而且，通过在两个模块之间分离控制器300，每一个模块可以单独地测试以确保模块正确地操作。

计算机可读介质404和504存储程序指令和数据。包括在每一个模块400和500中的处理器402和502配置成检索来自介质404和504的指令并除了别的之外执行该指令以执行本文描述的控制过程和方法。每一个模块400和500的输入/输出接口406和506将来自模块的数据传输到外部系统、网络和/或设备并且接收来自外部系统、网络和/或设备的数据。输入/输出接口406和506还可以将从外部源接收的数据存储到介质404和504和/或分别向处理器402和502提供数据。

如图2所示，减轻模块500与用户接口370通信。用户接口370允许用户执行推压控制、摆动控制、起重控制和门控制。例如，接口370可包括一个或多个操作者控制的输入设备，比如操纵杆、控制杆、脚踏及其它致动器。用户接口370经由输入设备接收操作者输入并将数字运动命令输送到减轻模块500。例如，运动命令包括起重上升、起重下降、推压延伸、推压缩回、顺时针摆动、逆时针摆动、铲斗门释放、左履带向前、左履带后退、右履带向前和右履带后退。如将更详细地解释的。减轻模块500配置成增强操作者运动命令。在某些实施方式中，减轻模块500还可通过用户接口370向操作者提供反馈。例如，如果减轻模块500正增强铲斗140的操作者控制，则减轻模块500可使用用户接口370通知操作者自动控制(例如，使用视觉、听觉或触觉反馈)。

减轻模块500还与多个挖掘机位置传感器380通信以监控铲斗140和/或挖掘机100的其它部件的位置和状态。例如，在某些实施方式中，减轻模块500联接到一个或多个推压传感器、摆动传感器、起重传感器和挖掘机传感器。推压传感器指示柄135和铲斗140的延伸或缩回水平。摆动传感器指示柄135的摆动角度。起重传感器基于起重缆绳155的位置指示铲斗140的高度。挖掘机传感器指示铲斗门145是打开(用于倾卸)还是关闭。挖掘机传感器还可以包括重量传感器、加速传感器和倾斜传感器以向减轻模块500提供关于铲斗140内的载荷的另外的信息。在某些实施方式中，推压传感器、摆动传感器和起重传感器中的一个或多个是指示用于移动铲斗140的马达(比如，推压马达、摆动马达和/或起重马达)的绝对位置或相对运动的解算器。例如，为了指示相对运动，当起重马达旋转以缠绕起重缆绳155来升高铲斗140时，起重传感器输出指示起重的旋转量和运动方向的数字信号。减轻模块500将这些输出转变成铲斗140的高度位置、速度和/或加速度。

如图2所示，在某些实施方式中，检测模块400也与用户接口370通信。例如，用户接口370可包括显示器，且检测模块400可在显示器上显示检测的物体的指示。可替代地或另外，如果检测模块400检测到挖掘机100的预定距离内的物体和/或如果检测模块400检测到与检测的物体的可能碰撞，则检测模块400可在用户接口370上显示警告。应理解，在某些实施方式中，显示器与用户接口370分开。此外，在某些实施方式中，显示器可以是远离挖掘机100定位的控制台的一部分且可配置成经过一个或多个有线或无线连接与检测模块400和/或减轻模块500通信。

检测模块400还与用于检测物体的多个物体检测传感器390通信。传感器390可包括数字摄像机和/或激光扫描仪(比如，2-D或3-D扫描仪)。例如，在某些实施方式中，传感器390包括一个或多个SICK LD-MRS激光扫描仪。在其它实施方式中，可替代地或另外，传感器390包括一个或多个TYSX G3EVS AW立体摄像机。在其中传感器390包括激光扫描仪和摄像机两者的实施方式中，如果摄像机不可用或没有正确地起作用，则检测模块400可仅使用激光扫描仪，且反之亦然。在某些实施方式中，传感器390包括至少三个激光扫描仪。一个扫描仪可定位在挖掘机100的左侧(由挖掘机操作者观看)(以跟踪材料向挖掘机100的左侧的倾卸)。第二扫描仪可以定位在挖掘机100的右侧(被挖掘机操作者观看)(以跟踪材料向挖掘机100的右侧的倾卸)。第三扫描仪可定位在挖掘机100的后部以检测大体位于挖掘机100后面的物体(例如，其可能与挖掘机100的后部的平衡重量碰撞)。

如上面提到的，检测模块400和减轻模块500配置成分别从介质404和504获取指令并除了别的之外执行涉及执行用于挖掘机100的控制过程和方法的指令。例如，图3是示出由检测模块400执行的物体检测方法的流程图。如图3所示，检测模块400从物体检测传感器390获得数据(在600)并基于该数据识别可能与挖掘机100碰撞的物体(例如，可能与铲斗140碰撞的物体)。在某些实施方式中，检测模块400执行局部检测方法以寻找随着铲斗140移动可能与铲斗140碰撞的在铲斗140的中间路径(即，在挖掘机100周围的预定的感兴趣区域)中的物体。例如，在局部检测方法内，检测模块400可从聚焦在挖掘机100周围的预定的感兴趣区域(比如，铲斗140的左侧或右侧)的传感器390获得数据。在某些实施方式中，局部检测方法还分类检测的物体，比如检测的物体是不是挖掘机100的一部分。

可替代地或另外，检测模块400执行勘测挖掘机周围检测的物体的位置的全局检测方法。全局检测方法可集中在比与局部检测方法相关联的感兴趣区域大的预定的感兴趣区域。全局检测方法还可以尝试识别特定的物体。例如，全局检测方法可以确定检测的物体是否是运输卡车的一部分、地面的一部分、墙壁的一部分等。

在某些实施方式中，检测模块400配置成检测特定的物体，比如运输卡车175。为了检测卡车175，检测模块400基于来自传感器390的数据识别平面(在602)。特别是，检测模块400可配置成识别在与运输卡车175共同关联的配置中的一个或多个水平和/或垂直平面。例如，如图1所示，运输卡车175通常包括在卡车175的驾驶室702上方延伸的近似水平的栏板700。运输卡车175还包括近似水平的床176。此外，运输卡车175通常包括垂直的前平面、两个垂直的侧平面和垂直的后平面。相应地，检测模块400可配置成基于由传感器390提供的数据来识别多个平面，其可以对应于运输卡车175的前部、侧面、后部、栏板700和床176。

例如，如图4所示，运输卡车175的区域可以由多个界线702界定。界线702包括界定卡车175的前端的前界线702a、界定卡车175的后端的后界线702b、界定远离挖掘机100的卡车175的第一侧的远侧界线702c和界定较靠近挖掘机100的卡车的第二侧的近侧界线702d。运输卡车175还可以由标记栏板700的后边缘的栏板线704界定。

线702和704界定构成卡车175的各种平面。特别是，如图4所示，前界线702a、远侧界线702c和后界线702b界定远侧侧壁平面706。类似地，前界线702a、近侧界线702d和后界线702b界定近侧侧壁平面710。前界线702a、远侧界线702c和近侧界线702d也界定前平面712，且后界线702b、远侧界线702c和近侧界线702d也界定后平面714。

此外，栏板线704、前界线702a、远侧界线702c和近侧界线702d界定顶部栏板平面716。栏板线704、远侧界线702c和近侧界线702d也界定侧栏板平面718。而且，栏板线704、远侧界线702c、近侧界线702d和近侧界线702b界定床平面720。

检测模块400配置成在与运输卡车175相关联的平面的配置匹配的配置中从物体检测传感器390提供的数据来识别图4中图示的一个或多个平面的组。在某些实施方式中，检测模块400配置成识别特定尺寸的平面。在其它实施方式中，检测模块400配置成识别与尺寸无关的任何近似矩形的平面。在还有的其它实施方式中，检测模块400配置成识别超出预定的尺寸阈值的任何矩形平面。应理解，并非图4示出的所有的平面需要为检测模块400所检测以检测和识别运输卡车。例如，如果运输卡车的一部分在传感器390的范围之外或者没有确切地匹配图4中示出的整个平面配置(比如，具有弯曲的栏板)，则如果至少最小数量的平面(例如，前部、后部和床平面)在正确的配置中被模块400检测到，检测模块400可仍检测到卡车。还应理解，尽管本申请将平面描述为识别运输卡车，但是检测模块400可以配置成检测特定的平面或其它形状和与其它类型的物体(比如履带105、墙壁、人、在挖掘机100后部的平衡重量，等)相关联的相关配置。

检测模块400使用识别的平面的位置(和尺寸)来确定检测到的物体是否对应于运输卡车175(在604)。例如，在某些实施方式中，检测模块400配置成从三维空间(即，x-y-z)中的点云检测平面。具体地，为了识别平面，模块400初始地移除预定高度下方(即，预定z值下方)的所有点。模块400然后将其余的点投影到二维平面上，这导致二元二维图像。模块400随后进行二元二维图像上的斑点检测。斑点检测使用数学算法来检测在性能(比如，亮度、颜色等)上与周围区域不同的数字图像内的区域。因此，检测的区域或“斑点”是数字图像的区域，在该区域中区域的某些性能是恒定的或在预定的值范围内变化的(即，在斑点内的所有点是相似的)。

在检测了图像中的所有斑点之后，检测模块400消除不符合预定尺寸(比如，预定的宽度/长度比阈值)的任何斑点。检测模块400然后进行在每一个其余斑点上的线检测以确定斑点是否包括通常与运输卡车175相关联的四个界线702和栏板线704。如果是，模块400检查四个界线702形成矩形(比如，前界线702a和后界线702b平行和垂直于远侧界线702c和近侧界线702d)且栏板线704平行于前界线702a和后界线702b。使用在点云中的四个界线702的位置，检测模块400然后确定线702的高度(即，z值)。如果线的高度指示线正确地界定配合预定的长度/宽度比阈值的近似水平的矩形(即，没有线在未预期的z平面中)，则模块400将在高度方向(即，z方向)上的线702和704中的每一个投影到地面以形成三维空间中的平面。特别是，平面包括前平面712、远侧侧壁平面706、近侧侧壁平面710、后平面714和侧栏板平面718。模块400还将来自栏板线704的平面投影到前平面712，其界定顶部栏板平面716。此外，模块400将来自后平面714的顶部高度的平面投影到栏板线704下方的高度的一半，这形成床平面720。

在识别运输卡车175的平面之后，检测模块400可以基于平面界定运输卡车175的位置、尺寸和定向。在某些实施方式中，检测模块400使用网格跟踪识别的物体(即，识别的平面)的位置、定位和定向。检测模块400可以将网格提供给减轻模块500，且减轻模块500可以使用网格确定铲斗140和检测的运输卡车175之间的可能碰撞并且任选地相应地减轻碰撞。

在某些实施方式中，检测模块400还基于识别的运输卡车175的平面界定排除的体积(在606)。例如，根据由检测模块400识别的代表运输卡车175的特定平面，检测模块400界定包括标记挖掘机100(比如，铲斗140)不应进入的运输卡车140周围的区域的平面的体积。例如，图5示出针对图4中示出的平面由检测模块400界定的排除的体积。如图5所示，包括栏板平面716的排除的体积800是立方体形的且从平面向上无限地延伸。因此，排除的体积800指示挖掘机100的任何一部分都不应定位在栏板700上方(例如，保护驾驶室702中的操作者)。

类似地，检测模块400可界定用于远侧侧壁平面706和近侧侧壁平面710的排除的体积。例如，如图5所示，包括远侧侧壁平面706的体积802是三角形形状的且从卡车175的远侧侧面向外延伸到地面。如图5所示，体积802形成为指示铲斗140到达卡车175的侧面越近，铲斗140应升高到大于卡车175的侧面的高度以减轻与卡车175的远侧侧面的碰撞。如图5所示，检测模块400可产生包括近侧侧壁平面710的类似形状的排除的体积804。还如图5所示，检测模块400可界定包含后平面714的排除的体积806。例如，如图5所示，体积806包括后平面714，是梯形形状的，且从卡车175的后部和侧面向外朝向地面延伸。体积804被形成为图5所示的，以指示随着铲斗140接近卡车175的后部，铲斗140应升高以减轻与卡车175的后部的碰撞。应理解，在某些实施方式中，除此之外或作为替代，检测模块400可基于界定挖掘机100可安全地在其内操作的区域的识别的平面界定包含的体积。

在某些实施方式中，在检测模块400检测到一个或多个平面之后，检测模块400可以锁定该平面。在该情形中，检测模块400不再尝试检测或识别物体。然而，锁定的平面可用于测试减轻模块500，甚至在检测的物体被移除的情况下。例如，在运输卡车175在特定位置被检测到之后，运输卡车175可物理地被移除同时减轻模块500被测试以基于之前由检测模块400检测的卡车的锁定位置来确定模块500是否成功地增强了对铲斗140的控制以避免与卡车175的碰撞。在这方面，减轻模块500的功能可被测试而不会在减轻模块500出故障的情况下冒有对挖掘机100或运输卡车175破坏的危险。

返回到图3，检测模块400向减轻模块500提供关于检测到的物体(例如，识别的平面和排除的体积)的数据(在608)。在某些实施方式中，检测模块400还向用户接口370(或者对于挖掘机100是本地地或远离挖掘机100的单独的显示器)提供关于检测到的物体的数据(在610)。用户接口370可向用户显示关于检测到的物体的信息。例如，用户接口370可显示由检测模块400识别的平面和/或排除的体积，如图4和图5所示。如图4所示，用户接口370可显示当前由检测模块400检测的卡车平面在相对于挖掘机100的正确位置。用户接口370还可以选择性地显示排除的体积(如图5所示)。在某些实施方式中，用户接口370还显示挖掘机100的三维表示810。特别是，用户接口370可显示表示了铲斗的X、Y和Z位置、柄角度和铲斗140的当前摆动角度或方向的挖掘机100的表示810。挖掘机100的正确位置和运动可从减轻模块500获得，如下面描述的，减轻模块500获得挖掘机100的当前状态以确定可能的碰撞。当从检测模块400接收到更新数据时检测到的物体的位置可以在用户接口370上更新(例如，实质上连续地)，且类似地，当从减轻模块500接收到更新数据时由表示810示出的挖掘机100的当前位置可在用户接口上更新(例如，实质上连续地)。

可以各种方式显示平面和/或排除的体积。例如，在某些实施方式中，用户接口370在邻近挖掘机100的区域的摄像机视图上叠加检测到的平面。特别是，包括宽角度透镜比如鱼眼透镜的一个或多个静止的视频摄像机可安装在挖掘机100上且可用于捕捉挖掘机100周围的一个或多个区域的图像。例如，图6示出利用四个数字摄像机在挖掘机周围捕捉的四个图像。来自每一个摄像机的图像可以是展开的(例如，平坦化的)且可以对展开的图像进行三维变换以产生挖掘机100的俯视图，如图7所示。

俯视图还可以包括挖掘机100的来自于俯视图的图形表示820。在某些实施方式中，表示820可以基于挖掘机100的当前状态(例如，铲斗140的当前摆动角度)来修改。由检测模块400确定的平面和/或排除的体积可以叠加在挖掘机100的俯视图上。例如，如图8所示，由检测模块400识别的表示运输卡车的平面830可以基于识别的运输卡车175相对于挖掘机100的位置而叠加在俯视图上。操作者或其它观察者可以使用俯视图和叠加的平面830来(ⅰ)核实检测到的物体是否真的是运输卡车和(ⅱ)快速地确定挖掘机100相对于识别的运输卡车或其它检测的物体的当前位置。在某些实施方式中，叠加的平面830的特征(例如，形状、尺寸、颜色、动画等)可用于传达关于检测到的物体的信息。例如，如果运输卡车175定位在围绕挖掘机100界定的预定的危险区域内(比如，距挖掘机0至10英尺)，则平面830可以被着色成红色。否则，平面可着色成黄色。而且，代表巨石、墙壁、人和其它非卡车物体的检测到的平面830可以与代表运输卡车175的检测的平面830的颜色不同的颜色来显示。利用叠加的平面830的不同颜色和其它特征可以向挖掘机操作者提供挖掘机周围的快速参考，即使操作者仅通过他的或她的周边视觉观察显示的平面830或其它图像。

图9示出通过减轻模块500执行的减轻碰撞的方法。如图9所示，减轻模块500从检测模块400获得关于检测的物体的数据(比如，位置、尺寸、尺度、分类、平面、排除的体积，等)(在900)。减轻模块500还从挖掘机位置传感器380和用户接口370获得数据(在902)。减轻模块500使用获得的数据确定挖掘机100(例如，铲斗140)的当前位置和挖掘机(例如，铲斗140)的任何当前运动。如上面提到的，在某些实施方式中，减轻模块500向检测模块400和/或用户接口370提供用于向用户显示的关于挖掘机100的当前位置和行进或运动方向的信息(在904)。

减轻模块500还使用挖掘机100的当前位置和行进或运动方向来识别挖掘机100比如铲斗140的一部分和检测的物体之间的可能碰撞(在906)。在某些实施方式中，减轻模块基于铲斗140是否朝前接近并当前地定位在距检测的物体预定的距离内或与检测的物体相关联的排除的体积内来识别可能的碰撞。例如，减轻模块500识别铲斗140的速度矢量。在某些实施方式中，速度矢量与铲斗140的球销相关联。在其它实施方式中，模块500识别多个速度矢量，比如铲斗140的多个外点的矢量。减轻模块500可以基于挖掘机100的向前运动而产生一个或多个速度矢量。在产生一个或多个速度矢量之后，模块500进行几何计算以无限地延伸速度矢量并确定是否任何矢量与由检测模块400识别的平面相交(参见图4)。在其它实施方式中，模块500进行几何计算以确定是否任何矢量与由检测模块400识别的排除的体积中的任何相交(参见图5)。

如果存在交叉，则模块500识别出碰撞是可能的。当减轻模块500确定碰撞是可能的时，减轻模块500可以产生一个或多个警报(例如，听觉的、视觉的或触觉的)并向挖掘机操作者发出警报。减轻模块500还可以可选择地增强挖掘机100的控制以防止碰撞或减小与检测到的物体碰撞的冲击速度(在908)。特别是，减轻模块500可以施加当铲斗140太靠近检测到的物体时减慢铲斗140的力场。减轻模块500还可以施加当铲斗140靠近检测到的物体时限制铲斗140的速度的速度场。

例如，模块500可以产生在识别的交叉点处的排斥场。排斥场基于操作者输入修改通过用户接口370产生的运动命令。特别是，减轻模块500向运动命令施加排斥场以减小命令。例如，减轻模块500接收运动命令，使用排斥场确定将命令减小多少，并输出新的修改的运动命令。包括在挖掘机100中的一个或多个控制器接收运动命令或其一部分，并基于运动命令操作挖掘机的一个或多个部件。例如，摆动柄135的控制器如在运动命令中所指示的摆动柄135。

应理解，因为速度矢量无限地延伸，所以甚至当铲斗140与检测到的物体相距较大距离时，可以识别出交叉。然而，由减轻模块500施加的排斥场可以与最大半径和最小半径相关联。如果检测到的交叉在最大半径之外，则减轻模块500不增强挖掘机100的控制且因此，没有碰撞减轻发生。

随着铲斗140更靠近排斥场的中心移动，排斥场向运动命令施加增加的负因素。例如，当铲斗140首先在排斥场的最大半径内移动时，排斥场将运动命令减小一小的量，比如近似1％。随着铲斗140更靠近排斥场的中心移动，排斥场将运动命令减小较大的量直到铲斗140在最小的力半径内，此处，减小近似为100％且铲斗140停止。在某些实施方式中，排斥场仅施加到铲斗140朝检测的物体的运动。因此，操作者可以仍手动地将铲斗140移动离开检测的物体。在某些情形中，铲斗140可被多个排斥场(比如，与多个检测的物体或检测的物体的平面相关联)排斥。多个排斥场防止了铲斗140在多个方向移动。然而，在大部分情形中，铲斗140将仍能够在允许铲斗140移动离开检测的物体的至少一个方向上手动地移动。

因此，减轻模块500可防止挖掘机100和其它物体之间的碰撞或者可以减轻这种碰撞和所产生的冲击的力。当防止或减轻碰撞(例如，通过限制挖掘机的运动或限制挖掘机的运动速度)时，减轻模块500可利用听觉、视觉或触觉反馈向操作者提供警报(在910)。警报通知操作者与挖掘机100的故障相比增强的控制是碰撞减轻控制的一部分(例如，铲斗140的非响应性)。

在某些实施方式中，与其它碰撞检测系统不同，本申请中描述的系统和方法不需要对检测的物体比如运输卡车175的修改。特别是，在某些布置中，不需要在运输卡车175中安装和与运输卡车175一起使用向挖掘机100提供关于运输卡车175的位置的信息的传感器或设备和相关的通信链接。例如，在某些现有的系统中，在运输卡车上安装了视觉基准和其它被动/主动位置感测装备(比如，GPS设备)，且挖掘机使用来自该装备的信息来跟踪运输卡车的位置。消除对这种修改的需要减少了系统和方法的复杂性且减少了运输卡车175的成本。

类似地，某些现有的碰撞检测系统要求系统利用所有可利用的运输卡车(例如，所有制造、模型等)的特性(例如，图像、尺寸、尺度、颜色等)进行编程。检测系统使用这些编程的特性识别运输卡车。然而，这种类型的编程增加了系统的复杂性且要求大量的和频繁的更新来在出现新的卡车或存在对现有运输卡车的修改时检测所有可利用的运输卡车。相比之下，如上面描述的，检测模块400使用平面识别运输。利用通常与运输卡车相关联的平面和平面配置增加了检测模块400的精度且消除了对大量编程和相关更新的需要。此外，通过基于多于仅一个特性比如尺寸来检测物体，检测模块400更精确地检测运输卡车。例如，使用上述的平面配置，检测模块400可以在运输卡车和尺寸与运输卡车类似的其它装备件或其它环境部件(比如，大巨石)之间进行区分。

应理解，尽管上述功能涉及检测和减轻挖掘机100(即，铲斗140)和运输卡车175之间的碰撞，但是相同的功能可用于检测和/或减轻挖掘机100的任何部件和任何类型的物体之间的碰撞。例如，功能可用于检测和/或减轻履带105和铲斗140之间、履带105和挖掘机100周围的物体比如巨石或人之间、挖掘机100后部的平衡重量和位于挖掘机100后方的物体之间的碰撞，等等。而且，还应理解，在本申请中描述的控制器300的功能可以与其它控制器组合以执行另外的功能。除此之外或可替代地，控制器300的功能还可以在多于一个控制器之中进行分配。而且，在某些实施方式中，控制器300可以按各种模式操作。例如，在一种模式中，控制器300可以检测可能的碰撞但是可以不增强铲斗140的控制(即，仅操作检测模块400)。在该模式中，控制器300可以记录关于检测的物体和/或检测的与检测到的物体的可能碰撞的信息和/或可以警告物体的操作者和/或可能的碰撞。

还应理解，尽管控制器300的功能在上面关于两个模块(即，检测模块400和减轻模块500)进行了描述，但是该功能可以按各种配置在两个模块之间分配。而且，在某些实施方式中，如图10所示，控制器300包括执行检测模块400和减轻模块500的功能的组合模块。

本发明的各种特征和优点在所附权利要求中阐述。

Claims (22)

1.一种用于提供挖掘机周围的区域的俯视图的系统，所述系统包括：

至少一个处理器，其配置成：

从安装在所述挖掘机上的至少一个传感器接收数据，所述数据涉及所述挖掘机周围的所述区域，

基于所述数据识别多个平面，

确定所述多个平面是否定位在与运输卡车相关联的预定配置中，以及

如果所述多个平面定位在所述预定配置中，则将所述多个平面叠加在所述挖掘机和所述区域的俯视图图像上。

2.根据权利要求1所述的系统，其中所述至少一个处理器还配置成基于铲斗和所述多个平面中的至少一个之间的距离来设定叠加的多个平面中的至少一个的颜色。

3.根据权利要求1所述的系统，其中所述至少一个处理器还配置成制作叠加的多个平面中的至少一个的动画。

4.根据权利要求1所述的系统，其中所述至少一个处理器还配置成修改叠加的多个平面中的至少一个以警告所述挖掘机的操作者铲斗和所述运输卡车之间的可能碰撞。

5.根据权利要求1所述的系统，其中所述至少一个处理器还配置成将示出所述挖掘机的俯视图的图像叠加在所述俯视图图像上。

6.根据权利要求4所述的系统，其中所述至少一个处理器还配置成基于所述铲斗的当前位置修改示出所述挖掘机的俯视图的图像。

7.根据权利要求1所述的系统，其中所述至少一个处理器还配置成在包括在所述挖掘机中的用户接口上显示所述俯视图图像。

8.根据权利要求1所述的系统，其中所述至少一个处理器还配置成在远离所述挖掘机的用户接口上显示所述俯视图图像。

9.根据权利要求1所述的系统，其中所述至少一个传感器包括至少一个激光扫描仪。

10.根据权利要求1所述的系统，其中所述至少一个传感器包括至少一个立体摄像机。

11.根据权利要求1所述的系统，其中所述至少一个传感器包括至少一个激光扫描仪和至少一个立体摄像机。

12.根据权利要求1所述的系统，其中所述至少一个处理器配置成通过确定所述多个平面是否包括水平栏板平面、水平卡车床平面、垂直前平面、两个垂直侧平面和一垂直后平面来确定所述多个平面是否定位在所述预定配置中。

13.一种用于提供工业机器周围的区域的俯视图的方法，所述方法包括：

在至少一个处理器处从安装在所述工业机器上的至少一个传感器接收数据，所述数据涉及所述工业机器周围的所述区域，

通过所述至少一个处理器基于所述数据识别多个平面，

通过所述至少一个处理器确定所述多个平面是否定位在与预定的物理物体相关联的预定配置中，以及

如果所述多个平面定位在所述预定配置中，则将所述多个平面叠加在所述工业机器和所述区域的俯视图图像上。

14.根据权利要求13所述的方法，还包括基于所述工业机器的至少一个可移动的部件和叠加的多个平面中的至少一个之间的距离来设定叠加的多个平面中的至少一个的颜色。

15.根据权利要求13所述的方法，还包括制作叠加的多个平面中的至少一个的动画。

16.根据权利要求13所述的方法，还包括修改叠加的多个平面中的至少一个以警告所述挖掘机的操作者所述工业机器的至少一个可移动的部件和所述物理物体之间的可能碰撞。

17.根据权利要求13所述的方法，还包括将示出所述工业机器的俯视图的图像叠加在所述俯视图图像上。

18.根据权利要求17所述的方法，还包括基于所述工业机器的至少一个可移动的部件的当前位置修改示出所述工业机器的俯视图的图像。

19.根据权利要求13所述的方法，还包括在用户接口上显示所述俯视图图像，所述用户接口被包括在所述工业机器中。

20.根据权利要求13所述的方法，还包括在远离所述工业机器的用户接口上显示所述俯视图图像。

21.根据权利要求13所述的方法，其中从至少一个传感器接收数据包括从激光扫描仪和立体摄像机中的至少一个接收数据。

22.根据权利要求13所述的方法，其中确定多个平面是否定位在预定配置中包括确定所述多个平面是否包括水平栏板平面、水平卡车床平面、垂直前平面、两个垂直侧平面和一垂直后平面。