CN114537280A - 用于自推进作业车辆的周围环境的定制可视化的系统和方法 - Google Patents

Abstract

用于自推进作业车辆的周围环境的定制可视化的系统和方法。提供一种设置有控制系统的自推进作业车辆，该控制系统使得能够在触摸屏界面上使用手势来提供操纵所显示的图像的简单且直观的方式，和/或自动改变周围视野摄像机单元的关注区域。如果作业车辆被检测为执行某个功能，则可以实现示例性自动操纵，其中，可以将周围视野图像自动改变成较小的子视野，该子视野给出了适于该功能的更集中的可见度。还可以基于检测到的操作/功能来自动操纵周围视野图像的变形和仿真视场。控制系统还可以根据检测到的作业状态和/或基于来自障碍物检测系统的输出来动态地修改周围视野图像。控制系统还可以将子视野锁定至所识别的关注物体，诸如卡车或沟渠。

Description

用于自推进作业车辆的周围环境的定制可视化的系统和方法

技术领域

本公开总体上涉及诸如建筑机械和林业机械的自推进(self-propelled work)作业车辆，更特别地，涉及用于这种自推进作业车辆的周围环境的定制可视化(customizedvisualization)的系统和方法。

背景技术

本文所讨论的自推进作业车辆例如可以包括挖掘机、装载机、林业机械以及以某一方式修改地形或等同作业环境的其它设备。这些作业车辆可以具有从地面支承底架的履带式或轮式地面接合单元，并且还可以包括一个或更多个作业机具(implement)，这些作业机具用于与作业车辆的移动协调地修改地形。

在此类作业车辆的领域中持续需要为操作员提供更好的操作认识的解决方案。操作员的一个问题是，作业车辆的周围环境只能从操作员驾驶室只直接被观察到有限的程度。在例如前装载机和后装载机作业机械的情况下存在增加的困难，其中，操作员的视野(view)可以根据作业机具的取向和位置而基本上限于前方或后方。因此，操作员可能无法从典型的作业位置充分地标识在他的视界(field of vision)中被作业机具隐藏的外部物体。可能特别重要的是，在操作员的视界的后方以及处于机械框架和/或作业机具的枢转范围内的物体。

一些常规系统包括摄像机，该摄像机记录作业车辆的后方区域的图像，将该图像显示于设置在操作员驾驶室中的显示单元上。其它已知系统包括以下摄像机：这些摄像机被安装成在将它们的相应图像拼接在一起时提供该机械的“鸟瞰(bird's eye)”视野。这些系统可以帮助操作员看到车辆周围是什么，但是它们需要单独选择给定的图像，并且在范围上受限于由处在作业车辆上的预定位置处的摄像机捕获的特定图像。

这对于其中操作员希望观看整个周围(surround)(即，360度)视野的较小区段或操纵图像的形状和大小的背景来说可能是有问题的。例如，当执行某些机械功能时，或者当障碍物检测系统检测到障碍物时，可能非常希望有更详细或更少变形(distorted)的单独图像。

发明内容

本公开通过至少部分地引入以下新颖系统和方法来提供常规系统的增强：该新颖系统和方法使得能够在触摸屏界面上使用手势(gesture)来提供操纵所显示的图像的简单且直观的方式，和/或基于所标识的作业状况自动改变周围视野(surround view)摄像机单元的关注区域。

在如上提到的手动操纵的背景下，可以提供如本文所公开的控制系统的某些实施方式，使得将一组自然触摸手势用于操纵由周围视野摄像机单元生成的图像，包括但不限于：“捏扩(pinch)”移动，以改变周围视野图像的大小和变形(distortion)；在整个360度周围视野上的区域的轻敲(tapping)，以进入与“轻敲”的位置对应的较小子视野(sub-view)；和/或手指(或者处于接合点的等效仪器)左右滑动以绕机械枢转子视野图像。

在如上提到的自动操纵的背景下，如本文所公开的控制系统的某些实施方式还可以或者另选地提供成使得如果作业车辆被检测为在执行某一功能，则可以将周围视野图像自动改变成较小的子视野，该子视野给出了适于该功能的更集中的可见度。一些例示性但非限制性的示例可以包括：其中，作业车辆进行笔直倒车，周围视野改变成作业车辆后方的子视野；其中，在挖掘机上，动臂(boom)和铲斗(bucket)控件以挖掘或挖沟模式接合，并且周围视野改变成该机械前方的子视野，该子视野集中在动臂和铲斗上；和/或在挖掘机上，当机械被命令回转(swing)时，周围视野改变成示出配重进行回转的区域的子视野。

除了改变关注区域之外，在某些实施方式中，还可以基于检测到的功能来自动操纵周围视野图像的变形和仿真视场(simulated field of view)。一些例示性但非限制性的示例可以包括：当机械行进得更快时，仿真视场变得更大；仿真视场基于附件或机具的瞬时移动或功能而自动调节，诸如当挖掘机动臂伸出更远时增大视场；和/或周围视野图像动态地改变以说明联接至或者以其它方式配备至作业车辆的特定附件的标识。后一情况的进一步的例示性但非限制性的示例可以包括：当将叉附件配备至装载机时，周围视野改变成具有仿真视场和变形的子视野，以便优化叉尖的视野；和/或当将冷铣刨机(cold planer)安装在滑移转向装载机上时，周围视野改变成期望倒行的作业车辆的后方的子视野。

在某些实施方式中，控制系统还可以根据检测到的作业状态或作业车辆周期来动态地修改周围视野图像。一些例示性但非限制性的示例可以包括：如果检测到挖掘机正在诸如十二秒周期的180度卡车装载的这样特定作业状态下操作，则周围视野系统可以预期操作员何时将要回转作业车辆，并抢先提出操作员将回转到的区域的子视野。

在某些实施方式中，控制系统还可以基于来自障碍物检测系统的输出来动态地改变周围视野系统中的关注区域。例如，如果检测到障碍物，则周围视野图像可以自动改变成集中在检测到该物体的区域的子视野。如果障碍物检测系统输出物体的高度，则周围视野系统可以自动操纵图像的变形和仿真视场，以给予检测到的物体在图像中较少变形的外观。

在某些实施方式中，控制系统还可以选择性地和动态地将周围视野图像的子视野切换成甚至锁定成所识别或指定的关注物体，诸如卡车或沟渠或者特定个体。例如，可以将控制器以编程方式设置成，基于图像识别算法和指定条件，甚或基于来自位于作业车辆的周围环境内的RFID装置的指定输入来标识关注物体。

在一个特定和示例性的实施方式中，本文提供了一种显示包括主框架的自推进作业车辆的周围环境的方法。接收与作业车辆的周围环境对应的一个或更多个图像，所述一个或更多个图像是经由由主框架支承的对应一个或更多个摄像机记录的。对所记录的图像进行处理，以将该图像映射至与第一定义显示半径和第一定义显示深度对应的形状。响应于至少一个触发动作，在显示单元上生成与作业车辆的周围环境中的至少一个选定关注区域对应的一个或更多个显示图像。

在根据上面参考的实施方式的一个示例性方面，所生成的所述一个或更多个显示图像可以包括俯视(overhead downward facing)显示图像和外视(outward facing)显示图像中的两者或者在俯视显示图像与外视显示图像之间选择性地切换。

在上面参考的实施方式的另一示例性方面，所生成的显示图像可以包括与第一定义显示半径和第一定义显示深度对应的俯视显示图像，所述方法包括以下步骤：响应于至少第一类型的触发动作，生成与第二定义显示半径和第二定义显示深度对应的俯视显示图像。

在还根据上面参考的实施方式以及示例性方面的另一示例性方面，至少第一类型的触发动作可以包括一个或更多个自动确定的操作状况。

在还根据上面参考的实施方式以及示例性方面的另一示例性方面，所述至少第一类型的触发动作可以包括自推进作业车辆的检测到的速度变化，其中，将俯视显示图像重新配置成，与自推进作业车辆的速度的增加关联地增加第二定义显示半径和第二定义显示深度，并且将俯视显示图像重新配置成，与自推进作业车辆的速度的减小关联地减小第二定义显示半径和第二定义显示深度。

在还根据上面参考的实施方式以及示例性方面的另一示例性方面，所述至少一个触发动作可以包括经由用户界面选择性地手动接合俯视显示图像。

在还根据上面参考的实施方式以及示例性方面的另一示例性方面，响应于至少第二类型的触发动作，所述方法还可以包括以下步骤：针对所生成的外视显示图像来操纵选定关注区域。

例如，至少第二类型的触发动作可以包括自推进作业车辆的检测到的配置变化。

自推进作业车辆可以包括联接至主框架的作业机具，其中自推进作业车辆的检测到的配置变化包括作业机具的检测到的配置变化。

作业机具可以是相对于主框架能够可控制移动的，其中，至少第二类型的触发动作包括作业机具的检测到的移动和/或作业机具的预测的移动。

作业机具的移动可以基于自推进作业车辆的所确定的作业周期来预测。

作为另一或另选示例，至少第二类型的触发动作可以包括作业车辆的周围环境中的检测到的障碍物。

在还根据上面参考的实施方式以及示例性方面的另一示例性方面，所述方法还可以包括以下步骤：响应于至少第三类型的触发动作，横向枢转外视显示图像。

在还根据上面参考的实施方式以及示例性方面的另一示例性方面，外视显示图像可以响应于至少第二类型的触发动作，代替俯视显示图像而生成；和/或外视显示图像和俯视显示图像被独立地显示在同一显示单元上，并且响应于不同类型的触发动作而被独立地进行修改。

在另一实施方式中，可以提供一种自推进作业车辆，该自推进作业车辆具有：主框架；一个或更多个摄像机，所述一个或更多个摄像机由主框架支承并且被配置成，记录作业车辆的对应的周围环境的图像；至少一个作业机具，所述至少一个作业机具联接至主框架，并且被配置成对作业车辆周围的地形进行作业；以及控制器，该控制器以通信方式链接至所述一个或更多个摄像机以及显示单元。还可以将控制器配置成，指导执行根据上面参考的实施方式以及所关联的示例性方面中的任一方面的方法步骤。

通过结合附图阅读下面的公开，本文所阐述的实施方式的许多目的、特征以及优点对于本领域技术人员将容易显而易见。

附图说明

图1是包括如本文所公开的控制系统和方法的实施方式的示例性自推进作业车辆的侧视图。

图2是图1的自推进作业车辆的俯视图，具有与该自推进作业车辆关联并以分解立体图表示的多个摄像机。

图3是表示本文所公开的控制系统的示例性实施方式的框图。

图4是表示本文公开的方法的示例性实施方式的流程图。

图5是表示本文所公开的简化周围视野图像映射形状的图形图。

图6是表示本文所公开的映射的周围视野图像的自顶向下视图中的采用矩形切块形式的矩形360度周围视野的图形图。

图7A至图7B是表示周围视野图像的与手动'轻敲'操纵对应的横向观看区域的图形图。

图8A至图8C是表示周围视野图像的与手动'滑动'操纵对应的横向观看区域的图形图。

具体实施方式

现在，参照图1至图8C，可以描述用于自推进作业车辆的周围环境的定制可视化的系统和方法的各种实施方式。

在如本文所公开的特定实施方式中，图1示出了例如采用装载机形式的代表性自推进作业车辆100，该装载机具有用于修改附近地形的前置作业机具120。在本公开的范围内，作业车辆100可以采用使用附件机具来修改附近地形的任何其它自推进车辆的形式，特别是例如被设计用于非公路环境中的作业车辆，诸如建筑业或林业车辆。

所例示的作业车辆100包括：由左侧履带式地面接合单元(ground engagingunit)122和右侧履带式地面接合单元124支承的主框架132，以及用于驱动相应地面接合单元的至少一个行进马达(未示出)。履带式地面接合单元122、124中的各个地面接合单元通常可以包括前惰轮(front idler)、驱动链轮以及绕前惰轮和驱动链轮延伸的履带链。各个履带式地面接合单元122、124的行进马达驱动其相应的驱动链轮。各个履带式地面接合单元122、124皆具有从驱动链轮朝着前惰轮限定的前行方向。履带式地面接合单元122、124的前行方向还限定底架的前行方向，从而限定自推进作业车辆100的前行方向。

用于所例示的自推进作业车辆100的作业机具120包括联接至动臂组件102的前置装载机铲斗120。装载机铲斗120通常面向远离装载机100的操作员的方向，并且经由动臂组件102可移动地联接至主框架132，用于向前铲运、搬运以及倾卸泥土和其它物料。在自推进作业车辆例如是履带式挖掘机的另选实施方式中，可以将动臂组件102限定为至少包括动臂和被枢转地连接至动臂的臂144。本示例中的动臂被枢转地附接至主框架132，以相对于主框架132绕大体水平轴线枢转。可以将联接机构设置在动臂组件102的端部处并且配置为联接至作业机具120，该联接机构也可以被表征为作业工具，并且在各种实施方式中，可以将动臂组件102配置为接合和固定各种类型和/或尺寸的附件机具120。

在其它实施方式中，例如根据自推进作业车辆100的类型，作业机具120可以是用于执行特定任务的清扫器、干草捆包(hay bale)叉具、干草捆包抱具(hugger)、抓具(grapple)、铲运机(scraper)、货盘叉(debris blower)、碎屑鼓风机、铲、推雪器等。

操作员驾驶室可以位于主框架132上。操作员驾驶室和动臂组件102(或者根据作业车辆100的类型，直接是作业机具120)均可以安装在主框架132上，以使操作员驾驶室面向作业机具120的作业方向。包括用户界面116的控制台可以位于操作员驾驶室中。

本文所描述的用户界面116可以被设置为显示单元的一部分，该显示单元被配置成，以图形方式显示记号、数据以及其它信息，并且在一些实施方式中，还可以提供来自系统的其它输出，诸如指示灯光、可听警报等。用户界面还可以或者另选地包括用于操作作业车辆100(包括发动机、液压缸等的操作)的各种控件或用户输入(例如，方向盘、操纵杆、控制杆(lever)、按钮)208。可以将这种车载用户界面例如经由CAN总线布置或者其它等效形式的电和/或机电信号传输联接至车辆控制系统。另一形式的用户界面(未示出)可以采取在远程(即，非车载)计算装置上生成的显示单元的形式，该显示单元可以显示诸如状态指示的输出和/或以其它方式使得能够实现诸如向系统提供输入的用户交互。在远程用户界面的背景下，例如车辆控制系统与用户界面之间的数据传输可以采取本领域中常规上已知的无线通信系统和关联的组件的形式。

如图3示意性地例示的，作业车辆100包括控制系统200，该控制系统200包括控制器112。控制器112可以是作业车辆的机械控制系统的一部分，或者它可以是单独的控制模块。控制器112可以包括用户界面116，并且可选地被安装在操作员驾驶室中的控制面板处。

将控制器112配置成，从诸如摄像机系统202、机具位置检测系统204以及障碍物检测系统206这样的各种源中的一些或所有源接收输入。

参照图2，摄像机系统202可以包括一个或多个成像装置，诸如被安装在自推进作业车辆100上并且被设置成捕获与自推进作业车辆100的周围环境对应的图像的摄像机202。在所例示的实施方式中，从作业车辆100的作业方向的视角来看，四个摄像机202分别设置在前侧、左侧、后侧以及右侧中的各侧处，以用于从不同的图像记录位置记录作业车辆100的周围环境的单独图像区域。然而，摄像机的这种数量和取向仅仅是示例性的，并且除非本文中另外具体指出，否则对本公开的范围无限制的。摄像机202在各种情况下皆可以记录地表面138的特定图像区域，或者另选地可以被控制到与其它图像区域关联的不同位置。由相应摄像机202记录的图像区域的位置和大小可以取决于摄像机和摄像机镜头系统的布置和取向，特别是摄像机镜头的焦距。

示例性机具位置检测系统204可以包括：被安装至作业机具120和/或动臂组件102和/或主框架132的相应组件的惯性测量单元(IMU)、联接至活塞-缸单元以检测其相对的液压致动延伸部的传感器、或者本领域技术人员可能已知的任何已知的另选例。

在各种实施方式中，可以设置附加的传感器来检测机械操作状况或定位，例如包括取向传感器、全球定位系统(GPS)传感器、车速传感器、车辆机具位置传感器等，而这些传感器中的一个或更多个在性质上可以是分立的，传感器系统还可以参考从机械控制系统提供的信号。

其它的传感器可以共同限定障碍物检测系统206，其各种示例可以包括：超声传感器、激光扫描仪、雷达波发送器和接收器、热传感器、成像装置、结构化光传感器、其它光学传感器等。用于障碍物检测的传感器的类型和组合可以针对作业车辆的类型、作业区域和/或应用而改变，但是通常可以被设置并配置成，优化对靠近所确定的车辆的作业区域或者与所确定的车辆的作业区域关联的物体的识别。

控制器112通常可以与上面引用的用户界面116配合，以用于向人类操作员显示各种记号。控制器还可以生成用于控制相应致动器的操作的控制信号，或者用于经由与机械转向控制系统224、机械机具控制系统226和/或机械驱动控制系统228关联的中间控制单元进行间接控制的信号。

控制器112包括或者可以与处理器212、计算机可读介质214、通信单元216、数据存储装置218(举例来说，如数据库网络)以及具有显示器210的前述用户界面116或控制面板关联。提供了诸如键盘、操纵杆或其它用户界面工具这样的输入/输出装置208，以使人类操作员可以向控制器112输入指令。应理解，本文所描述的控制器112可以是具有全部所描述的功能的单个控制器，或者它可以包括多个控制器，其中所描述的功能被分布在所述多个控制器之间。

可以将结合控制器112描述的各种操作、步骤或算法直接以硬件具体实施、以诸如由处理器212执行的软件模块的计算机程序产品具体实施、或者以这两者的组合具体实施。计算机程序产品可以驻留于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘或者本领域已知的任何其它形式的计算机可读介质214中。可以将示例性计算机可读介质214联接至处理器212，使得处理器212可以从存储器/存储介质214读取信息以及向该存储器/存储介质写入信息。在该另选例中，介质214可以与处理器212成一体。处理器212和介质214可以驻留于专用集成电路(ASIC)中。ASIC可以驻留与用户终端中。在该另选例中，处理器212和介质214可以作为分立组件驻留与用户终端中。

本文所使用的术语“处理器”212可以指本领域技术人员可以理解的至少通用或专用处理装置和/或逻辑，包括但不限于微处理器、微控制器、状态机等。还可以将处理器212实现为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或更多个微处理器结合DSP核心的组合、或者任何其它此类配置。

通信单元216可以支持或提供控制器112与外部系统或装置之间的通信，和/或支持或提供关于自推进作业车辆100的内部组件的通信接口。通信单元可以包括无线通信系统组件(例如，经由蜂窝调制解调器、WiFi、蓝牙等)，和/或可以包括一个或更多个有线通信终端，诸如通用串行总线端口。

除非另外表明，否则本文所讨论的数据存储装置218通常可以涵盖硬件(诸如易失性或非易失性存储装置、驱动器、存储器或其它存储介质)，以及驻留于该硬件上的一个或多个数据库。

总体上参照图4至图8C，可以参照前述作业车辆来进一步描述示例性操作模式。

现在，进一步参照图4，可以描述用于对自推进作业车辆100的周围环境进行定制可视化的方法400的实施方式。

所例示的方法400开始于步骤410，该步骤捕获自推进作业车辆100的周围环境的图像。如先前所提到的，该图像可以由单个摄像机202或者被设置在作业车辆100周围的不同位置中的多个成像装置202来提供。

在步骤420中，方法400继续进行：对所捕获的图像进行处理以生成关于周围环境的至少第一图像(例如，俯视图像)，该周围环境通常可以包括自推进作业车辆100本身。

参照图5和图6，可以通过将单独的摄像机图像映射成例如圆“碗”形状240并将它们混合在一起，来创建如本文所公开的示例性周围视野图像。360度周围视野图像242是所映射的“碗”的俯视视图，该俯视视图被格式化成适于显示器210的形状(例如，矩形、正方形)。碗的深度d和半径r影响周围视野图像242的仿真视场和图像中物体的变形。可以使碗240的底部的中心与自推进作业车辆100的中心相联系。在多个图像可以重叠在碗240上的情况下，可以例如通过使用常规的alpha混合技术将相应摄像机202的对应像素值进行组合来将这些图像混合在一起。

在步骤430中，方法400继续进行：监测一个或更多个可能的触发动作中的任一触发动作，对这些触发动作的检测导致在显示器210上生成第二和经修改的图像(步骤440)。接下来，描述触发动作(431至435)的各种示例性类型以及响应于该触发动作的对应动作(441至443)，但并非旨在作为限制，除非本文另外镜头指出。触发动作和/或响应于该触发动作的对应动作的各种另选示例可以被认为处于本公开的范围内。

在各种实施方式中，在步骤430中检测到的触发动作可以采取相对于显示器210或等效用户界面工具的手动接合触发431的形式。

例如，检测到的“捏扩”动作可以导致碗240的深度d和半径r两者发生改变。捏扩动作的第一方向(例如，第一初始接合点和第二初始接合点指向彼此)可以导致碗240的深度d和半径r的与“缩小”特征对应的增加，并且捏扩动作的第二方向(例如，第一初始接合点和第二初始接合点背向彼此)可以导致碗240的深度d和半径r的与“放大”特征对应的减小。在各种情况下，控制系统200通过将显示器210上的第一图像以放大/缩小取向操纵成显示器210上的第二图像(步骤441)来响应检测到的触发动作431，该放大/缩小取向例如对应于碗240的经修订的深度d和半径r，该深度和半径本身还可能对应于捏扩动作的幅度。

另外，或者在另选实施方式中，在步骤430中检测到的触发动作可以是相对于作为圆碗240的较小部分的多个区域之一(例如，在作业车辆的后部、任一侧、前部甚或转角)检测到的“轻敲”动作，其中从外视(即，横向)立体视野(perspective view)生成区域特定的正方形/矩形子视野244。与轻敲动作对应的区域可以是绕圆碗240的周边的多个预定区域位置之一。在各种实施方式中，另选地，可以动态地定义区域，其中轻敲点定义了区域的中心，并且子视野244的周界绕用户定义的中心相应地生成，使得区域的数量仅由相对于碗240的潜在轻敲点的数量来限制。在子视野模式244中，仅示出了整个360度周围视野图像的一部分，并将该部分按比例放大以给予操作员该特定区域的更集中的视野。

在实施方式中，随后检测到的在子视野244上的任何地方的轻敲手势可以提示控制系统退出子视野模式244并且返回至俯视周围视野242。然而，在其它实施方式中，可以同时一起显示俯视周围视野(overhead surround view)242和所选择的子视野244，或者可以在相应减小的俯视周围视野242旁边生成所选择的子视野244，然后当随后在子视野244或俯视周围视野242等上的任何地方检测到轻敲手势时，移除所选择的子视野244以有利于相应放大的俯视周围视野242。

参照图7A，检测到显示器210或另选界面工具上的采用第一轻敲形式的触发动作431，于是，控制系统200通过将显示器210上的第一(例如，俯视)图像操纵成显示器210上的处于例如对应于选定区域的外视立体视野244a中的第二图像，来响应检测到的触发动作431(步骤442)。

参照图7B，检测到显示器210或另选界面工具上的采用第二轻敲形式的不同的触发动作431，于是，控制系统200通过将显示器210上的第一(例如，俯视)图像操纵成显示器210上的处于例如对应于选定区域的外视立体视野244b中的不同的第二图像来响应检测到的触发动作431。

另外，或者在另一另选实施方式中，在步骤430中检测到的触发动作可以是在当前处于外视子视野244时，检测到的相对于显示器210或等效界面工具的“滑动”动作431，其中，当前外视子视野基于滑动触发431的相应的向左或向右方向，而绕俯视碗视野240的周边向左或向右枢转。

参照图8A至图8C，经由显示器210检测到采用向右滑动手势形式的触发动作431，于是，控制系统200通过基于相应区域绕中心轴线并沿着碗视野240的周边(circumference)向右(即，顺时针)的对应移位，将显示器210上的当前(在触发动作之前的时刻)外视图像244a操纵成显示器210上的经修改的外视图像244b来响应检测到的触发动作431(步骤443)。还可以经由显示器210检测到采用另一向右滑动手势形式的随后触发动作431，于是，控制系统200通过将显示器210上的外视图像244b操纵成显示器210上的外视图像244c来响应随后检测到的触发动作431。可以理解，根据该描述的实施方式，采用向左滑动手势形式的触发动作431可以导致基于相应区域绕中心轴线并沿着碗视野240的周边向左(即，逆时针)的对应移位，将显示器210上的外视图像244a操纵成显示器210上的经修改的外视图像244b。然而，这些方向是旨在作为例示性的，并且理论上可能的是，通过控制系统200可以以另选方式经编程来解释另选滑动手势，以生成所显示的图像的对应操纵。

另选地，控制系统200可以仅利用一个滑动触发动作将初始外视图像244a操纵成外视图像244c，该滑动触发动作例如比生成外视图像244b的滑动触发动作进一步向右延伸。更进一步地，控制系统200可以在例如取决于滑动手势的方向、滑动手势的长度、滑动手势的速度等(如还可以被共同地描述为滑动手势的检测特征)的取向上将初始外视图像244a操纵成经修改的外视图像244b、244c、…、244x。

在先前参照图5至图8C的讨论中，检测到的触发动作431中的各个触发动作皆对应于针对显示器210或等效界面工具的手动手势。然而，步骤440(以及子步骤441至443)的显示操纵中的各个显示操纵还可以使用多种另选触发来自动实现，现在，以非限制性方式提供这些另选触发的示例。

在各种实施方式中，可以基于与自推进作业车辆100的检测到的配置变化关联的触发432来自动操纵440周围视野图像242，诸如标识配备了特定类型作业机具120。在例如将叉附件120配备至装载机的背景下，可以将周围视野图像242自动操纵成具有仿真视场和所确定的变形的恰当子视野244，以便向操作员给出叉的尖端的最佳视野。作为另一示例，当冷铣刨机120被检测为安装在滑移转向装载机(SSL：skid steer loader)上时，可以将周围视野图像242自动操纵成自推进作业车辆100的后侧的子视野244，期望作业车辆100将倒行。

在某些实施方式中，可以基于与某些操作状况或预定作业状态的检测关联的触发433来自动操纵440周围视野图像242。换句话说，当控制系统200确定自推进作业车辆100正在执行某一功能时，可以将周围视野图像242自动改变成较小的子视野244，该子视野244给出了适于该功能的更集中的可见度。例如，如果将作业车辆200确定为直线倒退(或者基于检测到的转向命令或基于检测到的与这种移动一致的作业状态来预测这种移动)，则周围视野242改变成作业车辆100的后方的子视野244。作为另一示例，在挖掘机上，动臂和铲斗控件可以以挖掘或挖沟模式接合，其中，控制系统200检测到相关作业状态并将周围视野图像242改变成作业车辆100的前方的子视野244，该子视野244集中在动臂和铲斗120上。在同一挖掘机上，当作业车辆100被命令回转时，控制系统200同样可以检测到作业状态的变化并将周围视野图像242改变成示出其中配重进行回转的区域的子视野244。

除了基于所确定的特定关注区域将周围视野图像242改变成子视野244之外，还可以基于检测到的功能或操作状况来操纵周围视野图像242的变形和仿真视场。例如，在检测到作业车辆100行驶得更快时，控制系统200可以操纵仿真视场以变得更大。

在某些实施方式中，可以基于与检测到或预测的作业机具120的移动关联的触发434，来自动操纵440周围视野图像242。例如，当检测到诸如挖掘机动臂这样的作业机具120伸出更远时，仿真视场可以变得自动调节以增大视场。周围视野图像242也可以由控制系统200根据检测到的作业状态或周期来自动操纵。例如，如果检测到挖掘机100正在以十二秒周期的180度卡车装载进行操作，则控制系统200可以预期操作员何时将要回转作业车辆100的主框架132，并抢先提出其中操作员将回转到的区域的子视野244。

在某些实施方式中，可以基于与障碍物检测关联的触发435，来自动操纵440周围视野图像242，诸如改变关注区域。例如，如果障碍物检测系统206独自或者与控制器112协调地检测到障碍物，则周围视野图像可以自动改变成集中在检测到该物体的区域的子视野244。如果障碍物检测系统206输出物体的高度，则可以将控制器112配置成，自动操纵图像242、244的变形和仿真视场，以给予检测到的物体在图像242、244中较少变形的外观。

在各种实施方式中，控制系统200还可以将子视野244锁定至所识别的关注物体，举例来说，如卡车或沟渠。例如，可以根据检测到的已知障碍物或目标、估计的作业状态、作业机具的类型、操作员选择/命令等来定义关注物体。

在各种实施方式中，可以将用户界面116配置成，使得能够选择性地应用如本文所公开的手动触发431和/或一个或多个自动触发432至435。操作员例如能够选择自动模式，其中，允许前述自动触发中的任一自动触发以导致对所显示的图像的操纵，但进一步覆盖自动生成的显示画面以及使该显示画面回复到标准的俯视图像或者任何其它可选图像选项。操作员例如能够以其它方式选择性地区分多个可用的自动触发选项，其中，例如操作员可以指定对所显示的图像的自动操纵适于自动触发432至435中的某些自动触发，而对于其它(例如，未指定的)触发将被忽略。

控制系统200还使得能够基于检测到的手动手势431来补充自动生成的显示图像，而不是简单地覆盖自动结果。例如，碗240的半径和/或深度可以根据速度的变化自动地修改，其中，俯视图像242也相应地进行修改，并且操作员可以进行手动手势，该手动手势生成进一步修改的碗240的半径和/或深度，而不是使图像回复到初始图像，这可以以其它方式使用单独的手动选择来实现。

在各种实施方式中，可以将控制系统200配置成，在检测到的或预测到的触发动作之间区分优先级，以确定呈现或操纵哪个(哪些)显示图像，或者示出多个显示图像的次序。例如，第一显示部分通常可以包括在对应于挖掘机作业状态(例如，挖掘、回转到倾卸、倾卸、回转到挖掘)的位置之间移动或交替的所呈现的显示图像，但是第一显示部分可以代替地切换成与在挖掘机操作期间出现的检测到的障碍物或其它安全问题对应的显示图像，或者另选地，可以生成第二显示部分并且使第二显示部分突出显示，以引起对最近检测到的障碍物的注意。

如本文所使用的，在与项目列表一起使用时，短语“…中的一个或更多个”意指可以使用这些项目中的一个或更多个项目的不同组合，并且可以需要列表中的各个项目中的仅一个。例如，“项目A、项目B以及项目C中的一个或更多个”例如可以包括但不限于：项目A，或者项目A和项目B。该示例还可以包括项目A，项目B以及项目C，或者项目B和项目C。

因此，可以看出，本公开的设备和方法容易实现所提及的以及固有的目的和优点。虽然出于本目的已经例示和描述了本公开的某些优选实施方式，但是本领域技术人员可以对部件和步骤的布置和构造进行许多改变，这些改变被涵盖在由所附权利要求限定的本公开的范围和精神内。各个公开的特征或实施方式皆可以与其它公开的特征或实施方式中的任一者相组合。

Claims (15)

1.一种显示包括主框架(132)的自推进作业车辆(100)的周围环境的计算机实现方法(400)，所述方法包括以下步骤：

接收与所述作业车辆的周围环境对应的一个或更多个图像(410)，所述图像是经由由所述主框架支承的对应一个或更多个摄像机(202)来记录的；

对所述记录的图像进行处理(420)，以将所述图像映射至与第一定义显示半径和第一定义显示深度对应的形状(240)；

响应于至少一个触发动作(430)，在显示单元上生成与所述作业车辆的周围环境中的至少一个选定关注区域对应的一个或更多个显示图像(440)。

2.根据权利要求1所述的方法，其中，所生成的所述一个或更多个显示图像包括俯视显示图像(440)和外视显示图像(442)中的两者，或者在所述俯视显示图像与所述外视显示图像之间选择性地切换。

3.根据权利要求1或2中的任一项所述的方法，其中，所生成的显示图像包括与所述第一定义显示半径和所述第一定义显示深度对应的俯视显示图像，所述方法包括以下步骤：响应于至少第一类型的触发动作(431至435)，生成与第二定义显示半径和第二定义显示深度对应的俯视显示图像(441)。

4.根据权利要求1至3中的任一项所述的方法，其中，至少第一类型的触发动作包括一个或更多个自动确定的操作状况(433)。

5.根据权利要求1至4中的任一项所述的方法，其中：

至少第一类型的触发动作包括所述自推进作业车辆的检测到的速度变化，

所述俯视显示图像被重新配置成，与所述自推进作业车辆的速度的增加关联地增加第二定义显示半径和第二定义显示深度，并且

所述俯视显示图像被重新配置成，与所述自推进作业车辆的速度的减小关联地减小所述第二定义显示半径和所述第二定义显示深度。

6.根据权利要求1至5中的任一项所述的方法，其中，所述至少一个触发动作包括经由用户界面(116)选择性地手动接合俯视显示图像(431)。

7.根据权利要求1至6中的任一项所述的方法，所述方法包括以下步骤：响应于至少第二类型的触发动作(431至435)，针对所生成的外视显示图像来操纵所述选定关注区域。

8.根据权利要求7所述的方法，其中，所述至少第二类型的触发动作包括所述自推进作业车辆的检测到的配置变化(432)。

9.根据权利要求8所述的方法，其中，所述自推进作业车辆包括联接至所述主框架的作业机具(120)，并且其中，所述自推进作业车辆的检测到的配置变化包括所述作业机具的检测到的配置变化。

10.根据权利要求7至9中的任一项所述的方法，其中，所述自推进作业车辆包括相对于所述主框架能够可控制地移动的作业机具，并且所述至少第二类型的触发动作包括以下项中的一个或更多个：所述作业机具的检测到的移动(434)；以及所述作业机具的预测的移动(434)。

11.根据权利要求10所述的方法，其中，所述作业机具的移动是基于所述自推进作业车辆的所确定的作业周期来预测的。

12.根据权利要求7至11中的任一项所述的方法，其中，所述至少第二类型的触发动作包括所述作业车辆的周围环境中的检测到的障碍物(435)。

13.根据权利要求7至12中的任一项所述的方法，所述方法还包括以下步骤：响应于至少第三类型的触发动作，而横向枢转所述外视显示图像(443)。

14.根据权利要求1至13中的任一项所述的方法，其中：

外视显示图像是响应于至少第二类型的触发动作，代替俯视显示图像而生成的；以及/或者

所述外视显示图像和所述俯视显示图像被独立地显示在同一显示单元(210)上，并且响应于不同类型的触发动作而被独立地进行修改。

15.一种自推进作业车辆(100)，所述自推进作业车辆(100)包括：

主框架(132)；

一个或更多个摄像机(202)，所述一个或更多个摄像机(202)由所述主框架支承，并且被配置成，记录所述作业车辆的对应周围环境的图像(410)；

至少一个作业机具(120)，所述至少一个作业机具(120)联接至所述主框架，并且被配置成对所述作业车辆周围的地形进行作业；

控制器(112)，所述控制器(112)以通信方式链接至所述一个或更多个摄像机以及显示单元，并且所述控制器被配置成，指导执行根据权利要求1至14中的任一项所述的方法的步骤。

Images