CN117083537A - 具有用于障碍物跟踪的自动相机控制的自行采掘机系统 - Google Patents

Abstract

一种用于检测采掘机附近的障碍物并提供自动相机控制的系统。系统包括与采掘机相关联的至少一个接近传感器，以及与采掘机相关联的相机。系统还包括以通信方式联接到至少一个接近传感器和相机的电子处理器。电子处理器被配置成从至少一个接近传感器接收数据。电子处理器还被配置成基于数据确定至少一个障碍物的位置。电子处理器还被配置成基于至少一个障碍物的位置确定至少一个相机参数，且使用至少一个相机参数控制相机。

Description

具有用于障碍物跟踪的自动相机控制的自行采掘机系统

相关申请的交叉引用

本申请要求2020年11月3日提交的第63/109,153号美国临时申请的优先权，所述美国临时申请的全文以引用的方式并入本文中。

发明领域

本文中所描述的实施例涉及一种具有用于障碍物跟踪的自动相机控制的采掘机系统。

发明内容

重型机器(例如采掘机，比如炮孔钻机、绳铲等)上的一些相机系统由处于各个位置的多个固定视场相机或需要操作者输入来为操作者提供情境感知的平移和倾斜相机或者固定视场相机与平移/倾斜相机的组合组成。在机器装备有障碍物检测系统(“ODS”)(例如，为了检测附近的人、设备或其它障碍物)的情况下，可警告操作者障碍物的存在。然而，操作者将必须手动地定位障碍物(例如，跨越来自多个相机的视频馈送)，手动地控制相机中的一个或多个以定位障碍物，或上述二者的组合。此系统尤其在操作者手动地定位障碍物时导致潜在的生产损失(或停工时间)。

相应地，本文中所描述的一些实施例提供使定位潜在障碍物的过程自动化且为操作者提供即时反馈的方法和系统。例如，一些实施例提供一种对象检测系统(例如，使用一个或多个接近传感器)，其检测障碍物，且基于该检测自动控制相机(例如，平移-倾斜-变焦相机或固定视场相机)以向检测到的障碍物平移和倾斜。此外，本文中所描述的一些实施例自动控制相机，使得障碍物保持在相机的视场内(例如，在障碍物和/或采掘机移动的情况下)。因此，本文中所描述的实施例向操作者提供即时视觉反馈，并且因此缩短停工时间并改进操作者的情境感知。

一个实施例提供一种用于检测采掘机附近的障碍物并提供自动相机控制的系统。所述系统包括与采掘机相关联的至少一个接近传感器，以及与采掘机相关联的相机。所述系统还包括以通信方式联接到所述至少一个接近传感器和所述相机的电子处理器。电子处理器被配置成从所述至少一个接近传感器接收数据。电子处理器还被配置成基于所述数据确定至少一个障碍物的位置。电子处理器还被配置成基于所述至少一个障碍物的位置确定至少一个相机参数，且使用所述至少一个相机参数控制相机。

另一实施例提供一种用于检测采掘机附近的至少一个障碍物并提供自动相机控制的方法。所述方法包括利用电子处理器从接近传感器接收数据。所述方法还包括利用电子处理器基于从接近传感器接收的数据确定所述至少一个障碍物的位置。所述方法还包括利用电子处理器基于所述至少一个障碍物的位置确定至少一个相机参数。所述方法还包括利用电子处理器使用所述至少一个相机参数控制与采掘机相关联的相机以将所述至少一个障碍物维持在相机的视场内。

另一实施例提供一种用于检测采掘机附近的障碍物并提供自动相机控制的系统。所述系统包括与采掘机相关联的至少一个相机。所述相机被配置成感测位于采掘机附近的障碍物。所述系统还包括以通信方式联接到所述至少一个相机的电子处理器。电子处理器被配置成从所述至少一个相机接收数据。电子处理器还被配置成基于所述数据确定至少一个障碍物的位置。电子处理器还被配置成基于所述至少一个障碍物的位置确定至少一个相机参数，且使用所述至少一个相机参数控制相机以将所述至少一个障碍物维持在相机的视场内。

另一实施例提供一种用于检测采掘机附近的障碍物并提供自动相机控制的系统。所述系统包括与采掘机相关联的至少一个接近传感器。所述系统还包括与采掘机相关联的第一相机和第二相机。此外，所述系统包括以通信方式联接到所述至少一个接近传感器、第一相机和第二相机的电子处理器。电子处理器被配置成从所述至少一个接近传感器接收数据。电子处理器还被配置成基于所述数据确定至少一个障碍物的位置。电子处理器还被配置成确定所述至少一个障碍物的位置位于第一相机的视场中，且在与采掘机相关联的显示装置上提供来自第一相机的视频馈送。

考虑到详细描述和附图，实施例的其它方面将变得显而易见。

附图说明

图1示出根据一些实施例的采掘机。

图2示出根据一些实施例的采掘机。

图3示意性地示出根据一些实施例用于为采掘机提供自动相机控制的系统。

图4A示意性地示出根据一些实施例的图3的系统的控制器。

图4B示意性地示出根据一些实施例的图3的系统的相机。

图5是示出根据一些实施例由图3的系统执行的用于为采掘机提供自动相机控制的方法的流程图。

图6示意性地示出根据一些实施例的采掘机附近的障碍物。

图7示意性地示出根据一些实施例的采掘机附近的两个障碍物。

具体实施方式

在详细解释任何实施例之前，应理解，本公开在其应用方面不限于在以下描述中阐述或在附图中示出的组件的配置和布置的细节。实施例能够以各种方式实践或实行。而且，应理解，本文所使用的措辞和术语是出于描述的目的，而不应当被视为限制性的。使用“包括”、“包含”或“具有”及其变体意在涵盖其后所列的项目及其等效物以及附加项目。除非另外指定或限制，否则术语“安装”、“连接”、“支撑”和“联接”及其变体在广义上使用且涵盖直接以及间接安装、连接、支撑和联接。

另外，应理解，实施例可包括硬件、软件和电子组件或模块，为了论述的目的可以将其说明和描述为如同大部分组件仅仅以硬件实施。然而，所属领域的一般技术人员基于此具体实施方式的阅读将认识到，在至少一个实施例中，基于电子的方面可以可由一个或多个电子处理器执行的软件(例如，存储在非暂时性计算机可读介质上)实施，所述电子处理器(例如，微处理器和/或专用集成电路(“ASIC”))。因此，应注意，可利用多个基于硬件和软件的装置以及多个不同结构组件来实施实施例。例如，说明书中描述的“服务器”、“计算装置”、“控制器”、“处理器”等可包括一个或多个电子处理器、一个或多个计算机可读介质模块、一个或多个输入/输出接口，以及连接组件的各种连接(例如，系统总线)。

例如，一般技术人员可以将“约”、“大致”、“大体上”等相对术语与数量或条件结合使用理解为包括所陈述值且具有上下文所指示的含义(例如，所述术语至少包括与测量准确性相关联的误差程度、与特定值相关联的容限(例如，制造、组装、使用等))。此术语还应被视为公开由两个端点的绝对值限定的范围。例如，表述“约2到约4”也公开范围“2到4”。相对术语可以指代加上或减去所指示值的某一百分比(例如，1％、5％、10％或更多)。

本文中描述为由一个组件执行的功能性可由多个组件以分布式方式执行。同样，由多个组件执行的功能性可以合并且由单个组件执行。类似地，被描述为执行特定功能性的组件还可以执行本文未描述的额外功能性。例如，以某种方式“配置”的装置或结构以至少该方式配置，但也可以未明确列出的方式配置。

图1示出炮孔钻机10，其包括钻塔15、在钻塔15下方支撑钻塔15的基底20(例如，机械室)、联接到基底20的驾驶室25，以及由沿着地面40驱动炮孔钻机10的履带驱动器35驱动的履带30。炮孔钻机10还包括钻杆45，钻杆45被配置成向下(例如，竖直)延伸穿过地面40并进入钻孔。在一些构造中，多个钻杆45连接在一起以形成延伸进入钻孔的细长钻柱。炮孔钻机10还包括调平千斤顶50和支架55，调平千斤顶50联接到基底20且在地面40上支撑炮孔钻机10，以及支架55联接到基底20和钻塔15且在基底20上支撑钻塔15。钻塔15包括联接到钻塔15的驱动钻头65的钻头马达60，以及将钻头65与钻杆45的上端75联接在一起的联接件70。炮孔钻机10还包括钻头更换器组合件80，其手动地或自主地更换钻杆45的下端上的钻头。钻头更换器组合件80还存放在炮孔钻机10的操作期间未用到的钻头。例如，炮孔钻机10的其它构造不包括操作室25、支架55或如上文所描述的一个或多个其它组件。炮孔钻机10还包括定位在钻机10周围(或上)位于各个位置处的一个或多个接近传感器85。接近传感器85检测炮孔钻机10附近的对象或障碍物(例如，人、一件设备、另一采掘机、车辆等)，如下文进一步详细描述。例如，采掘机附近是指钻机10周围在距采掘机的外表面预定距离内的区域、钻机10周围在距采掘机的中心点或其它选定点预定距离内的区域，或钻机10周围在接近传感器85的感测范围内的区域。在一些实施例中，接近传感器85可包括光检测与测距(“激光雷达”)传感器、雷达传感器和相机中的至少一个。此外，炮孔钻机10包括定位在钻机10周围(或上)处于各个位置处的一个或多个相机86。相机86可以是平移-倾斜-变焦(“PTZ”)相机，其被配置成捕获采掘机周围的图像或视频流，包括例如炮孔钻机10附近的障碍物，下文将进一步详细描述。在一些实施例中，相机86可以是固定场相机，其被配置成捕获采掘机周围的图像或视频流，包括例如炮孔钻机10附近的障碍物。在一些实施例中，相机86可以是PTZ相机与固定场相机的组合。

图2示出绳铲100，其包括悬缆105、驾驶室120以及斗杆125，悬缆105联接在基底110与吊杆115之间且用于支撑吊杆115。绳铲100还包括可以在基底110内卷绕和展开以升高和降低附件或铲斗135的钢丝绳或起吊缆130，以及连接于另一绞车(未图示)与门145之间的脱扣缆140。绳铲100还包括鞍块150和滑车轮155。绳铲100使用四种主要类型的移动：正向和反向，起吊，推挤，和摆动。正向和反向会使用轨道160向前和向后移动整个绳铲100。起吊会使附件135上下移动。推挤会延伸和缩回附件135。摆动会使绳铲100围绕轴线165枢转。绳铲100的总体移动利用正向和反向、起吊、推挤和摆动中的一个或组合。绳铲100的其它构造不包括例如驾驶室120或如上文所描述的一个或多个其它组件。绳铲100还包括定位在铲100周围处于各个位置处的一个或多个接近传感器185。接近传感器185检测绳铲100附近的对象或障碍物(例如，人、一件设备、另一采掘机、车辆等)，下文将进一步详细描述。例如，采掘机附近是指绳铲100周围在距采掘机的外表面预定距离内的区域、绳铲100周围在距采掘机的中心点或其它选定点预定距离内的区域，或绳铲100周围在接近传感器185的感测范围内的区域。此外，铲100包括定位在铲100周围(或上)处于各个位置处的一个或多个相机186。相机186可以是PTZ相机、固定场相机，或二者的组合，其被配置成捕获采掘机周围的图像或视频流，包括例如铲100附近的对象，下文将进一步详细描述。

图3示意性地示出根据一些实施例用于采掘机302的自动相机控制的系统300。尽管描述本文中所描述的方法和系统时参考了采掘机302(一种工业机器)(例如，图1的炮孔钻机10、图2的绳铲100，或另一采掘机)，但在一些实施例中，本文中所描述的系统和方法用于其它(非采掘)类型的移动工业机器，例如建筑设备(例如起重机)、轮船等。

如图3中所示出，系统300包括与采掘机302相关联的控制器305、一个或多个接近传感器310(在本文中统称为“多个接近传感器310”，个别地称为“接近传感器310”)(例如，钻机10(图1)的接近传感器85或绳铲100(图2)的接近传感器185)、一个或多个相机315(在本文中统称为“多个相机315”，个别地称为“相机315”)(例如，钻机10(图1)的相机86或绳铲100(图2)的相机186)、人机界面(“HMI”)320，以及机器通信接口335。在一些实施例中，系统300包括处于各种配置中的相比于图3中示出的组件更少的、额外的或不同的组件，且可执行除本文中所描述的功能性之外的额外功能性。例如，在一些实施例中，系统300包括多个控制器305、HMI 320、机器通信接口335或其组合。此外，系统300可包括任何数目的接近传感器310和/或相机315，图3中示出的两个接近传感器和两个相机仅出于说明的目的。并且，在一些实施例中，系统300的组件中的一个或多个组件可分布在多个装置之间、组合在单个装置内，或其组合。系统300还包括一个或多个激活装置340(本文中统称为“多个激活装置340”或个别地称为“激活装置340”)。替代地或另外地，例如，在一些实施例中，系统300包括与采掘机302相关联的其它组件(例如一个或多个致动器、马达、泵、指示器等)用以控制起吊、推挤、摆动和正向-反向运动。

在图4A中示出的实例中，控制器305包括电子处理器400(例如，微处理器、专用集成电路，或另一合适的电子装置)、存储器405(例如，一个或多个非暂时性计算机可读存储介质)，和通信接口410。电子处理器400、存储器405和通信接口410经由一个或多个数据连接或总线或其组合通信。图4A中示出的控制器305表示一个实例，且在一些实施例中，控制器305包括在与图4A中示出的配置不同的配置中的更少的、额外的或不同的组件。并且，在一些实施例中，控制器305执行除本文中所描述的功能性之外的功能性。

通信接口410允许控制器305与控制器305外部的装置通信。例如，如图3中所示出，控制器305可经由通信接口410与以下各者通信：多个接近传感器310中的一个或多个、多个相机315中的一个或多个、HMI 320、机器通信接口335、多个激活装置340中的一个或多个、系统300和/或采掘机302的另一组件，或其组合。通信接口410可包括用于接收到外部装置的有线连接(例如，通用串行总线(“USB”)线缆等)的端口、用于建立到外部装置的无线连接(例如，经由比如因特网、LAN、WAN等一个或多个通信网络)的收发器，或其组合。

电子处理器400被配置成访问和执行存储于存储器405中的计算机可读指令(“软件”)。软件可包括固件、一个或多个应用、程序数据、滤波器、规则、一个或多个程序模块和其它可执行指令。例如，软件可包括用于执行包括本文描述的方法的功能的集合的指令和相关联数据。如图4A中所示出，存储器405包括障碍物跟踪应用420，其为此软件的实例。障碍物跟踪应用420是可由电子处理器400执行以对采掘机302附近检测到的障碍物执行障碍物跟踪的软件应用。例如，在一些实施例中，执行障碍物跟踪应用420的电子处理器400检测和跟踪采掘机302附近的障碍物(基于由多个接近传感器310收集的障碍物数据)，且自动多个控制相机315中的一个或多个以例如向检测到的障碍物平移和倾斜(使得障碍物定位在相机315的视场内)。作为控制所述一个或多个相机315的另一实例，执行障碍物跟踪应用420的电子处理器400可执行向检测到的障碍物平移和倾斜与在一个或多个相机315的视频馈送之间切换的组合以如视频馈送上所显示将检测到的障碍物维持在所述一个或多个相机315中的至少一个的视场内。

作为另一实例，在一些实施例中，执行障碍物跟踪应用420的电子处理器400检测和跟踪采掘机302附近的障碍物(基于由多个接近传感器310和/或一个或多个相机315收集的障碍物数据)，且自动控制一个或多个相机315的视频馈送以例如显示检测到的障碍物(使得障碍物定位在一个或多个相机315中的一个相机的视频馈送内)。在一些实施例中，障碍物跟踪应用420可将图像处理应用于一个或多个相机315的视频馈送。例如，图像处理可包括在检测到的障碍物上放大(例如，扩展视频馈送像素以显示检测到的障碍物)以及裁剪视频馈送(例如，裁剪由相机捕获的视频馈送的无关部分)中的至少一个。在一些实施例中，图像处理可由障碍物跟踪应用420使用以确定障碍物存在于一个或多个相机315的视频馈送中。例如，障碍物跟踪应用420可确定障碍物通常不属于所述一个或多个相机315的视场。

多个接近传感器310检测和跟踪采掘机302附近的障碍物。如上所述，障碍物可包括(例如)人、车辆(例如，拖运卡车)、设备、另一采掘机等。如上文还提到，例如，采掘机302附近是指采掘机302周围在距采掘机302的外表面预定距离内的区域、采掘机302周围在距采掘机302的中心点或其它选定点预定距离内的区域，或采掘机302周围在多个接近传感器310的感测范围内的区域。多个接近传感器310可定位于采掘机302上(或安装到采掘机302上的)处于采掘机302周围的各个位置或定位处。替代地或另外地，接近传感器310可定位于采掘机302外部处于采掘机302周围的各个位置或定位处。

接近传感器310可包括例如雷达传感器、激光雷达传感器、红外传感器(例如，无源红外(“PIR”)传感器)、相机等。作为一个实例，在一些实施例中，接近传感器310为相机，且在一些实施例中，所述一个或多个相机315可包括接近传感器310。相机可捕获其视场的视频馈送，且可使用图像处理来处理视频馈送以确定对象(即，障碍物)存在于相机的视场中。作为另一实例，在一些实施例中，接近传感器310为激光雷达传感器。激光雷达传感器发射光脉冲，且基于接收到由对象反射的所发射光脉冲的反射来检测对象。更具体地说，当所发射光脉冲到达对象的表面时，光脉冲朝向激光雷达传感器反射回去，激光雷达传感器感测经反射的光脉冲。基于所发射和所接收的光脉冲，激光雷达传感器(例如，接近传感器310)可确定激光雷达传感器与表面之间的距离(或在不存在经反射的光脉冲的情况下，确定无对象存在)。例如，激光雷达传感器(如接近传感器310)可包括定时器电路以计算光脉冲的飞行时间(从发射到接收)，然后将飞行时间除以光速以确定距表面的距离。在其它实施例中，将所接收光脉冲的波长与参考光脉冲的波长进行比较以确定激光雷达传感器与表面之间的距离。替代地或另外地，在一些实施例中，激光雷达传感器(如接近传感器310)确定激光雷达传感器与表面之间的水平夹角、激光雷达传感器与表面之间的垂直夹角，或其组合。在此些实施例中，激光雷达传感器执行采掘机302周围的区域的扫描(例如，左右以及上下扫描)。作为一个实例，激光雷达传感器可从左上位置开始，且朝向右位置扫描。在尽可能向极右扫描之后，激光雷达传感器降低某一程度(或其它增量)且类似地进行左右扫描。激光雷达传感器可重复此扫描模式，直至例如激光雷达传感器的视场被扫描。视场可覆盖例如采掘机周围的区域、采掘机周围的且大体在激光雷达传感器前方的区域的一部分，或另一区域。

相应地，通过执行扫描，激光雷达传感器可收集用于规划出由激光雷达传感器监视的区域的数据。作为一个实例，检测到的障碍物可以向左25度向上15度的角度(作为三维位置)距激光雷达传感器15英尺。下文将更详细地描述，电子处理器400可将障碍物的位置转变为三维图形，其中采掘机302(或其相机315)的参考点为原点(0,0,0)，而非激光雷达传感器(接近传感器310)的中心点为原点。尽管未图示，在一些实施例中，激光雷达传感器包括用以发射光脉冲的光脉冲生成器、用以检测由激光雷达传感器接收的经反射光脉冲的光传感器、用以控制光脉冲生成器且接收来自光传感器的指示检测到的光脉冲的输出的处理器、用于存储由处理器执行以实施其功能性的软件的存储器，以及用以使处理器能够将传感器数据传送到控制器305的通信接口。

图4B更详细地示出相机315的一个实施例。相机315包括相机处理器450(例如，微处理器、专用集成电路，或另一合适的电子装置)、相机存储器455(例如，一个或多个非暂时性计算机可读存储介质)，以及相机通信接口460。相机315还包括图像传感器465、变焦致动器470、平移致动器475和倾斜致动器480。相机处理器450、相机存储器455、通信接口460、图像传感器465、变焦致动器470、平移致动器475和倾斜致动器480经由一个或多个数据连接或总线或其组合通信。图4B中示出的相机315表示一个实例，且在一些实施例中，相机315包括处于相比于图4A中所示出不同的配置中的更少的、额外的或不同的组件。并且，在一些实施例中，相机315执行除本文中所描述的功能性之外的功能性。

通信接口460允许相机315与相机315外部的包括控制器305在内的装置通信。相机处理器450被配置成访问和执行存储于存储器455中的计算机可读指令(“软件”)。软件可包括固件、一个或多个应用、程序数据、滤波器、规则、一个或多个程序模块和其它可执行指令。例如，软件可包括用于执行包括本文描述的方法的功能的集合的指令和相关联数据。

相机315使用图像传感器465收集相对于采掘机302的某一区域或周围环境的图像数据。更具体地说，透镜组合件485将图像提供到图像传感器465，图像传感器465捕获图像作为图像数据且将图像数据提供到相机处理器450以供存储在相机存储器455中，传输到控制器305，或这两者。例如，图像数据可包括静态图像、视频流等。

如所示出，相机315为平移、倾斜、变焦(PTZ)相机315。相机处理器450被配置成控制变焦致动器470以调整透镜组合件(例如，透镜组合件的一个或多个透镜487的线性位置)从而调整相机315的透镜组合件485的变焦量。在一些实施例中，还控制变焦致动器470来调整透镜组合件485的焦距。例如，变焦致动器470可包括变焦马达，其驱动齿轮组合件以调整透镜组合件485。

相机处理器450还被配置成控制平移致动器475以调整相机315的平移参数。例如，平移致动器475可包括平移马达，其驱动平移组合件490(例如，包括一个或多个齿轮)以使相机315(和透镜组合件485)相对于相机315的支架旋转来向左平移或向右平移，从而调整相机315的视场来进行左移或右移(水平地)。相机处理器450还被配置成控制倾斜致动器480以调整相机315的倾斜参数。例如，倾斜致动器480可包括倾斜马达，其驱动倾斜组合件495(例如，包括一个或多个齿轮)以使相机315(和透镜组合件485)相对于相机315的支架旋转来向上倾斜或向下倾斜，从而调整相机315的视场来进行上移或下移(竖直地)。在一些实施例中，相机处理器450还被配置成与位于相机存储器455中的图像处理单元通信。图像处理单元可包括指令以处理图像数据。

在一些实施例中，相机315从控制器305(例如，电子处理器400)接收一个或多个控制信号。替代地或另外地，在一些实施例中，相机315从系统300的另一组件接收一个或多个控制信号，例如来自采掘机302的操作者的手动控制信号。基于该一个或多个控制信号，相机315可调整平移参数、倾斜参数、变焦参数或其组合，如上文所描述。尽管图4B中的相机315示出为PTZ相机，但在一些实施例中，一个或多个相机315可被配置成调整少于所有三个平移参数、倾斜参数和变焦参数。例如，在一些实施例中，相机315是能够基于控制信号调整平移和倾斜但不能够调整变焦的平移和倾斜相机。在一些实施例中，相机315是维持位置且捕获恒定视场的固定场相机。

相机315可定位于采掘机302上(或安装到采掘机302)处于采掘机302上的各个位置或定位处、定位于采掘机302外部处于采掘机302周围的各个位置或定位处，或其组合。在一些实施例中，每个相机315中与多个传感器310中的一个或多个相关联。作为一个实例，传感器310可安装在采掘机302上的第一位置处，且相机可安装在采掘机302上的第一位置处(或附近)。

如图3中所见，系统300还包括HMI 320。HMI 320可包括一个或多个输入装置、一个或多个输出装置或其组合。在一些实施例中，HMI 320允许用户或操作者与采掘机302交互(例如提供输入到采掘机302以及从采掘机302接收输出)。作为一个实例，操作者可与采掘机302交互以控制或监视采掘机302(经由HMI 320的一个或多个控制机构)。例如，HMI 320可包括键盘、光标控制装置(例如，鼠标)、触摸屏、控制杆、滚动球、控制机构(例如，一个或多个机械旋钮、拨号盘、开关或按钮)、显示装置、打印机、扬声器、麦克风或其组合。如图3中所示出，在一些实施例中，HMI 320包括显示装置350。例如，显示装置350可以是液晶显示器(“LCD”)、发光二极管(“LED”)显示器、有机LED(“OLED”)显示器、电致发光显示器(“ELD”)、表面传导电子发射器显示器(“SED”)、场发射显示器(“FED”)、薄膜晶体管(TFT)LCD等中的一个或多个。显示装置350可位于采掘机302的操作室(例如，钻机10(图1)的驾驶室25或绳铲100(图2)的驾驶室120)内。HMI 320(经由例如显示装置350)可被配置成实时或大体上实时显示与采掘机302相关联的条件或数据。例如，HMI 320被配置成显示采掘机302的测得的电特性、采掘机302的状态、采掘机302的某一区域或周围环境的图像或视频流等。在一些实施例中，HMI 320被配置成显示包括图像数据的视频馈送。HMI 320可一次显示来自多个相机的多个视频馈送，或可在来自多个相机的多个视频馈送之间转换，这取决于哪一相机捕获障碍物。

致动装置340被配置成接收控制信号(例如从控制器305、从经由HMI 320的一个或多个控制机构的操作者，等等)以控制例如采掘机302的起吊、推挤和摆动操作。相应地，激活装置340可包括例如马达、液压缸、泵等。

机器通信接口335允许系统300的一个或多个组件与系统300和/或采掘机302外部的装置通信。例如，系统300的一个或多个组件(例如控制器305)可经由机器通信接口335与位于或定位于采掘机302外部的一个或多个远程装置通信。机器通信接口335可包括用于接收到外部装置的有线连接(例如，USB线缆等)的端口、用于建立到外部装置的无线连接(例如，经由比如因特网、LAN、WAN等一个或多个通信网络)的收发器，或其组合。作为一个实例，控制器305可与作为采掘机302的远程控制系统或监视系统的一部分的远程装置或系统通信(经由机器通信接口335)，使得远程操作者可从远程位置控制或监视采掘机302。

图5是示出根据一些实施例由系统300执行的用于为采掘机302提供自动相机控制的方法500的流程图。方法500被描述为由控制器305执行，且具体来说，如由电子处理器400执行的障碍物跟踪应用420。然而，如上所述，相对于方法500描述的功能性可由另一个装置或另外多个装置(例如，位于采掘机302外部的一个或多个远程装置)执行。

如图5中所示出，方法500包括利用电子处理器400从接近传感器310接收数据(在框505处)。电子处理器400经由控制器305的通信接口410从接近传感器310接收数据。如上所述，从接近传感器310接收的数据与采掘机302周围的区域相关联。采掘机302周围的区域可包括采掘机302的后部周围环境、采掘机302的前部周围环境、采掘机302的一个或多个侧部周围环境、采掘机302的另一周围环境，或其组合。

响应于从接近传感器310接收到数据(在框505处)，电子处理器400确定是否在采掘机302附近检测到一个或多个障碍物(在框510处)。在一些实施例中，电子处理器400基于从接近传感器310接收的数据确定是否在采掘机302附近检测到障碍物。作为一个实例，当接近传感器310为激光雷达传感器时，当数据指示接近传感器310接收了从表面(即，障碍物的表面)往回反射的光脉冲时，电子处理器400可确定在采掘机302附近检测到障碍物。作为另一实例，当接近传感器310为激光雷达传感器时，当数据指示接近传感器310未接收从表面(即，障碍物的表面)往回反射的光脉冲时，电子处理器400可确定未在采掘机302附近检测到障碍物。相应地，在一些实施例中，电子处理器400基于从接近传感器310接收的数据指示接近传感器310是否接收了反射光(或反射)来确定障碍物是否位于采掘机302附近。作为又一实例，当接近传感器310为相机时，当图像数据指示障碍物位于相机的视场内(例如，经由图像处理)时，电子处理器400可确定在采掘机302附近检测到障碍物。

替代地或另外地，在一些实施例中，控制器305(和系统300的一个或多个额外组件)被配置成实施接近检测系统(“PDS”)或障碍物检测系统(“ODS”)，其使用例如多个接近传感器310来检测采掘机302附近的对象。可用于检测采掘机302附近的对象的PDS的实例在2014年7月1日颁发的标题为“用于铲的碰撞检测及缓解系统和方法(COLLISION DETECTIONAND MITIGATION SYSTEMS AND METHODS FOR A SHOVEL)”的第8,768,583号美国专利中描述，该美国专利的整个内容以引用的方式并入本文中。

如图5中所见，当未在采掘机302附近检测到障碍物(框510处为否)时，方法500返回到框505。相应地，在一些实施例中，电子处理器400持续地从接近传感器310接收数据且监视该数据以查找采掘机302附近的障碍物。

当在采掘机302附近检测到障碍物(框510处为是)时，电子处理器400确定障碍物的位置(在框515处)。在一些实施例中，电子处理器400基于从接近传感器310接收的数据确定对象的位置。在一些实施例中，从接近传感器310接收的数据包括障碍物和接近传感器310之间的距离、障碍物和接近传感器310之间的水平夹角、障碍物和接近传感器310之间的垂直夹角，或其组合。例如，图6示出采掘机302附近的障碍物600。在所示出的实例中，接近传感器310检测到障碍物600以向接近传感器310的左侧36.8度的角度(作为水平夹角)和等于接近传感器310高度的高度(作为垂直夹角)距接近传感器310 5米(m)(作为所述距离)。在一些实施例中，接近传感器310将水平夹角、垂直夹角或其组合转换为笛卡尔坐标(x,y,z)，以接近传感器310为原点(0,0,0)。相应地，如图6中所见，相对于接近传感器310的原点，描述障碍物600的水平夹角和垂直夹角的笛卡尔坐标为(-4,-3,0)。

在一些实施例中，电子处理器400访问采掘机302的坐标仪地图(例如，三维笛卡尔图形)。坐标仪地图可存储于存储器405中，其中坐标仪地图的原点可选择为例如采掘机302内的中心点，如图6中所见。在一些实施例中，每个接近传感器310、每个相机315或其组合中的每一个可限定或表示为坐标仪地图上的坐标(例如，三维坐标或二维坐标)。基于每个接近传感器310、每个相机315或其组合中的每一个的坐标，电子处理器400可确定每个接近传感器310、每个相机315或其组合中的每一个的位置。遵循图6中示出的实例，电子处理器400可确定接近传感器310的位置为从采掘机302的原点(0,0,0)向左两米向下三米。换句话说，接近传感器310的位置可由(-2,-3,0)表示或限定。通过知晓接近传感器310的位置，电子处理器400可确定障碍物600相对于采掘机302的原点的位置。遵循图6中示出的实例，电子处理器400可通过将接近传感器310的偏移添加到相对于接近传感器310的原点的所确定的对象位置来确定相对于采掘机302的原点的障碍物600的位置。相应地，电子处理器400可确定障碍物600(相对于采掘机302的原点)的位置，该位置由(-6,-6,0)表示或限定。尽管在图6中示出的实例中，障碍物600的高度、接近传感器310的高度和采掘机302的原点的高度(即，z轴上的值)经推测为相等的，但作出此推测是为了简化论述。在一些实施例中，这些元件中的一个或多个的高度不同于其它元件中的一个或多个。

在基于从传感器310接收的数据确定障碍物的位置(在框515处)之后，电子处理器400基于障碍物的位置确定至少一个相机参数(在框520处)。确定至少一个相机参数使得障碍物定位在相机315的视场内。在一些实施例中，相机参数包括平移参数、倾斜参数、变焦参数、另一相机参数或其组合。

例如，平移参数可以是指示相机315的旋转角度的值，其介于0-360度、0-180度、0-90度或另一范围之间。电子处理器400可控制平移致动器475来调整平移组合件490以实现相机315期望的旋转角度，从而致使相机315的视场向左或向右移位以使相机315指向障碍物。平移致动器475的控制可以是开环控制，或在一些实施例中，提供用于平移致动器475的位置传感器来实现闭环控制。例如，倾斜参数可以是指示相机315的倾斜角的值，其介于0-360度、0-180度、0-90度或另一范围之间。电子处理器400可控制倾斜致动器480来调整倾斜组合件495以实现相机315的期望的倾斜角，从而致使相机315的视场向上或向下移位以使相机315指向障碍物。倾斜致动器480的控制可以是开环控制，或在一些实施例中，提供用于平移致动器480的位置传感器来实现闭环控制。例如，变焦参数可以是指示相机315的变焦量的值，其介于最小(无)变焦到最大变焦之间。电子处理器400可控制变焦致动器470来调整透镜组合件485以实现相机315的期望的变焦量，从而致使相机315的视场缩小放大以使相机315指向障碍物。变焦致动器470的控制可以是开环控制，或在一些实施例中，提供用于变焦致动器470的位置传感器来实现闭环控制。另一相机参数可包括电子处理器400，电子处理器400指示相机315捕获要在视频馈送上显示的图像数据。

返回到图6的实例，电子处理器400可作为方法框520的结果确定平移参数为210度，其中y轴平行于0度方向，且相机315初始地具有270度的平移参数。在一些实施例中，平移参数为相对值(例如，在图6的实例中为-60度)，而不是相对于固定参考点的绝对值。为了计算平移参数，电子处理器400使用相机的已知位置和障碍物的已知位置(例如，在共同坐标仪地图上)，并使用几何原理计算相对于y轴的两个位置之间的夹角，从而产生朝向障碍物导引相机315及其透镜组合件485的旋转角度。倾斜参数可由电子处理器400使用类似的技术计算，除了在竖直平面(而非在水平平面)中。变焦参数可被计算为到障碍物600的距离、障碍物600的大小或其组合的函数。例如，距离越远且障碍物600越小，则相机315可放大越多。例如，障碍物的距离和大小与变焦参数之间的特定关系可在存储于存储器405的存储器中的查找表或等式中限定。

电子处理器400接着使用至少一个相机参数控制相机315(在框525处)。电子处理器400可通过生成一个或多个控制信号且将该控制信号传输到相机315来控制相机315。响应于接收到控制信号，相机315可基于控制信号设定平移参数、倾斜参数、变焦参数、另一相机参数或其组合。在一些实施例中，电子处理器400使用至少一个相机参数自动控制(即，无操作者的手动干预)相机315。例如，参看图6，相机315向左平移到第二位置610，第二位置610具有相对于y轴大致210度的平移角度。在第二位置610中，障碍物600位于相机315的视场内。作为另一实例，在一些实施例中，电子处理器400可通过从一个或多个相机315的第一相机切换到第二相机来控制一个或多个相机315，且指示第二相机捕获视频馈送的图像数据。

相应地，通过使用至少一个相机参数控制相机315，障碍物被定位在相机315的视场内。当障碍物位于相机315的视场内时，相机315收集或捕获图像数据(或视频馈送)。由相机315收集的图像数据可提供或显示给例如采掘机302的操作者。在一些实施例中，相机315将图像数据传输到HMI 320以供显示给采掘机302的驾驶室内的操作者(例如，经由HMI 320的显示装置350)。替代地或另外地，在一些实施例中，相机315将图像数据传输到作为采掘机302的远程控制系统或监视系统的一部分的远程装置或系统(经由机器通信接口335)，使得远程操作者可从远程位置控制或监视采掘机302。

在一些实施例中，电子处理器400持续地监视或跟踪检测到的障碍物的位置或定位(基于从多个接近传感器310中的一个或多个接收的数据)。相应地，在此些实施例中，电子处理器400持续地(例如，在一段时间内重复地)从多个接近传感器310中的一个或多个接收数据。响应于检测到位置或定位的改变(基于从多个接近传感器310中的一个或多个接收的新的数据或更新的数据)，电子处理器400可重复框515-525。作为一个实例，当电子处理器400确定检测到的障碍物对象改变了位置(因为障碍物和/或采掘机302的移动)时，电子处理器400可基于从接近传感器310接收的新数据确定障碍物的更新的位置或新的位置(例如，第二位置)(如上文相对于框515类似地描述)。在确定障碍物的更新的位置或新的位置之后，电子处理器400基于障碍物的更新的位置或新的位置确定更新的相机参数或新的相机参数(例如，第二至少一个相机参数)(如上文相对于框520类似地描述)。电子处理器400可接着使用更新的相机参数或新的相机参数自动控制相机315(如上文相对于框525类似地描述)。

替代地或另外地，在一些实施例中，电子处理器400可检测采掘机302附近的一个以上障碍物。在此些实施例中，电子处理器400可确定采掘机302附近检测到的障碍物中的每一个障碍物的位置。作为一个实例，电子处理器400可确定第一障碍物的第一位置和第二障碍物的第二位置。在确定每个障碍物的位置(如上文相对于框515类似地描述)之后，电子处理器400可确定针对每个障碍物中的优先级。优先级可表示风险等级。作为一个实例，高优先级可对应于高碰撞风险。相应地，在一些实施例中，电子处理器400基于每个障碍物和采掘机302之间的距离确定针对每个障碍物的优先级。例如，在此些实施例中，电子处理器400可确定最接近采掘机302的障碍物具有最高优先级。电子处理器400可接着相对于具有最高优先级的对象继续方法500(例如框520-525)。图7示出具有第一障碍物700A和第二障碍物700B的采掘机302的俯视图，第一障碍物700A和第二障碍物700B在采掘机302附近。如图7中所示，第一障碍物700A和接近传感器310之间的距离(第一距离)由“d1”表示，且第二障碍物700B和接近传感器310之间的距离(第二距离)由“d2”表示。根据图7中示出的实例，电子处理器400可确定第二障碍物700B为较高优先级，因为第二障碍物700B比第一障碍物700B更接近采掘机302(例如，d2小于d1)。相应地，电子处理器400可接着基于第二障碍物700B的位置确定一个或多个相机参数，且使用该至少一个相机参数控制相机315以使相机315的视场指向第二障碍物700B。

在一些实施例中，采掘机302包括多个相机315，每个相机与采掘机302附近的不同周围区域相关联，且每个相机与HMI 320的显示装置350的分离的显示监视器相关联。在这些实施例中，可针对每个相机-显示器对执行方法500，使得可控制每个相机315以捕获采掘机302附近检测到的单独的障碍物的图像并显示该单独的障碍物。例如，电子处理器400可利用第一接近传感器310检测第一障碍物的第一位置，且利用第二接近传感器310检测第二障碍物的第二位置。电子处理器400可接着控制第一相机315的一个或多个相机参数以使第一相机315的视场指向第一障碍物，且控制第二相机315的一个或多个相机参数以使第二相机315的视场指向第二障碍物。接着，来自第一相机315的图像数据可显示于显示装置350的第一显示监视器上，且来自第二相机315的图像数据可显示于显示装置350的第二显示监视器上。替代地或另外地，显示装置350包括单个显示监视器。在这些实施例中，显示装置350可在显示监视器上显示选定相机馈送、拆分图像(例如，展示两个或两个以上相机馈送，每个馈送位于拆分图像的相应区段中)等等。此外，在一些实施例中，显示装置350基于优先级设定、基于哪一相机馈送包括检测到的障碍物、基于哪一相机馈送接近检测到的障碍物等等，自动改变正显示的相机馈送。

在一些实施例中，相机馈送包括覆盖在相机馈送上的视觉表示。作为一个实例，可例如通过采掘机302的舱室阻挡相机的视场使其不包括检测到的障碍物。当相机的视场被阻挡时，电子处理器400可生成检测到的障碍物的视觉表示，且将视觉表示覆盖在相机馈送上，使得该视觉表示表示检测到的障碍物(例如，在大小、位置等方面)。在一些实施例中，视觉表示可以是简单的图标或可以是表示检测到的障碍物的轮廓或边界的显示框(例如，检测到的障碍物将处于的区域周围的显示框)。

相应地，本文中所描述的实施例提供用于检测采掘机附近的对象并为对象跟踪提供自动相机控制的系统和方法。

Claims (32)

1.一种用于检测采掘机附近的障碍物并提供自动相机控制的系统，其特征在于，所述系统包括：

至少一个接近传感器，所述至少一个接近传感器与所述采掘机相关联；

相机，所述相机与所述采掘机相关联；以及

电子处理器，所述电子处理器以通信方式联接到所述至少一个接近传感器和所述相机，所述电子处理器被配置成

从所述至少一个接近传感器接收数据，

基于所述数据确定至少一个障碍物的位置，

基于所述至少一个障碍物的位置确定至少一个相机参数，以及

使用所述至少一个相机参数控制所述相机以将所述至少一个障碍物维持在所述相机的视场内。

2.根据权利要求1所述的系统，其特征在于，所述至少一个接近传感器和所述相机被配置成安装到所述采掘机的外部。

3.根据权利要求1所述的系统，其特征在于，所述至少一个接近传感器包括选自由以下组成的群组的至少一个：激光雷达传感器、雷达传感器和第二相机。

4.根据权利要求3所述的系统，其特征在于，所述相机可以是平移、倾斜相机或固定视场相机，且其中所述第二相机可以是平移、倾斜相机或固定视场相机。

5.根据权利要求1所述的系统，其特征在于，所述电子处理器被配置成检测所述至少一个障碍物的位置的改变。

6.根据权利要求5所述的系统，其特征在于，响应于检测到所述至少一个障碍物的位置的所述改变，所述电子处理器被配置成

确定所述至少一个障碍物的更新的位置，

基于所述更新的位置确定至少一个更新的相机参数，且

使用所述至少一个更新的相机参数控制所述相机，其中所述至少一个更新的相机参数将所述至少一个障碍物维持在所述相机的视场内。

7.根据权利要求1所述的系统，其特征在于，还包括显示装置，所述显示装置与所述采掘机相关联，且

其中所述电子处理器还被配置成在所述显示装置上显示来自所述相机的视频馈送。

8.根据权利要求7所述的系统，其特征在于，使用所述至少一个相机参数控制所述相机包括控制选自由以下组成的群组的至少一个：平移参数、倾斜参数、变焦参数和裁剪参数。

9.根据权利要求7所述的系统，其特征在于，使用所述至少一个相机参数控制所述相机包括以机械方式控制所述相机和以电子方式处理所述相机图像中的至少一个，以调整所述相机的视频馈送。

10.根据权利要求1所述的系统，其特征在于，

为了确定所述至少一个障碍物的位置，所述电子处理器被配置成确定第一障碍物的第一位置，以及确定第二障碍物的第二位置，

其中所述电子处理器还被配置成通过比较所述第一位置和所述第二位置来确定所述第一障碍物还是所述第二障碍物最接近所述采掘机，

为了基于所述至少一个障碍物的位置确定所述至少一个相机参数，所述电子处理器被配置成

确定所述第一障碍物最接近所述采掘机，以及

响应于确定所述第一障碍物最接近所述采掘机而基于所述第一障碍物的第一位置确定所述至少一个相机参数。

11.根据权利要求1所述的系统，其特征在于，所述电子处理器被配置成：

随着所述障碍物相对于所述采掘机移动而持续地确定所述至少一个障碍物的位置，

基于持续地确定的所述位置而持续地确定一个或多个更新的相机参数，以及基于所述至少一个障碍物的位置使用所述一个或多个更新的相机参数持续地控制所述相机。

12.根据权利要求11所述的系统，其特征在于，所述一个或多个更新的相机参数将所述至少一个障碍物维持在所述相机的视场内。

13.一种用于检测采掘机附近的障碍物并提供自动相机控制的方法，其特征在于，所述方法包括：

利用电子处理器从接近传感器接收数据；

利用所述电子处理器基于从所述接近传感器接收的数据确定所述至少一个障碍物的位置；

利用所述电子处理器基于所述至少一个障碍物的位置确定至少一个相机参数；以及

利用所述电子处理器使用所述至少一个相机参数控制与所述采掘机相关联的相机以将所述至少一个障碍物维持在所述相机的视场内。

14.根据权利要求13所述的方法，其特征在于，从接近传感器接收数据包括从选自由以下组成的群组的至少一个接收数据：激光雷达传感器、雷达传感器和第二相机。

15.根据权利要求14所述的方法，其特征在于，所述相机可以是平移、倾斜相机或固定视场相机，且其中所述第二相机可以是平移、倾斜相机或固定视场相机。

16.根据权利要求13所述的方法，其特征在于，从所述接近传感器接收所述数据包括接收选自由以下组成的群组的至少一个：所述至少一个障碍物和所述接近传感器之间的距离、所述至少一个障碍物和所述接近传感器之间的水平角度，以及所述至少一个障碍物和所述接近传感器之间的垂直角度。

17.根据权利要求13所述的方法，其特征在于，所述方法还包括：

响应于检测到所述至少一个障碍物的位置的改变

确定所述至少一个障碍物的更新的位置，

基于所述更新的位置确定至少一个更新的相机参数，以及

使用所述至少一个更新的相机参数控制所述相机。

18.根据权利要求17所述的方法，其特征在于，确定所述至少一个更新的相机参数包括确定将所述至少一个障碍物维持在所述相机的视场内的相机参数的更新的集合。

19.根据权利要求13所述的方法，其特征在于，确定所述至少一个更新的相机参数包括确定选自由以下组成的群组的至少一个：平移参数、倾斜参数、变焦参数和裁剪参数。

20.根据权利要求13所述的方法，其特征在于，所述方法还包括使得能够在与所述采掘机相关联的视频监视器上显示来自所述相机的视频馈送。

21.根据权利要求20所述的方法，其特征在于，使用所述至少一个相机参数控制所述相机包括以机械方式控制所述相机和以电子方式处理所述相机图像中的至少一个，以调整所述相机的视频馈送。

22.根据权利要求13所述的方法，其特征在于，所述方法还包括：

随着所述障碍物相对于所述采掘机移动而持续地确定所述至少一个障碍物的位置；

基于持续地确定的所述位置持续地确定一个或多个更新的相机参数；以及

基于所述至少一个障碍物的位置使用所述一个或多个更新的相机参数持续地控制所述相机。

23.根据权利要求22所述的方法，其特征在于，使用所述一个或多个更新的相机参数持续地控制所述相机将所述至少一个障碍物维持在所述相机的视场内。

24.根据权利要求13所述的方法，其特征在于，

确定所述至少一个障碍物的位置包括

确定第一障碍物的第一位置，

确定第二障碍物的第二位置，

通过比较所述第一位置和所述第二位置确定所述第一障碍物还是所述第二障碍物最接近所述采掘机，以及

其中基于所述至少一个障碍物的位置确定所述至少一个相机参数包括

确定所述第一障碍物最接近所述采掘机，以及

响应于确定所述第一障碍物最接近所述采掘机而基于所述第一障碍物的第一位置确定所述至少一个相机参数。

25.一种用于检测采掘机附近的障碍物并提供自动相机控制的系统，其特征在于，所述系统包括：

至少一个相机，所述至少一个相机与所述采掘机相关联，所述相机被配置成感测位于所述采掘机附近的障碍物；以及

电子处理器，所述电子处理器以通信方式联接到所述至少一个相机，所述电子处理器被配置成

从所述至少一个相机接收数据，

基于所述数据确定至少一个障碍物的位置，

基于所述至少一个障碍物的位置确定至少一个相机参数，以及

使用所述至少一个相机参数控制所述至少一个相机以将所述至少一个障碍物维持在所述相机的视场内。

26.根据权利要求25所述的系统，其特征在于，所述系统还包括显示装置，所述显示装置与所述采掘机相关联，且

其中所述电子处理器还被配置成在所述显示装置上显示来自所述至少一个相机的视频馈送。

27.根据权利要求26所述的系统，其特征在于，所述至少一个相机包括被配置成感测位于所述采掘机附近的障碍物的第一相机，和被配置成在所述显示装置上显示视频馈送的第二相机。

28.根据权利要求27所述的系统，其特征在于，所述第一相机可以是平移、倾斜相机或固定视场相机，且其中所述第二相机可以是平移、倾斜相机或固定视场相机。

29.根据权利要求25所述的系统，其特征在于，使用所述至少一个相机参数控制所述至少一个相机包括控制选自由以下组成的群组的至少一个：平移参数、倾斜参数、变焦参数和裁剪参数。

30.根据权利要求25所述的系统，其特征在于，控制所述至少一个相机包括以机械方式控制所述至少一个相机和以电子方式处理所述相机图像中的至少一个，以调整所述至少一个相机的视频馈送。

31.一种用于检测采掘机附近的障碍物并提供自动相机控制的系统，其特征在于，所述系统包括：

至少一个接近传感器，所述至少一个接近传感器与所述采掘机相关联；

第一相机和第二相机，所述第一相机和所述第二相机与所述采掘机相关联；以及

电子处理器，所述电子处理器以通信方式联接到所述至少一个接近传感器、所述第一相机和所述第二相机，所述电子处理器被配置成

从所述至少一个接近传感器接收数据，

基于所述数据确定至少一个障碍物的位置，

确定所述至少一个障碍物的位置位于所述第一相机的视场中，以及

响应于确定所述至少一个障碍物的位置位于所述第一相机的所述视场中，在与所述采掘机相关联的显示装置上提供来自所述第一相机的视频馈送。

32.根据权利要求31所述的系统，其特征在于，所述电子处理器还被配置成：

确定所述至少一个障碍物的位置位于所述第二相机的视场中，以及

将所述视频馈送从所述第一相机切换到所述第二相机。