CN110805093B - 利用视觉传感器进行反馈回路控制的容器角度感测 - Google Patents

Abstract

一种移动式作业机械包括车架和地面接合元件，地面接合元件由车架可移动地支撑并由发动机驱动以驱动移动式作业机械的运动。移动式作业机械还包括容器和致动器，容器由车架可移动地支撑，致动器被配置为可控制地驱动容器相对于车架的运动。作业机械还包括控制系统和图像传感器，该控制系统被配置为产生指示致动器的被命令运动的致动器控制信号并将致动器控制信号提供给致动器以控制致动器执行被命令运动，图像传感器联接到移动式作业机械并被配置为捕获容器的图像。作业机械还包括角度确定系统，其通信地耦合到控制系统并被配置为基于容器的图像确定容器相对于图像传感器的角度。

Description

利用视觉传感器进行反馈回路控制的容器角度感测

技术领域

本公开总体上涉及用于泥土移动操作的装置。更具体地，但不作为限制，本公开涉及估计作业车辆的容器的角度。

背景技术

操作诸如挖掘机或铲土车的作业车辆是高度个人化的技能。效率(例如，作业车辆在一段时间内或每单位燃料消耗内移动的泥土量等)是测量该技能的至少一部分的一种方式。效率也是衡量特定机械性能的一种方法。然而，准确地测量效率并且不在移动泥土的过程中插入额外的步骤是困难的。例如，为了称重挖掘机的铲斗的内容物，需要以预定的方式定位或移动铲斗，从而可以准确地感测重量。这会插入可能导致整体泥土移动过程效率降低的其他步骤。此外，用于在没有与铲斗物理接触的情况下确定铲斗中的内容物的量的系统可能无法准确地估计内容物的体积。

以上讨论仅仅是为了一般背景信息而提供的，并不旨在用于帮助确定所要求保护的主题的范围。

发明内容

一种移动式作业机械包括车架和地面接合元件，地面接合元件由车架可移动地支撑并由发动机驱动以驱动移动式作业机械的运动。移动式作业机械还包括容器和致动器，容器由车架可移动地支撑，致动器被配置为可控制地驱动容器相对于车架的运动。作业机械还包括控制系统和图像传感器，该控制系统被配置为产生指示致动器的被命令运动的致动器控制信号并将致动器控制信号提供给致动器以控制致动器执行被命令运动，图像传感器联接到移动式作业机械并被配置为捕获容器的图像。作业机械还包括角度确定系统，其通信地耦合到控制系统并被配置为基于容器的图像确定容器相对于图像传感器的角度。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的实施方式。

附图说明

图1是作业车辆的透视图，该作业车辆是具有根据本公开的一个示例的体积估计系统的挖掘机。

图2是根据本公开的一个示例的图1的立体摄像机的透视图。

图3是根据本公开的一个示例的体积估计系统的框图。

图4是根据本公开的一个示例的体积估计系统的功能框图。

图5是根据本公开的一个示例的用于处理立体图像以用于测量铲斗中的物料的体积的过程流程图。

图6是根据本公开的一个示例的用于计算作业车辆的容器中的物料的体积的过程的流程图。

图7是根据本公开的一个示例的体积估计系统的硬件架构的框图。

图8是根据本公开的一些示例的用于经由3D传感器系统确定容器中的物料的体积的软件逻辑电路图。

图9描绘了根据本公开的一些示例的对从立体摄像机获得的摄像机图像进行处理而得到的铲斗中的物料点云的示例。

图10描绘了根据本公开的一些示例的显示装置上的用户界面的示例。

图11是根据本公开的一些示例的可旋转通过不同区域的容器的示例的侧视图。

图12是根据本公开的一些示例的3D传感器的捕获领域内的容器的示例的侧视图。

图13是根据本公开的一些示例的容器的示例的侧视图。

图14是根据本公开的一些示例的具有一勺物料的容器的示例的侧视图。

图15是根据本公开的一些示例的以第一角度定位的容器的示例的俯视图。

图16是根据本公开的一些示例的以第二角度定位的容器的示例的俯视图。

图17是根据本公开的一些示例的以第三角度定位的容器的示例的俯视图。

图18包括根据本公开的一些示例的容器的点云的示例的等轴测视图和X/Y平面视图。

图19是根据本公开的一些示例的铲土车的示例的透视图。

图20是根据本公开的一些示例的铲土车的容器的示例的透视图。

图21是示出角度确定系统的一个示例的框图。

图22A-22B(这里统称为图22)是示出控制作业机械的方法的一个示例的流程图。

图23示出了来自3D传感器的视点的一个示例。

图24是具有面积轴和角度轴的绘制数据的图表。

图25A示出了来自3D传感器的参考图像的视点的一个示例。

图25B示出了来自3D传感器的捕获图像的视点的一个示例。

图26是示出参考生成器逻辑电路的操作的一个示例的流程图。

图27是可以在先前附图中示出的特征中使用的计算环境的一个示例的框图。

具体实施方式

本公开的某些方面和特征涉及使用非接触式测量系统估计作业车辆(例如挖掘机、前式装载机、铲土车、地下采矿装置或其他类型机械)的容器中的物料(例如泥土)的体积。该系统可以包括3D传感器(例如立体摄像机(可以称为立体式摄像机)或激光扫描仪)以及角度传感器或角度确定系统。3D传感器可以捕获容器的内容物的图像。可以使用从角度传感器测量的角度或从角度确定系统接收的角度将图像转换为3D点云。可以将3D点云与表示容器和不同体积的内容物的已知点云、数学模型或CAD模型进行比较，以确定容器中的内容物的体积。附加地或替代地，来自角度传感器或角度确定系统的角度数据可以用于摄像机和容器对准。

可以监视由作业车辆或一组作业车辆在作业现场移动的物料的生产率。视觉传感器(例如3D传感器或激光传感器)可用于提高体积估计的准确性和易用性。与其他体积估计解决方案(例如位置传感器和重量传感器)相比，可以降低成本和不便。此外，通过利用角度确定系统，可以降低具有附加角度传感器的成本和不便。这是因为角度确定系统可以利用在体积估计系统中使用的相同视觉传感器来确定容器的角度，而替代角度传感器。替代地，角度确定系统可以与角度传感器一起工作，以确定角度传感器是否发生故障和/或是否需要更换。

在一个示例中，体积估计系统包括安装到挖掘机的臂的立体摄像机，该挖掘机具有位于立体摄像机的视野内的铲斗。另一传感器，例如汽缸位置传感器或惯性测量单元(IMU)传感器，可用于确定铲斗相对于臂的角度。系统可以创建铲斗的模型并理解铲斗相对于臂的旋转方式。立体摄像机可用于创建在立体摄像机的视野中的物体的3D点云。系统可以确定哪个表面位于铲斗上方(该表面可能是土壤)。可以将土壤表面与铲斗的模型及其旋转角度进行比较，以确定铲斗中的物料量，并且基本上与铲斗移动土壤同时产生体积估计测量值。其他逻辑电路可以确定是否存在彼此独立的多勺物料，并且在挖掘循环期间，系统可以尝试使用尽可能多的相关测量以尽可能地产生每勺物料的最准确的体积测量值。数据以及其他指标可以显示给挖掘机操作员或流式传输到云服务，例如JDLink^TM，供业主或经理查看。

可以使用各种过程估计物料的体积。一个过程可以包括使用不接触容器或容器中的物料的传感器测量3D点，该3D点表示由作业车辆的容器承载的物料的表面。在一些示例中，当非接触式传感器无法观察物料时，通过测量物料的休止角可以推断物料的表面。3D点还可以包括载体内的其他表面和位于传感器视野内的周围环境。可以测量容器相对于传感器的位置和取向。可以确定与容器承载的物料相对应的3D点，并且可以确定与容器本身相对应的3D点。可以过滤掉与容器本身或容器承载的物料不对应的3D点。例如，可以过滤掉表示灰尘或其他空中模糊物的3D点。可以使用与载体承载的物料相对应的3D点，使用(i)载体相对于传感器的取向或位置和(ii)载体的3D形状，来计算物料的体积。例如，可以将体积计算为与表示已知体积的参考表面的差值。

根据一些示例的系统可以包括附加特征。例如，视觉跟踪可用于识别作业车辆的摆动状态和其他运动。可以确定和比较容器内的物料的表面和环境中的周围物料表面。也可以使用来自作业车辆上的传感器的其他传感器输入，例如位置、速度和压力。

传感器可以是安装在挖掘机的斗杆、悬臂或底盘上的立体摄像机。立体摄像机可以立体地捕捉3D点。在其他示例中，传感器可以是不同类型的传感器(例如，安装在作业车辆上的固定、扫描或闪光激光器)，其可以使用飞行时间原理来捕获3D点。

系统可以使用外观(例如来自颜色数据)和3D点的位置在容器承载的物料和其他物料或物体之间进行区分。过滤掉非容器和非承载物料可以使用视野的深度图像和立体摄像机捕获的图像的外观。可以对容器形状的几何形状进行建模。对载体的形状进行建模的一个过程包括例如通过校准过程通过传感器测量3D点，该3D点当容器为空(即，该容器中没有物料)时与该容器相对应。过滤3D点以确定容器的边界。通过处理所测量的3D点来生成容器的数学表示。生成与容器的各种几何部件相对应的3D点的片段。片段的示例包括用于作为铲斗的容器的背板、侧板、内表面和齿。还可以使用容器的3D CAD绘图生成模型。可以通过相应几何部件的外观和相对于传感器的相对位置和取向来确定容器的每个几何部件。容器形状的几何形状可以利用车载存储装置或车外存储装置来进行建模。

在一些示例中，可以在容器移动时定义和更新与容器的顶部表面相对应的平面(例如，照射平面(strike plane))。在容器移动时，可以定义该平面中的表示容器周界的封闭边界和更新该封闭边界。可以计算闭合边界内的体积，该封闭边界在该平面上和在所测量的3D点上。可以由操作员使用容器的一个或多个图像来定义该平面上的闭合边界。可以定义平面网格，该平面网格包括多个单元，该多个单元在该平面上的闭合边界内且具有已知表面面积。可以将3D点投影到网格上以提高计算效率。可以测量与容器中的物料相对应的3D点和与机具的内表面的数学模型相对应的3D点之间的距离。落在容器的定义边界内的距离可以相加。距离的总和可以乘以网格上每个单元所表示的面积。

可以进一步提高容器中承载的物料的体积测量的准确度和稳定性。例如，可以计算多个连续测量的一致性。可以计算体积估计的移动平均值。滤波器可应用于瞬时体积测量。当立体摄像机看不见容器时，可以使用由编码器测量的旋转角度来更新容器的模型，该旋转角度与来自立体摄像机的测量值组合。

在一些示例中，可以通过记录在整个操作中移动的物料的总体积并且生成测量的物料体积的直方图来测量作业车辆的操作性能。另外或替代地，体积估计度量值和可视值可以显示为如下项目的一个或多个：(i)容器、物料和周围环境的3D点云，(ii)来自立体摄像机的图像，或(iii)度量值，诸如体积估计值、方差、总量、容器位置、容器速度等。

给出这些说明性示例以向读者介绍这里讨论的一般主题，并且不旨在限制所公开概念的范围。以下部分参考附图描述了各种附加特征和示例，其中相同的数字表示相同的元件，并且方向描述用于描述说明性示例，但是，与说明性示例一样，不应该用于限制本公开。

图1是作业车辆的透视图，该作业车辆是具有根据本公开的一个示例的体积估计系统的挖掘机100。挖掘机100包括驾驶室102、悬臂104、斗杆106、液压缸108、铲斗110或其他类型的容器和其他部件。铲斗110可用于将泥土或其他物品从一个位置移动到另一个位置，并且可由液压缸108旋转地控制并由悬臂104和斗杆106进行位置控制。驾驶室102可容纳操作员并包括用于控制挖掘机100的其他部件的控制装置。

体积估计系统可以包括3D传感器(例如立体摄像机112)、计算装置(未示出)和角度传感器114。立体摄像机112定位在图1中的斗杆106上，但是在其他示例中，立体摄像机112可以定位在挖掘机100的其他部件上，例如悬臂104。立体摄像机112可以定位在斗杆106上方一定距离处，以获得立体摄像机112的期望视野。摄像机定位在斗杆106的上方越高，其视野将越宽。角度传感器114可以定位在液压缸108上或附近。如下所述，角度确定系统2100可以与角度传感器114一起使用或代替角度传感器114。

立体摄像机112可以捕获铲斗110的图像，以用于连续监测铲斗110中的物料体积。图像可以与来自角度传感器114或角度确定系统的信息以及关于铲斗110的尺寸的知识一起使用以在任何特定时间确定铲斗中的内容物的体积。例如，计算装置(未示出)可以定位在挖掘机100内的任何合适位置，例如在驾驶室102内，或远离挖掘机100。当诸如泥土的内容物从一个位置移动到另一个位置时，计算装置可以接收来自立体摄像机112和角度传感器114或角度确定系统的信号，并且确定铲斗110的内容物的体积。信号可包括铲斗110的多个图像和与图像相关联的一个或多个角度。计算装置可以使用由信号表示的数据来确定铲斗中的内容物的体积。内容物的体积可用于监测或测量挖掘机100本身或挖掘机100的操作员的效率。在一些示例中，显示装置安装在驾驶室102中或远程位置以显示关于铲斗110中的内容物的体积的数据。

图2是来自图1的立体摄像机112的一个示例的透视图。立体摄像机112包括两个透镜202，这两个透镜202是彼此间隔开并且相对于彼此具有已知空间关系的分开的图像传感器。该布置可以模拟双目视觉以捕获3D图像。透镜202安装在壳体204中，壳体204可包括一个或多个安装装置(例如，孔、夹子或夹具)，以用于将立体摄像机112安装到图1的挖掘机上。壳体204可包括位于透镜202的前面的孔，使得壳体204不会阻挡透镜202的视野。

立体摄像机112可以安装在图1中的铲斗110上方并且面向铲斗110定向。这可以允许立体摄像机112检测铲斗110中的物料以及立体摄像机112的视野内的其他物体。立体摄像机112可以将表示立体摄像机112的视野的捕获图像的信号发送到计算装置。

图3是体积估计系统300的一个示例的框图。体积估计系统300包括立体摄像机302和铲斗角度传感器304。在其他示例中，作为立体摄像机302的补充或替代，体积估计系统300还包括任何其他类型的3D传感器，例如3D激光扫描仪、超声换能器、距离传感器、结构光摄像机、3D摄像机或闪光激光雷达。铲斗角度传感器304可以是任何类型传感器，其可以提供作业车辆的铲斗相对于立体摄像机302的参考位置。铲斗角度传感器304的示例是惯性测量单元(IMU)或电位计。替代地，可以间接地测量该角度，例如通过液压缸载式传感器。也就是说，传感器可以测量液压缸位置以确定铲斗的角度，而不是直接测量铲斗的角度。代替铲斗角度传感器304或与铲斗角度传感器304结合，可以通过角度确定系统(例如下面参照图21-26描述的系统2100)基于来自立体摄像机302的图像来测量和计算角度。为了本说明书，将假设铲斗角度传感器304可以是这些传感器中的任何一个或这些传感器的任何组合。

体积估计系统300中还包括处理器装置306和存储器装置307，其可以从立体摄像机302和铲斗角度传感器304或角度确定系统中的每一个接收数据。处理器装置306可以执行存储在存储器装置307中的一个或多个操作，以用于在给定时间点确定铲斗或其他容器的角度并且用于估计铲斗中的物料的体积。处理器装置306可以包括一个处理器装置或多个处理器装置。处理器装置306的非限制性示例包括现场可编程门阵列(“FPGA”)，程序专用集成电路(“ASIC”)，微处理器等。

处理器装置306可以经由总线通信地耦合到存储器装置307。非易失性存储器装置307可以包括在断电时保留存储的信息的任何类型的存储器装置。存储器装置307的非限制性示例包括电可擦除和可编程只读存储器(“EEPROM”)，闪存或任何其他类型的非易失性存储器。在一些示例中，存储器装置307的至少一部分可以包括处理器装置306可以从其读取指令的介质。存储器装置307可以包括任何类型的非暂时性计算机可读介质，诸如能够向处理器装置306提供计算机可读指令或其他程序代码的电子存储装置、光学存储装置、磁性存储装置或其他存储装置。计算机可读介质的非限制性示例包括(但不限于)磁盘、存储器芯片、ROM、随机存取存储器(“RAM”)、ASIC、配置的处理器、光学存储器或计算机处理器可以从中读取指令的任何其他介质。指令可以包括处理器专用指令，编译器或解释器利用以任何合适的计算机编程语言(包括例如C、C++、C＃等)编写的代码生成该处理器专用指令。在一些示例中，存储器装置307可以包括图像处理模块(未示出)。处理器装置306可以使用图像处理模块对从立体摄像机302接收的数据执行一个或多个图像处理任务。

体积估计系统300还包括无线发射器308，其可以从处理器装置接收估计的体积并且将无线信号310输出到另一装置，例如显示装置或数据库。无线发射器308可以表示促进网络连接的一个或多个部件。示例包括但不限于诸如IEEE 802.11的无线接口、蓝牙、或用于访问蜂窝电话网络的射频接口(例如，用于接入CDMA、GSM、UMTS或其他移动通信网络的收发器/天线)。在其他示例中，无线发射器308被替换为用于经由有线连接将数据发送到另一装置的发射器。

图4是体积估计系统400的一个示例的功能框图。体积估计系统400包括感测部分402，校准部分404和体积估计部分405，以及用于将数据输出到用户或其他系统的用户界面406。在一些示例中，校准部分404和体积估计部分405可以由处理器装置实现，例如图3的处理器装置306。

感测部分402包括用于捕获作业车辆的铲斗或其他容器的3D图像和数据的摄像机408或其他类型的传感器。感测部分402还包括位置传感器410，其可以是铲斗角度传感器或其他类型的传感器。摄像机408可以提供铲斗或其他容器的多个图像。图像可以包括颜色内容，例如红色、绿色、蓝色(RGB)内容和深度内容(D)。位置传感器410(其可以是角度确定系统2100，如下所述)可以提供铲斗角度414或铲斗或其他容器的角度。可以将铲斗角度414和图像数据(具有颜色和深度信息)提供给校准部分404和体积估计部分405。在一些示例中，在铲斗中没有物料的情况下的铲斗的图像数据可以仅被提供校准部分404，和在铲斗中具有物料的情况下随后获取的包括铲斗图像的图像数据可以仅被提供给体积估计部分405。

校准部分404可以使用图像数据和角度数据生成铲斗的模型。该模型可以是表示铲斗的部件的3D点云的形式，并且如果物料处于铲斗中的不同高度，则可以具有关于体积的信息。校准部分404包括铲斗分割模块416，其可以分割图像数据以确定铲斗的部件以及部件相对于彼此的位置。例如，铲斗分割模块416可以分析图像中的像素数据，以识别铲斗的后部、铲斗的前部、铲斗的侧面以及从其延伸的齿或其他突起。该信息可以被提供给铲斗建模模块418，该模块418可以生成铲斗的模型作为配置文件。配置文件可以具有关于铲斗的3D点云布置形式的信息。通常，配置文件可以存储关于软件的每个部件的各种参数(例如，铲斗容量、尺寸、数学模型系数等)。配置文件也可以通过用户界面406输出。下面参考图12、13和14描述根据一些示例的关于校准过程的更多信息。

该模型可以由体积估计部分405中的体积计算模块420使用，以估计铲斗中的物料体积。在铲斗中具有物料的情况下，铲斗的图像数据和铲斗角度数据可以由土壤分割模块422接收，土壤分割模块422可以确定图像数据中所表示的物料是在铲斗中或者还是在背景中或图像的另一部分中。

图18中示出了铲斗的模型及其内容物的示例。图18中的顶行包括铲斗的3D模型的三个等轴测视图。等轴测视图可以表示在单个挖取期间随时间累积在铲斗中的物料，或者与不同挖取相对应的不同数量物料。在这些示例中，体积计算模块420已经确定铲斗分别包括5.15加仑的物料，51.53加仑的物料和103.06加仑的物料。图18中的底行包括铲斗的模型的三个X/Y平面视图。平面视图可以表示在单个挖取期间随时间累积在铲斗中的物料，或者与不同挖取相对应的不同数量物料。在这些示例中，体积计算模块420还确定铲斗分别包括5.15加仑的物料，51.53加仑的物料和103.06加仑的物料。可以生成铲斗的多个不同模型和视图并将其呈现给用户。

返回到图4，表示铲斗中的物料的图像数据可以被提供给体积计算模块420，体积计算模块420可以将该图像数据与配置文件进行比较，以输出铲斗中物料的体积估计值。可以将体积估计值提供给用户界面406，用户界面406可以是能够输出体积估计值的视觉表示的显示装置。图9描绘了对从立体摄像机获得的摄像机图像906进行处理而得到的铲斗904中的物料的点云902的示例。图10描绘了根据本公开的一些示例的显示装置1002上的用户界面406的示例。用户界面406可以包括条形图1004，其描绘了从先前的挖取计算的物料体积的历史以及当前挖取的点云的三维表示1006或类似描绘。

图5是根据本公开的一个示例的用于处理立体图像以用于测量铲斗中的物料体积的过程流程图。立体摄像机可以捕获视野的左眼图像502和右眼图像504，该视野包括具有物料的铲斗。处理器装置对捕获的图像执行立体处理506以确定由左眼图像502和右眼图像504表示的深度信息。例如，图像可以具有时间标记，共享相同时间标记的左眼图像和右眼图像可以组合以确定由图像表示的深度信息。

使用3D过滤过程508过滤图像和深度信息。例如，过滤过程508可以去除作为区域中的飞点或碎片的斑点，或者去除不在铲斗内的对象的其他视觉表示。滤波处理508可以包括对图像执行斑点减少处理。经过滤的3D数据和铲斗角度509用于确定铲斗内的内容物的体积测量值510。例如，铲斗角度509可用于确定铲斗中的物料的预期表面面积。如果铲斗相对于挖掘机的斗杆的角度大于90度，则从立体摄像机的视角得到的预期表面面积(例如，参考平面)可以小于在铲斗相对于挖掘机的斗杆的角度为90度或90度左右的情况下得到的预期表面面积。物料的预期表面面积可用于分析铲斗中物料的实际表面面积以确定体积测量值。例如，可以针对预期表面面积计算相对变换，以确定该点是否是泥土。体积512可以输出到显示装置或数据库以便存储。

图6是根据本公开的一个示例的用于计算作业车辆的容器中的物料体积的过程的流程图。其他示例可以包括更多步骤，更少步骤或顺序与图6中所示步骤的顺序不同的步骤。

在框602中，使用摄像机校准信息604，现有铲斗模型或模板606以及来自角度传感器608或角度确定系统2100(下面描述)的角度来变换或生成铲斗模型。铲斗模型可以在校准阶段中变换或生成，例如除了使用来自角度传感器608或角度确定系统2100的角度(在该角度处获取图像)之外，还通过使用来自摄像机校准信息604的空铲斗的图像，来修改或变换铲斗模型的现有铲斗模型或模板。

在框610中，在铲斗中存在物料的情况下，使用由铲斗的摄像机捕获的立体或视差图像611来更新3D点云的网格图。将更新的网格和铲斗模型提供给框612以进行进一步处理。可以使用由摄像机捕获的每个新图像帧来更新网格图。

在框614中，对于网格图中的每个点，使用查找表，该查找表定义铲斗角度所变换的铲斗极限。查找表可用在例如分割过程中，以从网格图中识别出位于铲斗中的点，这些点与图像数据中的表示铲斗本身、背景图像或斑点伪像的点相反。

对于网格图中的被标识为位于铲斗中的点的每个点，可以在框616中确定与该点相关联的高度。在一个示例中，可以使用铲斗的模型确定点的高度以确定定位在铲斗中特定位置处的点的深度信息。

在框618中，点的高度信息可用于计算铲斗中点的体积，并因此计算铲斗中物料的体积。在一个示例中，确定每个点的体积，然后将铲斗中的点的体积相加以计算铲斗中物料的体积。

图7是根据本公开的一个示例的体积估计系统的硬件架构的框图。硬件架构包括处理模块702，其他部件通过控制器局域网(CAN)接口、以太网接口或其他类型的接口通信地耦合到处理模块702。这些部件可以包括非接触式3D传感器704和机具位置传感器706，非传感式3D传感器704可以是立体摄像机，机具位置传感器706可以是角度传感器或角度确定系统2100。机具的示例是铲斗或其他容器。这些部件还可以包括其他杂项机械传感器708。这些机械传感器可包括GPS、速度传感器、湿度传感器或其他类型的传感器。处理模块702可以与传感器704、706、708中的每一个传送数据和控制信号。处理模块702还可以处理数据(例如通过确定机具中的物料的体积估计值)以及经由有线或无线通信模块710与其他部件收发数据。其他部件可以包括：基于云的模块712，其用于允许数据经由云存储设施被其他用户或系统访问；车载显示模块714，其用于将数据显示给作业车辆的操作员；和日志模块716，其用于随时间存储数据以供后续访问和比较。

图8是根据本公开的一些示例的用于经由3D传感器系统确定容器中的物料体积的软件逻辑电路图。软件逻辑电路模块可以实现为模块中的指令，该指令存储在非暂时性计算机可读介质上并由处理器装置执行。

模块可以包括系统输入802，诸如配置文件804、铲斗角度806、图像数据808和3D点云810。配置文件804可以包括关于在相关联的作业车辆上使用的特定容器的信息。该信息可以包括铲斗的最小容积，铲斗的最大容积，最小铲斗角度，最大铲斗角度以及用于计算挖取容积的过程以及其他可能的数据。铲斗角度806可以是铲斗相对于摄像机的角度。图像数据808可以包括来自摄像机的铲斗的图像。3D点云810包括图像数据808的一个或多个图像的模型或表示。

系统输入802被提供给附加模块。附加模块包括视觉测距模块812、铲斗高度计算模块814和瞬时体积测量模块816。视觉测距模块812可以使用图像数据、3D数据、车辆传感器数据或这些数据的任何组合来产生横向和纵向运动的大小和方向。输出可以提供给挖掘循环识别模块818，并且可以用于确定操作员是在挖土还是在移动铲斗以用于其他目的。铲斗高度计算模块814可以包括用于将铲斗高度输出到挖掘循环识别模块818的过程。可以识别相关铲斗，其可以包括分析图像数据以识别图像中的与铲斗相对应的像素或点。铲斗高度可以测量铲斗与地面的隔离距离。如果铲斗位于地面以上，则铲斗高度可以为正，如果铲斗位于地面或五位于正被移动的物料中，则铲斗高度可以为负。可以通过分析图像数据来识别地平面，以识别表示地面的像素或点。特定时间点的铲斗高度被提供给挖掘循环识别模块818。

挖掘循环识别模块818可以接收由其他模块生成的数据和信号，以识别与数据相关联的挖掘循环。该识别结果被提供给有效挖取识别模块820，其可以确定挖取是否有效。

瞬时体积测量模块816可以基于系统输入802计算具有时间标记的体积测量值。可以提供瞬时体积测量值以及挖取识别结果，以表示铲斗或其他容器的每次挖取的内容物的体积估计值822。

在一些示例中，当容器旋转以挖掘土壤时，容器可以通过一系列角度或区域。当容器通过每个区域时，处理器装置可以执行不同的操作以确定容器中的物料的体积。例如，在图11中，容器1100可旋转通过区域1102-1108。每个区域1102-1108包括一系列角度，容器1100可以在挖掘泥土的同时旋转到这一系列角度。当容器1100旋转以挖掘地面时，容器1100可以通过图11中所示的一些或所有区域1102-1108。处理器装置可以使用角度传感器或角度确定系统2100来检测或确定铲斗110的旋转角度，并且当处理器装置确定容器1100处于区域1102-1108中的每一个中时，铲斗110执行零个或多个任务。

例如，区域1102可以是空区域，其中容器1100可以不包括任何内容物。处理器装置可以使用角度传感器或角度确定系统2100来检测容器1100位于区域1102中并执行任务，例如(i)更新数据库以指示先前的挖取体积，该先前的挖取体积可以是在容器的先前挖取中的物料的体积；(ii)在容器的多次挖取之后更新获得的物料的总体积；(iii)增加挖取计数，该计数可以是由容器执行的多次挖取的计数；(iv)开始计算一个新的挖取体积，它可以是容器当前挖取中的物料的体积；或(v)这些任务的任何组合。区域1104可以是“无动作区域”，其中处理器装置可以不使用3D传感器对容器1100的内部进行测量。无动作区域可以包括一系列角度，对于这些角度，容器1100的内部的量不足以定位在3D传感器的捕获场内以不能获得有用的测量。区域1106可以是“捕获区域”，其中处理器装置可以使用3D传感器来对容器1100进行测量以用于确定容器1100中的内容物的体积。区域1106可以表示如下的角度范围：在该角度范围内，容器1100的内部位于3D传感器的合适捕获区域内，以使3D传感器能够检测铲斗110内的内容物。区域1108可以是另一个“无动作区域”，其中处理器装置可能不使用3D传感器对容器1100的内部进行测量。处理器装置可以识别容器1100在挖掘泥土的同时可以旋转通过的任何数量的区域和这些区域组合，并且针对每个区域可以执行任意数量的任务和任务组合。

在一些示例中，处理器装置可以在确定容器1100中的内容物的体积之前执行校准过程。例如，当新容器1100被第一次使用时，处理器装置可以执行校准过程。当容器1100为空时，校准过程可以产生与容器1100相对应的校准数据。校准数据可以用作基准，可以将容器1100的后续测量(例如，当容器1100包括泥土时)与该基准进行比较。在一些示例中，处理器装置可以将该校准数据存储在数据库中以供以后使用。可以针对各种不同的容器重复该校准过程，以生成容器的默认校准数据库。

下面参考图12-17描述校准过程的示例。图12是在3D传感器1206的捕获视野1204内的容器1202的示例的侧视图。处理器装置可以使用由3D传感器1206和用户输入进行的测量来执行校准过程以确定容器1202的校准数据。

例如，处理器装置可以使用容器1202的额定容量，容器1202的形状和容器1202的照射平面来执行校准过程。容器1202的额定容量可以被提供为用户输入，并且可以印在容器1202的一侧，在容器1202的手册中提供，或者由容器1202的制造商以其他方式提供给用户。容器1202的额定容量的示例可以是1.3立方米。可以基于来自3D传感器1206的测量来确定容器1202的形状。例如，当3D传感器1206进行传感器测量时，容器1202可以缓慢地上下旋转数次。然后，处理器装置可以使用传感器测量值来生成铲斗的形状的三维(3D)表示(例如，使用上述任何技术)。也可以基于来自3D传感器1206的测量值来确定该照射平面。照射平面可以是与容器1202的顶部相对应的二维平面，并且包括容器1202的四个角。照射平面的示例如图13-14中的虚线和图15-17中的阴影区域1502所示。在一些示例中，处理器装置使用来自3D传感器的传感器测量值来粗略估计容器1202的照射平面，然后用户可能能够通过用户输入来微调该照射平面。如稍后关于角度确定系统2100所描述的，例如来自图15-17的可见照射平面的2D区域可用于估计铲斗的角度。

现在参考图13，校准过程的至少一部分可以包括确定容器1202的内部1302的体积。通过用泥土(例如，通过挖取泥土)填充容器1202使得物料的顶层1304突出超过照射平面(例如，由虚线表示)，可以确定容器1202的内部1302的体积。容器1202可以是满的或超过容量的。可以通过将具有多个网格单元(每个网格单元具有已知的表面面积)的空铲斗网格图与铲斗中物料的图像进行比较来确定的顶层物料1304的体积。每个网格单元的照射平面的高度可以是已知的并且具有已知的体积。可以测量高度之间的差异并将其添加到已知体积中。然后可以通过从用户提供的容器1202的额定容量中减去顶层1304的体积来确定容器1202的内部1302的体积。

在一些示例中，校准过程还包括确定容器1202中的一勺物料的体积。一勺物料的示例由图14中的阴影区域表示。如图所示，一勺物料具有不均匀的形状，物料的一部分1402在照射平面上方，物料的另一部分1404在照射平面下方，并且在物料的另一部分1404的上表面和照射平面之间存在空的空间1406。通过检测物料顶面、确定照射平面的角度可以确定物料的位于照射平面上方的一部分1402的体积，计算物料的位于照射平面上方的一部分1402的体积使用检测到的物料顶面和照射平面的角度。可以使用3D传感器检测物料的顶部表面。还可以使用检测到的物料顶面和照射平面的角度来确定照射平面下方的空的空间1406的体积。挖取的体积可以通过以下等式确定：

V_scoop＝V_interior+V_above-V_empty

其中V_scoop是挖取的体积，V_interior是容器1202的内部1302的体积，V_above是物料的位于照射平面上方的一部分1402的体积，V_empty是照射平面下方的空的空间1406的体积。

可以使用任何类型的作业车辆(例如挖掘机或铲土车)来实施本公开的示例。图19中示出了铲土车1900的一个示例。铲土车1900可以是用于泥土移动工程的一件设备。铲土车1900可包括容器1902和可升高或降低的切削刃。当铲土车1900沿着表面移动时，切割刃可刮铲泥土并填充容器1902。

图20中示出了联接到铲土车1900的体积估计系统2000的至少一部分的一个示例。体积估计系统2000可包括配置成捕获容器1902中的物料的3D传感器。体积估计系统2000可以使用来自3D传感器的测量值来执行容器1902的校准过程，确定已经积聚在容器1902中的物料的量，或者这两者。

图21是示出角度确定系统2100的一个示例的框图。角度确定系统2100可以用于代替任何前述角度传感器或与之结合使用。角度确定系统2100可以部署在例如机械100上和/或例如利用处理器306。角度确定系统2100包括可以执行各种不同功能的各种不同部件。将参考图22更详细地描述这些功能中的一些。

简而言之，图像接口逻辑电路2102从传感器接收图像或其他传感器信号。例如，可以从上面详细描述的3D传感器之一接收图像。图像接口逻辑电路2102还可以执行其他图像预处理，例如立体图像处理、光校正、缩放、聚焦、图形保真、格式化等。分割逻辑电路2104分析图像并识别图像中的容器，例如挖掘机铲斗。分割逻辑电路2104可以以各种不同方式识别容器，例如，基于检测参考点、边缘检测、与参考图像的比较等。一旦容器被识别到，分割逻辑电路2104可以提取或分割图像的包含容器的部分或片段。例如，分割逻辑电路2104可以与上面描述的铲斗分割模块416类似或相同的部件。面积生成器逻辑电路2106计算由分割逻辑电路2104识别为包括容器的图像片段的几何面积。角度生成器逻辑电路2108基于容器的图像计算容器的角度。例如，角度生成器逻辑电路2108可以使用由面积生成器逻辑电路2106计算的面积来确定容器的角度。由角度生成器逻辑电路2108计算的角度可以用在上述体积估计系统中，或者它可以由控制系统2122或其他机械控制系统用作控制反馈以执行控制。

参考生成器逻辑电路2112生成一组参考图像并利用数据存储交互逻辑电路2118将图像存储在数据存储器2120中。参考图像是指先前捕获的容器图像，其中容器的各种属性在成像时刻是已知的。下面更详细描述的图26示出了参考生成器逻辑电路2112的一个示例操作。

例如，对于容器的每个旋转角度(或其他单位)，可以存在参考图像。角度验证逻辑电路2110可以使用这样的参考图像来验证由角度生成器逻辑电路2108计算的角度。例如，角度生成器逻辑电路2108捕获图像并识别容器在特定角度处的特征，并且角度验证逻辑电路2110检索与(或最接近)所计算的角度相对应的参考图像并确认这些图像(容器的捕获图像和容器的参考图像)具有相似的特征。

作为另一个示例，参考图像可以具有参考点在已知容器上的位置，并且可以具有所识别容器上的那些特定点。例如，周界和识别点(例如容器的角)在参考图像中可以是已知的并且在捕获的图像中可以被识别到。分割逻辑电路2104可以使用参考图像中的这些已知兴趣点来识别捕获图像中容器的边界。

显示生成器逻辑电路2116向用户显示容器的角度，容器中的内容物的体积和/或其他计算的度量值。数据存储交互逻辑电路2118被其他部件使用以在数据存储器2120中检索数据并将数据存储在其中。控制系统2122产生控制信号，该控制信号致动作业机械的各种致动器。控制系统2122可以接收指示受控部件(例如挖掘机的铲斗、臂或悬臂)的角度或位置的反馈信息，以更精确地控制这些部件。

图22A和22B(统称为图22)是示出部署在移动式机械上的角度确定系统2100的操作的一个示例的流程图。操作2200开始于框2210，其中利用传感器捕获容器的图像。传感器可以是如上所述的立体摄像机，如框2212所示。传感器可以是黑白摄像机，如框2214所示。传感器可以是如上所述的基于激光的传感器，且如框2216所示。当然，传感器也可以是不同类型的传感器，如框2218所示。

操作2200在框2220处继续，其中图像由图像接口逻辑电路2102接收。在传感器是立体摄像机的情况下，图像接口逻辑电路2102可以完成立体图像处理，如框2222所示。已经参照图5更详细地描述了立体图像处理。图像接口逻辑电路2102也可以对接收的图像完成标准图像处理。标准图像处理包括但不限于光校正、缩放、聚焦、图像保真、格式化等。图像接口逻辑电路2102也可以以其他方式处理图像，如框2226所示。

操作2200在框2230处继续，其中分割逻辑电路2104识别并分割图像的包含容器的部分。在一个示例中，分割逻辑电路2104完成上面关于图4的铲斗分割模块416描述的功能。分割逻辑电路2104可以使用参考图像来识别容器，如框2232所示。例如，分割逻辑电路2104检索包含容器的多个参考图像，并且每个参考图像的图像具有指示容器在参考图像中的位置的元数据。将这些参考图像(或参考图像的片段)与捕获图像进行比较以获得相似性，以识别捕获图像中的容器。

分割逻辑电路2104可使用边缘检测来识别容器，如框2234所示。例如，分割逻辑电路2104可使用已知的边缘检测或图像不连续性方法来识别与容器的已知或近似形状相对应的边缘。分割逻辑电路2104可以使用参考点来识别容器，如框2236所示。例如，分割逻辑电路2104可以识别容器的已知唯一点。例如，在容器是铲斗的情况下，铲斗齿和铲斗连杆点通常具有视觉上独特的特征，这些特征可以与参考点相关联并且基于它们的唯一性而被识别。分割逻辑电路2104可以使用上述方法的组合或以其他方式识别图像中的容器，如框2238所示。

在分割逻辑电路2104识别图像中的容器之后，分割逻辑电路2104隔离包括容器的片段。分割逻辑电路2104可以基于所识别的容器的周界来隔离该片段，如框2240所示。例如，沿着被检测为容器的周界的边缘隔离该片段，并且丢弃在检测到的周界之外的任何东西。分割逻辑电路2104可以围绕计算的凸包(convex hull)隔离该片段，如框2242所示。例如，分割逻辑电路2104识别容器的点并计算这些点周围的凸包，然后对凸包进行分割或隔离。在其他示例中，分割逻辑电路2104基于不同的方法隔离该片段，如框2244所示。参考图23更详细地描述识别容器的分割逻辑电路2104的一个示例。

图23示出了从臂载式图像传感器(例如图1中的传感器112)捕获的图像的一个示例。视图2300示出了臂2304和铲斗2302。在铲斗2302上叠加的是参考点2306、中心点2308和参考线2310。这些对象是分割逻辑电路2104可用于从周围图像2320中识别出铲斗2302的特征的示例。

回到图22，识别铲斗的角度的操作2200在框2250处继续，其中确定该片段是否在感兴趣的区域内，即，图像中的容器预期应该位于的区域。如果该片段不在感兴趣区域内，则方法2200在框2278处继续，其中当前铲斗角度被设置为“最后预测角度”并且操作2200在2210处再次开始。如果该片段在感兴趣区域内，则方法2200在框2260处继续。

在框2260处，面积生成器逻辑电路2106计算该片段的二维面积。然后，在框2262，将计算的面积与最小和最大阈值进行比较。例如，最小和最大阈值可以表示先前计算的铲斗的最小和最大面积。可以从校准循环中识别出该阈值，例如下面参照图26描述的校准循环，其中容器(铲斗)被控制以移动通过整个运动范围。在该移动期间获得的最大和最小面积定义了相应的阈值。如果该面积小于最小阈值或大于最大阈值，则将预测角度设置为最后预测角度，如框2278所示。

如果该面积大于最小阈值并且小于最大阈值，则操作2200在框2266处继续。在框2266处，由角度生成器逻辑电路2108基于计算的面积来预测容器的角度。角度生成器逻辑电路2108可以基于查找表来预测角度，如框2267所示。例如，角度生成器逻辑电路2108可以访问数据表，其中每个数据点具有面积值和对应的角度值。然后，角度生成器逻辑电路2108可以访问数据表中的具有最接近的面积值的数据点，并使用其对应的角度值作为预测角度。角度生成器逻辑电路2108可以基于预测技术来预测角度，所述预测技术例如但不限于内插、外推、趋势线等，如框2268所示。角度生成逻辑电路2108也可以以其他方式识别角度，如框2269所示，现在参考图24描述框2266的一些例子。

图24是示出与角度数据相关的面积数据的一个示例的图表。图表2400可以填充有在校准过程中收集的数据点2406，例如，下面参照图26描述的过程。图表2400包括X轴2402和Y轴2404。Y轴2404表示捕获图像中容器的面积。X轴2402表示捕获图像时容器的角度。趋势线2408指示图像中的容器几何面积与容器的角度之间的趋势或所识别的关系。

在框2266中识别容器角度的一个示例中，在框2260中计算的面积等于6.5个单位。使用在框2267中列出的查找操作，逻辑电路2108访问查找表(由图表2400表示)，该查找表包括与各种数据点2406相对应的值。具有6.5的面积值的最近数据点是参考点2416。参考点2416具有88.7度的角度(X)值，因此，在框2267的该示例中，角度将被识别为88.7度。

在另一示例中(在图22的框2268中描述)，趋势线2408可用于识别该角度。例如，如果该示例中的面积也被计算为6.5个单位并且没有数据点2406精确地与6.5个单位的值相对应，则趋势线2408上的点2418(与面积值6.5相对应)用于识别该角度值。在这种情况下，点2418具有87.2度的角度(X)值。因此，在框2268的该示例中，角度被识别为87.2度。

再次返回图22，操作2200可以在此点输出所识别的角度。在另一示例中，执行附加检查以确认该角度是准确的。在这样的示例中，处理在框2270处继续，其中角度验证逻辑电路2110使用数据存储交互逻辑电路2118来防问数据存储器2120中的参考数据。具体地，针对来自框2266的预测角度，角度验证逻辑电路2110可以访问参考容器周界附近的参考坐标。例如，来自框2266的预测角度被用作参考图像的查找表的输入(该参考图像具有相应的数据，例如角度、面积、周界、与容器位置相对应的参考坐标等)，并且选择具有与来自2266的预测角度最接近的角度的参考图像。

在框2272处，角度验证逻辑电路2110计算来自框2270的参考点与来自框2230的计算点之间的距离。在框2274处，角度验证逻辑电路2110确定最小数量的点是否在参考点的阈值距离内。如果不是，则在框2278将预测角度设置为等于最后预测角度。如果最小数量的点在参考点的阈值距离内，则由角度验证逻辑电路2110确认来自框2266的预测角度，如框2276所示。当然，框2270-2278仅说明了验证预测角度的一个示例，并且还可以存在其他方式来验证预测角度。

关于图25A和图25B更详细地图示和描述了框2270-2278的一个示例。图25A示出了参考图像，图25B示出了捕获图像，例如在框2220捕获的图像。在框2270，检索容器周界附近的参考坐标，该参考坐标在图25A中示为参考点2504。在框2272中，计算参考点2504与检测到的捕获点2558之间的距离。在图25B中，标记为容器点2554的点表示给定参考点2504和对应的所检测的容器点2558在彼此的阈值距离内。保持标记为参考点2504和容器点2558的点说明这些点不在彼此的阈值距离内。在框2274，确定在捕获点所对应的参考点(例如2504)的阈值距离内是否存在最小数量的捕获点(例如2554)。如果在阈值距离内存在最小数量的捕获点2554(与不匹配点2558相反)，则操作2200在框2276处继续，在框2276处确认角度。如果不是，则操作2200在框2278处继续，其中将当前角度设置为最后存储的角度。

回到图22，在框2280，数据存储交互逻辑电路2118将预测角度存储在数据存储器2120中。在框2282，角度生成器逻辑电路2106输出(经验证的或最后被验证的)预测的容器角度。预测角度的输出可以反馈到控制系统或控制逻辑电路2122，如框2284所示。例如，该角度可以用于计算容器的位置，并且该位置用于容器的反馈回路控制。如框2286所示，预测角度可以被输出到体积确定系统，而替代容器的测量角度。例如，使用计算的角度代替来自角度传感器的角度测量值。预测角度可以被输出到用于向用户显示的显示装置，如框2288所示。预测角度也可以是其他应用的输出，如框2290所示。

图26是示出角度确定操作的用于获得上面讨论的参考图像和参考点的一个示例的流程图。操作2600开始于框2610，其中控制逻辑电路2122致动一容器致动器(例如致动器108)以将容器移动到第一极限位置。在一个示例中，在容器是挖掘机的铲斗的情况下，将铲斗移动到第一极限位置可以意味着将铲斗完全卷向臂。

操作2600在框2620处进行，其中容器的图像由传感器捕获。例如，图像可以由图1的图像传感器112捕获。操作2600在框2630处继续，其中在框2630处测量容器的角度。该角度示例性地是相对于臂、相对于车架的角度或另一角度，该另一角度可用于确定铲斗的照射平面相对于图像捕获装置112的角度。容器的角度可以是如框2632所示，由用户手动测量。例如，用户使用角度测量工具测量角度。如框2634所示，容器的角度可以由传感器测量。在一个示例中，如上所述的角度传感器114是用于测量角度的传感器。当然，也可以以其他方式测量角度，如框2636所示。

操作2600在框2640处继续，其中在框2640处计算图像中容器的几何面积。该面积可以是由图像中容器的周界限定的几何形状，如框2642所示。该面积可以是点的计算凸包，这些点在图像中定义容器，如框2644所示。当然，该面积可以具有不同的几何形状，如框2646所示。

然后，参考生成器逻辑电路2112识别图像上的参考点。可以使用可视标记手动识别参考点，或者使用图像处理自动识别参考点。框2648指示识别参考点。

操作2600在框2650处继续，其中数据存储交互逻辑电路2118将图像与来自框2630的测量角度及其来自框2648和2640的所识别的参考点和所计算的面积一起存储在数据存储器2120中，以作为参考图像。可以稍后基于它们的元数据(例如，面积或角度等)来检索这些存储的图像。

操作2600在框2660处继续，其中控制逻辑电路2122在给定方向上致动联接到容器的致动器以将容器移动到第二极限位置，在该第二极限位置处将获取另一参考图像。如果容器已经处于第二极限位置(如框2670所示)，则操作完成。如果不是，则操作返回到框2620，其中获取另一参考图像。在一个示例中，当铲斗从第一极限位置移动到第二相对的极限位置时，可以在铲斗的每移动一度时获取参考图像。在另一示例中，可以在将铲斗移动2度或更多度之后拍摄参考图像。针对每度的移动拍摄参考图像仅是一个示例，并且也可以使用其他技术。

图27是计算环境的一个示例，其中图3-4和21的元件或这些元件的一部分(例如)可以部署在该计算环境中。参考图27，用于实现一些示例的示例性系统包括计算机2810形式的通用计算装置。计算机2810的部件可包括但不限于处理单元2820(其可包括处理器306或其他处理器或服务器)、系统存储器2830和系统总线2821，该系统总线2821将包括系统存储器的各种系统部件耦合到处理单元2820。系统总线2821可以是若干类型的总线结构中的任何一种，这些总线结构包括使用各种总线架构中的任何总线架构的存储器总线或存储器控制器、外围总线和本地总线。参考图3-8和21描述的存储器和程序可以部署在图27的相应部分中。

计算机2810通常包括各种计算机可读介质。计算机可读介质可以是可由计算机2810访问的任何可用介质，并且包括易失性和非易失性介质，可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质不同于调制数据信号或载波，并且不包括调制数据信号或载波。计算机存储介质包括硬件存储介质，所述硬件存储介质包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字通用盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储装置，或可以用于存储所需信息并且可以由计算机2810访问的任何其他介质。通信介质在传输机制中可以体现为计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传输介质。术语“调制数据信号”表示信号的一个或多个特征被设置或改变从而对信号中的信息进行编码。

系统存储器2830包括易失性和/或非易失性存储器形式的计算机存储介质，例如只读存储器(ROM)2831和随机存取存储器(RAM)2832。基本输入/输出系统2833(BIOS)通常存储在ROM 2831中，该BIOS包含例如在启动期间有助于在计算机2810内的元件之间传输信息的基本例程。RAM 2832通常包含处理单元2820立即可访问的和/或当前正被处理单元2820操作的数据和/或程序模块。作为示例而非限制，图9示出了操作系统2834、应用程序2835、其他程序模块2836和程序数据2837。

计算机2810还可以包括其他可移动/不可移动的、易失性/非易失性计算机存储介质。仅作为示例，图27示出了硬盘驱动器2841(其从不可移动的非易失性磁介质进行数据读取或向其写入数据)、光盘驱动器2855和非易失性光盘2856。硬盘驱动器2841通常通过不可移动存储器接口(诸如接口2840)连接到系统总线2821，以及光盘驱动器2855通常通过可移动存储器接口(诸如接口2850)连接到系统总线2821。

替代地或另外地，本文描述的功能可以至少部分地由一个或多个硬件逻辑电路部件执行。例如但不限于，可以使用的说明性类型的硬件逻辑电路部件包括现场可编程门阵列(FPGA)、程序专用集成电路(例如，ASIC)、程序专用标准产品(例如，ASSP)、单片系统(SOC)和复杂可编程逻辑电路器件(CPLD)等

上面在图27中讨论并示出的驱动器及其相关的计算机存储介质提供用于计算机2810的计算机可读指令、数据结构、程序模块和其他数据的存储。在图27中，例如，硬盘驱动器2841被示为存储操作系统2844、应用程序2845、其他程序模块2846和程序数据2847。注意，这些部件可以与操作系统2834、应用程序2835、其他程序模块2836和程序数据2837相同或不同。

用户可以通过输入装置(诸如键盘2862、麦克风2863和定点装置2861，和诸如鼠标、轨迹球或触摸板)将命令和信息输入到计算机2810中。其他输入装置(未示出)可以包括操纵杆、游戏手柄、圆盘式卫星天线，扫描仪等。这些和其他输入装置通常通过用户输入接口2860(其耦合到系统总线)连接到处理单元2820，但是可以被其他接口和总线结构所连接。视觉显示器2891或其他类型的显示装置也经由诸如视频接口2890的接口连接到系统总线2821。除了监视器之外，计算机还可以包括其他外围输出装置，例如扬声器2897和打印机2896，其中外围输出装置可以通过输出外围接口2895而被连接。

计算机2810使用到一个或多个传感器或远程计算机(诸如远程计算机2880或其他部件)的逻辑电路连接(诸如局域网-LAN或广域网WAN或控制器局域网络CAN)在网络环境中操作。

当在LAN网络环境中使用时，计算机2810通过网络接口或适配器2870连接到LAN2871。当在WAN网络环境中使用时，计算机2810通常包括调制解调器2872或用于在WAN2873(诸如互联网)上建立通信的其他装置。在联网环境中，程序模块可以存储在远程存储器存储装置中。例如远程应用程序2885可以驻留在远程计算机2880上。

还应注意，本文所述的不同示例可以以不同的方式组合。也就是说，一个或多个示例的部分可以与一个或多个其它示例的部分组合。所有这些都在此考虑。

已经仅出于说明和描述的目的呈现了某些示例的前述描述，包括示出的示例，并且不旨在穷举或将本公开限制于所公开的精确形式。在不脱离本公开的范围的情况下，本领域技术人员将清楚其许多修改、改编和使用。

示例1是一种移动式作业机械，包括：

车架；

地面接合元件，所述地面接合元件由所述车架可移动地支撑并由发动机驱动以驱动移动式作业机械的运动；

容器，所述容器由所述车架可移动地支撑；

致动器，所述致动器被配置为可控制地驱动所述容器相对于所述车架的运动；

控制系统，所述控制系统被配置为产生指示所述致动器的被命令运动的致动器控制信号，并将所述致动器控制信号提供给所述致动器以控制所述致动器执行所述被命令运动；

图像传感器，所述图像传感器联接到移动式作业机械，所述图像传感器被配置为捕获所述容器的图像；和

角度确定系统，所述角度确定系统通信地耦合到所述控制系统，并且被配置为基于所述容器的图像确定所述容器的角度。

示例2是任何或所有前述示例所述的移动式作业机械，其中，所述角度确定系统包括：

分割逻辑电路，所述分割逻辑电路被配置为识别所述图像的包括容器的片段；和

其中，所述角度确定系统被配置为至少部分地基于所述图像的所述片段来确定所述角度。

示例3是任何或所有前述示例所述的移动式作业机械，其中，所述角度确定系统包括：

面积生成器逻辑电路，所述面积生成器逻辑电路被配置为计算所述片段的面积。

示例4是任何或所有前述示例所述的移动式作业机械，其中，所述角度确定系统包括：

角度生成器逻辑电路，所述角度生成器逻辑电路被配置为基于所述片段的面积确定所述容器的所述角度。

示例5是任何或所有前述示例所述的移动式作业机械，其中，所述分割逻辑电路基于所述片段生成一组容器周界坐标；并且

其中，所述角度确定系统包括：仿形逻辑电路，所述仿形逻辑电路被配置为通过将所述一组容器周界坐标与一组预定参考坐标进行比较以确认来自所述角度生成器逻辑电路的所述角度。

示例6是任何或所有前述示例所述的移动式作业机械，其中，所述角度确定系统包括：

参考生成器逻辑电路，所述参考生成器逻辑电路被配置为通过接收多个不同的参考角度并且从所述图像传感器接收多个不同的参考图像来生成所述一组预定参考坐标，每个不同的参考图像具有相应的不同参考角度，该相应的不同参考角度指示所述容器在该不同的参考图像中的角度。

示例7是任何或所有前述示例所述的移动式作业机械，其中，所述图像传感器包括立体摄像机或激光扫描仪中的至少一个。

示例8是任何或所有前述示例所述的移动式作业机械，还包括：

体积生成器系统，所述体积生成器系统耦合到所述控制系统并且被配置为基于所述容器的角度和所述图像确定所述容器中的内容物的体积。

示例9是任何或所有前述示例所述的移动式作业机械，还包括：

显示生成器逻辑电路，所述显示生成器逻辑电路被配置为在移动式作业机械的驾驶室中的显示装置上显示所述容器中的内容物的体积。

示例10是任何或所有前述示例所述的移动式作业机械，其中，所述容器包括铲斗，所述移动式作业机械包括挖掘机，并且所述内容物包括泥土。

示例11是一种控制移动式作业机械的方法，包括：

利用控制系统接收指示致动器的被命令运动的操作员输入，所述致动器被配置为驱动容器的运动，所述容器由移动式作业机械的车架可移动地支撑；

利用所述控制系统产生指示所述被命令运动的控制信号；

利用角度生成器逻辑电路从3D传感器接收移动式作业机械的所述容器的图像；和

利用所述角度生成器逻辑电路基于所述图像，确定所述容器的相对于所述3D传感器的角度。

示例12是任何或所有前述示例所述的方法，其中，确定所述容器的角度包括：

识别和分割所述图像的一部分，所述图像的一部分包括容器。

示例13是任何或所有前述示例所述的方法，其中，确定所述容器的角度包括：

用面积生成器逻辑电路确定所述一部分的面积。

示例14是任何或所有前述示例所述的方法，其中，确定所述容器的角度包括：

基于所述面积和所述角度之间的预定相关性将所述面积转换为所述角度。

示例15是任何或所有前述示例所述的方法，还包括：

通过将所述图像与一组参考图像进行比较，利用角度验证逻辑电路验证所述容器的角度。

示例16是任何或所有前述示例所述的方法，其中，分割所述图像的所述一部分包括产生凸包。

示例17是一种移动式作业机械控制系统，包括：

控制逻辑电路，所述控制逻辑电路被配置为产生指示致动器的被命令运动的致动器控制信号，并且将所述致动器控制信号提供给所述致动器以控制所述致动器执行所述被命令运动，所述致动器联接到移动式作业机械的容器以可控制地驱动移动式作业机械的所述容器的运动；

传感器，所述传感器被配置为捕获移动式作业机械的所述容器中的内容物的捕获图像；

分割逻辑电路，所述分割逻辑电路被配置为识别所述捕获图像的包括容器的片段；

面积生成器逻辑电路，所述面积生成器逻辑电路被配置为确定所述捕获图像中的所述片段的面积；和

角度生成器逻辑电路，所述角度生成器逻辑电路耦合到所述控制逻辑电路并且被配置为基于所述面积确定所述容器的相对于所述传感器的角度。

示例18是任何或所有前述示例所述的移动式作业机械控制系统，还包括：

参考生成器逻辑电路，所述参考生成器逻辑电路被配置为接收空容器的参考图像；并且

其中，所述分割逻辑电路基于所述参考图像在所述捕获图像中识别所述容器。

示例19是任何或所有前述示例所述的移动式作业机械控制系统，还包括：

角度验证逻辑电路，所述角度验证逻辑电路被配置为通过将所述捕获图像与所述参考图像进行比较来验证由所述角度生成器逻辑电路确定的所述角度，其中与所述参考图像相对应的参考容器角度是已知的。

示例20是任何或所有前述示例所述的移动式作业机械控制系统，还包括：

体积生成器逻辑电路，所述体积生成器逻辑电路耦合到所述控制逻辑电路并且被配置为基于所述角度和所述捕获图像确定所述容器中的内容物的体积。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但应理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。而是，上述的具体特征和动作被描述为实现权利要求的示例形式。

Claims (16)

1.一种移动式作业机械，包括：

车架；

地面接合元件，所述地面接合元件由所述车架可移动地支撑并由发动机驱动以驱动移动式作业机械的运动；

容器，所述容器由所述车架可移动地支撑；

致动器，所述致动器被配置为可控制地驱动所述容器相对于所述车架的运动；

控制系统，所述控制系统被配置为产生指示所述致动器的被命令运动的致动器控制信号，并将所述致动器控制信号提供给所述致动器以控制所述致动器执行所述被命令运动；

图像传感器，所述图像传感器联接到移动式作业机械，所述图像传感器被配置为捕获所述容器的图像；和

角度确定系统，所述角度确定系统通信地耦合到所述控制系统，并且被配置为基于所述容器的图像确定所述容器相对于所述图像传感器的角度，所述角度确定系统包括分割逻辑电路，所述分割逻辑电路被配置为识别所述图像的包括容器的片段；并且所述角度确定系统被配置为至少部分地基于所述图像的所述片段来确定所述角度，其中，所述分割逻辑电路基于所述片段生成一组容器周界坐标；并且，所述角度确定系统包括仿形逻辑电路，所述仿形逻辑电路被配置为通过将所述一组容器周界坐标与一组预定参考坐标进行比较以确认来自所述角度生成器逻辑电路的所述角度。

2.根据权利要求1所述的移动式作业机械，其中，所述角度确定系统包括：

面积生成器逻辑电路，所述面积生成器逻辑电路被配置为计算所述片段的面积。

3.根据权利要求2所述的移动式作业机械，其中，所述角度确定系统包括：

角度生成器逻辑电路，所述角度生成器逻辑电路被配置为基于所述片段的面积确定所述容器的所述角度。

4.根据权利要求1所述的移动式作业机械，其中，所述角度确定系统包括：

参考生成器逻辑电路，所述参考生成器逻辑电路被配置为通过接收多个不同的参考角度并且从所述图像传感器接收多个不同的参考图像来生成所述一组预定参考坐标，每个不同的参考图像具有相应的不同参考角度，该相应的不同参考角度指示所述容器在该不同的参考图像中的角度。

5.根据权利要求1所述的移动式作业机械，其中，所述图像传感器包括立体摄像机或激光扫描仪中的至少一个。

6.根据权利要求1所述的移动式作业机械，还包括：

体积生成器系统，所述体积生成器系统耦合到所述控制系统并且被配置为基于所述容器的角度和所述图像确定所述容器中的内容物的体积。

7.根据权利要求6所述的移动式作业机械，还包括：

显示生成器逻辑电路，所述显示生成器逻辑电路被配置为在移动式作业机械的驾驶室中的显示装置上显示所述容器中的内容物的体积。

8.根据权利要求6所述的移动式作业机械，其中，所述容器包括铲斗，所述移动式作业机械包括挖掘机，并且所述内容物包括泥土。

9.一种控制移动式作业机械的方法，包括：

利用控制系统接收指示致动器的被命令运动的操作员输入，所述致动器被配置为驱动容器的运动，所述容器由移动式作业机械的车架可移动地支撑；

利用所述控制系统产生指示所述被命令运动的控制信号；

利用角度生成器逻辑电路从3D传感器接收移动式作业机械的所述容器的图像；

利用所述角度生成器逻辑电路基于所述图像，确定所述容器相对于所述3D传感器的角度；以及

通过将所述图像与一组参考图像进行比较，利用角度验证逻辑电路验证所述容器的角度。

10.根据权利要求9所述的方法，其中，确定所述容器的角度包括：

识别和分割所述图像的一部分，所述图像的一部分包括容器。

11.根据权利要求10所述的方法，其中，确定所述容器的角度包括：

用面积生成器逻辑电路确定所述一部分的面积。

12.根据权利要求11所述的方法，其中，确定所述容器的角度包括：

基于所述面积和所述角度之间的预定相关性将所述面积转换为所述角度。

13.根据权利要求10所述的方法，其中，分割所述图像的所述一部分包括产生凸包。

14.一种移动式作业机械控制系统，包括：

控制逻辑电路，所述控制逻辑电路被配置为产生指示致动器的被命令运动的致动器控制信号，并且将所述致动器控制信号提供给所述致动器以控制所述致动器执行所述被命令运动，所述致动器联接到移动式作业机械的容器以可控制地驱动移动式作业机械的所述容器的运动；

传感器，所述传感器被配置为捕获移动式作业机械的所述容器中的内容物的捕获图像；

分割逻辑电路，所述分割逻辑电路被配置为识别所述捕获图像的包括所述容器的片段；

面积生成器逻辑电路，所述面积生成器逻辑电路被配置为确定所述捕获图像中的所述片段的面积；

角度生成器逻辑电路，所述角度生成器逻辑电路耦合到所述控制逻辑电路并且被配置为基于所述面积确定所述容器相对于所述传感器的角度；以及

角度验证逻辑电路，所述角度验证逻辑电路被配置为通过将所述捕获图像与参考图像进行比较来验证由所述角度生成器逻辑电路确定的所述角度，其中与所述参考图像相对应的参考容器角度是已知的。

15.根据权利要求14所述的移动式作业机械控制系统，还包括：

参考生成器逻辑电路，所述参考生成器逻辑电路被配置为接收空容器的参考图像；并且

其中，所述分割逻辑电路基于所述参考图像在所述捕获图像中识别所述容器。

16.根据权利要求14所述的移动式作业机械控制系统，还包括：

体积生成器逻辑电路，所述体积生成器逻辑电路耦合到所述控制逻辑电路并且被配置为基于所述角度和所述捕获图像确定所述容器中的内容物的体积。

Images