CN116348646A - 基于传感器数据的材料体积和密度的确定 - Google Patents

基于传感器数据的材料体积和密度的确定 Download PDF

Info

Publication number
CN116348646A
CN116348646A CN202180071386.3A CN202180071386A CN116348646A CN 116348646 A CN116348646 A CN 116348646A CN 202180071386 A CN202180071386 A CN 202180071386A CN 116348646 A CN116348646 A CN 116348646A
Authority
CN
China
Prior art keywords
machine
volume
interest
region
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180071386.3A
Other languages
English (en)
Inventor
P·J·托马斯
J·C·马莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar SARL
Original Assignee
Caterpillar SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar SARL filed Critical Caterpillar SARL
Publication of CN116348646A publication Critical patent/CN116348646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2029—Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F22/00—Methods or apparatus for measuring volume of fluids or fluent solid material, not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/08—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N9/00—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity
    • G01N9/02—Investigating density or specific gravity of materials; Analysing materials by determining density or specific gravity by measuring weight of a known volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

一种控制器(145)可以接收从多个感兴趣候选区域(140，175)中识别感兴趣区域的信息，该多个感兴趣候选区域(140，175)包括机器(105)上和该机器(105)外部的位置。该控制器(145)可以使用一个或多个第一传感器设备(160)获得识别位于该感兴趣区域处的材料的数据；并且基于该数据生成图形表示。该控制器(145)可以使用一个或多个第二传感器设备(150)确定该机器(105)的一个或多个部分120，130，135)的位置或取向中的至少一个；并且基于该一个或多个部分(120，130，135)的该位置或该取向中的至少一个识别该图形表示的一部分。该部分可以对应于位于该感兴趣区域处的材料。该控制器(145)可以使用一个或多个计算模型基于该图形表示的该部分确定该材料的体积。

Description

基于传感器数据的材料体积和密度的确定
技术领域
本公开总体上涉及一种控制器，并且例如涉及一种用于确定由机器移动的材料的体积和密度的控制器。
背景技术
当自卸卡车位于挖掘机的铲斗能够将材料倾卸到自卸卡车的卡车车厢中的位置时，挖掘机可以将材料负载到自卸卡车中。挖掘机可以进行一次或多次通过以便将材料负载到卡车车厢中。个人(例如，挖掘机的操作员和/或挖掘机的所有者)可能希望确定挖掘机的生产率的测量值(例如，在工作班次期间)。
例如，个人可能希望获得关于负载到卡车车厢中的材料的体积和/或材料的密度、由铲斗移除(例如，从地面移除)的材料的体积和/或材料的密度和/或挖掘机附近的堆中的材料的体积和/或材料的密度的信息。挖掘机和自卸卡车不能向个人提供这种信息。因此，个人可以求助于这种体积和/或密度的手动测量。获得这种手动测量是耗时的过程。附加地，手动测量可能不准确。手动测量的不准确性可能导致对挖掘机的不准确改变和/或调整(例如，对挖掘机配置的不准确改变和/或调整、对挖掘机部件的不准确改变和/或调整等)。
美国专利申请公开第20200087893号(′893公开)公开了一种移动式作业机器，其包括由框架可移动地支撑的容器。′893公开文献还公开了容器被配置成接收内容物，并且致动器被配置成可控制地驱动容器相对于框架的移动。′893公开文献进一步公开了确定作业机器(例如挖掘机的铲斗)的容器中的土的密度、体积或重量。
虽然′893公开文献公开了确定挖掘机铲斗中的土的密度、体积或重量，但是′893公开文献没有公开确定自卸卡车的卡车车厢中的土的密度或体积，也没有公开确定挖掘机附近的堆中的土的密度或体积。
本公开的控制器解决了上述一个或多个问题和/或本领域中的其他问题。
发明内容
在一些实施方案中，一种由机器的控制器执行的方法包括：接收从多个感兴趣候选区域中识别感兴趣区域的信息，其中该多个感兴趣候选区域包括机器上和机器外部的位置；使用与该机器相关联的一个或多个第一传感器设备获得识别位于该感兴趣区域处的材料的图像；基于该图像生成三维图形表示；使用该机器的一个或多个第二传感器设备确定该机器的一个或多个部分的位置或取向中的至少一个；基于该一个或多个部分的位置或取向中的至少一个确定该感兴趣区域处的材料相对于该机器的坐标；基于该坐标识别该三维图形表示的一部分，其中该部分对应于位于该感兴趣区域处的材料；使用一个或多个计算模型确定该部分的体积；基于该部分的体积确定该材料的体积；以及基于该材料的体积执行动作。
在一些实施方案中，一种机器包括一个或多个存储器；以及一个或多个处理器，该一个或多个处理器被配置成：接收从多个感兴趣候选区域中识别感兴趣区域的信息，其中该多个感兴趣候选区域包括机器上和机器外部的位置；使用与该机器相关联的一个或多个第一传感器设备获得识别位于该感兴趣区域处的材料的数据；基于该数据生成该材料的三维图形表示：使用该机器的一个或多个第二传感器设备确定该机器的一个或多个部分的位置或取向中的至少一个；基于该一个或多个部分的位置或取向中的至少一个识别该三维图形表示的一部分，其中该部分对应于位于该感兴趣区域处的材料；使用一个或多个计算模型确定该部分的体积；以及基于该部分的体积确定该材料的体积。
在一些实施方案中，一种系统包括与机器相关联的一个或多个第一传感器设备；与该机器相关联的一个或多个第二传感器设备；以及该机器的控制器，该机器的控制器被配置成：接收从多个感兴趣候选区域中识别感兴趣区域的信息，其中该多个感兴趣候选区域包括机器上和机器外部的位置；使用该一个或多个第一传感器设备获得识别位于该感兴趣区域处的材料的数据；基于该数据生成图形表示；使用该一个或多个第二传感器设备确定该机器的一个或多个部分的位置或取向中的至少一个；基于该一个或多个部分的位置或取向中的至少一个识别该图形表示的一部分，其中该部分对应于位于该感兴趣区域处的材料；并且使用一个或多个计算模型基于该图形表示的部分确定该材料的体积。
附图说明
图1是本文描述的示例实施方案的图。
图2是本文描述的示例系统的图，该示例系统可以与图1的机器相关联地实施。
图3是涉及基于传感器数据确定材料体积和密度的示例过程的流程图。
具体实施方式
本公开涉及一种(机器的)控制器，该(机器的)控制器确定位于多个感兴趣区域(例如，机器上和机器外部的位置)的材料的体积和/或密度。术语“机器”可以指执行与例如采矿、建筑、农业、运输或其他行业相关联的操作的任何机器。此外，一个或多个工具可以连接到机器。
图1是本文描述的示例实施方案100的图。图1的示例实施方案100包括机器105和机器110。如图1所示，机器105体现为负载机，例如挖掘机。替代地，机器105可以是另一类型的负载机，例如推土机、轮式负载机和/或类似机器。如图1所示，机器110体现为拖运机器，例如采矿卡车、拖运卡车、自卸卡车和/或类似机器。在一些实例中，机器105可以将材料负载(或移动)到机器110中(例如，负载(或移动)到机器110的卡车车厢中)。
如图1所示，机器105包括地面接合部件115、驾驶室120和机器主体125。地面接合部件115可以被配置成推进机器105。地面接合部件115可以包括履带(如图1所示)。替代地，地面接合部件115可以包括轮子、滚轮等。地面接合部件115可以安装在机器主体125上并由一个或多个发动机和传动系(未示出)驱动。
驾驶室120由机器主体125和旋转框架(未示出)支撑。驾驶室120包括集成显示器122和操作员控制件124，例如集成操纵杆。操作员控制件124可以包括一个或多个输入部件以生成控制机器105的移动的信号。
对于自主机器，操作员控制件124可以不设计成由操作员使用，而是可以设计成独立于操作员操作。在这种情况下，例如，操作员控制件124可以包括一个或多个输入部件，该一个或多个输入部件提供输入信号以供另一部件使用而无需任何操作员输入。机器主体125安装在旋转框架(未示出)上。
如图1所示，机器105包括吊杆130、操纵杆135和工具140。吊杆130可枢转地安装在机器主体125的近端，并且通过一个或多个流体致动缸(例如，液压或气压缸)、电动机和/或其他机电部件相对于机器主体125铰接。操纵杆135可枢转地安装在吊杆130的远端，并且通过一个或多个流体致动缸、电动机和/或其他机电部件相对于吊杆130铰接。工具140安装在操纵杆135的远端，并且可以通过一个或多个流体致动缸、电动机和/或其他机电部件相对于操纵杆135铰接。工具140可以是铲斗(如图1所示)或者是可以安装在操纵杆135上的任何其他工具。
如图1所示，机器105包括控制器145(例如，电子控制模块(ECM))、一个或多个惯性测量单元(IMU)150(本文单独地称为“一个IMU 150”，并且共同地称为“多个IMU 150”)、负载传感器设备155、一个或多个立体相机设备160(本文单独地称为“一个立体相机设备160”，并且共同地称为“多个立体相机设备160”)和无线通信部件165。
控制器145可以控制和/或监测机器105的操作。例如，控制器145可以基于来自操作员控制件124、来自IMU 150、来自有效载荷传感器设备155和/或来自立体相机设备160的信号来控制和/或监测机器105的操作。
IMU 150包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理和/或提供指示安装有IMU 150的机器105的部件的位置和取向的信号。例如，IMU 150可以包括一个或多个加速度计和/或一个或多个陀螺仪。一个或多个加速度计和/或一个或多个陀螺仪生成并提供信号，该信号可以用于确定IMU 150相对于参考系的位置和/或取向，并且因此确定部件的位置和/或取向。如图1所示，IMU 150安装在机器105的部件或部分上的不同位置处，例如安装在驾驶室120、吊杆130、操纵杆135和工具140上。
负载传感器设备155可以包括一个或多个传感器设备，该一个或多个传感器设备能够感测材料(例如，负载在工具140中的材料)的质量(或重量)并且生成指示该质量的信号。负载传感器设备155可以包括应变仪、压电传感器、压力传感器、压力换能器和/或类似的传感器设备。如图1所示，负载传感器设备155可以安装在工具140上。
立体相机设备160可以包括一个或多个传感器设备，该一个或多个传感器设备能够获得可用于(例如由控制器145)生成与机器105相关联的区域的三维图形表示的数据。作为实例，立体相机设备160可以获得与机器105相关联的区域的图像。如图1所示，立体相机设备160安装在机器105的部件或部分上的不同位置处，例如安装在驾驶室120、吊杆130和操纵杆135上。作为立体相机设备160的替代或补充，机器105可以包括光检测和测距(LIDAR)设备、感知传感器和/或类似设备。
无线通信部件165可以包括一个或多个设备，该一个或多个设备能够与一个或多个其他机器(例如，机器110)和/或一个或多个设备通信，如本文所述。无线通信部件165可以包括收发机、单独的发射器和接收器、天线等。无线通信部件165可以使用短距离无线通信协议与一个或多个机器通信，例如蓝牙
Figure BDA0004185786470000041
低能耗、蓝牙/>
Figure BDA0004185786470000042
Wi-Fi、近场通信(NFC)、Z波、ZigBee、电气和电子工程师协会(IEEE)802.154等。
附加地或替代地，无线通信部件165可以经由网络与一个或多个机器通信，该网络包括一个或多个有线和/或无线网络，例如无线局域网(LAN)、蜂窝网络(例如，长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络或另一类型的蜂窝网络)、公共陆地移动网络(PLMN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等和/或这些或其他类型网络的组合。
如图1所示，机器110包括无线通信部件170和卡车车厢175。无线通信部件170可以类似于上述无线通信部件165。卡车车厢175可以用于接收材料180(例如，使用机器105的工具140负载到卡车车厢175中)。材料180可以包括地面材料(例如，从泥土获得的材料)。
如上所述，提供图1作为实例。其他实例可能不同于结合图1所描述的。
图2是本文描述的示例系统200的图，该示例系统200可以与图1的机器(例如，机器105)相关联地实施。如图2所示，系统200包括控制器145、一个或多个IMU 150(例如，IMU150-1至150-M(M≥1))、负载传感器设备155、立体相机设备160(例如，立体相机设备160-1至160-N(N≥1))和设备230。作为立体相机设备160的替代或补充，系统200可以包括LIDAR设备、感知传感器和/或类似设备。
控制器145可以包括一个或多个处理器210(本文单独地称为“一个处理器210”，并且共同地称为“多个处理器210”)和一个或多个存储器220(本文单独地称为“一个存储器220”，并且共同地称为“多个存储器220”)。处理器210以硬件、固件和/或硬件和软件的组合来实施。处理器210包括中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或另一类型的处理部件。处理器210能够被编程以执行功能。
存储器220包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储信息和/或供处理器210使用以执行功能的指令的另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)。例如，当执行功能时，控制器145(例如，使用处理器210和存储器220)可以从一个或多个IMU 150、负载传感器设备155和/或立体相机设备160获得数据，并且可以实时或接近实时地确定由机器105移动或将由机器105移动的材料180的体积和/或密度。
IMU 150可以被配置成将姿态信息传输到控制器145，以使控制器145能够确定材料180的体积。姿态信息可以包括关于机器105的一个或多个部分的位置和/或取向的信息。例如，姿态信息可以包括识别驾驶室120的摆动角度、吊杆130的角度和/或操纵杆135的角度的信息。
IMU 150可以被配置成周期性地(例如，每秒、每分钟、在触发发生时等)将姿态信息传输到控制器145。在一些实例中，IMU 150可以预先配置有传输姿态信息的时间段。替代地，传输姿态信息的时间段可以由与机器105相关联的操作员来确定。替代地，传输姿态信息的时间段可以由控制器145确定(例如，基于关于机器105的历史姿态传输数据)。
历史姿势传输数据可以包括关于用于传输姿态信息的时间段、机器105的运动频率和/或类似信息的历史数据。在一些情况下，IMU 150可以被配置成基于来自控制器145的请求将姿态信息传输到控制器145。例如，控制器145可以基于检测机器105的移动、基于来自机器105的操作员的对姿态信息的请求和/或基于确定材料180的体积和/或材料180的密度的请求传输对姿态信息的请求。
负载传感器设备155可以被配置成将负载信息传输到控制器145，以使控制器145能够确定材料180的密度。负载信息可以包括识别材料180的重量和/或质量的信息(例如，负载到机器105的工具140中和/或负载到机器110的卡车车厢175中)。
负载传感器设备155可以被配置成周期性地(例如，每秒、每分钟、在触发发生时等)将负载信息传输到控制器145。在一些实例中，负载传感器设备155可以预先配置有传输负载信息的时间段。替代地，传输负载信息的时间段可以由与机器105相关联的操作员来确定。替代地，传输负载信息的时间段可以由控制器145确定(例如，基于关于机器105的历史负载传输数据)。
历史负载传输数据可以包括关于用于传输负载信息的时间段和/或机器105的移动频率的历史数据。负载传感器设备155可以被配置成基于来自控制器145的请求将负载信息传输到控制器145。例如，控制器145可以基于接收确定密度的请求，基于检测到机器105的移动(例如，基于来自IMU 150的信息)和/或基于对负载信息的请求传输对负载信息的请求。
立体相机设备160可以被配置成获得图像数据并且将该图像数据传输到控制器145以使控制器145能够确定材料180的体积和/或密度。图像数据可以包括与机器105相关联的区域(例如，机器105周围的区域)的图像。图像数据可以识别与机器105相关联的感兴趣区域。感兴趣的区域可以包括机器105的工具140的位置、机器110的卡车车厢175的位置和/或材料堆180的位置。
立体相机设备160可以被配置成周期性地(例如，每秒、每分钟、在触发发生时等)将图像数据传输到控制器145。在一些实例中，立体相机设备160可以预先配置有传输图像数据的时间段。替代地，传输图像数据的时间段可以由与机器105相关联的操作员来确定。替代地，传输图像数据的时间段可以由控制器145来确定(例如，基于关于机器105的历史图像数据)。
历史图像传输数据可以包括关于传输图像数据的时间段、机器105的移动频率、确定体积和/或密度的请求的频率的历史数据。在一些实例中，立体相机设备160可以被配置成基于来自控制器145的请求将图像数据传输到控制器145。例如，控制器145可以基于检测到机器105的移动(例如，与将材料移动到机器110的卡车车厢175中相关联的移动)、基于对图像数据的请求和/或基于确定材料180的体积和/或材料180的密度的请求传输对图像数据的请求。
在一些实例中，立体相机设备160可以执行一个或多个目标检测(或目标识别)操作以识别图像数据中的感兴趣区域。例如，控制器145可以向立体照相机160提供识别感兴趣区域的信息，并且立体相机设备160可以执行一个或多个目标检测操作以识别图像数据中的感兴趣区域。
设备230可以包括一个或多个设备，该一个或多个设备可以监测由不同机器(例如，机器105、机器110和/或其他机器)移动的材料的体积和/或密度。设备230可以包括服务器设备(例如，主机服务器、网络服务器、应用程序服务器等)、计算机(例如，膝上型计算机、台式计算机等)、用户设备(例如，移动设备、膝上型计算机等)、云设备等。在一些实例中，设备230可以包括在机器110中。
控制器145可以从一个或多个IMU 150、负载传感器设备155和/或立体相机设备160获得数据以确定材料180的体积和/或由机器105移动的材料180的体积，如下面更详细描述的。在一些实例中，控制器145可以接收确定由机器105移动和/或待移动的材料的体积(和/或密度)(例如，负载到卡车车厢175中的材料180的体积和/或密度、工具140中的材料180的体积和/或密度和/或机器105和/或机器110的阈值距离内的材料堆180的体积和/或密度)的请求。
控制器145可以接收来自机器105的操作员、机器110的操作员和/或设备230的用户的请求。例如，机器105的操作员可以使用集成显示器122提交请求，并且控制器145可以接收来自集成显示器122的请求。替代地，机器110的操作员可以经由(机器110的)无线通信部件170传输请求，并且控制器145可以经由(机器105的)无线通信部件165接收请求。替代地，控制器145可以经由(机器105的)无线通信部件165接收来自设备230的请求。在一些实例中，控制器145可以提供用户界面(例如，用于显示的图形用户界面)，并且可以使用该用户界面提交请求。
在一些实例中，控制器145可以接收(作为请求的一部分)从多个感兴趣候选区域中识别感兴趣区域的信息。感兴趣区域可以对应于位置、区域、地区和/或类似的地理信息。多个感兴趣候选区域可以包括机器上和机器105外部的位置。例如，多个感兴趣候选区域可以包括机器110的卡车车厢175、机器105的工具140和/或在机器105和/或机器110的阈值距离内的材料堆180。因此，识别感兴趣区域的信息(下文中称为“感兴趣区域信息”)可以识别卡车车厢175、工具140和/或材料堆180。
感兴趣区域信息可以包括识别机器110的信息(例如，机器110的类型和/或机器110的尺寸)、识别卡车车厢175的信息(例如，卡车车厢175的类型、卡车车厢175的尺寸和/或卡车车厢175相对于机器110的位置)、识别工具140的信息(例如，工具140的类型和/或工具140的尺寸)和/或识别材料堆180的信息(例如，材料堆180的位置(例如，相对于机器105和/或机器110)、材料堆180的尺寸和材料堆180的形状)。
在一些实例中，控制器145可以基于识别机器110的信息从与机器105相关联的一个或多个存储器(例如，存储器220)获得识别卡车车厢175的信息。控制器145可以基于将工具140识别为感兴趣区域的请求从一个或多个存储器获得识别工具140的信息。
在一些实例中，基于接收请求，控制器145可以获得与在请求中识别的感兴趣区域相关联的数据。例如，基于接收到该请求，控制器145可以使一个或多个立体相机设备160指向感兴趣区域并且获得包括感兴趣区域的数据(例如，图像)。图像可以识别位于感兴趣区域处的材料180。在一些实例中，控制器145可以使图像存储在一个或多个存储器中。
在一些情况下，控制器145可以在每次检测到机器105的移动(例如，与机器105移动材料180相关联的移动)时使一个或多个立体相机设备160获得图像。控制器145可以基于从一个或多个IMU 150获得的信息检测机器105的移动。
在一些实施方案中，机器110可以经由无线通信部件170传输到达信息，该到达信息指示机器110将到达以获得材料180(从机器105)，指示估计的到达时间，和/或指示在到达时机器110的预期位置(例如，相对于机器105)。替代地，到达信息可以指示机器110已经到达(并且准备从机器105获得材料180)并且指示机器110的实际位置(例如，相对于机器105)。
控制器145可以经由无线通信部件165接收到达信息，并且基于该到达信息使一个或多个立体照相设备160获得图像。例如，控制器145可以使一个或多个立体照相机设备160在估计时间获得包括预期位置的图像，或者基于接收到的到达信息获得包括实际位置的图像。
控制器145(和/或一个或多个立体相机设备160)可以分析数据(例如，图像)以识别感兴趣区域。例如，控制器145(和/或一个或多个立体相机设备160)可以使用一种或多种目标检测技术(例如，单镜头检测器(SSD)技术、仅观看一次(YOLO)技术等)分析图像以识别感兴趣区域。在一些实例中，控制器145可以在控制器145分析图像之前使用一种或多种图像处理技术处理图像。例如，在控制器145分析图像之前，控制器145可以使用一种或多种图像处理技术组合图像。
在一些实例中，到达信息可以指示一个或多个识别元件(例如，一个或多个机器可读光学标记)配备有卡车车厢175(例如，位于卡车车厢175的一个或多个拐角处)。识别元件可以使控制器145(和/或一个或多个立体相机设备160)能够在由控制器145(和/或一个或多个立体相机设备160)对图像执行的目标检测操作期间识别卡车车厢175。替代地，控制器145(和/或一个或多个立体相机设备160)可以使用一种或多种目标检测技术(例如，上文所讨论的)分析图像，以在不使用识别元件的情况下识别卡车车厢175。
控制器145可以基于图像生成三维(3D)图形表示。例如，作为识别数据(例如，图像)中的感兴趣区域的结果，控制器145可以生成3D图形表示。3D图形表示可以表示包括感兴趣区域的机器105周围的区域(或机器105周围的区域的一部分)。在这点上，3D图形表示可以使控制器145能够确定机器105周围区域的3D特征，包括感兴趣区域(例如，感兴趣区域的体积)的3D特征。
控制器145可以基于图像生成视差图。控制器145可以使用一种或多种数据处理技术(例如，用于生成视差图的一种或多种数据处理技术)生成视差图。控制器145可以使用一种或多种图像处理技术基于视差图生成3D图形表示(例如，用于基于视差图生成3D图形表示)。作为实例，3D图形表示可以包括3D点云。
控制器145可以确定机器105的一个或多个部分的位置和/或取向。例如，控制器145可以以类似于上述方式的方式从一个或多个IMU 150获得姿态信息。控制器145可以基于姿态信息确定机器105的一个或多个部分的位置和/或取向。例如，控制器145可以基于姿态信息确定驾驶室120的摆动角度、吊杆130的角度和/或操纵杆135的角度。
控制器145可以基于一个或多个部分的位置和/或取向确定感兴趣区域相对于机器105的坐标(例如，感兴趣区域处的材料180的坐标)。例如，控制器145可以确定感兴趣区域相对于机器105的特定部分的坐标。例如，控制器145可以将机器105的特定部分视为3D图形表示的中心点(例如，3D图形表示的坐标“0，0，0”)，并且感兴趣区域的坐标可以对应于3D图形表示相对于中心点的3D坐标。
控制器145可以基于坐标识别对应于感兴趣区域的3D图形表示的一部分(下文中称为“3D部分”)。在一些实例中，3D部分可以对应于包括材料180的卡车车厢175。附加地或替代地，3D部分可以对应于包括材料180的工具140。附加地或替代地，3D部分可以对应于材料堆180。控制器145可以识别3D部分以保存计算资源，该计算资源将另外用于处理整个3D图形表示以确定感兴趣区域处的材料180的体积。
控制器145可以使用一个或多个计算模型、一个或多个计算算法和/或可以用于确定3D图形表示的体积的其他机器算法确定3D部分的体积。在一些情况下，3D部分可以对应于材料堆180。因此，3D部分的体积可以对应于材料180的体积。
控制器145可以实时或接近实时地确定3D部分的体积。在这点上，控制器145可以周期性地(例如，每秒、每分钟和/或类似时间段)确定3D部分的体积。附加地或替代地，控制器145可以在每次检测到机器105的移动(例如，与机器105移动材料180相关联的移动)时确定3D部分的体积。控制器145可以如上所述检测机器105的移动。
因为控制器145可以实时确定3D部分的体积，所以3D部分的体积可以在一段时间内改变。例如，假定感兴趣区域是卡车车厢175。在第一时间，在机器105将任何材料180负载到卡车车厢175中之前，3D部分的体积可以对应于卡车车厢175空载时卡车车厢175的体积。
假定机器105在第一时间之后将材料180的第一部分负载到卡车车厢175中。在第二时间(在第一时间之后)，3D部分的体积可以对应于包括材料180的第一部分的卡车车厢175的体积(例如，当为卡车车厢175时，除了卡车车厢175的体积之外的材料180的第一部分的体积)等。控制器145可以存储(例如，在一个或多个存储器中)识别该时间段内(例如，在工作班次期间)3D部分的不同体积的信息。
控制器145可以基于3D部分的体积确定材料180的体积。在一些情况下，3D部分的体积可以对应于材料180的体积，如上所述。在一些情况下，3D部分可以对应于包括材料180的卡车车厢175(如果感兴趣区域是卡车车厢175)，或者可以对应于包括材料180的工具140(如果感兴趣区域是工具140)。
假设3D部分对应于包括材料180的卡车车厢175、控制器145可以基于卡车车厢175的先前体积确定卡车车厢175中的材料180的体积。作为实例，控制器145可以基于卡车车厢175空载时卡车车厢175的体积确定卡车车厢175中的材料180的体积。例如，控制器145可以从一个或多个存储器获得识别卡车车厢175空载时卡车车厢175的体积的信息。控制器145可以通过从3D部分的体积中减去卡车车厢175的体积来确定材料180的体积。控制器145可以以类似于上述关于卡车车厢175中的材料180的体积的方式确定工具140中的材料180的体积。
控制器145可以实时或接近实时地确定材料180的体积。在这点上，控制器145可以周期性地(例如，每秒、每分钟和/或类似时间段)确定材料180的体积。附加地或替代地，控制器145可以在每次检测到机器105的移动(例如，与机器105移动材料180相关联的移动)时确定材料180的体积。控制器145可以如上所述检测机器105的移动。
控制器145可以基于材料180的体积执行动作。例如，该动作可以包括控制器145，该控制器145将关于材料180的体积的信息传输到机器110、设备230和/或另一类似的接收者。例如，控制器145可以使用无线通信部件165传输关于体积的信息。
附加地或替代地，动作可以包括控制器145确定材料180的密度。例如，控制器145可以基于材料180的体积和材料180的质量确定材料180的密度。例如，控制器145可以基于涉及材料180的质量和材料180的体积的一个或多个数学运算确定材料180的密度。在一些情况下，控制器145可以基于以下公式确定材料180的密度：
p＝m/V
其中p对应于材料180的密度，m对应于材料180的质量，并且V对应于材料180的体积。
在一些实例中，控制器145可以确定卡车车厢175中的材料180的密度。控制器145可以经由无线通信部件165从机器110获得识别卡车车厢175中的材料180的质量的信息。例如，控制器145可以经由无线通信部件165将识别卡车车厢175中的材料180的质量的信息的请求传输到机器110，并且控制器145可以经由无线通信部件165接收从机器110识别卡车车厢175中的材料180的质量的信息。在一些情况下，机器110可以基于来自与卡车车厢175相关联的一个或多个传感器设备的数据确定材料180的质量。一个或多个传感器设备可以类似于负载传感器设备155，并且可以位于卡车车厢175的一个或多个部分处。一个或多个传感器设备的数据可以识别卡车车厢175中的材料180的质量。
附加地或替代地，控制器145可以经由无线通信部件165接收确定卡车车厢175中的材料180的密度的请求(例如，基于机器110接收识别材料180的体积的信息)。该请求可以包括识别卡车车厢175中的材料180的质量的信息(例如，从与卡车车厢175相关联的一个或多个传感器设备获得)。控制器145可以基于材料180的质量(例如，在负载信息中识别的)和材料180的体积确定材料180的密度。
附加地或替代地，控制器145可以确定工具140中的材料180的密度。控制器145可以以类似于上述方式(关于负载传感器设备155的描述)的方式从负载传感器设备155获得负载信息。负载信息可以识别工具140中的材料180的质量。控制器145可以基于上述确定的材料180(在工具140中)的质量和材料180(在工具140中)的体积确定材料180(在工具140中)的密度。
附加地或替代地，控制器145可以确定材料堆180中的材料180的质量。在一些实例中，控制器145可以从沉积获得该堆的机器、从致使获得该堆的操作员的用户设备、从设备230和/或其他类似信息源获得识别材料180的质量的信息。该机器可以以与上述关于机器110的方式类似的方式提供识别材料180的质量的信息。在一些情况下，材料180的质量可以是预定的(例如，由用户设备、由设备230等来预定)。控制器145可以基于上述确定的材料180(堆中)的质量和材料180(堆中)的体积确定材料180(堆中)的密度。
在一些实例中，控制器145可以确定材料180的类型(例如，在卡车车厢175中和/或在堆中)并且可以基于材料180的类型和材料180的体积确定材料180的质量。例如，控制器145可以基于涉及材料180的体积和材料180的类型的一个或多个数学运算确定材料180的质量。附加地或替代地，控制器145可以使用一个或多个计算模型、一个或多个计算算法和/或可以用于基于材料的体积和材料的类型确定材料的质量的其他机器算法确定材料180的质量。
控制器145可以从机器105的操作员、从一个或多个存储器、从机器110的操作员、从机器110的控制器、从设备230的用户和/或从设备230获得识别材料180的类型的信息。材料180的类型可以包括泥土、岩石、矿物、沥青和/或其他类型的材料。一种类型的材料180和另一类型的材料180的材料180的质量可以不同。
控制器145可以将关于材料180的密度的信息(例如，在卡车车厢175中、在工具140中和/或在堆中)传输到设备230。例如，控制器145可以使用无线通信部件165传输关于材料180的密度(和/或材料180的体积)的信息。
附加地或替代地，动作可以包括控制器145自动更新机器105的操作以提高机器105的生产率。例如，控制器145可以自动引起对机器105的配置的更新(例如，机器105软件的更新)、机器105的一个或多个部件的更新(例如，一个或多个部件的校准的更新、一个或多个部件的替换和/或一个或多个部件的类似更新)和/或另一类似更新。
在一些实例中，感兴趣区域信息可以识别多个感兴趣区域。例如，多个感兴趣区域信息可以识别卡车车厢175、另一机器的卡车车厢(或集装箱)、工具140、材料堆180和/或另一材料堆的组合(例如，两个或更多个)。控制器145可以以与上述关于实时或接近实时地确定材料180的体积(和/或密度)的方式类似的方式实时或接近实时地确定多个感兴趣区域处的材料的体积(和/或密度)。
图2所示的设备和网络的数量和布置是作为实例提供的。实际上，可以有附加的设备、更少的设备、不同的设备或与图2所示的设备不同地布置的设备。此外，图2所示的两个或更多个设备可以在单个设备内实现，或者图2所示的单个设备可以实现为多个分布式设备。附加地或替代地，系统200的一组设备(例如，一个或多个设备)可以执行被描述为由系统200的另一组设备执行的一个或多个功能。
图3是与基于传感器数据的材料体积和密度的确定相关联的示例过程300的流程图。在一些实施方案中，图3的一个或多个处理框可以由控制器(例如，控制器145)来执行。在一些实施方案中，图3的一个或多个处理框可以由与控制器分离或包括控制器的另一设备或一组设备来执行，例如传感器设备(例如，立体照相机160-1至160-M、一个或多个LIDAR设备和/或一个或多个感知传感器)、IMU(例如，IMU 150-1至150-N)、无线通信部件165和/或设备(例如，设备230)。
如图3所示，过程300可以包括接收从多个感兴趣候选区域中识别感兴趣区域的信息，其中多个感兴趣候选区域包括机器上和机器外部的位置(框310)。例如，控制器可以接收从多个感兴趣候选区域中识别感兴趣区域的信息，其中多个感兴趣候选区域包括机器上和机器外部的位置，如上所述。多个感兴趣候选区域包括机器上和机器外部的位置。
如图3中进一步所示，过程300可以包括使用与机器相关联的一个或多个第一传感器设备获得识别位于感兴趣区域处的材料的图像(框320)。例如，控制器可以使用与机器相关联的一个或多个立体相机设备获得识别位于感兴趣区域处的材料的图像，如上所述。
如图3中进一步所示，过程300可以包括基于图像生成三维图形表示(框330)。例如，控制器可以基于图像生成三维图形表示，如上所述。所述控制器可以基于多个图像中的第一图像和第二图像生成视差图：并且基于该视差图生成三维(3D)点云。
如图3中进一步所示，过程300可以包括使用机器的一个或多个第二传感器设备确定机器的一个或多个部分的位置或取向中的至少一个(框340)。例如，控制器可以使用机器的一个或多个传感器设备确定机器的一个或多个部分的位置或取向中的至少一个，如上所述。确定机器的一个或多个部分的位置或取向中的至少一个包括确定机器的驾驶室、机器的操纵杆或机器的吊杆的位置或取向中的至少一个。
如图3中进一步所示，过程300可以包括基于一个或多个部分的位置或取向中的至少一个确定感兴趣区域处的材料相对于机器的坐标(框350)。例如，控制器可以基于一个或多个部分的位置或取向中的至少一个确定感兴趣区域处的材料相对于机器的坐标，如上所述。
如图3中进一步所示，过程300可以包括基于坐标识别三维图形表示的一部分，其中该部分对应于位于感兴趣区域处的材料(框360)。例如，控制器可以基于坐标识别三维图形表示的一部分，其中该部分对应于位于感兴趣区域处的材料，如上所述。该部分对应于位于感兴趣区域处的材料。
如图3中进一步所示，过程300可以包括使用一个或多个计算模型确定该部分的体积(框370)。例如，控制器可以使用一个或多个计算模型确定该部分的体积，如上所述。
如图3中进一步所示，过程300可以包括基于该部分的体积确定材料的体积(框380)。例如，控制器可以基于该部分的体积确定材料的体积，如上所述。
该机器可以是第-机器，并且该过程还可以包括基于图像将第二机器的卡车车厢识别为感兴趣区域。在一些实施方案中，确定材料的体积包括确定由第一机器移动到卡车车厢中的材料的体积。
如图3进一步所示，过程300可以包括基于材料的体积执行动作(框390)。例如，控制器可以基于材料的体积执行动作，如上所述。
一个或多个第一传感器设备可以包括一个或多个立体相机设备、一个或多个LIDAR设备或一个或多个感知传感器中的至少一个，并且该过程还可以包括使用所述机器的一个或多个第三传感器设备获得识别所述材料的质量的信息，并且基于材料的质量和材料的体积确定材料的密度。确定材料的体积可以包括：基于数据确定卡车车厢空载时卡车车厢的第一体积：基于该数据确定在该材料已经被移动到该卡车车厢中之后该卡车车厢的第二体积；以及基于第一体积与第二体积之间的差确定感兴趣区域处的材料的体积。
在一些实例中，执行动作包括将关于体积或密度中的至少一个的信息传输到一个或多个设备，该一个或多个设备监测由机器移动的材料的体积或材料的密度中的至少一个。
虽然图3示出了过程300的示例框，但是在一些实施方案中，过程300可以包括与图3中描绘的那些框相比附加的框、更少的框、不同的框或不同地布置的框。附加地或替代地，可以并行地执行过程300的两个或更多个框。
工业实用性
本公开涉及一种确定位于多个感兴趣区域(例如，机器上和机器外部的位置)处的材料的体积和/或密度的控制器。所公开的用于确定位于多个感兴趣区域处的材料的体积和/或密度的过程可以防止与材料的体积和/或密度的手动测量相关联的问题。这种手动测量可能浪费计算资源，该计算资源用于补救与不准确的手动测量相关联的问题(例如，补救与对挖掘机的不准确改变和/或调整相关联的问题，例如对挖掘机配置的不准确改变和/或调整、对挖掘机部件的不准确改变和/或调整等)。
所公开的过程可以解决上述关于手动测量的问题。所公开的用于确定位于多个感兴趣区域的材料的体积和/或密度的过程可以具有几个优点。例如，该过程可以确定在机器上和机器外部的位置(例如，机器的铲斗、另一机器的卡车车厢和/或机器的阈值距离内的材料堆)处的材料的体积和/或密度。附加地，通过使用传感器数据确定材料的体积和/或密度，该过程可以防止手动测量材料的体积和/或密度。
通过防止这种手动测量，该过程可以保存计算或机器资源，否则这些资源将被用于补救与不准确的手动测量相关联的问题，这种补救是与挖掘机的不准确改变和/或调整相关联的问题(例如，与挖掘机配置的不准确改变和/或调整、挖掘机部件的不准确改变和/或调整相关联的问题等)。
上述公开内容提供了说明和描述，但并不旨在穷举或将实施方式限制为所公开的精确形式。可以根据上文公开内容进行修改和变化，或者可以从实施方式的实践中获得修改和变化。此外，本文描述的任何实施方式可以组合，除非前述公开内容明确地提供了一个或多个实施方式不能组合的原因。即使特征的特定组合在权利要求中叙述和/或在说明书中公开，这些组合并不旨在限制各种实施方式的公开。尽管下面列出的每项从属权利要求可能直接从属于仅一项权利要求，但是各种实施方式的公开包括与权利要求组的所有其他权利要求相结合的每项从属权利要求。
如本文所用，“一”、“一个”和“一组”旨在包括一个或多个事物，并且可与“一个或多个”互换使用。此外，如本文所用，冠词“该”旨在包括结合冠词“该”引用的一个或多个事物，并且可与“该一个或多个”互换使用。此外，短语“基于”旨在表示“至少部分地基于”，除非另有明确说明。此外，如本文所用，术语“或”在以系列使用时旨在是包括性的，并且可与“和/或”互换使用，除非另外明确说明(例如，如果与“任一者”或“仅一者”组合使用)。此外，为易于描述本文可以使用空间上相对的术语，例如“之下”、“下”、“之上”、“上”等来描述如图所绘示的一个元件或特征与另一元件或特征的关系。空间上相对的术语旨在涵盖除附图中描绘的取向之外的使用或操作中的设备、装置和/或元件的不同取向。设备可以以其他方式取向(旋转90度或以其他取向)，并且本文使用的空间上相对的描述符同样可以相应地解释。

Claims (10)

1.一种由机器(105)的控制器(145)执行的方法，所述方法包括：
接收从多个感兴趣候选区域(140，175)中识别感兴趣区域的信息，
其中所述多个感兴趣候选区域(140，175)包括所述机器(105)上和所述机器(105)外部的位置；
使用与所述机器(105)相关联的一个或多个第一传感器设备(160)获得识别位于所述感兴趣区域处的材料的图像；
基于所述图像生成三维图形表示；
使用所述机器(105)的一个或多个第二传感器设备(150)确定所述机器(105)的一个或多个部分(120，130，135)的位置或取向中的至少一个；
基于所述一个或多个部分(120，130，135)的所述位置或所述取向中的所述至少一个确定所述感兴趣区域处的所述材料相对于所述机器(105)的坐标；
基于所述坐标识别所述三维图形表示的一部分，
其中所述部分对应于位于所述感兴趣区域处的所述材料；
使用一个或多个计算模型确定所述部分的体积；
基于所述部分的所述体积确定所述材料的体积；以及
基于所述材料的所述体积执行动作。
2.根据权利要求1所述的方法，其中所述一个或多个第一传感器设备(160)包括一个或多个立体相机设备、一个或多个光检测和测距(LIDAR)设备、或一个或多个感知传感器中的至少一个；并且
其中所述方法还包括：
使用所述机器(105)的一个或多个第三传感器设备(155)获得识别所述材料的质量的信息；以及
基于所述材料的所述质量和所述材料的所述体积确定所述材料的密度。
3.根据权利要求2所述的方法，其中执行所述动作包括：
将关于所述体积或所述密度中的至少一个的信息传输到一个或多个设备(110，230)，所述一个或多个设备(110，230)监测由所述机器(105)移动的材料的体积或材料的密度中的至少一个。
4.根据权利要求1所述的方法，其中所述机器(105)是第一机器(105)；
其中所述方法还包括：
基于所述图像将第二机器(110)的卡车车厢(175)识别为所述感兴趣区域；并且
其中确定所述材料的所述体积包括：
确定由所述第一机器(105)移动到所述卡车车厢(175)中的所述材料的体积。
5.根据权利要求1所述的方法，其中确定所述机器(105)的所述一个或多个部分(120，130，135)的所述位置或所述取向中的所述至少一个包括：
确定所述机器(105)的驾驶室(120)、所述机器(105)的操纵杆(135)或所述机器(105)的吊杆(130)的位置或取向中的至少一个。
6.一种机器(105)，包括：
一个或多个存储器(220)；以及
一个或多个处理器(210)，所述一个或多个处理器(210)被配置成：
接收从多个感兴趣候选区域(140，175)中识别感兴趣区域的信息，
其中所述多个感兴趣候选区域(140，175)包括所述机器(105)上和所述机器(105)外部的位置；
使用与所述机器(105)相关联的一个或多个第一传感器设备(160)获得识别位于所述感兴趣区域处的材料的数据；
基于所述数据生成所述材料的三维图形表示；
使用所述机器(105)的一个或多个第二传感器设备(150)确定所述机器(105)的一个或多个部分(120，130，135)的位置或取向中的至少一个；
基于所述一个或多个部分(120，130，135)的所述位置或所述取向中的所述至少一个识别所述三维图形表示的一部分，
其中所述部分对应于位于所述感兴趣区域处的所述材料；
使用一个或多个计算模型确定所述部分的体积；以及
基于所述部分的所述体积确定所述材料的体积。
7.根据权利要求6所述的机器(105)，其中所述一个或多个第一传感器设备(160)包括位于所述机器(105)的所述一个或多个部分(120，130，135)处的一个或多个立体相机(160)，
所述一个或多个部分(120，130，135)包括所述机器(105)的驾驶室(120)、所述机器(105)的操纵杆(135)或所述机器(105)的吊杆(130)中的至少一个；
其中所述数据包括多个图像；并且
其中，在生成所述三维图形表示时，所述一个或多个处理器(210)被配置成：
基于所述多个图像中的第一图像和第二图像生成视差图；以及
基于所述视差图生成三维(3D)点云。
8.根据权利要求6所述的机器(105)，其中所述一个或多个第一传感器设备(160)包括一个或多个光检测和测距(LIDAR)设备；并且
其中，在生成所述三维图形表示时，所述一个或多个处理器(210)被配置成：
基于所述数据生成三维(3D)点云。
9.根据权利要求6所述的机器(105)，其中所述数据是第一数据；
其中所述感兴趣区域是第一感兴趣区域；并且
其中所述一个或多个处理器(210)还被配置成：
使用所述机器(105)的所述一个或多个第一传感器设备获得第二数据，
其中所述第二数据识别所述多个感兴趣候选区域(140，175)的第二感兴趣区域；
基于所述第二数据识别所述第二感兴趣区域；以及
基于所述第二数据确定所述第二感兴趣区域处的所述材料的体积。
10.根据权利要求6所述的机器(105)，其中所述一个或多个处理器(210)还被配置成：
使用一种或多种目标检测技术在所述数据中将另一机器(110)的卡车车厢(175)识别为所述感兴趣区域；并且
其中，在确定所述材料的所述体积时，所述一个或多个处理器(210)还被配置成：
基于所述数据确定所述卡车车厢(175)空载时所述卡车车厢(175)的第一体积；
基于所述数据确定在所述材料已经被移动到所述卡车车厢(175)中之后所述卡车车厢(175)的第二体积；以及
基于所述第一体积与所述第二体积之间的差确定所述感兴趣区域处的所述材料的所述体积。
CN202180071386.3A 2020-10-26 2021-10-18 基于传感器数据的材料体积和密度的确定 Pending CN116348646A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/949346 2020-10-26
US16/949,346 US11961253B2 (en) 2020-10-26 2020-10-26 Determining material volume and density based on sensor data
PCT/EP2021/025410 WO2022089778A1 (en) 2020-10-26 2021-10-18 Determining material volume and density based on sensor data

Publications (1)

Publication Number Publication Date
CN116348646A true CN116348646A (zh) 2023-06-27

Family

ID=78332749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180071386.3A Pending CN116348646A (zh) 2020-10-26 2021-10-18 基于传感器数据的材料体积和密度的确定

Country Status (5)

Country Link
US (1) US11961253B2 (zh)
EP (1) EP4232640A1 (zh)
JP (1) JP2023548451A (zh)
CN (1) CN116348646A (zh)
WO (1) WO2022089778A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230243129A1 (en) * 2022-02-01 2023-08-03 Caterpillar Inc. System and method for measuring material swell
US20230394650A1 (en) * 2022-06-02 2023-12-07 Caterpillar Sarl Identify carryback in unknown truck bed

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234368B2 (en) * 2016-10-13 2019-03-19 Deere & Company System and method for load evaluation
US20180179732A1 (en) 2016-12-22 2018-06-28 Caterpillar Inc. Realtime payload mapping for loader/hauler system optimization
US10662613B2 (en) 2017-01-23 2020-05-26 Built Robotics Inc. Checking volume in an excavation tool
US10733752B2 (en) 2017-07-24 2020-08-04 Deere & Company Estimating a volume of contents in a container of a work vehicle
US10982409B2 (en) 2018-04-02 2021-04-20 Deere & Company Excavator measurement and control logic
JP7236826B2 (ja) 2018-07-31 2023-03-10 株式会社小松製作所 作業機械
US10689830B2 (en) 2018-08-06 2020-06-23 Deere & Company Container angle sensing using vision sensor for feedback loop control
US11041291B2 (en) 2018-09-14 2021-06-22 Deere & Company Controlling a work machine based on sensed variables
US11131082B2 (en) * 2019-06-13 2021-09-28 Deere & Company Work vehicle with a payload tracking system
WO2021054436A1 (ja) * 2019-09-18 2021-03-25 住友重機械工業株式会社 ショベル

Also Published As

Publication number Publication date
EP4232640A1 (en) 2023-08-30
JP2023548451A (ja) 2023-11-17
WO2022089778A1 (en) 2022-05-05
US11961253B2 (en) 2024-04-16
US20220130063A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US10024710B2 (en) Payload monitoring system
CN116348646A (zh) 基于传感器数据的材料体积和密度的确定
JP7274831B2 (ja) 作業機械
JP7204366B2 (ja) 作業機械を制御するためのシステム及び方法
JP7199865B2 (ja) 作業機械を制御するためのシステム及び方法
JP7071203B2 (ja) 作業機械
JP7160606B2 (ja) 作業機械の制御システム及び方法
US20220341132A1 (en) Monitoring ground-engaging tool, system, and methods for earth working equipment and operations
US20180088591A1 (en) Systems, methods, and apparatus for dynamically planning machine dumping operations
JP2012036645A (ja) 積込量管理システム及び積込量管理方法
JP7199864B2 (ja) 作業機械を制御するためのシステム及び方法
CN114127745A (zh) 工程机械的作业信息生成系统以及作业信息生成方法
JP7236826B2 (ja) 作業機械
EP4348378A1 (en) Selectively causing remote processing of data for an autonomous digging operation
JP7265323B2 (ja) 作業機械を制御するためのシステム及び方法
CN117377804A (zh) 用于机器操作的传感器数据的远程处理
AU2014271294B2 (en) Machine positioning system utilizing relative pose information
US20220237534A1 (en) Data processing system for construction machine
US20230394650A1 (en) Identify carryback in unknown truck bed
US20230392345A1 (en) Control device, control system, and control method
EP3985178A1 (en) System for determining content of work performed by construction machine and method for determining work
KR20160121827A (ko) 건설기계의 작업경로 산출 방법 및 그 작업경로를 바탕으로 건설기계를 제어하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination