CN113497919A - 用于作业机器的增强的可视性系统 - Google Patents

用于作业机器的增强的可视性系统 Download PDF

Info

Publication number
CN113497919A
CN113497919A CN202110363644.7A CN202110363644A CN113497919A CN 113497919 A CN113497919 A CN 113497919A CN 202110363644 A CN202110363644 A CN 202110363644A CN 113497919 A CN113497919 A CN 113497919A
Authority
CN
China
Prior art keywords
work machine
image data
data
sensor
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110363644.7A
Other languages
English (en)
Inventor
B·P·克罗尼
J·L·费弗里
M·W·布雷登堡格
B·R·范德维尔
S·拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of CN113497919A publication Critical patent/CN113497919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/841—Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7609—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种用于作业机器的增强的可视性系统，包括图像捕获装置、传感器、一个或多个控制电路和显示器。图像捕获装置被配置成获得围绕作业机器的区域的图像数据。传感器被配置成获得关于围绕作业机器的区域的物理特性的数据。控制电路被配置成接收图像数据和关于物理特性的数据，并且用关于物理特性的数据扩充图像数据以生成扩充的图像数据。显示器被配置成显示扩充的图像数据以提供作业机器周围的区域的增强的视图。

Description

用于作业机器的增强的可视性系统
技术领域
本申请总体上涉及作业机器。更具体地，本申请涉及用于作业机器的操作员的增强的视觉显示。
背景技术
作业机器，例如推土机，用于需要操作员控制作业机器和与该机器相关联的各种实施的各种任务。该控制可由操作员物理地在机器上执行，或可以由使用一个或多个远程装置远离机器的操作员执行。这些机器可能是大型的和复杂的，增加了在提供控制时了解机器的周围环境的需求。
美国专利2018/0141658A1描述了一种采用航空摄像机的汽车的驾驶员辅助系统。
发明内容
在一个示例中，用于作业机器的增强的可视性系统包括图像捕获装置、传感器、一个或多个控制电路以及显示器。该图像捕获装置被配置成获得围绕作业机器的区域的图像数据。该传感器被配置成获得关于围绕作业机器的区域的物理特性的数据。控制电路被配置成接收图像数据和关于物理特性的数据，并利用关于物理特性的数据扩充图像数据以生成扩充的图像数据。该显示器被配置成显示扩充的图像数据以提供围绕作业机器的区域的增强的视图。
在另一示例中，一种用于为作业机器的操作员提供增强的可视性显示的方法包括经由图像捕获装置捕捉围绕作业机器的区域的图像数据；感测关于围绕作业机器的区域的物理特性的数据；经由一个或多个控制电路接收图像数据和关于物理特性的数据；用关于物理特性的数据扩充图像数据以生成扩充的图像数据；以及显示扩充的图像数据以向操作员提供围绕作业机器的区域的增强的视图。
在另一示例中，用于遥控的作业机器的系统包括图像捕获装置、传感器、控制电路和显示器。图像捕获装置被配置成获得与遥控作业机器相邻的区域的图像数据。传感器被配置成获得与遥控的作业机器相邻的区域的物理特性有关的数据。控制电路被配置成接收图像数据和关于物理特性的数据，并用关于物理特性的数据扩充图像数据以生成扩充的图像数据。显示器被定位在远程计算装置上并且被配置成显示扩充的图像数据以向遥控的作业机器的操作员提供与该遥控的作业机器相邻的区域的增强的视图。
附图说明
图1是示出包括用于获取数据以向操作员提供增强的视觉显示的传感器的作业机器的示图。
图2是示出包括作业机器和用于获取数据以向操作员提供增强的视觉显示的空中装置的系统的示图。
图3和图4是示出提供给作业机器的操作员的示例性增强的显示的示图。
图5是示出用于为作业机器的操作员提供增强的显示的方法的流程图。
具体实施方式
图1是示出包括用于获取数据以向操作员提供增强的视觉显示的传感器102和104的作业机器100的示图。虽然被标记为传感器，传感器102和104可以是包括一个或多个传感器的任何部件、装置或组件。作业机器100在图1中被示为推土机，但可以是任何其他作业机器，诸如压实机、搅拌机、铲运机、机动平地机、挖掘机、物料运输机等。作业机器100包括传感器102和104、控制和存储电路106以及可选的显示器108。虽然图示为定位在作业机器100的前部，但传感器102和104可定位在作业机器100上的任何其他位置。
在一些示例中，作业机器100可由物理上位于作业机器100上的操作员控制。在这些示例中，显示器108可用于向作业机器100上的操作员提供周围或邻近区域的增强的视图。在其他示例中，作业机器100可使用一个或多个系统(例如图1所示的远程计算装置110)来被遥控。远程计算装置110可以包括显示器、一个或多个输入/输出装置、控制和存储电路以及任何其他组件。在一些示例中，显示器可以包括诸如触摸屏显示器的输入/输出功能。
控制和存储电路106可以包括例如软件、硬件以及硬件和软件的组合，其被配置成执行与控制作业机器100和提供给显示器108和/或远程计算装置110的增强图像的相关的若干功能。控制和存储电路106可以是包括多个部件的模拟、数字或模拟和数字的组合控制器。作为示例，控制和存储电路106可以包括集成电路板或ICB、印刷电路板PCB、处理器、数据储存装置、开关、继电器或任何其他部件。处理器的示例可包含微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)或等效离散或集成逻辑电路中的任何一个或多个。
控制和存储电路106可以包括储存介质以存储和/或检索数据或其他信息，例如来自传感器102和104的输入数据。在一些示例中，储存装置被描述为计算机可读储存介质。数据储存装置可用于存储例如由控制和存储电路106的处理器执行的程序指令。例如，储存装置由在控制和存储电路106上运行和/或由其执行的软件、应用、算法来使用。储存装置可以包括短期和/或长期存储器，并且可以是易失性和/或非易失性的。非易失性存储元件的示例包含磁性硬盘、光盘、软盘、快闪存储器或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。
例如，传感器102和104中的一个或两个可以是光学图像传感器或包括光学图像传感器的装置。图像传感器可以是数字成像器，或者被配置成将所接收的光转换为电子信号的其他模拟或数字装置，并且可以被结合到一个或多个图像捕获装置中，例如摄像机。图像捕获装置可以被配置为为作业机器100周围或附近的一个或多个区域提供静态图像、视频馈送等。例如，传感器102和104中的一个或两个可以并入摄像机中并且可以是用于捕获视频的图像传感器，包括但不限于半导体电荷耦合器件(CCD)型传感器、互补金属氧化物半导体(CMOS)型传感器、N型金属氧化物半导体(NMOS)型传感器或其他任何类型的图像传感器或其组合。围绕机器的区域可以是后视图、前视图、侧视图或作业机器100周围或附近的任何其他区域的视图。
传感器102和104中的一个或两个可以是另一种类型的传感器或装置，其包括另一种类型的传感器，例如光检测和测距(激光)、雷达、热成像仪、负载传感器、超声传感器等，其被配置成收集关于机器100周围或附近区域的物理特性的数据。例如，激光雷达传感器发射激光并且测量返回的激光的特性以获得指示区域的物理特性的数据。这些物理特性可以包括关于地形、障碍物等的数据。类似地，雷达装置发射无线电波并测量反射的无线电波的特性以感测区域的类似特性。这些和其他类型的传感器或装置可用于感测摄像机或其他图像捕获装置无法获得的围绕作业机器100的区域的特性。
图2是示出包括作业机器100、空中装置200和202以及用于获取数据以向操作员提供增强的视觉显示的静态传感器203的系统的示图。空中装置200和202可以是诸如无人机的任何类型的无人机装置(UAV)。每个空中装置200和202包括位于空中装置200和202上的相应传感器(或包括传感器的装置)204和206。例如，每个传感器204和206可以是光学图像传感器(或图像捕获装置，例如摄像机)。图像传感器可以是数字成像器，或者被配置成将所接收的光转换为电子信号的其他模拟或数字装置，并且可以被结合到一个或多个图像捕获装置中，例如摄像机。图像捕获装置可以被配置成提供静态图像、视频馈送等。传感器204和206还可以是另一种类型的传感器或装置，例如激光雷达、雷达、超声传感器、热成像仪等，其被配置成收集关于机器100周围的区域的数据。虽然被示为两个空中装置200和202，每个都具有单个相应的传感器204和206，但是该系统可以包括任何数量的空中装置，每个都具有任何数量的传感器。
例如，空中装置200和202可以包括控制和存储电路以及无线通信接口。无线通信接口可用于与控制和存储电路106以及远程计算装置110中的一个或多个通信数据。无线通信接口还可用于从控制和存储电路106以及远程计算装置110中接收数据，诸如控制指令。在另一示例中，一个或多个空中装置200和202可以通过有线连接系留或以其他方式连接到作业机器100。在该示例中，相应的空中装置可通过有线连接与作业机器100通信和/或从作业机器100接收电力。
作业机器100的操作员例如可能希望观察作业机器100附近的特定区域，并且可以手动控制空中装置200和202以获得关于相应区域的图像或其他数据。在另一示例中，控制和存储电路106或远程计算装置110可基于作业机器100的当前位置自动控制空中装置200和202。例如，可以自动地控制空中装置200以在作业机器100前方保持预定距离，并且可以控制空中装置202以在作业机器100后方保持预定距离，从而可以连续地获得作业机器100周围的前方和后方区域的图像或其他数据。
静态传感器203可被定位成获得与作业机器100的操作相关的数据。在一个示例中，静态传感器203可以是定位在静态位置中以获得关于相应工地的数据的一个或多个现场传感器。例如，静态传感器203可以是例如光学图像传感器或包括光学图像传感器的装置。静态传感器203还可以是另一种类型的传感器或装置，其包括另一种类型的传感器，例如激光雷达、雷达、超声传感器、热成像仪、负载传感器等，其被配置成收集关于该区域的物理特性的数据。虽然被示为两个静态传感器203，但是可以使用任何数量的静态传感器或装置来获得关于与作业机器100相关联的区域的数据。
在作业机器100、空中装置200和202以及静态传感器203之间可以使用传感器或装置的任何组合。例如，作业机器100可包括一个或多个图像捕获装置，而空中装置200和202可包括激光雷达装置、热成像仪、超声传感器、雷达装置等中的一个或多个。在另一示例中，作业机器100以及空中装置200和202均可包括图像捕获装置和另一类型的传感器，诸如激光雷达装置。在另一示例中，作业机器100可包括非图像数据类型传感器，例如负载传感器，而空中装置200和202以及静态传感器203包括图像捕获装置，例如摄像机。
来自图像捕获装置的数据可用来自非图像传感器的数据扩充，以向作业机器100的操作员提供增强的显示。图3和图4分别是示出示例性增强的显示300和400的示图，其可以通过用由传感器102、104、203、204和206收集的其他数据来扩充图像数据来产生。在一些示例中，图像数据还可以或替代地使用预收集的数据来扩充。例如，可以在作业机器100的操作之前测量工地以获得预先收集的数据，然后可以使用预先收集的数据来扩充图像数据。可以使用一个或多个传感器(例如，诸如传感器203、204和206)和/或其他传感器，或使用其他数据收集方法来获得预先收集的数据。
增强的显示300示出了作为显示的作业机器302的作业机器100的俯视图。俯视图可以包括可能已经由作业机器100上的图像捕获装置、静态传感器203和/或空中装置200和202捕获的实际图像数据。显示300还示出地形数据，例如地形线304。与典型的地形图相比，这可能是更敏感的地形数据。例如，作业机器100上的激光雷达传感器、空中装置200和202和/或静态传感器203可以用于获得作业机器100周围的区域的非常具体的地形数据，这对于例如某些类型的施工作业可能是期望的。该数据可以在作业机器100的操作期间或在作业机器100的操作之前实时收集。虽然被描述为俯视图，但是可以生成包括地形数据的其他视图。例如，可以利用叠加在作业机器100的前方和后方的表面上的地形信息来生成作业机器100的前方或后方视图。
显示400包括子显示402和404。子显示402示出用于查看作业机器100前方区域的视图的图像数据。该图像数据可以由作业机器100上、空中装置200和202之一上的图像捕获装置和/或静态传感器203获得。子显示402可以被指示机器100的操作员跟随的路径的方向指示符406扩充。该指示符406可由控制和存储电路106、远程计算装置110或另一计算系统基于预定路线或使用传感器102、104、203、204和/或206中的一个或多个感测的数据确定的路线来生成。例如，雷达传感器可用于检测一个或多个标记，诸如树木或其他地理对象。控制和存储电路106例如可以使用这些检测到的标记来确认或调整路线并相应地更新指示符406。
子显示404示出了机器100的示例性负载曲线。负载曲线可以包括当前负载408、过去负载曲线410和预测负载曲线412。例如，可以使用负载传感器作为定位在机器100上(例如推土机铲刀上)的传感器102或104中的一个来确定当前负载408。预测负载曲线412可以由控制和存储电路106例如使用作业机器100的预定或预测路线(例如由指示器406指示的路线)生成。虽然被示为两种类型的增强显示300和400，但是可以使用来自传感器102、104、203、204、206和/或任何其他传感器的传感器数据来生成任何其他增强显示。例如，热成像仪可用于通过热数据来扩充图像数据以更好地检测生物物体。
图5是示出用于为作业机器的操作员提供增强显示的方法500的流程图。在步骤502，使用作业机器的一个或多个图像捕获装置获得图像数据。图像捕获装置可以定位在作业机器上、与作业机器和/或远程计算装置110通信的一个或多个空中装置上和/或在单独的静态位置中。在步骤504，获得关于围绕作业机器的区域的非图像数据(诸如物理特性数据)。这可以使用收集本质上不是光学的数据的一个或多个传感器来实现。例如，这些传感器可以包括激光雷达传感器、雷达传感器、负载传感器、热传感器等。非图像数据还可以是基于感测到的数据生成的数据。例如，非图像数据可以包括基于由一个或多个激光雷达传感器获得的数据的机器的投影路线。
在步骤506，使用非图像数据来扩充图像数据以生成一个或多个增强的显示，例如示例性显示300和400。该增强的显示可以被提供给物理上位于作业机器上的操作员，或者通过一个或多个远程计算装置来远程地控制作业机器。该显示可以包括给围绕机器的一个或多个区域的操作员的图像和/或视频数据，并且还可以包括非图像数据，以向操作员提供关于作业机器和/或围绕作业机器的区域的进一步数据。例如，显示可以是具有重叠的地形数据的视频数据，具有用于作业机器的执行的相关负载数据的视频数据、投影路线数据等。在步骤508，将增强的显示提供给机器的操作员。该显示可提供给定位在机器上的操作员，或提供给诸如通过远程计算装置远程控制机器的操作员。这是有利的，因为它为操作员提供了关于围绕机器的区域的改进数据，提高了作业机器的控制效率和功效，并且提高了作业机器周围人员的安全性。
工业实用性
在一个说明性示例中，作业机器是卡特彼勒可遥控推土机，其包括至少一个摄像机和安装到推土机的激光雷达传感器。操作员能够通过与推土机通信的远程控制台控制推土机。无人机用于获得另外的图像数据，并且能够与推土机和/或远程控制台无线通信。无人机可能包括额外的摄像机、额外的激光雷达传感器或能够感测指示推土机周围的区域的数据的任何其他传感器。
摄像机和其他传感器向控制电路提供数据，该控制电路可以物理地位于推土机、无人机或远程控制台上。控制电路接收数据并生成一个或多个增强的视图以显示给推土机的操作员。例如，远程控制台可以具有用于向推土机的操作员输出增强的视图的显示器。在一个示例中，增强的视图是围绕推土机的360°视图，该视图还示出了推土机周围的地形。例如，激光雷达传感器能够获得关于推土机周围的地形的数据，允许将来自激光雷达传感器的数据添加到来自摄像机的图像数据，以向操作员提供增强的视图。
可以由控制电路指示无人机来获得关于推土机周围的特定区域的数据。例如，如果建筑工地的特定区域对于推土机的操作员是重要的，则可以命令无人机获得相应区域的图像和/或其他数据。无人机可以利用全球定位系统(GPS)或其他定位数据来行进到命令区域。例如，无人机可以被命令到特定的工地坐标，并且无人机可以利用GPS或其他定位数据行进到特定的工地坐标以获得数据。在其他示例中，可以指示无人机离推土机保持指定距离或者相对于推土机保持在固定位置。无人机可以使用一个或多个传感器或定位系统来确保在获得数据时相对于推土机的正确位置。该数据可用于为操作员提供相应区域的增强的视图，为推土机的操作员提供改进的体验。通过向推土机的操作员提供增强的视图，操作员能够更高效且自信地控制推土机。
上述详细说明是说明性的，而非限制性的。因此，本发明的范围应当参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。

Claims (10)

1.一种用于作业机器的增强的可视性系统，所述增强的可视性系统包括：
图像捕获装置，被配置成获得围绕所述作业机器的区域的图像数据；
传感器，被配置成获得关于围绕作业机器的区域的物理特性的数据；
一个或多个控制电路，被配置成接收图像数据和关于物理特性的数据，其中一个或多个控制电路被配置成用所述关于物理特性的数据扩充图像数据以生成扩充的图像数据；以及
显示器，被配置成显示所述扩充的图像数据以提供围绕所述作业机器的区域的增强的视图。
2.根据权利要求1所述的增强的可视性系统，进一步包括空中装置，被配置成与所述一个或多个控制电路通信，其中所述图像捕获装置或传感器中的至少一个定位在所述空中装置上。
3.根据权利要求2所述的增强的可视性系统，其中所述传感器定位在所述空中装置上，并且其中所述图像捕获装置定位在所述作业机器上。
4.根据权利要求2所述的增强的可视性系统，其中所述传感器定位在所述作业机器上，并且其中所述图像捕获装置定位在所述空中装置上。
5.根据权利要求2所述的增强的可视性系统，其中所述图像捕获装置是第一图像捕获装置并且物理地定位在所述作业机器上，并且其中围绕所述作业机器的区域是围绕所述作业机器的第一区域，并且其中所述增强的可视性系统进一步包括：
第二图像捕获装置，被配置成获得所述作业机器周围的不同于所述第一区域的第二区域的图像数据；
其中，所述一个或多个控制电路被配置成生成所述第一和第二区域的组合图像数据；以及
其中所述一个或多个控制电路被配置成用所述关于所述物理特性的数据扩充所述组合图像数据以生成扩充的图像数据。
6.根据权利要求5所述的增强的可视性系统，其中所述第一图像捕获装置定位在所述作业机器上，并且其中所述第二图像捕获装置定位在所述空中装置上。
7.根据权利要求6所述的增强的可视性系统，其中，所述作业机器是推土机，并且其中，所述扩充的图像数据包括推土机铲刀的负载轮廓、围绕推土机的区域的地形地图或引导指示符中的一个。
8.根据权利要求2所述的增强的可视性系统，其中，所述图像捕获装置或传感器中的至少一个是静态的，并且被定位成远离所述作业机器和所述空中装置。
9.根据权利要求1所述的增强的可视性系统，其中所述作业机器由物理地定位在所述作业机器上的操作员操作，并且所述显示器定位在所述作业机器上。
10.一种用于为作业机器的操作员提供增强的可视性显示的方法，所述方法包括：
经由图像捕获装置捕捉围绕作业机器的区域的图像数据；
感测关于围绕所述作业机器的区域的物理特性的数据；
经由一个或多个控制电路接收所述图像数据和所述关于物理特性的数据；
用所述关于物理特性的数据扩充所述图像数据以生成扩充的图像数据；以及
显示所述扩充的图像数据以向操作员提供围绕所述作业机器的区域的增强的视图。
CN202110363644.7A 2020-04-07 2021-04-02 用于作业机器的增强的可视性系统 Pending CN113497919A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/842,164 2020-04-07
US16/842,164 US11595618B2 (en) 2020-04-07 2020-04-07 Enhanced visibility system for work machines

Publications (1)

Publication Number Publication Date
CN113497919A true CN113497919A (zh) 2021-10-12

Family

ID=77749815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110363644.7A Pending CN113497919A (zh) 2020-04-07 2021-04-02 用于作业机器的增强的可视性系统

Country Status (3)

Country Link
US (1) US11595618B2 (zh)
CN (1) CN113497919A (zh)
DE (1) DE102021108424A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7037235B2 (ja) * 2019-05-24 2022-03-16 株式会社ナイルワークス 産業機械システム、産業機械、管制装置、産業機械システムの制御方法、および、産業機械システムの制御プログラム
US11505244B2 (en) * 2020-02-03 2022-11-22 Caterpillar Inc. Steering system
US20210309352A1 (en) * 2020-04-03 2021-10-07 Cnh Industrial America Llc Systems and methods for generating earthmoving prescriptions
CN111504419B (zh) * 2020-06-04 2021-05-11 浙江大学 一种测定植保无人机药液量的装置和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5643272B2 (ja) 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9388550B2 (en) * 2014-09-12 2016-07-12 Caterpillar Inc. System and method for controlling the operation of a machine
US20160148421A1 (en) 2014-11-24 2016-05-26 Caterpillar Inc. Integrated Bird's Eye View with Situational Awareness
US10165722B2 (en) 2014-12-05 2019-01-01 Deere & Company Scouting systems
US9685009B2 (en) 2015-04-01 2017-06-20 Caterpillar Inc. System and method for managing mixed fleet worksites using video and audio analytics
US9824490B1 (en) * 2015-06-08 2017-11-21 Bentley Systems, Incorporated Augmentation of a dynamic terrain surface
CN108370432A (zh) 2015-12-08 2018-08-03 住友重机械工业株式会社 挖土机的通信系统、多旋翼飞行器及挖土机
DE102016000353A1 (de) 2016-01-14 2017-07-20 Liebherr-Components Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
US10066367B1 (en) * 2016-06-20 2018-09-04 Robo Industries, Inc. System for determining autonomous adjustments to an implement position and angle
US10562624B2 (en) 2016-11-18 2020-02-18 Magna Mirrors Of America, Inc. Vehicle vision system using aerial camera
WO2019026169A1 (ja) * 2017-08-01 2019-02-07 Ｊ Ｔｈｉｎｋ株式会社 作業機械の運転システム
RU2022105751A (ru) * 2017-10-02 2022-04-04 Пресижн Плэнтинг Ллк Системы и устройства для контроля параметров почвы и высева семян
EP3499438A1 (en) 2017-12-13 2019-06-19 My Virtual Reality Software AS Method and system providing augmented reality for mining operations
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
KR102259549B1 (ko) * 2018-03-12 2021-06-03 히다찌 겐끼 가부시키가이샤 작업 기계
US10494019B1 (en) * 2018-05-15 2019-12-03 Cnh Industrial America Llc System and method for executing straight tracking control of a work vehicle
US20200063401A1 (en) * 2018-08-22 2020-02-27 Deere & Company Terrain Feed Forward Calculation
JP2020037767A (ja) * 2018-08-31 2020-03-12 株式会社小松製作所 バケット高さ通知装置およびバケット高さ通知方法
DE102018123480A1 (de) * 2018-09-24 2020-03-26 Claas Tractor Sas Landwirtschaftliches Arbeitssystem
US20200117201A1 (en) * 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
CN109816778B (zh) * 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
US11937527B2 (en) * 2019-07-31 2024-03-26 Cnh Industrial America Llc System and method for determining residue coverage within a field following a harvesting operation
US11131083B2 (en) * 2019-10-31 2021-09-28 Deere & Company Vehicle stability warning system

Also Published As

Publication number Publication date
US11595618B2 (en) 2023-02-28
US20210314528A1 (en) 2021-10-07
DE102021108424A1 (de) 2021-10-07

Similar Documents

Publication Publication Date Title
CN113497919A (zh) 用于作业机器的增强的可视性系统
CN107627957B (zh) 作业车
KR101815269B1 (ko) 위치 계측 시스템 및 위치 계측 방법
US10293752B2 (en) Display system for work vehicle, display control device, work vehicle, and display control method
AU2014213529B2 (en) Image display system
US11906641B2 (en) Work machine
EP2918972A2 (de) Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
US20160148421A1 (en) Integrated Bird's Eye View with Situational Awareness
KR102260975B1 (ko) 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
US20140293047A1 (en) System for generating overhead view of machine
CN112445204B (zh) 工地中的物体移动导航方法、装置和计算机设备
US20200369290A1 (en) System and method for configuring worksite warning zones
JP7076501B2 (ja) 作業車
AU2021201940A1 (en) Construction method, work machine control system, and work machine
CN113906481A (zh) 成像显示方法、遥控终端、装置、系统及存储介质
JP5968178B2 (ja) 遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法
US20220316188A1 (en) Display system, remote operation system, and display method
JP7433189B2 (ja) 作業車監視システム
WO2013146582A1 (ja) 位置判定システム、位置判定方法、コンピュータプログラム及び位置判定装置
US20210388580A1 (en) System and method for work machine
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
US20240233168A1 (en) Information processing apparatus, information processing method, and information processing program
WO2023026686A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20210107515A1 (en) Systems and methods for visualizing a route of a vehicle
EP4194883A1 (en) Device and method for determining objects around a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination