CN109840462B - 工地监视系统和方法 - Google Patents

工地监视系统和方法 Download PDF

Info

Publication number
CN109840462B
CN109840462B CN201810193223.2A CN201810193223A CN109840462B CN 109840462 B CN109840462 B CN 109840462B CN 201810193223 A CN201810193223 A CN 201810193223A CN 109840462 B CN109840462 B CN 109840462B
Authority
CN
China
Prior art keywords
worksite
symbol
data
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810193223.2A
Other languages
English (en)
Other versions
CN109840462A (zh
Inventor
M·G·基恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN109840462A publication Critical patent/CN109840462A/zh
Application granted granted Critical
Publication of CN109840462B publication Critical patent/CN109840462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

工地监视系统和方法。一种工地监视系统包括通信部件，该通信部件接收表示由无人空中装置的成像设备捕捉的、工地的至少一个图像的图像数据。系统还包括控制器，该控制器具有存储器和用于执行在存储器中存储的指令的处理架构，该控制器联接到通信部件。控制器包括场景模块、对象模块、以及地图模块。场景模块被配置为评估图像数据，并且基于至少图像数据生成工地的场景图像。对象模块被配置为识别图像中的至少第一对象，并且将第一对象抽象为对象符号。地图模块被配置为生成具有被层叠到场景图像上的对象符号的工地地图。

Description

工地监视系统和方法
技术领域
本公开涉及作业车辆并且涉及监视作业车辆。
背景技术
在建筑、农业、采矿以及林业行业中，操作许多不同类型的作业车辆来在工地处执行各种任务。通常，在多个任务中同时和/或协作地使用多个车辆，以完成整个作业。管理并监视整个工地可能具有挑战性。
发明内容
本公开提供了用于借助工地地图监视工地的系统和方法。
在一个方面中，本公开提供了一种工地监视系统，该工地监视系统具有通信部件，该通信部件接收表示由无人空中装置的成像设备捕捉的、工地的至少一个图像的图像数据。系统还包括控制器，该控制器具有存储器和用于执行在存储器中存储的指令的处理架构，控制器联接到通信部件。控制器包括场景模块、对象模块、以及地图模块。场景模块被配置为评估图像数据，并且基于至少图像数据生成工地的场景图像。对象模块被配置为识别图像中的至少第一对象，并且将第一对象抽象化为对象符号。地图模块被配置为生成具有被层叠到场景图像上的对象符号的工地地图。
在另一个方面中，本公开提供了一种生成工地地图的方法。方法包括以下步骤：利用通信部件接收表示由无人空中装置的成像设备捕捉的、工地的至少一个图像的图像数据；利用控制器评估图像数据，并且基于至少图像数据生成工地的场景图像；利用控制器从图像数据识别工地中的至少第一对象；利用控制器使第一对象抽象化，以生成对象符号；以及利用控制器通过将对象符号层叠到场景图像上来生成工地地图。
附图和以下描述中阐述了一个或更多个实施方式的细节。其他特征和优点将从描述、附图、以及权利要求变得清楚。
附图说明
图1是可以关联所公开的监视系统和方法的示例环境的示意图；
图2是示例工地监视系统的示意框图；
图3是图2的示例工地监视系统的更详细的示意框图；
图4A至图4E以及图5A至图5E是可以用于图3的工地监视系统中的对象符号的示例；
图6是可以由图3的工地监视系统生成的示例工地地图；
图7是例示了根据各种实施方式中的一个的、图3的所公开系统的示例方法的流程图；以及
图8是根据各种实施方式中的一个的、图7的方法的示例图形用户界面菜单。
同样的附图标记在各种附图中指的是同样的元件。
具体实施方式
下文描述了如在以上简要描述的图的附图中所示的所公开系统和方法的一个或更多个示例实施方式。本领域技术人员可以预期对示例实施方式的各种修改。
下文描述了如在以上简要描述的图的附图中所示的用于工地的所公开监视系统和方法的一个或更多个示例实施方案。通常，与常规系统相比提供提高的效率、操作、以及安全的所述公开系统和方法操作以基于用于各种操作员的空中图像生成工地地图。
图1是可以实施监视系统和方法的示例工地环境(或“工地”)100。在一个实施方式中，监视系统110可以在具有一个或更多个作业车辆130、131、132、133的工地100的控制中心120中实施或与其所述控制中心120相关联。如以下所描述的，监视系统110可以基于由一个或更多个无人空中装置180捕捉的图像生成工地地图。虽然在控制中心120中描绘，但在各种实施方式中，监视系统110可以利用工地100内或外部的其他元件(包括各种车辆130-133和无人空中装置180)来实施和/或以其他方式与工地100内或外部的其他元件交互。在其他示例中，监视系统110可以是分布式系统和/或独立系统。
通常，工地110可以被认为是作业车辆130-133协同来执行组成一个或更多个整体作业的一个或更多个任务的地理区域。控制中心120可以在工地100现场或离场，并且除了其他功能之外，还实施生成由作业车辆130-133内的操作员或由控制中心120中的操作员用来监视作业车辆130-133的操作或工地100处的一个或更多个任务的工地地图的监视系统110。监视系统110的工地地图可以向操作员提供各种类型的信息(诸如，任务或作业进展、被抽象化的工地信息、工地图像、映射信息、和/或与工地100或车辆130-133有关的状态信息)。以下关于操作员讨论监视系统110，该操作员通常指的是控制中心120内的管理员或操作员、一个或更多个作业车辆130-133的内的操作员、或请求或接收工地地图或促进由系统100进行的工地地图的生成的任意方。
工地100内的元件可以以任意合适的方式与彼此无线通信，这些方式包括直接(例如，经由射频信号等)或经由网络102。例如，通信网络102可以使用包括射频、Wi-Fi、蜂窝等的各种通信技术或机制中的一个或更多个。以下提供与通信标准有关的另外细节。网络102可以包括从Deere&Company of Moline,Illinois商业可获的JDLinkTM系统或者以其它方式与其协作。
如以上所介绍的，作业车辆130-133可以是整个车队(fleet)或车辆的任意集合的一部分。虽然图1中作为示例示出了四辆车130-133，但可以提供任意数量。作业车辆130-133可以为任意类型的作业车辆(相同类型或不同类型)，包括图1所描绘的铰接式自卸车(articulated dump truck)130、131以及反铲装载机(backhoe loader)132、133。在其他应用中，其他配置也是可以的。例如，作业车辆在一些实施方式中可以被配置为搬运机(hauler)、平地机(grader)、或类似车辆。此外，作业车辆可以被配置为除了建筑机械之外的机械，包括来自农业、林业以及采矿行业的车辆(诸如，拖拉机(tractor)、联合收割机(combine)、收割机(harvester)、木材堆垛机(yarder)、架空索(skyline)、伐木归堆机(feller buncher)等)。以下在控制中心120的描述之后将提供与作业车辆130-133和无人空中装置180、以及监视系统110的操作有关的另外细节。
通常，控制中心120包括实施或以其他方式促进监视系统110的通信部件122、中心控制器124、一个或更多个数据储存器126、以及人机界面128。通信部件122包括用于从作业车辆130-133和无人空中装置180接收数据和向它们发送数据的任何合适系统。例如，通信部件122可以包括无线电或合适的接收器，该无线电或合适的接收器被配置为根据长期演进(LTE)标准经由蜂窝电话网络接收通过调制射频(RF)信号而发送的数据，但可以使用其他技术。通信部件122可以通过或通过使用如为本领域技术人员公知的Wi-Fi标准(即，如由电气与电子工程师协会(“IEEE”)定义的802.11标准中的一个或更多个)来实现双向通信。由此，通信部件122可以包括/>收发器、无线电收发器、蜂窝收发器、LTE收发器和/或Wi-Fi收发器。通信部件122可以采用各种安全协议和技术来确保适当安全的通信发生在控制中心120、作业车辆130-133、以及无人空中装置180之间。
中心控制器124通过合适的互连架构或布置来与通信部件122、数据储存器126和/或人机界面128通信，该互联架构或布置促进数据、命令、电力等的传递。在一些实施方式中，中心控制器124还可以经由诸如基于网页的门户网站的门户网站与一个或更多个远程操作员通信。中心控制器124可以被配置为具有相关联的处理器装置和存储架构的计算装置、硬接线计算电路(或多个硬接线计算电路)、可编程电路、或其他。
在一些示例中，人机界面128使得操作员与控制中心120相互联系(例如，以输入命令和数据)，并且由此，与工地100内的其他元件相互联系。在一个示例中，界面128包括输入装置和显示器。输入装置可以为能够接收用户输入的任意合适的装置，包括但不限于键盘、麦克风、与显示器相关联的触摸屏层、或从用户接收数据和/或命令的其他合适装置。还可以使用多个输入装置。显示器包括用于显示信息的任意合适技术，包括但不限于液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)、等离子体、或阴极射线管(CRT)。在一些实施方式中，界面128除了包括显示器之外，还可以包括输出装置，所述输出装置包括扬声器和触觉致动器。
通常，控制中心120接收并存储来自作业车辆130-133和无人空中装置180以及来自类似机械、装置以及来自跨车队或劳动力的系统的数据。在一些示例中，控制中心120可以操作为“后端”系统或服务器，该“后端”系统或服务器促进工地或一组工地内的操作，包括各种类型的数据(诸如，车队数据、维护数据、作业或规划数据、个人数据等)的收集和产生。另外，在一个实施方式中，控制中心120可以实施监视系统110的一个或更多个方面，包括提供用于进行以下更详细讨论的相关联功能的所请求或所期望数据。
如以上所注释的，监视系统110可以关于各种移动作业车辆和其他类型的移动机械(包括图1所描绘的作业车辆130-133)来使用。在所描绘的实施方式中，作业车辆130-133与铰接式自卸车130-131以及反铲装载机132-133对应，但可以提供任意类型的车辆。在其他使用中，铰接式自卸车130-131通常用于将材料运输到工地100中、从工地运离材料或在工地内运输材料，并且反铲装载机132-133可以用于挖材料、推材料、或者将材料装载到自卸车130-131中或将材料从自卸车卸出。
以下描述作业车辆中的一个130，以提供可以与监视系统110交互且仅被描述为参考的各种类型的机械元件的示例。除非另外注释，否则车辆131-133具有与以下参照车辆130讨论的那些部件类似的部件。
在一个示例中，作业车辆130包括车辆控制器140(或多个控制器)，该车辆控制器用于控制作业车辆130的操作的各种方面，并且在一些实施方式中促进监视系统110的实施。通常，控制器140(或其他)可以被配置为是具有关联的处理器装置和存储架构的计算装置、硬接线计算电路(或多个电路)、可编程电路、液压、电气或电动液压控制器、或其他。由此可见，控制器140可以被配置为执行关于作业车辆130(或其他机械)的各种计算和控制功能。在一些实施方式中，控制器140可以被配置为接收各种格式的输入信号(例如，如液压信号、电压信号、电流信号等)，并且输出各种格式的输出命令信号(例如，如液压信号、电压信号、电流信号、机械移动等)。
控制器140可以与作业车辆130(或其他机械)的各种其他系统或装置电子、液压、机械或其他通信。例如，控制器140可以与包括以下所描述的各种装置的、作业车辆130内(或外部)的各种致动器、传感器、以及其他装置电子或液压通信。控制器140可以以各种已知方式(包括经由作业车辆130的CAN总线(未示出)、经由无线或液压通信装置、或以其他方式)与其他系统或装置(包括其他控制器)通信。
在一些实施方式中，控制器140可以被配置为经由人车界面150接收输入命令并与操作员相互联系，人车界面为了方便车辆操作员的访问而可以被布置在作业车辆130的驾驶室142内部。人车界面150可以以各种方式来配置。在一些实施方式中，人车界面150可以包括输入装置，该输入装置具有一个或更多个操纵杆、各种开关或控制杆、一个或更多个按钮、可以交叠在显示器154上的触摸屏界面、键盘、扬声器、与语音识别系统相关联的麦克风、或各种其他人机界面装置。人车界面150还包括显示器154，该显示器可以被实施为与作业车辆130的仪表板或控制台集成的平板显示器或其他显示器类型。本领域技术人员可以意识到实施作业车辆140中的显示器154的其他技术。如以下更详细描述的，显示器154可以用来渲染由监视系统110生成的工地地图，以便向车辆130的操作员显示。
作业车辆130还包括车辆通信部件156。车辆通信部件156启用控制器140与监视系统110以及与工地100相关联的其他元件之间的通信。车辆通信部件156包括用于接收并发送数据的任意合适系统，该系统包括以上参照通信部件122描述的系统。在一个示例中，车辆通信部件156通过卫星或通过使用Wi-Fi标准(即，802.11标准中的一个或更多个)实现与监视系统110的双向通信。车辆通信部件156可以采用各种安全协议和技术来确保适当的安全通信。
如以下更详细描述的，控制器140可以促进用于监视系统110的、与作业车辆130相关联的各种类型的车辆数据的收集。车辆数据可以为来自以下所描述的适用传感器(或其他源)的原始数据的形式，或者为了提取期望的特性而在控制器140中经受某一处理。作为示例，这种数据可以包括位置数据和状态数据。控制器140还可以促进例如经由车辆通信部件156进行的工地地图从监视系统110的接收以及地图在显示器154上的显示。以下将提供另外的细节。
如以上介绍的，作业车辆130包括支撑驾驶室142的车架160。在该示例中，作业车辆130是自卸车，并且包括为安装到车架160的载荷仓(load bin)162形式的作业工具。将理解，具有如载荷仓162的作业工具的作业车辆130的配置仅被呈现为示例。载荷仓162限定了容纳有效载荷的容器。通常，一个或更多个可致动液压缸被安装到架160和载荷仓162，以使载荷仓612绕枢轴点选择性地枢转。在其他实施方式中，作业工具作为示例可以包括刀片、叉、舵柄、以及割草机。
和作业车辆130一样，作业车辆131也是铰接式自卸车，并且具有作为作业工具的类似载荷仓。相比之下，作业车辆132、133被实施为反铲装载机，在该反铲装载机中，由安装在车辆132、133前面的装载机和在安装在车辆132、133后部上的铰接臂上的挖土铲斗形成作业工具。
作业车辆130还包括诸如向传动装置166提供动力的发动机164的推进源。在一个示例中，发动机164是诸如柴油机的、受控制器140控制的内燃机。应注意，因为推进装置可以为燃料电池、电动马达、混合燃气电动马达等，所以内燃机的使用仅是示例。传动装置166将来自发动机164的动力传递到联接到作业车辆130的一个或更多个从动轮(或其他类型的牵引机构)的合适动力传动系统，以使得能够移动。如本领域技术人员已知的，传动装置166可以包括在包含一个或更多个齿轮的、在各种档位内操作的合适齿轮传动系统，这些档位包括但不限于停车档、空档、倒档、驱动档、低速挡等。
作业车辆130可以包括在作业车辆上典型的各种其他部件或系统。示例包括用于载荷仓162和/或其他部件的致动系统；润滑和冷却系统；电池系统；尾气处理系统；动力转向系统；制动系统；等。
作业车辆130还包括用来收集与作业车辆130和/或工地100有关的信息的各种传感器170。这种信息可以被提供给控制器140和/或通信部件156，以便由监视系统110进行的潜在传输和使用。
作为示例，传感器170可以包括与以上所讨论的车辆系统和部件相关联的操作传感器(包括发动机和传动装置传感器、燃料传感器、以及电池传感器)。另外的传感器170可以包括用于确定作业工具的方位、位置或状态(包括确定作业工具内的材料的质量或体积)的部件。传感器170还可以被提供为观察与作业车辆130相关联的各种状况。例如，为了测量诸如车辆130的倾斜或斜率的位置参数，可以将各种传感器170设置在架160上或附近。另外，作业车辆传感器170可以包括向控制器140提供确定作业车辆130的速度、地点和/或前进方向的一个或更多个速度、地点和/或位置传感器(诸如，全球定位系统(GPS)接收器、LORAN系统、航位推算系统、蜂窝三角测量系统、或其他定位系统)。应注意，如这里所用的，术语“GPS”指的是任何类型的基于卫星的定位系统。另外，与工地元件(例如，作业车辆130)相关联的运动学信息(例如，地点、速度、方位、行驶方向、倾斜等)可以被总体地称为“位置”数据。传感器170还可以包括一个或更多个接近传感器，所述一个或更多个接近传感器被设置为识别在作业车辆130周围的对象的有无，所述接近传感器包括光学传感器、红外传感器、以及雷达或LIDAR系统。在一些情况下，传感器170和/或控制器140可以形成健康(health)或状况监视系统，所述健康或状况监视系统生成诊断故障代码，作为与可以被提供给监视系统110的、与作业车辆130-133相关联的状态(或健康)数据。如以下更详细描述的，控制器140可以操作为向监视系统110发送诸如位置和状态信息的各种类型的信息，作为车辆数据。此外，监视系统110可以向作业车辆130-133提供工地地图，以便向车辆操作员显示。
如以上所介绍的，监视系统110还可以包括一个或更多个无人空中装置180或与一个或更多个无人空中装置180交互。通常，无人空中装置180可以为不承载人类操作员并基于自主生成或从远程飞行员接收的命令来使用空气动力学力飞行的任何类型的动力飞行器。无人空中装置180还可以被称为无人飞行器(UAV)、无人机或无人飞机系统(UAS)。虽然仅描绘了一个装置180，但可以提供另外的装置180来协作且共同地捕捉工地100的图像。
如以下所描述的，在一个示例中，无人空中装置180操作为基于飞行计划在工地100上方自主飞行。这种飞行计划可以基于预定或所识别的工地边界。在其他示例中，无人空中装置180可以手动驾驶或半自主操作。此外，单个无人空中装置180可以以特定间隔覆盖完整工地100，而在其他实施方式中，提供多个无人空中装置180，以在特定间隔期间共同覆盖工地100。这种间隔或“通过(pass)”可以基于包括工地100处的活动的尺寸和水平的多种考虑。然而，通常，由监视系统110生成的工地地图基于由无人空中装置180捕捉的实时、当前或相对近期图像。虽然以下特别地讨论了无人空中装置180的一些元件，但装置180可以包括另外的部件或功能。
在一个实施方式中，无人空中装置180包括通常收容或以其他方式支撑装置180的其他部件的主体182。无人空中装置180还包括飞行致动器186，所述飞行致动器186共同包地括使得装置180能够根据期望实现并维持飞行的转子、马达、发动机、翼、可调节飞行控制面等中的一个或更多个。
无人空中装置180还包括控制器184，该控制器184控制装置180的整体操作(包括飞行控制和图像捕捉)。例如，控制器184可以被配置为具有关联的处理装置和存储架构的计算装置、硬接线计算电路、可编程电路、或其他。
此外，可以提供一个或更多个传感器188来收集可以用于飞行控制和/或图像收集的信息。例如，传感器188可以包括使得能够确定装置180的速度、地点和/或位置的一个或更多个速度、地点和/或位置传感器(诸如，GPS接收器、LORAN系统、航位推算系统、蜂窝三角测量系统、或其他定位系统)。根据实施方式，传感器188还可以包括用于生成或补充地点数据的惯性测量单元(IMU)240，该IMU可以包括诸如加速计、陀螺仪、倾斜传感器等的各种部件。另外，传感器188可以为可以辅助飞行控制或与工地100有关的图像和其他数据的收集的光学传感器、红外传感器、以及雷达或LIDAR系统。
无人空中装置180还包括通信单元190，该通信单元190使得装置180的控制器184和/或其他部件能够与地面站和/或监视系统110进行通信，该地面站在一个示例中为控制中心120。通信单元190包括用于接收并发送数据的任何合适系统，所述系统包括以上参照通信部件122描述的系统。在一个示例中，通信单元190通过卫星或通过使用Wi-Fi标准(即，802.11标准中的一个或更多个)实现双向通信。通信单元190可以采用各种安全协议和技术来确保适当的安全通信。
无人空中装置180还包括成像设备192。成像设备192用来收集工地100的图像。成像设备192可以包括一般静物相机、具有视频记录功能的摄像机、能够使用视差获得三维图像的立体相机、能够获得360度视频的360度相机、超光谱相机、和/或热成像装置中的一个或更多个。在一些示例中，图像可以用于收集或确定关于工地100的实时轮廓、拓扑、海拔以及其他信息。这种图像可以包括多光谱和/或超光谱图像，例如以促进三维(3D)映射信息的生成。通常，成像设备192操作为捕捉生成以下所讨论的工地地图所需的足够数量的图像。在一些实施方式中，无人空中装置180可以包括使得能够调节或重定位成像设备192的伺服马达。
如以上所介绍的，控制器184可以包括生成促进以下所讨论的工地地图的产生的图像的任何合适的硬件和软件。例如，控制器184生成飞行控制命令，以使得装置180在适当的时间处于适当的位置，以在所指定的间隔内捕捉期望的图像，如果装置180是单个装置，则期望图像可以包括整个工地，如果装置180是多个协作装置中的一个，则期望图像可以包括指定位置。在提供多个装置180时，各装置180的控制器184可以促进与其他装置的对应控制器的通信，以使图像收集同步或协作。在一些实施方式中，控制器184可以执行某一水平的图像处理(包括将多个部分图像一起组合和/或缝合为完整图像)，但通常，该功能在装置180的场外执行。在任何情况下，如以下更详细描述的，由装置180捕捉的图像被通信单元190发送到监视系统110。
图2是监视系统110的简化框图。如上所述，监视系统110可以利用控制中心120的部件(例如，通信部件122、中心控制器124、数据储存器126、以及人机界面128)来实施，使得实际上，监视系统110可以被认为是控制中心120的一部分。然而，在其他示例中，监视系统110可以具有类似的专用部件。
监视系统110可以被认为包括控制器210，该控制器210可以被组织为一个或更多个功能单元或模块220、240、260以及280(例如，软件、硬件、或其组合)。作为示例，模块220、240、260、280中的每一个可以利用诸如处理器202和存储器204的处理架构来实施。例如，控制器210可以基于在存储器204中存储的程序或指令利用处理器202来实施模块220、240、260、280。
在所描绘的实施方式中，监视系统110的控制器210包括场景模块220、对象模块240、生产力模块260、以及地图模块280。图2描绘了一个示例性组织，并且其他实施方式可以利用另选组织或实施方案来执行类似的功能。以下将提供与这些模块220、240、260、280的操作有关的另外细节。
如以上所介绍的，监视系统110可以从一个或更多个数据源接收数据。作为示例，且如以下更详细讨论的，这种数据源可以包括无人空中装置180、作业车辆130-133、数据储存器126、用户输入、和/或其他系统。还如以下所讨论的，监视系统110使用该数据来生成工地地图和与工地100相关联的其他类型的信息，以使得操作员能够监视各种工地特性。
图3是描绘了在系统100中和系统100外以及模块220、240、260、280之间的数据流的更详细的示意框图。图3所描绘的数据流和组织仅是示例，并且可以提供用于执行类似功能的其他机构，可以省略某些功能，并且可以添加另外功能。以下在图3的讨论中可以参照图1的方面。
在一个示例中，场景模块220操作为生成描绘工地100的“场景”的场景图像320，该场景通常指的是工地的整个背景，包括地形和/或任务区域。场景模块220可以从包括无人空中装置180、作业车辆130-133、数据储存器126、用户输入、和/或其他系统的多个源接收数据。
具体地，场景模块220从无人空中装置180中的一个或更多个接收图像数据302。如以上所介绍的，图像数据302可以采取各种形式，但通常地，图像数据302共同表示工地100的整体空中(或“鸟瞰”)视图。图形数据302可以由工地100的多个部分图像；工地100的单个图像；和/或可以提取视觉图像和/或其他类型的数据的工地100的视频或其他类型的图像来形成。如以下所描述的，可以评估、分类并组合图像数据302，以产生整体场景图像320。
在一些示例中，图像数据302可以与指示捕捉各图像的时间的时间数据和/或指示无人空中装置180在捕捉各图像时的地点、海拔、速度、方位等的位置数据关联、或包括它们。该数据可以用作用于从多个图像产生场景图像320的背景。例如，基于无人空中装置180的时间和/或位置以及成像设备192的特性(例如，视场、角度等)，可以估计或确定所生成图像的地理坐标。
在一些示例中，场景模块220可以另外接收直接来自作业车辆130-133中的一个或更多个或从数据储存器126访问的车辆数据304。车辆数据304可以包括为与工地100处的车辆130-133中的一个或更多个相关联的地点、速度、和/或前进方向形式的位置数据。在一些实施方式中，车辆数据304可以利用在数据储存器126中存储的车队数据306来补充，该车队数据表示车队内的作业车辆的数量、类型以及其他特性。该数据304、306可以辅助场景模块220生成场景图像320。例如，如果在图像数据302中识别具有来自车辆数据304中的位置数据的已知位置的车辆130-133，则场景模块220可以使用该信息来分配或估计用于围绕场景部分或用于匹配相邻图像的坐标。以下可以讨论另外示例。
在一些示例中，场景模块220还可以接收在数据储存器126中存储的映射数据308。映射数据308可以包括与工地100内的地理、地形、地标等有关的信息。可以包括之前生成的工地地图和/或场景图像的该数据可以启用新或更新场景图像的更高效生成。
在接收到图像数据302(且可选地还有其他类型的数据304、306、308)时，场景模块220可以生成工地100的场景图像320。如以上所注释的，在一个示例中，场景模块220将来自图像数据302的多个图像缝合或以其他方式组合成工地100的整体、综合场景图像320。
通常，可以以各种方式执行多个图像的场景缝合。例如，可以使用来自图像数据302的纯视觉信息或使用来自图像数据302的、与位置和时间数据组合的视觉信息执行缝合，所述位置和时间数据与由成像设备192提供的图像数据302相关联。例如，随着匹配的图像部分被识别并缝合在一起，图像数据302的位置和时间数据可以包含用来提供用于多个图像的对齐的初始估计的信息，而在其他示例中，位置和时间数据可以直接用于计算多个图像的对齐。
无论如何，场景模块220可以评估图像，以识别不同图像的描绘工地100的相同场景部分的部分。具体地，场景模块220可以为了匹配相应对或集合的图像的图像部分而使相应图像中的像素坐标与其他图像中的像素坐标相关，以便对齐。此外，可以识别各图像内区别的特征，以确定多对或组图像之间的图像对应关系。在一些示例中，具有区别特征的已知特性的映射数据308可以用于对齐各图像。此外，可以将图像投射并对齐到已生成的合成表面上，这进一步启用交叠图像的混合(blending)，该混合包括解释光照、视差、动作、透镜失真、以及曝光的差异。
在一些示例中，场景模块220可以另外使用车辆数据304和车队数据306来促进工地场景图像320的缝合和/或抽象化。例如，场景模块220可以使用作业车辆130-133中的一个或更多个的位置、前进方向、以及速度信息来促进图像匹配，和/或这种数据可以用于避免可以因这种车辆的运动而以其他方式产生的伪影。
虽然参照在控制中心120中实施的监视系统110讨论，但在一个示例中，缝合功能中的一些或全部可以在无人空中装置180上机载地执行。具体地，场景模块220可以接收图像数据302，作为用于生成场景图像320的、工地的完整视图。
在一些示例中，场景模块220还可以使场景图像320的一个或更多个特性经受某一量的抽象化。通常，“抽象化”可以被认为是图像内的特征的选择和概括，并且进一步地可以被认为是这种特征的分类、简化、夸大、符号化以及归纳。例如，可以在场景图像320内识别并强调或标记图像内感兴趣的道路、区域以及边界。抽象化可以基于在数据储存器126中存储的映射数据308或作业数据310。例如，可以在场景图像内识别或辨识道路，并且可以利用数据306、308确认或补充道路，使得可以利用表示道路的符号和/或具有道路名称的文本符号代替或覆盖道路的图像。在其他实施方式中，在使图像像素与地理坐标相关时，与数据306、308内的感兴趣元素相关联的地理坐标可以用于生成并定位场景图像320内的对应符号。以下讨论另外示例。
因此，场景模块220生成提供工地100的整体综合图像的场景图像320，并且在一个示例中可以另外包括某一等级的抽象化。以下讨论与场景图像320有关的另外细节。
如以上所注释的，监视系统110还包括对象模块240。在一个示例中，对象模块240用来生成与工地100内的对象相关联的对象符号340。通常，“对象”与工地100内的作业车辆130-133以及其他设备对应。“对象”还可以包括工地100内的材料、物资、以及资源。以下可以讨论另外示例。
对象模块240可以接收图像数据302、车辆数据304、车队数据306以及映射数据308中的一个或更多个。通常，对象模块240用来识别、分类、评估、和/或抽象化工地100内的对象中的一个或更多个。
作为示例，对象模块240可以使用图像识别来从图像数据302识别工地的图像内的作业车辆130-133。具体地，对象模块240可以识别车辆130-133的位置(例如，地点、前进方向、以及方位)。该功能例如可以基于各车辆130-133的所报告和/或期望特性由车辆数据304和车队数据306中的一个或更多个促进。在一些示例中，对象模块240可以使用图像识别来识别工地100中除了作业车辆之外的对象(诸如，失控车辆或职员)。如以下所描述的，随着时间的过去，可以跟踪由对象模块240识别的对象，以提供被并入到对象符号340中的另外信息。
在识别对象时，对象模块240例如可以通过确定工地100内的对象的类型和/或用途来对对象进行分类。例如，对象模块240可以确定或识别作业车辆130、131是铰接式自卸车，并且作业车辆132、133是反铲装载机。在一些示例中，对象模块240还可以对对象(特别是对作业车辆130-133)的当前状态进行分类。例如，对象模块240可以确定作业车辆130-133的作业工具内的材料或载荷的存在或数量，或者对象模块240可以确定作业车辆130-133正行进到特定地点或行进为远离特定地点。这种信息可以从(例如，如在图像中识别的)图像数据302和/或(例如，如由各车辆报告的)车辆数据304获得。在另外示例中，如由车辆130-133报告的车辆数据304或如由用于所识别作业车辆130-133的保养或维护记录反映的车队数据306可以包括诸如诊断故障代码的健康信息。该健康信息可以用于评估各车辆130-133的状态或适用性。
在分类时，对象模块240可以使对象的一个或更多个方面抽象化，并且基于该抽象化生成对象符号340。例如，由对象模块240生成的对象符号340可以包括与各对象相关联的简化图像或符号，以突出对象或启用更直接的视觉识别。此外，由对象模块240生成的对象符号340可以提供与对象相关联的状态或其他类型的信息的符号表示。例如，对象符号340可以反映作业车辆类型、作业车辆130-133内的材料的数量、作业车辆130-133的状态、和/或作业车辆130-133的移动。对象符号340还可以反映以下确定：对象被识别为未被授权或未被识别为作业车辆130-133以及这种对象随着时间的移动。通常，对象符号的各元素与表示工地100内的各元素的位置和/或关于场景图像320的坐标数据相关联。
因此，对象模块240生成表示工地内的所识别对象的抽象化的对象符号340。如以下更详细描述的，对象符号340可以通过代替或掩蔽场景图像320的与各现实世界对象对应的图像部分来并入到工地地图中。
图4A至图4E和图5A至图5E中描绘了对象符号340的示例。应注意，图4A至图4E以及图5A至图5E中的对象符号340的示例仅是示例，并且可以使用其他类型的符号。
图4A是可以用于表示作为反铲装载机的作业车辆(例如，作业车辆132、133)的线图符号(line drawing symbol)410。在一个示例中，特别是与以下所讨论的符号相比，图4A的反铲装载机符号410是无特征或无色的，这可以表示关联的反铲装载机是空载的(例如，当前不移动或不使用)。
图4B是可以用于表示作为反铲装载机的作业车辆(例如，作业车辆132、133)的线图符号420。在该示例中，反铲装载机符号420具有突出的车轮(例如，具有不同的颜色、亮度等)，这可以表示关联的反铲装载机从一个位置移动至另一个位置。
图4C是可以用于表示作为反铲装载机的作业车辆(例如，作业车辆132、133)的线图符号430。在该示例中，反铲装载机符号430具有突出的反铲工具(例如，具有不同的颜色、亮度等)，这可以表示当前正使用关联反铲装载机的反铲工具。
图4D是可以用于表示作为反铲装载机的作业车辆(例如，作业车辆132、133)的线图符号440。在该示例中，反铲装载机符号440具有突出的装载机工具(例如，具有不同的颜色、亮度等)，这可以表示当前正使用关联反铲装载机的装载机工具。
图4E是可以用于表示作为反铲装载机的作业车辆(例如，作业车辆132、133)的线图符号450。在该示例中，反铲装载机符号450被扳手符号部分遮掩，这可以表示关联的反铲装载机需要维护。这种维护要求可以由可以形成车辆数据304(图3)的一部分的诊断故障代码来指示。
图5A是可以用于表示作为铰接式自卸车的作业车辆(例如，作业车辆130、131)的线图符号510。在一个示例中，特别是与以下所讨论的符号相比，图5A的自卸车符号510是无特征或无色的，这可以表示关联的卡车是空载的。
图5B是可以用于表示作为铰接式自卸车的作业车辆(例如，作业车辆130、131)的线图符号520。在该示例中，自卸车符号520包括仓内的载荷(例如，具有不同的颜色、亮度等)，这可以表示关联的自卸车被装载。
图5C至图5E是可以用于表示作为铰接式自卸车的作业车辆(例如，作业车辆130、131)的图符号530、540、550的另外示例。除了图5B的示例之外，图5C至图5E的图符号530、540、550包括表示关联的自卸车的状态和/或载荷的性质的仓中载荷的交叉影线或颜色。例如，符号530的交叉影线可以指示载荷是特定种类的材料。符号540的交叉影线可以指示载荷正被运输到第一位置，并且符号550的交叉影线可以指示载荷正被运输到第二位置。以下讨论图4A至图4E以及图5A至图5E所表示的对象符号的示例用途。
返回到图3，监视系统110还包括生产力模块260。在一个示例中，生产力模块260可以接收图像数据302、车辆数据304、映射数据308以及作业数据310中的一个或更多个。作业数据310与和工地100相关联的规划信息(诸如完成整个作业的任务的列表或时间线)对应。作业数据310可以由用户输入提供或从数据储存器126访问。作为示例，作业数据310可以特别提供用于任务或作业的背景信息，并且可以包括对于在工地100中执行的任务特定的生产力参数、测量、或里程碑。作为示例，如果任务与沟渠相关联，则作业数据310可以定义用于特定里程碑或用于完成的期望深度、长度、或速率。另一个示例可以包括由在工地100内的作业车辆130-133输送或去除的材料载荷的数量或速率。可以随着完成任务或任务的部分而更新作业数据310。例如，随着载荷被输送到任务区域或从任务区域去除(根据任务区域的性质)，可以相应地调节作业数据310中反映的剩余载荷的数量。作业数据310还可以根据期望反映来自装载机有效载荷量表、卡车有效载荷量表、或自动化计费系统的数据，以提供与工地100处的任务有关的另外背景信息。
在接收到至少图像数据302和作业数据310时，生产力模块260评估图像数据302，以确定与任务或作业相关联的进展。具体地，生产力模块260可以识别图像数据302的图像内的任务地点，并且鉴于作业数据310评估任务的一个或更多个特性。这种特性可以根据任务的性质而包括任务地点处的材料量和/或任务地点处的建筑物或结构的尺寸。生产力模块260然后可以将图像数据302的图像内的所观察特性与用于来自作业数据310的目前时间和/或已完成任务的预期或调度特性进行比较。以下提供示例。
在一些实施方式中，车辆数据304可以由生产力模块260用来识别任务完成的进展。例如，进展可以基于任务区域处的作业车辆130-133的数量；车辆130-133是到达还是离开任务区域；和/或多少作业车辆130-133到达或离开任务区域来评估。
在一些实施方式中，映射数据308可以由生产力模块260用来评估任务进展。例如，生产力模块260可以将来自图像数据302的目前图像与最近的映射数据308进行比较，以便确定与任务特性对应的差异。这种差异可能源于根据轮廓分析技术比较轮廓、拓扑、海拔、或其他地形信息(例如，以识别所去除或所添加材料)，以评估任务区域中的地形特性。生产力模块260然后可以评估差异，以便确定进展量。
在评估一个或更多个任务特性时，生产力模块260可以生成表示任务或作业的当前状态的作业符号360。通常，作业符号360可以描绘任务或作业相对于最之前的评估、相对于期望的进展、或相对于整个任务或作业的进展。以下将讨论与作业符号360有关的另外细节。
地图模块280可以接收场景图像320、对象符号340、和/或作业符号360。地图模块280还可以接收图像数据302、车辆数据304、车队数据306、映射数据308和/或作业数据310中的一个或更多个。在接收时，地图模块280生成工地地图380。在一个实施方式中，工地地图380可以由场景图像320形成，该场景图像然后利用对象符号340和/或作业符号360层叠或修改。例如，对象符号340可以覆盖、代替、或以其他方式增强场景图像320中的对应对象图像部分，并且作业符号360可以类似地覆盖、代替、或以其他方式增强场景图像320中的对应作业或任务相关图像部分。
在一个实施方式中，可以定义或预定义在工地地图380中描绘的场景图像320、对象符号340、以及作业符号360的特性。在其他实施方式中，监视系统110可以生成使得操作员能够选择用于描绘的期望特性的图形用户界面菜单。以下更详细地讨论示例。在这种实施方式中，可以由地图模块280使用操作员选择来定义工地地图380内描绘的特征。
在由地图模块280生成时，工地地图380可以被发送到控制中心120的操作员和/或作业车辆130-133的操作员。具体地，工地地图380可以经由通信网络102由控制中心120的通信部件122发送到作业车辆130-133。在接收时，作业车辆130-133的操作员可以在视觉显示器(例如，视觉显示器154)上查看工地地图380。关于工地地图380，应理解，地图根据这里的实施方式可以采用由操作员和/或设备使用的各种形式。工地地图380可以被生成为显示在包括以上所描述的部件的电子显示装置(例如，手持装置或安装在车辆仪表盘上的显示器)上。实际上，工地地图380可以为二维图形显示、三维图形显示、或二维和三维图形显示元素的组合。工地地图380还可以被存储在数据储存器126中，以促进未来工地地图的生成。
图6是可以对于操作员生成的工地地图600(例如，与图3的工地地图380对应)的示例。如以下所描述的，由工地地图600描绘的工地由边界限定，并且在该示例中，包括两个任务区域(通常被参考为区域602、604)。具体地，在该示例中，第一任务区域602与挖地下室相关联，并且第二任务区域604与挖沟渠相关联。多个作业车辆在穿过工地的道路上行进到任务区域602、604和从任务区域602、604行进和/或在任务区域处工作。还如以下所描述的，工地地图600包括场景图像610和表示工地的特性的各种类型的符号612、614、615、616、617、621-627、630。
工地地图600包括场景图像610，该场景图像如以上所讨论的可以通过将来自一个或更多个无人空中装置180的多个图像缝合在一起来形成。具体地，场景图像610可以为上面可以层叠以下所讨论的符号的、工地100的环境的实际视觉图像。如图所示，场景图像610描绘工地地形、植被、障碍物等。
在一些示例中，场景图像610可以另外包括用来提供与工地100有关的另外信息的某一水平的抽象化或场景符号。示例包括在适当地点中被定位在场景图像610内的工地边界线612、任务区域标签614、615和/或突出道路或途径616、617。
场景图像610另外与各种类型的对象符号621-627交叠。如以上所讨论的，对象符号621-627可以表示工地内的对象(包括作业车辆和其他设备)的抽象化。在图6中，对象符号包括作业车辆符号621-627，这些作业车辆符号621-627被显示在工地地图600上，以提供作业车辆在工地中的地点的指示。作业车辆符号621-627还可以提供与对应车辆有关的背景和状态信息，以上参照图4A至图4E以及图5A至图5E讨论了信息中的一些。在图6的示例中，作业车辆符号621-627指示特定类型的车辆，例如，作业车辆符号621、622表示反铲装载机，并且作业车辆符号623-627表示自卸车。作业车辆符号621指示反铲装载机的装载机是有效的，并且作业车辆符号622指示反铲装载机的反铲是有效的。作业车辆符号623指示自卸车在第一类型的材料的载荷的情况下正移动远离任务区域602。作业车辆符号624、625指示自卸车在第二类型的材料的载荷的情况下正朝向任务区域604移动，并且作业车辆符号626、627指示自卸车在没有载荷的情况下正移动远离任务区域604。
如以上所介绍的，车辆符号621-627可以反映工地内的各车辆的健康或状态信息。这种信息可以在向特定任务分配车辆时由操作员用来评估车队能力和/或由可以被派遣来维修车辆的维修技术操作员来使用。
场景图像610还可以与作业符号630、640交叠，在该示例中，所述作业符号630、640针对两个任务区域602、604来表示。如以上所注释的，作业符号630、640可以用来描绘各任务的进展。例如，在任务区域602处，正挖掘地下室。任务区域602包括通常表示在图像610上覆盖的地下室的整体尺寸的符号630，其中，第一部分634通常表示地下室的已完成部分，并且第二部分636表示地下室的未完成部分。作为另一个示例，在任务区域604处，正挖掘沟渠。任务区域604包括通常表示在图像610上覆盖的沟渠的整体尺寸的符号640，其中，第一部分644表示沟渠的已完成部分，并且第二部分646表示沟渠的未完成部分。由此可见，该符号630、640提供基础任务的性质、尺寸、以及进展的指示。
可以由符号表示任何类型的作业(或生产力)特性，并且这种符号可以采取各种形式。例如，作业符号可以为表示所接收或满足的顺序的数字的形式。另外的背景可以通过交叉参考车辆有效载荷重量信息和地图上的运输路线(例如，使用车辆数据304和/或图像数据302)反映材料流。另外的作业符号可以基于在图像数据302中表示的由无人空中装置采取的地貌扫描与作业数据310中表示的目标地表地貌之间的高度差由颜色编码符号来实施。
现在还参照图7，而且继续参照图1至图6，流程图例示了根据本公开的、可以由监视系统110执行的方法700。如可以鉴于本公开理解的，方法700内的操作顺序不限于如图7例示的顺序执行，而是可以按一个或更多个变化的顺序来执行(如果适用的话且根据本公开)。进一步地，可以省略一个或更多个步骤，和/或可以添加另外的步骤。
在一个示例中，方法700在步骤705处开始。在步骤705中，发起由监视系统110进行的工地地图的生成。可以以多种方式发起图像的收集和/或工地地图的生成，这些方式包括由作业车辆130-133中或控制中心120处的操作员进行的手动请求。在一些示例中，可以按日程安排(例如，视情况而定为每小时或每天)发起这种功能。
在一些实施方式中，操作员可以定制或以其他方式提供与要显示在工地地图上的信息的类型有关的用户输入。该用户输入可以由在步骤705中发起工地地图的操作员来提供，或者由查看工地地图(例如，在步骤765中)的操作员来提供。对图8进行简要地参照，图8是可以在(例如，作业车辆130-133和/或控制中心120内的)人机界面的显示器上向操作员呈现的图形用户界面菜单800。如图所示，菜单800呈现表示可用于并入到工地地图中的符号的可选元素选项810、820。如图所示，可选元素选项810、820、830可以被组织为场景图像抽象化选项810、对象抽象化选项820、和/或生产力抽象化选项830。各选项810、820、830如图所示的还可以被细分成更具体类型的抽象化项或类型。在指示选择(例如，通过用光标控制装置或触摸屏标记或点击)时，操作员可以通过选择“继续进行”元素802发起并入所选选项的工地地图的生成或显示。
返回到图7的方法700，在步骤710中，监视系统110从无人空中装置180中的一个或更多个接收图像数据302。如以上所注释的，无人空中装置180可以使用预定飞行路径来以预定间隔覆盖完整工地，或者在多个无人空中装置180的情况下，以预定时间长度或与其他无人空中装置180同步地覆盖工地的指定部分。无人空中装置180捕捉足够数量的图像，以使得能够在该间隔内产生工地的完全刷新的图像。
在步骤715中，监视系统110还可以接收诸如车辆数据304、车队数据306以及作业数据310的另外数据。如以上所注释的，该另外数据可以为车辆位置数据、规划数据、维修或健康数据等的形式。
在步骤720中，监视系统110缝合或以其他方式组合来自图像数据302的图像，以便产生整体场景图像320。如以上所注释的，在一些实施方式中，监视系统110可以从无人空中装置180接收工地的完整图像，但通常地，由监视系统组合图像，从而潜在地启用无人空中装置180的更高效操作和/或利用在监视系统110内存储的数据进行的图像的另外处理。
在步骤725中，监视系统110可以使场景图像320的一个或更多个方面抽象化。示例包括道路、任务区域、边界、以及其他类型的场景信息。
在步骤730中，监视系统110例如通过使用图像识别评估图像来对图像数据302内的一个或更多个对象进行检测并分类。这种检测和分类可以由车辆数据304和/或车队数据306来促进。
在步骤735中，监视系统110例如可以通过将当前图像数据302与之前的图像数据或工地地图进行比较来跟踪工地100内的一个或更多个对象。在一个示例中，对象模块240可以通过以下方式来执行该跟踪操作：识别当前图像数据中的对象，识别之前图像数据中或之前工地地图中的对应对象，以及将对应对象的位置进行比较，以确定这种对象随着时间的移动。被跟踪的对象可以为作业车辆130-133、被授权或失控车辆或职员、和/或工地100内的其他类型的设备或材料。作为示例，这种跟踪可以由监视系统110用来清查或定位用于在工地地图上描绘和/或其他控制中心系统的材料和/或设备。
在步骤740中，监视系统110可以使工地100内的一个或更多个对象抽象化。这种对象符号340使得观看者能够更直接识别并理解情况和相关信息。
在步骤745中，监视系统110可以基于图像数据302内的图像识别并确定工地的任务区域的一个或更多个特性。具体地，监视系统110可以识别并确定任务区域的地貌。在步骤750中，监视系统110可以鉴于生产力背景评估特性。生产力背景可以从作业数据310来确定或获得。在步骤755中，监视系统110可以基于所评估的特性生成作业符号360。这种符号360使得观看者能够更直接识别并理解情况和相关信息。
在步骤765中，监视系统110可以生成工地地图380。在一个示例中，工地地图可以通过在场景图像320上层叠对象符号340和作业符号360来形成。如以上所注释的，并入到工地地图380中的符号可以基于用户选择。
在步骤765中，监视系统110可以向一个或更多个操作员发送工地地图，以便显示。如以上所介绍的，操作员可以有各种形式，包括作业车辆内的操作员、控制中心处的操作员、远程或门户网站操作员、维修技术操作员等。
因此，这里所讨论的实施方式提供场景图像与符号交叠的工地地图，该符号增强被传达到操作员的信息的性质、数量、类型、以及效用。示例使用来自各种系统和源的数据，来产生综合工地地图，所述数据包括作业规划信息、车辆信息、车队信息等。
工地地图在如下工地中特别有用：在这些工地中，地形和任务的整体尺寸和变化的性质可能以其他方式使得监视变成在某种程度上具有挑战性的主题，特别是对于对工地不熟悉或相对陌生的操作员。根据各种实施方式，使用一个或更多个无人空中装置来提供促进对于完成任务或作业将是有用的工地的监视、评估、以及映射的图像。在一些实施方式中，各作业车辆在进行任务责任时可以被提供有工地地图，该工地地图启用改进的理解、背景或性能。由此可见，这种工地地图的生成、更新、以及维持对工地的正在进行的管理是有益的。
虽然以上总体在建筑工地的背景下讨论，但实施方式适用于其他类型的工地(诸如，农业、林业以及采矿行业中)。用于实施方案的示例作业车辆包括拖拉机、联合收割机、收割机、木材堆垛机、架空索、伐木归堆机等。一个特定示例可以包括农业工地，在该农业工地中，割晒机(windrower)切割农作物，并且压捆机(baler)收集所切割的农作物并将其压缩成捆，使得工地地图的生成可以促进识别操作位置和任务进展时的协作。通常，监视系统和方法可以提供多个作业车辆协作来执行作业内的一个或更多个任务的各种环境中(特别是具有可以提供另外信息来增强或以其他方式抽象化由空中图像形成的地图的方面的后端数据源的环境中)的工地地图。
如本领域技术人员将理解的，所公开主题的特定方面可以被具体实施为方法、系统(例如，在作业机械中包括的作业机械控制系统)、或计算机程序产品。因此，特定实施方式可以被完全实施为硬件、完全实施为软件(包括固件、常住软件、微代码等)或被实施为软件和硬件(以及其他)方面的组合。此外，某些实施方式可以采取计算机可用存储介质上的计算机程序产品的形式，计算机可用程序代码在该介质中具体实施。
可以使用任何合适的计算机可用或计算机可读介质。计算机可用介质可以为计算机可读信号介质或计算机可读存储介质。计算机可用或计算机可读存储介质(包括与计算装置或客户端电子装置相关联的存储装置)例如可以是但不限于电子、磁、光学、电磁、红外或半导体系统、设备或装置、或前述内容的任何合适组合。计算机可读介质的更具体示例(非穷尽列表)将包括以下示例：具有一个或更多个线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置。在本文献的背景下，计算机可用或计算机可读存储介质可以为可包含或存储用于由指令执行系统、设备或装置使用或关于该系统、设备或装置使用的程序的任何有形介质。
计算机可读信号介质可以包括内部具体实施有计算机可读程序代码的传播数据信号(例如，在基带中或作为载波的一部分)。这种传播信号可以采取各种形式(包括但不限于电磁、光学或其任何合适组合)的任何一个。计算机可读信号介质可以为非暂时性的，并且可以为不是计算机可读存储介质且可以传达、传播或输送用于由指令执行系统、设备或装置或关于指令执行系统、设备或装置使用的程序的任何计算机可读介质。
如这里所用的，除非另外限制或修改，否则具有由连接术语(例如，“和”)分离且前面还有短语“一个或更多个”或“至少一个”的元素的列表指示潜在地包括列表的独立元素或其任何组合的配置或布置。例如，“A、B以及C中的至少一个”或“A、B以及C中的一个或更多个”指示仅A、仅B、仅C、或A、B以及C中的两个或更多个的任何组合(例如，A和B；B和C；A和C；或A、B以及C)的可能性。
如这里所用的，术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑、和/或处理器装置(独立或以任意组合)，它们没有限制地包括：专用集成电路(ASIC)、电子电路、处理器(共享的、专用的、或组)以及执行一个或更多个软件或固件程序的存储器、组合逻辑电路、和/或提供所描述功能的其他合适部件。
本公开的实施方式在这里可以鉴于功能和/或逻辑块部件以及各种处理步骤来描述。应理解，这种块部件可以由被配置为执行指定功能的任何数量的硬件、软件、和/或固件部件来实现。例如，本公开的实施方式可以采用各种集成电路部件(例如，存储元件、数字信号处理元件、逻辑元件、查找表等)，这些集成电路部件可以在一个或更多个微处理器或其他控制装置的控制下进行各种功能。另外，本领域技术人员将理解，本公开的实施方式可以连同任何数量的作业车辆来一起实践。
为了简洁起见，这里可以不详细描述与系统(和系统的独立操作部件)的信号处理、数据传输、信令、控制、以及其他功能方面有关的常规技术。此外，在这里所包含的各种附图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应注意，许多另选或另外功能关系或物理连接可以存在于本公开的实施方式中。
可以参照根据本发明的实施方式的方法、设备(系统)以及计算机程序产品的流程图和/或框图描述这里所描述的特定实施方式的方面。将理解，任意这种流程图和/或框图中的各块以及这种流程图和/或框图中的块的组合可以由计算机程序指令来实施。为了产生机器，这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，使得经由计算机和/或其他可编程数据处理设备的处理器执行的指令创建用于实施由流程图和/或框图块中所指定的功能/动作的装置。
这些计算机程序指令还可以被存储在计算机可读存储器中，该计算机可读存储器可以引导计算机或其他可编程数据处理设备以特定方式来起作用，使得计算机可读存储器中所存储的指令产生制品，该制品包括实施流程图和/或框图块中指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机或其他可编程数据处理设备上，以使得在计算机或其他可编程设备上执行一系列操作步骤，以产生计算机实施的处理，使得在计算机或其他可编程设备上执行的指令提供用于实施流程图和/或框图块中指定的功能/动作的步骤。
附图中的任何流程图和框图或上述类似讨论可以例示根据本公开的各种实施方式的系统、方法以及计算机程序产品的可能实施方案的架构、功能以及操作。在这一点上，流程图或框图中的各块可以表示包括用于实施指定逻辑功能的一个或更多个可执行指令的模块、片段或代码的一部分。还应注意，在一些另选实施方案中，块中注释(或这里以其他方式描述)的功能可以在附图中所注释的顺序之外发生。例如，连续示出的两个块(或连续描述的两个操作)实际上可以大致同时执行，或者块(或操作)有时可以按相反的顺序来执行，这取决于所涉及的功能。还将注意，任何框图和/或流程图的各块以及任意框图和/或流程图中的块的组合可以由基于专用硬件的系统来实施，该基于专用硬件的系统执行专用硬件和计算机指令的指定功能或动作或组合。
这里所用的术语仅用于描述特定实施方式的目的，并且不旨在限制本公开。如这里所用的，单数形式“一个”以及“该/所述”旨在也包括复数形式，除非上下文另外清楚指示。还将理解，术语“包括”和/或“包含”在用于本说明书中时指定所叙述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。
对本公开的描述是为了例示和描述的目的而提出的，但并非旨在穷尽，或者限于所公开形式的公开。许多修改例和变型例将在不偏离本公开的范围和精神的情况下对于本领域普通技术人员是明显的。选择并描述这里明确参考的实施方式以便最好地说明本公开的原理及其实际应用，并且使得本领域其他普通技术人员能够理解本公开并认识到对所描述示例的许多替代、修改以及变型。因此，除了明确描述的实施方式和实施方案之外的各种实施方式和实施方案都在以下权利要求的范围内。

Claims (15)

1.一种工地监视系统，该工地监视系统包括：
通信部件，该通信部件接收表示由无人空中装置的成像设备捕捉的、工地的至少一个图像的图像数据并且接收与所述工地处的第一作业车辆相关联的车辆数据；以及
控制器，该控制器具有存储器和用于执行在所述存储器中存储的指令的处理架构，该控制器联接到所述通信部件，所述控制器被配置为；
评估所述图像数据，并且基于至少所述图像数据生成所述工地的场景图像；
从所述图像数据识别所述至少一个图像中的所述第一作业车辆；
使所述第一作业车辆抽象化为对象符号；
生成与所述第一作业车辆相关联的第一符号，所述第一符号指示车辆类型，并且至少部分基于所述车辆数据生成与所述第一作业车辆相关联的车辆载荷特性、车辆健康和车辆状态中的一者或更多者；并且
生成具有被层叠到所述场景图像上的所述第一符号的工地地图。
2.根据权利要求1所述的工地监视系统，其中，所述通信部件被配置为向作业车辆发送所述工地地图，以便向所述作业车辆内的操作员显示。
3.根据权利要求1所述的工地监视系统，其中，所述控制器被配置为通过将来自所述图像数据的多个图像缝合在一起来生成所述场景图像。
4.根据权利要求1所述的工地监视系统，其中，所述控制器被配置为生成所述第一符号，作为表示所述第一作业车辆的第一线图符号。
5.根据权利要求1所述的工地监视系统，其中，所述通信部件还接收与至少所述第一作业车辆相关联的车队数据，并且其中，所述控制器被配置为至少部分基于所述车队数据生成所述第一符号。
6.根据权利要求1所述的工地监视系统，其中，所述控制器还被配置为使所述场景图像的至少第一特性抽象化，生成与所述场景图像相关联的场景符号，并且生成具有被层叠到所述场景图像上的所述场景符号的所述工地地图。
7.根据权利要求6所述的工地监视系统，其中，所述控制器被配置为生成所述场景符号，作为道路符号、边界、或文本标签中的至少一个。
8.根据权利要求1所述的工地监视系统，其中，所述通信部件被配置为接收作业数据，并且所述控制器还被配置为基于所述作业数据生成作业符号，并且生成具有被层叠到所述场景图像上的所述作业符号的所述工地地图。
9.根据权利要求8所述的工地监视系统，其中，所述控制器被配置为生成用于表示与所述工地内的至少一个任务相关联的进展的所述作业符号。
10.一种生成工地地图的方法，该方法包括以下步骤：
利用通信部件接收表示由无人空中装置的成像设备捕捉的、工地的至少一个图像的图像数据；
利用所述通信部件接收与所述工地内的第一作业车辆相关联的车辆数据；
利用控制器评估所述图像数据，并且基于至少所述图像数据生成所述工地的场景图像；
利用所述控制器从所述图像数据识别所述工地中的所述第一作业车辆；
利用所述控制器使所述第一作业车辆抽象化为对象符号；
利用所述控制器生成与所述第一作业车辆相关联的第一符号，所述第一符号指示车辆类型，并且至少部分基于所述车辆数据生成与所述第一作业车辆相关联的车辆载荷特性、车辆健康和车辆状态中的一者或更多者；以及
利用所述控制器通过将所述第一符号层叠到所述场景图像上来生成所述工地地图。
11.根据权利要求10所述的方法，所述方法还包括以下步骤：
利用所述通信部件向作业车辆发送所述工地地图，以向所述作业车辆内的操作员显示。
12.根据权利要求10所述的方法，其中，生成所述场景图像的步骤包括将来自所述图像数据的多个图像缝合在一起。
13.根据权利要求10所述的方法，其中，使所述第一作业车辆抽象化的步骤包括生成所述第一符号，作为表示所述第一作业车辆的第一线图符号。
14.根据权利要求10所述的方法，所述方法还包括以下步骤：
利用所述控制器使所述工地的所述场景图像的至少第一特性抽象化，以生成与所述场景图像相关联的场景符号，所述场景符号包括道路符号、边界、或文本标签中的至少一个；
其中，生成所述工地地图的步骤包括将所述场景符号层叠到具有所述对象符号的所述场景图像上。
15.根据权利要求10所述的方法，所述方法还包括以下步骤：
利用所述通信部件接收与所述工地内的至少第一任务相关联的作业数据；以及
利用所述控制器基于所述作业数据生成作业符号；
其中，所述控制器包括地图模块，所述地图模块被配置为生成具有被层叠到具有所述对象符号的所述场景图像上的所述作业符号的所述工地地图，所述作业符号表示与所述第一任务相关联的进展。
CN201810193223.2A 2017-11-29 2018-03-09 工地监视系统和方法 Active CN109840462B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/825,583 US10684137B2 (en) 2017-11-29 2017-11-29 Work site monitoring system and method
US15/825,583 2017-11-29

Publications (2)

Publication Number Publication Date
CN109840462A CN109840462A (zh) 2019-06-04
CN109840462B true CN109840462B (zh) 2024-03-01

Family

ID=66442165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810193223.2A Active CN109840462B (zh) 2017-11-29 2018-03-09 工地监视系统和方法

Country Status (5)

Country Link
US (1) US10684137B2 (zh)
CN (1) CN109840462B (zh)
BR (1) BR102018001730A2 (zh)
DE (1) DE102018218155A1 (zh)
RU (1) RU2754704C2 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208276A1 (ja) * 2015-06-23 2016-12-29 株式会社小松製作所 施工管理システム及び施工管理方法
JP6567940B2 (ja) * 2015-10-05 2019-08-28 株式会社小松製作所 施工管理システム
NL2016718B1 (en) * 2016-05-02 2017-11-10 Cyclomedia Tech B V A method for improving position information associated with a collection of images.
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
US20200117201A1 (en) * 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
WO2020175285A1 (ja) * 2019-02-26 2020-09-03 本田技研工業株式会社 自動作業システム
US11346937B2 (en) * 2019-06-10 2022-05-31 International Business Machines Corporation Remote tracking of progress at construction sites
US20220259823A1 (en) * 2019-06-18 2022-08-18 Nec Corporation Excavation system, work system, control device, control method, and non-transitory computer-readable medium storing a program
US11650595B2 (en) * 2019-07-30 2023-05-16 Caterpillar Inc. Worksite plan execution
CN110536237A (zh) * 2019-09-04 2019-12-03 国网四川省电力公司电力科学研究院 基于uwb的位置信息采集方法
US11525243B2 (en) * 2019-09-16 2022-12-13 Caterpillar Inc. Image-based productivity tracking system
US11928624B2 (en) * 2019-10-25 2024-03-12 Caterpillar Inc. System and method for validating availability of machine at worksite
CN111047280A (zh) * 2019-11-22 2020-04-21 三一重工股份有限公司 厂房内的对象检测方法、装置以及计算机可读存储介质
CN110944151B (zh) * 2019-11-29 2021-07-13 大唐东营发电有限公司 一种发电厂火灾及温度监控探测装置
US11454713B2 (en) * 2020-02-04 2022-09-27 Caterpillar Inc. Configuration of a LIDAR sensor scan area according to a cycle segment of an operation of a machine
DE102020001460A1 (de) 2020-02-26 2021-08-26 Matthäi Wasserbau GmbH & Co. KG Verfahren zur Detektion von ungewollten Flüssigkeitsausbrüchen an einer Geländeoberfläche bei einer, insbesondere oberflächennahen, Horizontalbohrung
US11543828B2 (en) * 2020-03-31 2023-01-03 Caterpillar Paving Products Inc. Systems and methods for identifying machine travel paths
US11578475B2 (en) 2020-04-16 2023-02-14 Deere & Company Pipe-laying system and method
CN111895931B (zh) * 2020-07-17 2021-11-26 嘉兴泊令科技有限公司 一种基于计算机视觉的煤矿作业区标定方法
GB2600101B (en) * 2020-10-16 2023-03-01 Micropply Ltd Method and system for identifying suitable zones for autonomous vehicle operation
CN112966987A (zh) * 2021-04-15 2021-06-15 中海油海南能源有限公司 一种确定资源调度路径的方法、装置及设备
DE102021112052A1 (de) * 2021-05-07 2022-11-10 abaut GmbH System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung
CN113433914B (zh) * 2021-07-06 2022-09-30 山东电力工程咨询院有限公司 智慧工地管控平台及其监控方法
WO2023286075A1 (en) * 2021-07-12 2023-01-19 Galaxyeye Space Solutions Private Limited A system and method for sensing topology of a planet
EP4148378A1 (en) * 2021-09-13 2023-03-15 Sandvik Mining and Construction Oy Mining worksite mapping
US11971725B2 (en) * 2021-10-14 2024-04-30 Cnh Industrial America Llc System and method for performing spraying operations with an agricultural applicator
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
DE102022201799B3 (de) 2022-02-22 2023-03-30 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zum Überwachen eines Arbeitsumfelds einer Arbeitsmaschine sowie Arbeitsmaschine
US20240093465A1 (en) * 2022-09-21 2024-03-21 Caterpillar Inc. Identifying telemetry data using artificial intelligence
CN115294756B (zh) * 2022-09-29 2023-01-17 长沙迪迈数码科技股份有限公司 一种井下双向单车道会车避让调度方法、存储器和处理器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286240A (zh) * 2008-04-22 2008-10-15 北京航空航天大学 一种可快速配置和实时渲染的安防三维电子地图
CN104220351A (zh) * 2012-02-10 2014-12-17 迪尔公司 用于便于从车辆上卸载农业物料的方法和立体视觉系统
CN104782113A (zh) * 2012-12-12 2015-07-15 英特尔公司 多焦图像捕捉和显示
KR101696730B1 (ko) * 2016-07-27 2017-01-17 주식회사 뉴인테크 지능형 도시통합 중앙관제시스템 구축방법
CN106530896A (zh) * 2016-11-30 2017-03-22 中国直升机设计研究所 一种用于无人机飞行演示的虚拟系统
CN106791613A (zh) * 2016-11-30 2017-05-31 江苏省邮电规划设计院有限责任公司 一种基于3dgis和视频相结合的智能监控系统
CN107211100A (zh) * 2014-12-29 2017-09-26 诺基亚技术有限公司 用于图像的运动去模糊的方法、装置和计算机程序产品

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US20050073731A1 (en) * 2003-10-03 2005-04-07 Deer Anna Y. Color correction method for an imaging system
BRPI0822712A2 (pt) * 2008-05-29 2015-07-07 Tomtom Internac B V Geração de uma imagem de exibição
US9104202B2 (en) * 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
US20160148421A1 (en) * 2014-11-24 2016-05-26 Caterpillar Inc. Integrated Bird's Eye View with Situational Awareness
CN111255009A (zh) * 2015-02-13 2020-06-09 爱斯科集团有限责任公司 地面接合磨耗部件和包括所述地面接合磨耗部件的监控系统
JP6496182B2 (ja) * 2015-04-28 2019-04-03 株式会社小松製作所 施工計画システム
US9786105B2 (en) * 2015-12-08 2017-10-10 Caterpillar Inc. Gathering data from machine operating at worksite
US20170175363A1 (en) * 2015-12-22 2017-06-22 Caterpillar Inc. Method for providing images of a work tool for a machine
DE102016203077A1 (de) 2016-02-26 2017-08-31 Robert Bosch Gmbh System und Verfahren zum Lokalisieren
US10901420B2 (en) * 2016-11-04 2021-01-26 Intel Corporation Unmanned aerial vehicle-based systems and methods for agricultural landscape modeling
US10775796B2 (en) * 2017-01-10 2020-09-15 Cnh Industrial America Llc Aerial vehicle systems and methods
JP6289731B2 (ja) * 2017-01-13 2018-03-07 株式会社小松製作所 作業機械の制御システム、作業機械の制御方法、及びナビゲーションコントローラ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286240A (zh) * 2008-04-22 2008-10-15 北京航空航天大学 一种可快速配置和实时渲染的安防三维电子地图
CN104220351A (zh) * 2012-02-10 2014-12-17 迪尔公司 用于便于从车辆上卸载农业物料的方法和立体视觉系统
CN104782113A (zh) * 2012-12-12 2015-07-15 英特尔公司 多焦图像捕捉和显示
CN107211100A (zh) * 2014-12-29 2017-09-26 诺基亚技术有限公司 用于图像的运动去模糊的方法、装置和计算机程序产品
KR101696730B1 (ko) * 2016-07-27 2017-01-17 주식회사 뉴인테크 지능형 도시통합 중앙관제시스템 구축방법
CN106530896A (zh) * 2016-11-30 2017-03-22 中国直升机设计研究所 一种用于无人机飞行演示的虚拟系统
CN106791613A (zh) * 2016-11-30 2017-05-31 江苏省邮电规划设计院有限责任公司 一种基于3dgis和视频相结合的智能监控系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
and military applications in hyperspectral imaging and high spatial resolution sensing.2013,第8897卷全文. *
Lutsiv,V等.Image Structural analysis in the tasks of automatic navigation of unmanned vehicles and inspection of Earth surface.Electro-optical remote sensing, photonic technologies, and applications VII *
无人驾驶智能车远程监控系统——基于GPRS无线网络通信;赵丹丹;中国优秀硕士学位论文全文数据库工程科技辑;第2014卷;全文 *

Also Published As

Publication number Publication date
DE102018218155A1 (de) 2019-05-29
CN109840462A (zh) 2019-06-04
US10684137B2 (en) 2020-06-16
BR102018001730A2 (pt) 2019-06-25
RU2754704C2 (ru) 2021-09-06
RU2018115998A (ru) 2019-10-28
US20190162551A1 (en) 2019-05-30
RU2018115998A3 (zh) 2021-08-11

Similar Documents

Publication Publication Date Title
CN109840462B (zh) 工地监视系统和方法
US20230205221A1 (en) Worksite plan execution
US11634890B2 (en) Image display system for work machine
US9457718B2 (en) Obstacle detection system
US9322148B2 (en) System and method for terrain mapping
US20150199106A1 (en) Augmented Reality Display System
US20160312432A1 (en) Computer Vision Assisted Work Tool Recognition and Installation
CN110531764A (zh) 一种无人驾驶拖拉机控制系统及控制方法
US11131082B2 (en) Work vehicle with a payload tracking system
US20170175363A1 (en) Method for providing images of a work tool for a machine
EP4048842B1 (en) System and method for validating availability of machine at worksite
US20160148421A1 (en) Integrated Bird's Eye View with Situational Awareness
US10234856B2 (en) System and method for controlling a machine
DE102021108424A1 (de) Verbessertes sichtsystem für arbeitsmaschinen
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
CN211454364U (zh) 一种无人驾驶拖拉机控制系统
JP2022547608A (ja) 画像ベースの生産性追跡システム
US20240117598A1 (en) Autonomous Control Of On-Site Movement Of Powered Earth-Moving Construction Or Mining Vehicles
EP4062731A1 (en) System and method for autonomous work machine approval
US20230151583A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
WO2024049813A1 (en) Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems
CN115877800A (zh) 机上远程控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant