CN117272429A - 用于土方作业的设计生成 - Google Patents

用于土方作业的设计生成 Download PDF

Info

Publication number
CN117272429A
CN117272429A CN202310673098.6A CN202310673098A CN117272429A CN 117272429 A CN117272429 A CN 117272429A CN 202310673098 A CN202310673098 A CN 202310673098A CN 117272429 A CN117272429 A CN 117272429A
Authority
CN
China
Prior art keywords
user input
background image
trench
machine
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310673098.6A
Other languages
English (en)
Inventor
M·G·基恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Earth System Technology Co ltd
Original Assignee
Leica Earth System Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Earth System Technology Co ltd filed Critical Leica Earth System Technology Co ltd
Publication of CN117272429A publication Critical patent/CN117272429A/zh
Pending legal-status Critical Current

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/841—Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine
    • E02F3/842—Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine using electromagnetic, optical or photoelectric beams, e.g. laser beams
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F5/00—Dredgers or soil-shifting machines for special purposes
    • E02F5/02—Dredgers or soil-shifting machines for special purposes for digging trenches or ditches
    • E02F5/14—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids
    • E02F5/145—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids control and indicating devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D17/00—Excavations; Bordering of excavations; Making embankments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

用于土方作业的设计生成。本发明涉及通过施工机械规划要执行的土方作业的系统，该施工机械具有执行土方作业的工具和至少部分地控制土方作业的机械控制单元，该系统包括：测量系统，捕获施工机械周围的不平坦地形的3D测量数据；背景摄像机，具有相对于测量系统和/或3D测量数据的已知位置并捕获地形的背景图像数据；用户界面，向操作者显示至少一个背景图像且从操作者接收用户输入；计算单元，至少与测量系统和用户界面可操作地联接并用于：生成地形的3D地形模型；将用户输入解释为对背景图像的像素的选择；将该选择映射至3D地形模型的表面；基于该映射确定表面上的3D坐标；将3D坐标提供给机械控制单元，以基于3D坐标来至少部分地控制土方作业。

Description

用于土方作业的设计生成
技术领域
本发明总体上涉及控制用于执行诸如挖沟渠的土方作业(earth-movingoperation)的施工机械(construction machine)，并且更具体地，涉及允许施工机械的操作者在现场进行简化设计生成的方法和系统，该设计包括可以被提供给施工机械的机械控制单元以用于至少部分地控制土方工程(earth-moving work)的3D坐标。
背景技术
已知的是，使用施工机械的自动化系统通过完全或部分地控制该机械来促进机械操作者的土方作业。现有的自动化系统主要专注于为将土壤表面切成期望的外形而需要的最终平整(grading)遍次。基于期望的外形相对于世界坐标(“3D系统”)被定位还是期望的外形相对于车辆坐标(“2D系统”)被定位，存在着两个不同的主要应用。2D系统对于一起作业更简单些。土壤外形是相对于车辆系统来设计的，并且操作者完全负责导航车辆，以使系统生成正确的表面。3D系统需要使用复杂计算机系统创建的表面设计文件。然后，机械可以相对于3D平面图进行定位，并且以多种可能的导航动作来正确地切割表面。
已知有各种测量系统用于建筑领域的特殊需要，尤其是用于诸如挖掘机、平地机或推土机的土方机械。这种测量系统可以与施工机械一起使用，以建立该机械周围的数字3D模型、检测该机械周围的障碍物、和/或支持对该施工机械的控制。例如，EP 3086196A1建议借助于被设置在推土机上的摄像机系统来进行环境检测。该摄像机系统使用SLAM或SfM算法来生成环境的3D点云。JP 2019167719 A2公开了一种2D激光扫描器，当安装有该2D激光扫描器的挖掘机进行枢转时，借助于该2D激光扫描器生成环境的3D模型。WO 2019/197064 A1示出了一种用于利用ToF摄像机来监测施工机械环境的装置。以这种方式生成的图像被用于引导施工机械的操作者，以便根据平面图控制施工机械在施工现场(construction site)的作业。
感知传感器的进步允许新的交互式工作流程，其使得能够以类似于现有2D系统的更简单方式来生成3D设计表面。这些相同的感知传感器允许机械相对于设计文件的坐标定位其自身，并且使得能够实现机械自动化的进步，以使自动化系统可以在更宽范围的操作者条件下使用。WO 2020/126123 A2公开了包括激光扫描器和至少一个摄像机的紧凑型“现实捕获装置”的示例。利用该现实捕获装置，可以借助于发射测量激光束的激光扫描器(例如使用脉冲化电磁辐射)来对环境进行光学扫描和测量，其中，接收来自环境的反向散射表面点的回波，并且导出距该表面点的距离并将该距离与关联的测量激光束的角发射方向相关联。这样，生成三维点云。例如，距离测量可以基于脉冲的飞行时间、形状、和/或相位。对于附加信息，例如借助于RGB摄像机或红外摄像机，来将激光扫描器数据与摄像机数据组合，特别是提供高分辨率光谱信息。现实捕获装置可以是移动的并且被配置成同时提供测量数据和参考数据，例如其中，至少该装置的轨迹数据(例如位置和/或姿态数据)提供有探测数据(例如激光扫描器数据和/或摄像机数据)，使得可以将现实捕获装置的不同位置的探测数据组合成公共坐标系。现实捕获装置可以被配置成例如借助于同时定位和地图构建(simultaneous localization and mapping，SLAM)功能，来自主创建新环境的3D地图。欧洲专利申请No.21176387.5公开了一种类似的现实捕获装置，其包括飞行时间(time-of-flight，ToF)摄像机的布置而不是激光扫描器，其中，ToF摄像机被配置用于联合捕获周围环境的3D点云数据。
EP 3865895 A1公开了一种用于施工机械的测量系统，其包括用于在施工现场的土方工程之前和期间捕获施工机械的周围环境的一个或更多个现实捕获装置。
希望提供一种用于施工机械的、可以在用于土方工程的简化设计生成的领域中使用的施工现场测量系统。
发明内容
因此，本发明的目的是，提供一种改进的系统和方法，其允许施工机械的操作者创建用于土方作业的设计。
本发明的另一目的是，提供这样一种系统和方法，其允许在现场(即，直接在土方作业的施工现场)创建设计。
本发明的另一目的是，提供这样一种系统和方法，其允许快速且以直观的方式创建设计。
本发明的另一目的是，提供这样一种系统和方法，其允许创建可以被用作施工机械的自动化系统的输入的设计，这有助于操作者执行土方作业，特别是其中，该系统和方法允许创建设计，以使施工机械在执行土方作业时可以相对于设计特征进行定位。
本发明的第一方面涉及一种通过施工机械来规划要执行的土方作业的系统，其中，该施工机械具有用于执行土方作业的工具以及用于至少部分地控制土方作业的机械控制单元。
根据这个方面，该系统包括：
-测量系统，该测量系统被配置用于在至少第一检测范围内捕获施工机械周围的不平坦地形的3D测量数据；
-背景摄像机，该背景摄像机具有相对于测量系统和/或3D测量数据的已知位置，并且该背景摄像机被配置用于捕获第一检测范围内的地形的背景图像数据；
-用户界面，该用户界面被配置用于基于背景图像数据来向施工机械的操作者显示至少一个背景图像，并且用于从操作者接收用户输入，该用户输入可解释为或者包括对背景图像的像素的选择；以及
-计算单元，该计算单元至少与测量系统和用户界面可操作地联接。
计算单元被配置用于：
-基于3D测量数据，来生成第一检测范围内的地形的3D地形模型；
-将用户输入解释为对背景图像的像素的选择；
-考虑到背景摄像机的已知相对位置，将对像素的选择映射至3D地形模型的表面；
-基于映射来确定表面上的3D坐标；以及
-将3D坐标提供给机械控制单元，以用于基于该3D坐标来至少部分地控制土方作业。
根据该系统的一些实施方式，该测量系统包括在施工机械处的至少一个测量单元，各个测量单元皆包括至少一个激光扫描器和/或多个ToF摄像机，并且该测量单元被配置用于捕获3D点云数据。
根据该系统的一些实施方式，该用户界面包括触敏显示器(触摸屏)，在该触敏显示器上显示背景图像并且在该触敏显示器上接收用户输入，其中，该用户输入可解释为或者包括对背景图像的像素的至少一条线或多边形的选择。
在一些实施方式中，所述土方作业包括对线性结构进行施工，并且该线或多边形指示线性结构的位置和/或方向。例如，该线性结构可以是路基、道床、路堤、堤道、坝、路堑(cut)、沟渠或壕沟。可选地，用户输入可以包括土方作业包括对线性结构进行施工的指示。在一个实施方式中，至少一条线指示线性结构的中心线或边缘。在另一实施方式中，用户输入包括对线性结构的期望坡度(slope)的选择。
在一些实施方式中，线性结构是沟渠或壕沟，用户输入包括对沟渠或壕沟的期望推挤(extrusion)形状的选择或指示，并且计算单元被配置用于对用户输入进行分析，以确定该用户输入是否包括沿沟渠或壕沟的方向的一个或更多个变化；并且响应于检测到方向变化，通过以下项来适配所确定的3D坐标：基于推挤形状来强制实施最小转弯半径；例如在方向急剧变化的情况下，确定所述推挤的交叉点(intersection)；和/或在该推挤形状中添加半径的分段线性近似。
根据该系统的一些实施方式，用户界面被配置成从计算单元接收所确定的3D坐标，并且在背景图像中显示3D坐标的表示。在一个实施方式中，用户界面还被配置成在背景图像中显示对像素的选择。在另一实施方式中，土方作业包括挖沟渠，并且所述表示包括被投影到指示沟渠的位置和方向的局部水平面中的样条(spline)。
本发明的第二方面涉及一种施工机械，例如平地机、推土机或挖掘机，该施工机械包括：
-工具，该工具用于执行土方作业，例如，挖沟渠；
-控制单元，该控制单元用于至少部分地控制土方作业；以及
-根据本发明的第一方面的系统，该系统与控制单元可操作地联接或者包括该控制单元。
本发明的第三方面涉及一种用于使用例如根据本发明的第二方面的施工机械来规划土方作业的计算机实现的方法，其中，该施工机械具有用于执行土方作业的工具以及用于至少部分地控制土方作业的机械控制单元。所述方法包括以下步骤：
-在至少第一检测范围内接收施工机械周围的不平坦地形的3D测量数据；
-使用具有相对于3D测量数据和/或相对于捕获3D测量数据的测量系统的已知位置的背景摄像机，来捕获第一检测范围内的地形的背景图像数据；
-基于背景图像数据来向施工机械的操作者显示至少一个背景图像；
-从操作者接收用户输入，该用户输入可解释为或者包括对背景图像的像素的选择；
-将用户输入解释为对背景图像的像素的选择；
-考虑到背景摄像机的已知相对位置，将对像素的选择映射至3D地形模型的表面；
-基于映射，来确定表面上的三维地形模型中的3D坐标；以及
-将3D坐标提供给机械控制单元，以用于基于该3D坐标来至少部分地控制土方作业。
根据所述方法的一个实施方式，接收3D测量数据的步骤包括：使用在施工机械处的至少一个测量单元，来捕获3D测量数据，所述至少一个测量单元包括激光扫描器和/或多个ToF摄像机。例如，3D测量数据可以包括3D点云数据。
根据所述方法的另一实施方式，用户输入包括在其上显示背景图像的触敏屏上的输入，对背景图像的像素的选择包括：例如使用触摸-拖动(touch-and-drag)动作或者滑动(swipe)动作，在背景图像中绘制至少一条线或多边形。
在一些实施方式中，土方作业包括对线性结构进行施工，并且该线或多边形指示线性结构的位置和/或方向。例如，该线性结构可以是路基、道床、路堤、堤道、坝、路堑、沟渠或壕沟。可选地，用户输入包括土方作业包括对线性结构进行施工的指示，例如，对路基、道床、路堤、堤道、坝、路堑、沟渠或壕沟进行施工的指示。在一个实施方式中，至少一条线指示线性结构的中心线或边缘。可选地，用户输入包括对线性结构的期望坡度的选择。
在一个实施方式中，线性结构是沟渠或壕沟，并且用户输入包括对沟渠或壕沟的期望推挤形状的选择或指示，其中，将指示沟渠或壕沟的位置和方向的样条投影到局部水平面中。推挤形状可以由垂直于样条的投影的竖直面中的两条或更多条线段来限定，例如其中，所述线段是由触敏屏上的通过触摸-拖动动作或者通过选择后续点位置的若干触摸的用户输入来指示的。另选地，推挤形状是由期望宽度和深度来限定的，该推挤形状具有处于距样条的期望深度处的水平平坦底部以及平行于样条的平坦竖直壁。
在一个实施方式中，所述方法包括以下步骤：对用户输入进行分析，以确定该用户输入是否包括沿沟渠或壕沟的方向的一个或更多个变化，并且其中，响应于检测到方向变化，确定3D坐标的步骤还包括：基于推挤形状来强制实施最小转弯半径；例如在方向急剧变化的情况下，确定所述推挤的交叉点；和/或在该推挤形状中添加半径的分段线性近似。
根据所述方法的一些实施方式，用户输入包括：特别是相对于土方作业的现场或特征来指定施工机械、弃土堆、堆料线(windrow line)和/或卡车列队(truck lineup)的位置。
在一个实施方式中，施工机械是挖掘机，并且用户输入包括挖掘机要在该挖掘机的履带的前方或后方上或者侧方上进行挖掘的指示。
在另一实施方式中，指定弃土堆的位置的步骤包括：使用施工机械挖第一铲土(first load of soil)并且将所述第一铲土放在弃土堆的期望起始位置处，例如其中，所指定的弃土堆的位置指示该弃土堆的中心线或者该弃土堆相对于距土方作业的最近距离的界限线。
在另一实施方式中，指定卡车列队的位置的步骤包括：例如在触敏显示器上输入该卡车的期望接近矢量。可选地，期望接近矢量可以被提供给卡车并且被用于导航计算，以规划该卡车沿期望接近矢量到达指定位置的路径，并且所计算的路径可以被传送给卡车的操作者和/或被用于生成该卡车的自主导航命令。
本发明的第四方面涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码被存储在机器可读介质上或者通过包括程序代码段的电磁波来具体实施，并且该计算机程序产品具有计算机可执行指令，该计算机可执行指令特别是在根据本发明的第一方面的系统的计算单元上执行时，执行本发明的第三方面的方法。
附图说明
仅通过示例的方式，在下文中参照附图，对本发明的优选实施方式进行更全面描述，其中：
图1a至图1c示出了包括施工现场测量系统的施工机械1的示例性实施方式；
图2例示了根据本发明的系统的示例性实施方式；
图3a至图3b示出了向操作者显示的背景图像和用户在所显示的图像中输入线；
图4例示了输入线到3D表面的映射；
图5例示了在背景图像上显示的覆盖图，作为系统如何解释输入线的对操作者的反馈；
图6例示了用户在所显示的图像中输入多边形；
图7例示了输入多边形到3D表面的映射；
图8a至图8e例示了在所显示的图像中输入V形沟渠的设计；以及
图9例示了根据本发明的方法的步骤。
具体实施方式
图1a至图1c示出了包括施工现场测量系统的施工机械1的示例性实施方式。施工机械1包括用于执行土方作业的工具11。尽管所示的机械是挖掘机，但是它也可以是可用于土方工程的任何其它施工机械，诸如平地机或推土机。
根据本发明的方法和系统提供了用于设计3D表面平面图的简化工作流程，其中，工作流程对于施工机械1的操作者是直观的。然后，由操作者设计的3D表面平面图可以被用于使用施工机械1的现有自动化系统的土方作业。在一些实施方式中，这种方法和系统需要能够感测环境、基于所感测的环境生成点云、以及将点云与来自背景摄像机的颜色数据合并的施工现场测量系统。它们还需要向操作者显示摄像机图像的显示器以及用于接收操作者输入的输入装置。
图1a示出了被安装在挖掘机1上作为施工现场测量系统的一部分的两个测量单元2a、2b。各个测量单元2a、2b皆包括一个或更多个现实捕获装置(reality-capture device，RCD)。在本发明的上下文中，RCD特别包括使用非接触方法来捕获环境的点云的传感器布置。通常，这是以基于光波、无线电波、或超声波的飞行时间(ToF)测量为基础的。然而，立体视觉传感器可以使用视差或者左右图像中的数据位置的差异来提供环境的点云测量。例如，各个RCD皆可以包括至少两个摄像机以及可选地其它传感器，诸如激光扫描器或ToF摄像机布置。如图1b更详细地示出，包括单个RCD的第一测量单元2a被安装在挖掘机1的驾驶室14上。通常对于施工机械，挖掘机1具有底盘12和传动系13。另选地，施工机械可以具有轮子。如图1c所示，包括三个RCD的第二测量单元2b被安装在底盘12的背面。测量单元2a、2b可以被配置成有助于生成地形的相同3D点云，以检测障碍物和/或跟踪进入机械周围的危险区域的人或动物。测量单元可以被设置在施工机械的许多部件上，例如设置在工具11、底盘12和/或驾驶室14上。
施工现场测量系统包括计算单元和用户界面(这里未示出)。优选地，用户界面可以被设置在驾驶室14处或内部，以使其可以在作业期间由挖掘机1的操作者使用。用户界面包括用于显示实况图像的显示器和/或图形用户界面(GUI)、以及输入装置(例如，包括触敏显示器(触摸屏)和用于与触摸屏一起使用的触笔)。计算单元可以使用由测量单元生成的测量数据(RCD数据)(例如，来自LiDAR(激光雷达)扫描器的LiDAR数据和来自多个摄像机的图像数据)，以用于生成例如施工现场或其部分的3D模型，并且可选地还用于障碍物检测。
该施工现场测量系统另外可以包括以下组件中的至少一个组件，这些组件可选地可以与测量单元2a、2b的RCD一起被设置在公共壳体中，或者与该计算单元和该用户界面一起被设置在公共壳体中：
-被配置用于生成位置数据的GNSS天线，
-被配置用于生成IMU数据的惯性测量单元(Inertial Measurement Unit，IMU)，以及
-蜂窝单元，该蜂窝单元被配置用于将任何数据发送至远程站或其它车辆，例如，同一施工现场上的施工机械或拖运卡车。
例如，如果测量数据包括LiDAR数据和图像数据，则图像数据可以被用于对LiDAR数据进行着色和/或用于通过将它们与基于图像生成的点云(例如，通过视觉同时定位和地图构建(VSLAM)算法生成的点云)进行匹配来优化LiDAR数据的参考。而且，特征跟踪和/或特征识别算法可以帮助将LiDAR数据组合到一致且良好参考的全局点云。类似地，可以将利用GNSS天线获得的位置数据和来自IMU的IMU数据用于传感器融合，以在构建地形的3D模型时获得更高的精度。VSLAM点云生成也可以以LiDAR数据为支撑，特别是以这样的方式，即，LiDAR数据引入尺度并由此增加算法的稳定性。LiDAR扫描器可以被配置用于在各个扫描器的两个旋转轴线旋转快于0.1Hz、特别是快于1Hz的同时，以每秒至少300,000点、特别是每秒至少500,000点的点采集速率来生成LiDAR数据。
LiDAR扫描器以及ToF摄像机能够以非常快的速度(pace)捕获周围环境的3D表示。因此，利用移动的施工机械，可以基于SLAM(同时定位和地图构建)算法来生成相干3D点云，该SLAM算法单独使用LiDAR数据或ToF数据，或者与来自摄像机的图像数据结合使用LiDAR数据或ToF数据。如果施工机械正在桥下或者GNSS信号受遮蔽的某一其它地方作业，那么这种定位和地图构建是特别有利的。SLAM算法可以由提供IMU数据的至少一个IMU支持，该IMU数据可以被处理以使算法稳定。特别地，所有这样的融合传感器数据可以由卡尔曼(Kalman)滤波器来处理。
施工现场测量系统还包括至少一个背景摄像机。这是生成提供环境背景的图像的任何摄像机装置。特别地，背景摄像机不需要提供供在传感器系统中使用的任何数据。然而，由立体摄像机提供的图像除了在视差图的计算中用作传感器之外，还适于用作背景摄像机。背景摄像机可以与测量单元2a、2b的RCD一起设置在公共壳体中，或者与该计算单元和该用户界面一起设置在公共壳体中。例如，在所示示例中，可以将背景摄像机设置在第一测量单元2a中。
背景图像数据通过使用外在参数而与施工现场测量系统的RCD数据相关，该外在参数表征当背景摄像机和RCD被安装在施工机械1上时它们的相对位置。由背景摄像机拍摄的图像可在用户界面的显示器上显示给机械的操作者，特别是作为实况视频。
被安装至施工机械的一个或更多个RCD的使用使得整个工程平面图能够基于RCD数据而被定位至现场。如果RCD被用于导航或地图构建(例如，SLAM的一些变体)，那么可以将设计文件定位至该导航框架(frame)。如果机械装备有GNSS或另一全球定位系统，那么可以将RCD数据定位至全球坐标并且也可以将设计文件定位至世界框架。然后，该设计文件可以被保留并输出用于参考或以后使用。
图2例示了根据本发明的系统70的示例性实施方式。可以将该系统至少部分地设置在施工机械上，例如，设置在图1a的挖掘机上。系统70包括与用户界面73可操作地联接的计算单元71。用户界面被配置成向系统的操作者呈现信息以及从操作者接收输入。例如，用户界面73可以被设置在图1a的挖掘机的驾驶室中并且包括触摸屏。
该系统还可以包括与计算单元71可操作地联接的机械控制单元75。机械控制单元75被配置成辅助操作者执行土方作业。特别地，这包括至少部分地自动监督施工机械的工具的坐标，例如以使防止图1a的挖掘机的工具在预定义平面下方挖掘。另选地，机械控制单元75可以被单独地设置在施工机械上并且可连接至系统70，以使该机械控制单元与计算单元71可操作地联接。
系统70还可以包括与计算单元71可操作地联接的一个或更多个现实捕获装置(reality capture device，RCD)82以及至少一个背景摄像机83。背景摄像机83的图像可在用户界面73的屏幕(例如，触摸屏)上显示。另选地，RCD 82和背景摄像机83可以单独地设置在施工机械上，并且可连接至系统70，以使该RCD和背景摄像机与计算单元71可操作地联接。
计算单元71被配置成从RCD 82接收施工现场的表面的点云数据，特别是施工机械周围的表面的点云数据。计算单元71被配置成从用户界面73接收关于施工现场上的所规划的土方作业的用户输入。用户输入包括对背景摄像机的图像中的像素的选择，或者至少可解释为对像素的选择。通过将所选择的像素映射到点云数据上，计算单元71确定所规划的土方作业的3D坐标，并且相应地对机械控制单元75进行编程。
图3a示出了由背景摄像机拍摄的图像3，该图像在用户界面的显示器上显示给施工机械的操作者。该背景图像3示出了施工机械周围的一部分的表示。周围环境包括要在其中执行土方作业的地形30，其中，周围环境中的3D特征35(诸如地形粗糙度或障碍物)在图像3中也是可见的。优选地，为了增加工作流程的直观性，可以定位和定向背景摄像机，以使该背景摄像机在操作者的实际或正常观看方向上捕获图像，例如，将该背景摄像机定位在操作者驾驶室的顶部或前部。这样，在图像3中示出的周围环境的所述部分至少部分地对应于操作者从施工机械的驾驶室内可见的部分。
如图3b所示，操作者可以在图像3中限定所规划的土方作业的位置。在其上显示图像3的显示器可以是触摸屏，并且操作者可以使用触笔4作为输入装置来在触摸屏上限定所述位置。在图3b的示例中，所规划的土方作业包括挖沟渠，并且操作者使用触笔4绘制用于限定沟渠的位置和方向的线41。线41接触多个像素，这些像素可以被解释为对图像3中的像素(关注像素)的选择。另选地，可以使用其它或附加的输入装置，诸如键盘。
例如，可以使用鼠标器或轨迹球作为输入装置来移动图像3中的光标。使用鼠标器或轨迹球，限定沟渠的位置和方向可以包括：点击图像3中的沟渠的起点和终点，或者点击起点并沿着线31拖动至终点。类似地，使用触摸屏，限定沟渠的位置和方向可以包括：触摸该触摸屏上的起点和终点(例如，用手指或使用触笔4)或者触摸-拖动。另选地，沟渠的位置和方向可以通过使用键盘或任何其它合适的方法选择像素来进行限定。
与用于限定沟渠的位置和方向的输入方法无关，图像3中的操作者输入被用于指定一组关注像素。如图4所例示的，然后，使用外在参数将这些关注像素与施工机械的环境相关，通过该外在参数，将背景图像数据与RCD数据相关，从而表征背景摄像机和一个或更多个RCD的相对位置。将关注像素的像素坐标转换成与来自RCD的点云数据相关的3D坐标。RCD点云数据包括周围环境的表面20的3D表示，包括3D特征25，诸如地形粗糙度或障碍物。该步骤可以涉及：使3D点插值或者将3D表示从点云简化至简单表面，以使点或线在3D表示上的投影在数学上更简单。然后，使像素的3D位置平滑，以使其与假定的操作者意图匹配。即，如果表面20不平坦，则操作者在屏幕上的线输入41将导致点云数据的3D空间中的不规则路径。然后使该路径平滑，以使生成线51。
如图5所示，系统可以基于操作者的输入线41在背景摄像机图像3上生成覆盖图，并且向操作者示出由系统接收到的3D表面线61。这使得操作者能够在设计现有表面具有坡度的3D平面图时确认系统已经正确地解释了操作者输入线41。可选地，系统还可以重新投影图像3和线61以生成俯视图。
如图6所示，操作者可以使用触笔4通过输入多边形42而不是单条线来限定图像3中的所规划的土方作业的位置，例如限定所规划的坑的范围。
如图7所例示的，图像3中的操作者输入被用于指定一组关注像素。然后，这些关注像素使用如上参照图4所描述的外在参数(即，背景摄像机相对于点云数据的已知位置)与施工机械的环境相关。然后，使像素的3D位置平滑，以使其与假定的操作者意图匹配。即，如果操作者在屏幕上输入多边形42，则必须应用规则以确保维持操作者意图。因为在屏幕上绘制的正方形或矩形不一定对应于地表面20上的正方形或矩形，所以如果表面20不平坦，则操作者的多边形输入42将导致点云数据的3D空间中的不规则区域。因此，必须采用规则来在平滑之后将线段归一化，以使生成表面20上的轮廓(outline)52。再次地，系统可以基于操作者的输入多边形在背景摄像机图像上生成覆盖图，并且向操作者示出系统接收到的3D表面轮廓。
该系统还可以使得操作者能够使用选择的组合来配置期望表面。在优选实施方式中，系统能够生成平行于由操作者输入提供的线的线和/或从由操作者输入提供的线生成平面。此外，该系统可以使得操作者能够输入期望坡度及其方向，并且被配置成移动由操作者输入提供的线或平面，以使平面位于期望坡度处。
图8a至图8e例示了示例，其中，该系统使得操作者能够设计平底V形沟渠。在图8a中，将背景图像3显示给操作者，示出了表面30和表面特征35。在图8b中，操作者使用触敏屏上的触摸46并拖动47输入来限定沟渠的线。操作者还可以选择所指定的线并将该线设定成位于水平面中和/或指定线垂直于施工平面。
在图8c中，操作者例如使用触摸屏上的三个触摸-拖动输入来输入施工平面中的沟渠外形48的布局。这可以包括搭接(Snap-On)功能。操作者可以配置施工平面上绘制的线的角度，以使拐角的坡度和位置处于期望位置。在图8d中，操作者沿着沟渠6的主线推挤期望外形。
在图8e中，操作者配置(例如平行于沟渠6的主线的)另一条线，并且将其指定为弃土位置7，挖掘出的物料要被放置在该弃土位置处。操作者可以配置平行于沟渠6的主线的另一条线，并且在挖掘机正在切割沟渠6时将所述线指定为挖掘机的导航线。
操作者还可以配置紧挨着沟渠6的堆料线。可选地，根据所使用的施工机械和土方作业的规格，系统可以建议堆料的一个或更多个位置(例如，在沟渠6的每一侧上的位置)以供操作者选择。
该系统还可以在土方作业期间使用，在该情况下，操作者可以完成当前设计的表面的施工，然后使用那些表面作为用于附加设计表面的施工的配准表面。可选地，该系统可以被用于指定用于开槽推土(slot dozing)的平整遍次的期望中心线、或者用于开槽推土遍次之间的休假(furloughs)的期望中心线。然后，可以根据机械的当前导航位置以及期望弃土位置，使用这些中心线来将系统配置成向左或向右抛撒材料。
图9是例示根据本发明的方法100的示例性实施方式的流程图。所例示的步骤不必以所示顺序执行。
例如使用被安装在施工机械上的一个或更多个现实捕获装置(RCD)来捕获110三维表面的3D点云，以捕获机械周围的表面。捕获120背景图像，示出了周围环境的至少一部分。将该图像作为2D图像显示130给用户，例如，显示给施工机械的操作者。接收140包括像素从该2D图像的选择的用户输入。例如，可以在显示背景图像的触摸屏上执行输入。所选择的像素涉及将使用施工机械在周围环境中执行的所规划的土方作业。
然后，将在2D图像中选择的像素映射150至点云的3D表面点。基于此，确定160用户的意图，用户意图包括确定当在2D图像中输入像素选择时用户意指的3D坐标。然后，3D坐标被用于执行170操作者所意指的土方作业。例如，这可以包括向施工机械的机械控制单元提供3D坐标。可选地，方法100可以在土方作业期间继续，以使可以连续地更新用户意图。
尽管上面部分地参照一些优选实施方式例示了本发明，但是必须理解，可以作出这些实施方式的许多修改例和不同特征的组合。这些修改例全部落入所附权利要求的范围内。

Claims (15)

1.一种通过施工机械(1)来规划要执行的土方作业的系统(70)，所述施工机械(1)具有用于执行所述土方作业的工具(11)以及用于至少部分地控制所述土方作业的机械控制单元(75)，所述系统(70)包括：
-测量系统(82)，所述测量系统被配置用于在至少第一检测范围内捕获(110)所述施工机械(1)周围的不平坦地形的三维测量数据；
-背景摄像机(83)，所述背景摄像机具有相对于所述测量系统(82)和/或所述三维测量数据的已知位置，并且所述背景摄像机被配置用于捕获(120)所述第一检测范围内的所述地形的背景图像数据；
-用户界面(73)，所述用户界面被配置用于基于所述背景图像数据来向所述施工机械(1)的操作者显示(130)至少一个背景图像(3)，并且用于从所述施工机械(1)的所述操作者接收(140)用户输入，所述用户输入能够被解释为或者包括对所述背景图像(3)的像素的选择；以及
-计算单元(71)，所述计算单元至少与所述测量系统(82)和所述用户界面(73)能够操作地联接，
其特征在于
所述计算单元(71)被配置用于：
-基于所述三维测量数据，来生成所述第一检测范围内的所述地形的三维地形模型；
-将所述用户输入解释为对所述背景图像(3)的像素的选择；
-考虑到所述背景摄像机(83)的所述已知位置，将对像素的所述选择映射(150)至所述三维地形模型的表面(20)；
-基于所述映射来确定(160)所述表面(20)上的3D坐标；以及
-将所述3D坐标提供给所述机械控制单元(75)，以用于基于所述3D坐标来至少部分地控制所述土方作业。
2.根据权利要求1所述的系统(70)，其中，所述测量系统(82)包括在所述施工机械(1)处的至少一个测量单元(2a、2b)，各个测量单元(2a、2b)皆包括至少一个激光扫描器和/或多个ToF摄像机，并且所述测量单元被配置用于捕获3D点云数据。
3.根据权利要求1或权利要求2所述的系统(70)，其中，所述用户界面(73)包括触敏显示器，在所述触敏显示器上显示所述背景图像(3)并且在所述触敏显示器上接收所述用户输入，其中，所述用户输入能够被解释为或者包括对所述背景图像(3)的像素的至少一条线(41)或多边形(42)的选择。
4.根据权利要求3所述的系统(70)，其中，所述土方作业包括对线性结构进行施工，并且所述线(41)或多边形(42)指示所述线性结构的位置和/或方向，特别是其中，
-所述线性结构是路基、道床、路堤、堤道、坝、路堑、沟渠或壕沟；
-所述用户输入包括所述土方作业包括对线性结构进行施工的指示；
-至少一条线指示所述线性结构的中心线或边缘；和/或
-所述用户输入包括对所述线性结构的期望坡度的选择。
5.根据权利要求4所述的系统(70)，其中，所述线性结构是沟渠或壕沟，并且所述用户输入包括对所述沟渠或壕沟的期望推挤形状的选择或指示，并且所述计算单元(71)被配置用于对所述用户输入进行分析，以确定所述用户输入是否包括沿所述沟渠或壕沟的方向的一个或更多个变化，并且响应于检测到方向变化，通过以下项来适配所确定的3D坐标：
-基于所述推挤形状来强制实施最小转弯半径；和/或
-特别是在方向急剧变化的情况下，确定所述推挤的交叉点；和/或
-在所述推挤形状中添加半径的分段线性近似。
6.根据前述权利要求中的任一项所述的系统(70)，其中，所述用户界面(73)被配置成从所述计算单元接收所确定的3D坐标，并且在所述背景图像(3)中显示所述3D坐标的表示(61)，特别是其中，
-所述用户界面(73)还被配置成在所述背景图像(3)中显示对像素的所述选择；和/或
-所述土方作业包括挖沟渠，并且所述表示包括被投影到指示所述沟渠的位置和方向的局部水平面中的样条(6)。
7.一种施工机械(1)，特别是平地机、推土机或挖掘机，所述施工机械包括：
-工具(11)，所述工具用于执行土方作业，特别是用于挖沟渠；
-控制单元(75)，所述控制单元用于至少部分地控制所述土方作业；以及
-根据前述权利要求中的任一项所述的系统(70)，所述系统与所述控制单元(75)能够操作地联接或者包括所述控制单元(75)。
8.一种计算机实现的方法(100)，所述计算机实现的方法用于使用施工机械(1)、特别是根据权利要求7所述的施工机械(1)来规划土方作业，其中，所述施工机械(1)具有用于执行土方作业的工具(11)以及用于至少部分地控制所述土方作业的机械控制单元(75)，所述方法包括以下步骤：
-在至少第一检测范围内接收所述施工机械(1)周围的不平坦地形的三维测量数据；
-使用具有相对于所述三维测量数据和/或相对于捕获所述三维测量数据的测量系统(82)的已知位置的背景摄像机(83)，来捕获(120)所述第一检测范围内的所述地形的背景图像数据；
-基于所述背景图像数据来向所述施工机械(1)的操作者显示(130)至少一个背景图像(3)；
-从所述操作者接收(140)用户输入，所述用户输入能够被解释为或者包括对所述背景图像(3)的像素的选择；
-将所述用户输入解释为对所述背景图像(3)的像素的选择；
-考虑到所述背景摄像机(83)的所述已知位置，将对像素的所述选择映射(150)至所述三维地形模型的表面(20)；
-基于所述映射(150)，来确定(160)所述表面上的所述三维地形模型中的3D坐标；以及
-将所述3D坐标提供给所述机械控制单元(75)，以用于基于所述3D坐标来至少部分地控制所述土方作业。
9.根据权利要求8所述的方法(100)，其中，接收所述三维测量数据的步骤包括：使用在所述施工机械(1)处的至少一个测量单元(2a、2b)，来捕获(110)所述三维测量数据，所述至少一个测量单元(2a、2b)包括激光扫描器和/或多个ToF摄像机，特别是其中，所述三维测量数据包括3D点云数据。
10.根据权利要求8或权利要求9所述的方法(100)，其中，所述用户输入包括显示所述背景图像的触敏屏上的输入，对所述背景图像的像素的所述选择包括：特别是使用触摸-拖动动作和滑动动作之一，在所述背景图像中绘制至少一条线(41)或多边形(42)。
11.根据权利要求10所述的方法(100)，其中，所述土方作业包括对线性结构进行施工，并且所述线(41)或多边形(42)指示所述线性结构的位置和/或方向，特别是其中，
-所述线性结构是路基、道床、路堤、堤道、坝、路堑、沟渠或壕沟；
-所述用户输入包括所述土方作业包括对线性结构进行施工的指示，特别是对路基、道床、路堤、堤道、坝、路堑、沟渠或壕沟进行施工的指示；
-至少一条线(47)指示所述线性结构的中心线或边缘；和/或
-所述用户输入包括对所述线性结构的期望坡度的选择。
12.根据权利要求11所述的方法(100)，其中，所述线性结构是沟渠或壕沟，并且所述用户输入包括对所述沟渠或壕沟的期望推挤形状的选择或指示，其中，将指示所述沟渠或壕沟的所述位置和方向的样条投影到局部水平面中，并且
-所述推挤形状是由垂直于所述样条的投影的竖直面中的两条或更多条线段(48)来限定的，特别是其中，所述线段是由在所述触敏屏上通过触摸-拖动动作或者通过选择后续点位置的若干触摸的所述用户输入来指示的；或者
-所述推挤形状是由期望宽度和深度来限定的，所述推挤形状具有在距所述样条的所述期望深度处的水平平坦底部以及平行于所述样条的平坦竖直壁。
13.根据权利要求12所述的方法(100)，所述方法包括以下步骤：对所述用户输入进行分析，以确定所述用户输入是否包括沿所述沟渠或壕沟的方向的一个或更多个变化，并且其中，响应于检测到方向变化，确定(160)3D坐标的步骤还包括：
-基于所述推挤形状来强制实施最小转弯半径；和/或
-特别是在方向急剧变化的情况下，确定所述推挤的交叉点；和/或
-在所述推挤形状中添加半径的分段线性近似。
14.根据权利要求8至13中的任一项所述的方法(100)，其中，所述用户输入包括：特别是相对于所述土方作业来指定所述施工机械、弃土堆、堆料线和/或卡车列队的位置(7)，
特别是其中，
-所述施工机械是挖掘机，并且所述用户输入包括所述挖掘机要在所述挖掘机的履带的前方或后方上或者侧方上进行挖掘的指示；和/或
-指定所述弃土堆的所述位置的步骤包括：使用所述施工机械挖第一铲土并且将所述第一铲土放在所述弃土堆的期望起始位置处，特别是其中，所述弃土堆的指定位置指示所述弃土堆的中心线或者所述弃土堆相对于距所述土方作业的最近距离的界限线；和/或
-指定所述卡车列队的所述位置的步骤包括：特别是在触敏显示器上输入所述卡车的期望接近矢量，特别是其中，所述期望接近矢量被提供给所述卡车并且被用于导航计算，以规划所述卡车沿所述期望接近矢量到达所述指定位置的路径，并且其中，所计算的路径被传送至所述卡车的操作者和/或被用于生成所述卡车的自主导航命令。
15.一种计算机程序产品，所述计算机程序产品包括程序代码，所述程序代码被存储在机器可读介质上或者通过包括程序代码段的电磁波来具体实施，并且所述计算机程序产品具有计算机可执行指令，所述计算机可执行指令特别是在根据权利要求1至6中的任一项所述的系统(70)的计算单元(71)上执行时，执行根据权利要求8至14中的任一项所述的方法(100)。
CN202310673098.6A 2022-06-21 2023-06-07 用于土方作业的设计生成 Pending CN117272429A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22180149.1A EP4296436A1 (en) 2022-06-21 2022-06-21 Design generation for earth-moving operations
EP22180149.1 2022-06-21

Publications (1)

Publication Number Publication Date
CN117272429A true CN117272429A (zh) 2023-12-22

Family

ID=82163317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310673098.6A Pending CN117272429A (zh) 2022-06-21 2023-06-07 用于土方作业的设计生成

Country Status (3)

Country Link
US (1) US20230407605A1 (zh)
EP (1) EP4296436A1 (zh)
CN (1) CN117272429A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725657B (zh) * 2024-01-12 2024-06-18 中建文化旅游发展有限公司 河道装配式构件的配置方法、系统及实体预制挡墙

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3086196B1 (en) 2015-04-21 2017-04-05 Hexagon Technology Center GmbH Method and control system for surveying and mapping a terrain while operating a bulldozer
JP7386592B2 (ja) 2018-03-22 2023-11-27 株式会社フジタ 建設機械の操作補助システム
NO344567B1 (en) 2018-04-12 2020-02-03 Geonord As Construction machine guidance system
PE20201314A1 (es) * 2018-04-27 2020-11-24 Goldcorp Inc Procedimiento y sistema de realidad mixta para mineria de precision
EP3671261A1 (en) 2018-12-21 2020-06-24 Leica Geosystems AG 3d surveillance system comprising lidar and multispectral imaging for object classification
EP3865895A1 (en) 2020-02-17 2021-08-18 Leica Geosystems Technology A/S Construction machine with measuring system and construction site measuring system

Also Published As

Publication number Publication date
US20230407605A1 (en) 2023-12-21
EP4296436A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US11934192B2 (en) Obstacle detection and manipulation by a vehicle within a dig site
US10829911B2 (en) Visual assistance and control system for a work machine
US9824490B1 (en) Augmentation of a dynamic terrain surface
US9142063B2 (en) Positioning system utilizing enhanced perception-based localization
CN110805093B (zh) 利用视觉传感器进行反馈回路控制的容器角度感测
JP7285051B2 (ja) 表示制御装置、および表示制御方法
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
JP2020509272A (ja) 材料移動機械のための拡張現実ディスプレイ
US11414839B2 (en) Display control device and method for generating target line or control line of work machine
AU2017276225B2 (en) Systems and methods for preparing a worksite for additive construction
CN110741124B (zh) 用于工程机械的信息系统
JP7188941B2 (ja) 作業機械の制御装置および制御方法
JP6918716B2 (ja) 建設機械
US11530527B2 (en) Excavation by way of an unmanned vehicle
US11680384B2 (en) Autonomous operation by earth-moving vehicle based on triggering conditions
AU2019292457B2 (en) Display control device, display control system, and display control method
US20230407605A1 (en) Design generation for earth-moving operations
US11952746B1 (en) Autonomous control of on-site movement of powered earth-moving construction or mining vehicles
US11472416B2 (en) Multi-dimensional mobile machine path visualization and control system
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
US10377125B2 (en) Control systems and methods to optimize machine placement for additive construction operations
US11746499B1 (en) Hardware component configuration for autonomous control of powered earth-moving vehicles
US20240060275A1 (en) Method and system of configuring a machine control unit of a construction machine
CN112652012A (zh) 挖掘机智能控制方法、装置、设备、存储介质和挖掘机
US20240127372A1 (en) Construction management system, data processing device, and construction management method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination