DE102021203602A1 - Method and control device for operating a construction machine - Google Patents

Method and control device for operating a construction machine Download PDF

Info

Publication number
DE102021203602A1
DE102021203602A1 DE102021203602.3A DE102021203602A DE102021203602A1 DE 102021203602 A1 DE102021203602 A1 DE 102021203602A1 DE 102021203602 A DE102021203602 A DE 102021203602A DE 102021203602 A1 DE102021203602 A1 DE 102021203602A1
Authority
DE
Germany
Prior art keywords
working
construction
construction machine
task
correction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021203602.3A
Other languages
German (de)
Inventor
Gabriela Jager
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102021203602.3A priority Critical patent/DE102021203602A1/en
Publication of DE102021203602A1 publication Critical patent/DE102021203602A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Software Systems (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Ein Verfahren zum Betreiben einer Baumaschine, mit den Schritten: Einlesen (S2) von Bildinformation zu einer Arbeitsumgebung der Baumaschine, Erkennen (S3) eines aktuellen Arbeitszustands von einer mit der Baumaschine in der Arbeitsumgebung auszuführenden Bauaufgabe in der erfassten Bildinformation, Vergleichen (S4) des erkannten aktuellen Arbeitszustands der Bauaufgabe mit einem vorgegebenen Ausführungszustand der Bauaufgabe, Ableiten (S5) von Korrekturinformation für die mit der Baumaschine in der Arbeitsumgebung auszuführende Bauaufgabe aus einem auf dem Schritt des Vergleichens (S4) basierenden Vergleichsergebnis, und Ansteuern (S6) einer Augmented-Reality-Einrichtung basierend auf der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine. Zudem eine Steuereinrichtung zum Durchführen des Verfahrens, ein Augmented-Reality-System und eine Baumaschine.A method for operating a construction machine, with the steps: reading in (S2) image information on a working environment of the construction machine, recognizing (S3) a current working status of a construction task to be carried out with the construction machine in the working environment in the captured image information, comparing (S4) the recognized current working status of the construction task with a predetermined execution status of the construction task, deriving (S5) correction information for the construction task to be carried out with the construction machine in the working environment from a comparison result based on the step of comparing (S4), and controlling (S6) an augmented reality -Device based on the captured image information and the derived correction information for visually providing the correction information for executing the construction task with the construction machine. In addition, a control device for carrying out the method, an augmented reality system and a construction machine.

Description

Technisches Gebiettechnical field

Die Erfindung bezieht sich auf ein Verfahren und eine Steuereinrichtung zum Betreiben einer Baumaschine. Die Erfindung bezieht sich zudem auf ein Augmented-Reality-System zum Betreiben einer Baumaschine und auf eine Baumaschine mit einem Augmented-Reality-System.The invention relates to a method and a control device for operating a construction machine. The invention also relates to an augmented reality system for operating a construction machine and to a construction machine with an augmented reality system.

Stand der TechnikState of the art

Es ist bekannt, mittels Augmented-Reality die in der Realität für den Menschen wahrnehmbare Umgebung visuell zu erweitern. So ist es im Bereich des Bauwesens bekannt, stationäre Zustände von für den Menschen nicht sichtbarer Infrastruktureinrichtungen, beispielsweise im Untergrund verlegte Leitungen, mittels Augmented-Reality derart sichtbar zu machen, dass ein reales Umgebungsbild mit den im Untergrund verlegten Leitungen virtuell überlagert wird.It is known to use augmented reality to visually expand the environment that can be perceived by humans in reality. In the field of construction, for example, it is known to use augmented reality to make stationary states of infrastructure facilities that are not visible to humans, for example lines laid underground, visible in such a way that a real image of the surroundings with the lines laid underground is virtually superimposed.

Darstellung der ErfindungPresentation of the invention

Die Erfindung betrifft in einem Aspekt ein Verfahren zum Betreiben einer Baumaschine. Das Betreiben der Baumaschine kann ein Ansteuern der Baumaschine aufweisen. Das Betreiben der Baumaschine kann auch ein Überwachen der Baumaschine aufweisen. Bei der Baumaschine kann es sich um jede stationäre, semimobile oder mobile Maschine handeln, welche einen Baustoff bearbeiten, verarbeiten oder transportieren kann und eine Bauaufgabe ausführen kann. Bei der Baumaschine kann es sich um ein Baustellenfahrzeug handeln.In one aspect, the invention relates to a method for operating a construction machine. Operating the construction machine can include controlling the construction machine. Operating the construction machine can also include monitoring the construction machine. The construction machine can be any stationary, semi-mobile or mobile machine that can edit, process or transport a building material and can carry out a construction task. The construction machine can be a construction site vehicle.

Das Verfahren weist als einen Schritt ein Einlesen von Bildinformation zu einer Arbeitsumgebung der Baumaschine auf. Die Bildinformation der Arbeitsumgebung kann ein von einer Kamera erfasstes Bild der Arbeitsumgebung der Baumaschine aufweisen. Bei der Bildinformation beziehungsweise bei dem Bild kann es sich um RGB-Bildinformation beziehungsweise ein RGB-Bild handeln. Die Bildinformation kann Bildinformation zu der Baumaschine aufweisen. Die Baumaschine kann somit in dem von der Kamera erfassten Bild abgebildet sein.As a step, the method includes reading in image information relating to a working environment of the construction machine. The image information of the work environment can include an image of the work environment of the construction machine captured by a camera. The image information or the image can be RGB image information or an RGB image. The image information can include image information about the construction machine. The construction machine can thus be depicted in the image captured by the camera.

Das Verfahren weist als einen weiteren Schritt ein Erkennen eines aktuellen Arbeitszustands von einer mit der Baumaschine in der Arbeitsumgebung auszuführenden Bauaufgabe in der erfassten Bildinformation auf. Der aktuelle Arbeitszustand der Bauaufgabe kann einen aktuellen Ausführungszustand der Bauaufgabe aufweisen.As a further step, the method includes recognizing a current working status of a construction task to be carried out with the construction machine in the working environment in the captured image information. The current working status of the construction task can include a current execution status of the construction task.

Das Verfahren weist als einen weiteren Schritt ein Vergleichen des erkannten aktuellen Arbeitszustands der Bauaufgabe mit einem vorgegebenen Arbeitszustand der Bauaufgabe auf. Ein Vergleichsergebnis des Vergleichens kann sein, dass die Bauaufgabe noch nicht ausgeführt worden ist. Ein weiteres Vergleichsergebnis des Vergleichens kann sein, dass die Bauaufgabe ausgeführt worden ist. Alternativ oder zusätzlich zu einem derart binären Vergleichen kann ein Vergleichsergebnis eine Abweichung zwischen dem aktuellen Arbeitszustand der Bauaufgabe und dem vorgegebenen Arbeitszustand der Bauaufgabe aufweisen. Gemäß einer weiteren Ausführungsform des Verfahrens kann das Vergleichsergebnis ausgegeben werden, um das Vergleichsergebnis zu dokumentieren.As a further step, the method includes a comparison of the recognized current working status of the construction task with a predefined working status of the construction task. A comparison result of the comparison can be that the construction task has not yet been carried out. A further comparison result of the comparison can be that the construction task has been carried out. As an alternative or in addition to such a binary comparison, a comparison result can show a deviation between the current working status of the construction task and the specified working status of the construction task. According to a further embodiment of the method, the comparison result can be output in order to document the comparison result.

Bei der Abweichung kann es sich um eine Lageabweichung eines Arbeitswerkzeugs handeln. Alternativ oder zusätzlich kann es sich bei der Abweichung um eine Lageabweichung eines Baustoffs handeln. Der Baustoff kann sich hierbei in einem, beispielsweise von dem Arbeitswerkzeug, bearbeiteten, verarbeiteten oder transportierten Zustand befinden.The deviation can be a positional deviation of a working tool. Alternatively or additionally, the deviation can be a positional deviation of a building material. The building material can be in a state that has been processed, processed or transported, for example by the working tool.

Ein Vergleichsergebnis des Vergleichens kann sein, dass die Bauaufgabe noch nicht ausgeführt worden ist. Ein weiteres Vergleichsergebnis des Vergleichens kann sein, dass die Bauaufgabe ausgeführt worden ist. Alternativ oder zusätzlich zu einem derart binären Vergleichen kann ein Vergleichsergebnis eine Abweichung zwischen dem aktuellen Arbeitszustand der Bauaufgabe und dem vorgegebenen Arbeitszustand der Bauaufgabe aufweisen.A comparison result of the comparison can be that the construction task has not yet been carried out. A further comparison result of the comparison can be that the construction task has been carried out. As an alternative or in addition to such a binary comparison, a comparison result can show a deviation between the current working status of the construction task and the specified working status of the construction task.

Das Verfahren weist als einen weiteren Schritt ein Ableiten von Korrekturinformation für die mit der Baumaschine in der Arbeitsumgebung auszuführende Bauaufgabe aus einem auf dem Schritt des Vergleichens basierenden Vergleichsergebnis auf. Die Korrekturinformation kann eine Lagekorrekturinformation zu einer Lage des Arbeitswerkzeugs aufweisen. Alternativ oder zusätzlich kann die Korrekturinformation eine Lagekorrekturinformation zu einer Lage des Baustoffs aufweisen. Die Korrekturinformation kann Information zum Ansteuern des Arbeitswerkzeugs aufweisen, um das Arbeitswerkzeug in den vorgegebenen Arbeitszustand zu bewegen beziehungsweise zu versetzen. Die Korrekturinformation kann Information zum Bearbeiten, Verarbeiten oder Transportieren des Baustoffs aufweisen, um den Baustoff derart zu bearbeiten, zu verarbeiten oder zu transportieren, dass die Bauaufgabe erfüllt werden kann.As a further step, the method includes deriving correction information for the construction task to be carried out with the construction machine in the working environment from a comparison result based on the comparison step. The correction information can include position correction information relating to a position of the working tool. Alternatively or additionally, the correction information can have position correction information for a position of the building material. The correction information can include information for controlling the working tool in order to move or put the working tool into the specified working state. The correction information can include information for processing, processing or transporting the building material in order to process, process or transport the building material in such a way that the building task can be fulfilled.

Das Verfahren weist als einen weiteren Schritt ein Ansteuern einer Augmented-Reality-Einrichtung basierend auf der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine auf. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren der Korrekturinformation mit der Augmented-Reality-Einrichtung aufweisen.As a further step, the method has an activation of an augmented reality device based on the recorded image information and the derived correction information for visually providing the correction information for executing the construction task with the construction machine. The actuation step can include transmitting a control signal for visualizing the correction information with the augmented reality device.

Das Ansteuern der Augmented-Reality-Einrichtung kann ein Kommunizieren von Visualisierungsbefehlen zum Visualisieren der Korrekturinformation mit der Augmented-Reality-Einrichtung aufweisen. Die Augmented-Reality-Einrichtung kann auf der Baumaschine angeordnet sein. Die Augmented-Reality-Einrichtung kann ein mobiles Endgerät, beispielsweise ein Smartphone oder ein Tablet-PC, sein. Die Augmented-Reality-Einrichtung kann eine Anzeige aufweisen, auf welcher die Korrekturinformation angezeigt werden kann.Controlling the augmented reality device can include communicating visualization commands for visualizing the correction information with the augmented reality device. The augmented reality device can be arranged on the construction machine. The augmented reality device can be a mobile terminal device, for example a smartphone or a tablet PC. The augmented reality device can have a display on which the correction information can be displayed.

Gemäß einer Ausführungsform des Verfahrens kann dieses als einen weiteren Schritt ein Ansteuern einer Kamera zum Erfassen der Bildinformation in der Arbeitsumgebung der Baumaschine aufweisen. Das Verfahren kann als einen weiteren Schritt ein Erfassen der Bildinformation in der Arbeitsumgebung der Baumaschine mit der Kamera aufweisen. Die Augmented-Reality-Einrichtung kann die Kamera aufweisen. Alternativ oder zusätzlich dazu kann die Kamera auf der Baumaschine angeordnet sein. Die Kamera kann eine RGB-Kamera sein. Die Arbeitsumgebung der Baumaschine kann so realitätsgetreu erfasst werden. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals an die Augmented-Reality-Einrichtung zum Visualisieren der Bildinformation mit der Augmented-Reality-Einrichtung aufweisen.According to one embodiment of the method, as a further step, this can include controlling a camera for capturing the image information in the working environment of the construction machine. As a further step, the method can include capturing the image information in the working environment of the construction machine with the camera. The augmented reality device can have the camera. Alternatively or additionally, the camera can be arranged on the construction machine. The camera can be an RGB camera. The working environment of the construction machine can thus be captured realistically. The actuation step can include transmitting a control signal to the augmented reality device for visualizing the image information with the augmented reality device.

Gemäß einer weiteren Ausführungsform des Verfahrens kann der Schritt des Erkennens ein Erkennen eines aktuellen Arbeitszustands eines Arbeitswerkzeugs zum Ausführen der Bauaufgabe in der erfassten Bildinformation aufweisen. Die Bildinformation kann Bildinformation zu dem Arbeitswerkzeug aufweisen. Der Schritt des Erkennens kann ein Erkennen des Arbeitswerkzeugs in der erfassten Bildinformation aufweisen. Der Schritt des Erkennens kann ein Bestimmen eines aktuellen Betriebszustands des Arbeitswerkzeugs aufweisen. Bei dem Arbeitswerkzeug kann es sich um ein an der Baumaschine angeordnetes Anbaugerät oder einen Aufsatz handeln. Das Arbeitswerkzeug kann ausgebildet sein, einen Baustoff zu bearbeiten, zu verarbeiten oder zu transportieren. In einem Ausführungsbeispiel ist das Arbeitswerkzeug ein Greifarm. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren des erkannten aktuellen Arbeitszustands des Arbeitswerkzeugs mit der Augmented-Reality-Einrichtung aufweisen.According to a further embodiment of the method, the step of detecting can include detecting a current working state of a working tool for carrying out the construction task in the captured image information. The image information can include image information about the work tool. The step of recognizing can include recognizing the work tool in the captured image information. The step of recognizing may include determining a current operating state of the work implement. The working tool can be an attachment arranged on the construction machine or an attachment. The working tool can be designed to machine, process or transport a building material. In one embodiment, the work tool is a gripper arm. The actuation step can include transmitting a control signal for visualizing the detected current working state of the working tool with the augmented reality device.

Gemäß dieser Ausführungsform kann der Schritt des Vergleichens ein Vergleichen des erkannten aktuellen Arbeitszustands mit einem vorgegebenen Arbeitszustand des Arbeitswerkzeugs zum Ausführen der Bauaufgabe aufweisen. Ein Vergleichsergebnis des Vergleichens kann eine Abweichung zwischen dem aktuellen Arbeitszustand des Arbeitswerkzeugs und dem vorgegebenen Arbeitszustand des Arbeitswerkzeugs aufweisen. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren des Vergleichsergebnisses mit der Augmented-Reality-Einrichtung aufweisen.According to this embodiment, the step of comparing can include comparing the recognized current working state with a predetermined working state of the working tool for executing the construction task. A comparison result of the comparison can show a deviation between the current working condition of the working tool and the predetermined working condition of the working tool. The actuation step can include transmitting a control signal for visualizing the comparison result with the augmented reality device.

Gemäß einer weiteren Ausführungsform des Verfahrens kann der erkannte aktuelle Arbeitszustand des Arbeitswerkzeugs eine aktuelle Arbeitslage des Arbeitswerkzeugs in der Arbeitsumgebung aufweisen. Der Schritt des Erkennens kann ein Bestimmen einer aktuellen Lage des Arbeitswerkzeugs in der Arbeitsumgebung basierend auf der erfassten Bildinformation aufweisen. Das Vergleichsergebnis kann eine Lageabweichung aufweisen, welche eine Abweichung der Lage des Arbeitswerkzeugs in dem erkannten aktuellen Arbeitszustand von einer Lage des Arbeitswerkzeugs in dem vorgegebenen Arbeitszustand definiert. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren der erkannten aktuellen Arbeitslage des Arbeitswerkzeugs mit der Augmented-Reality-Einrichtung aufweisen.According to a further embodiment of the method, the recognized current working status of the working tool can have a current working position of the working tool in the working environment. The step of recognizing can include determining a current position of the work tool in the work environment based on the captured image information. The result of the comparison can have a position deviation, which defines a deviation of the position of the working tool in the recognized current working state from a position of the working tool in the specified working state. The actuation step can include transmitting a control signal for visualizing the detected current working position of the working tool with the augmented reality device.

Gemäß dieser Ausführungsform kann der vorgegebene Arbeitszustand des Arbeitswerkzeugs eine vorgegebene Arbeitslage des Arbeitswerkzeugs in der Arbeitsumgebung aufweisen. Die Lage des Arbeitswerkzeugs in dem vorgegebenen Arbeitszustand kann daher eine vorgegebene Lage des Arbeitswerkzeugs sein. Die Lage des Arbeitswerkzeugs in dem erkannten aktuellen Arbeitszustand kann auch eine Ist-Lage des Arbeitswerkzeugs und die Lage des Arbeitswerkzeugs in dem vorgegebenen Arbeitszustand eine Soll-Lage des Arbeitswerkzeugs sein. Der Schritt des Vergleichens kann somit einen Soll-Ist-Vergleich zur Lage des Arbeitswerkzeugs für ein Ausführen der Bauaufgabe aufweisen.According to this embodiment, the predetermined working condition of the working tool may include a predetermined working posture of the working tool in the working environment. Therefore, the posture of the working tool in the predetermined working state can be a predetermined posture of the working tool. The position of the working tool in the detected current working state can also be an actual position of the working tool and the position of the working tool in the specified working state can be a target position of the working tool. The step of comparing can thus include a target/actual comparison of the position of the working tool for carrying out the construction task.

Gemäß dieser Ausführungsform kann die abgeleitete Korrekturinformation eine Lagekorrekturinformation für die aktuelle Arbeitslage des Arbeitswerkzeugs in der Arbeitsumgebung aufweisen. Die Lagekorrekturinformation kann eine dreidimensionale Korrekturinformation, beispielsweise ein dreidimensionaler räumlichen Korrekturvektor aufweisen. Der dreidimensionale räumliche Korrekturvektor kann beispielsweise eine horizontale und vertikale Korrekturinformation aufweisen. Alternativ oder zusätzlich kann die Lagekorrekturinformation eine zweidimensionale Korrekturinformation, beispielsweise einen zweidimensionalen räumlichen Korrekturvektor aufweisen. Der zweidimensionale räumliche Korrekturvektor kann beispielsweise eine horizontale Korrekturinformation aufweisen. Alternativ oder zusätzlich kann die Lagekorrekturinformation eine eindimensionale Korrekturinformation, beispielsweise einen eindimensionalen räumlichen Korrekturvektor aufweisen. Der eindimensionale räumliche Korrekturvektor kann beispielsweise eine Höhenkorrekturinformation aufweisen.According to this embodiment, the derived correction information can have position correction information for the current working position of the working tool in the working environment. The position correction information can have three-dimensional correction information, for example a three-dimensional spatial correction vector. The three-dimensional spatial correction vector can have horizontal and vertical correction information, for example. Alternatively or additionally, the position correction information can have two-dimensional correction information, for example a two-dimensional spatial correction vector. The two-dimensional spatial correction vector can, for example, be a have horizontal correction information. Alternatively or additionally, the position correction information can have one-dimensional correction information, for example a one-dimensional spatial correction vector. The one-dimensional spatial correction vector can have height correction information, for example.

Gemäß einer weiteren Ausführungsform des Verfahrens kann der Schritt des Erkennens ein Erkennen eines aktuellen Arbeitszustands eines Baustoffs zum Ausführen der Bauaufgabe in der erfassten Bildinformation aufweisen. Die Bildinformation kann Bildinformation zu dem Baustoff aufweisen. Der Schritt des Erkennens kann ein Erkennen des Baustoffs in der erfassten Bildinformation aufweisen. Der Schritt des Erkennens kann ein Bestimmen eines aktuellen Bauzustands des Baustoffs aufweisen. Bei dem Baustoff kann es sich um einen mit der Baumaschine bearbeitbaren, verarbeitbaren oder transportierbaren Baustoff handeln. Der Baustoff kann ein Baumaterial, ein Bauteil oder eine Ladung aufweisen oder sein. Der Baustoff kann von dem Arbeitswerkzeug bearbeitet, verarbeitet oder transportiert werden. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren des erkannten aktuellen Arbeitszustands des Baustoffs mit der Augmented-Reality-Einrichtung aufweisen.According to a further embodiment of the method, the step of detecting can include detecting a current working state of a building material for carrying out the building task in the captured image information. The image information can include image information on the building material. The step of identifying can include identifying the building material in the captured image information. The step of identifying can include determining a current construction status of the building material. The building material can be a building material that can be processed, processed or transported with the construction machine. The building material can include or be a building material, a component or a charge. The building material can be processed, processed or transported by the working tool. The actuation step can include transmitting a control signal for visualizing the detected current working state of the building material with the augmented reality device.

Gemäß dieser Ausführungsform kann der Schritt des Vergleichens ein Vergleichen des erkannten aktuellen Arbeitszustands des Baustoffs mit einem vorgegebenen Arbeitszustand des Baustoffs zum Ausführen der Bauaufgabe aufweisen. Ein Vergleichsergebnis des Vergleichens kann eine Abweichung zwischen dem aktuellen Bauzustand des Baustoffs und dem vorgegebenen Bauzustand des Baustoffs aufweisen. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren des Vergleichsergebnisses mit der Augmented-Reality-Einrichtung aufweisen.According to this embodiment, the step of comparing can include comparing the recognized current working state of the building material with a predetermined working state of the building material for executing the building task. A comparison result of the comparison can show a deviation between the current structural state of the building material and the specified structural state of the building material. The actuation step can include transmitting a control signal for visualizing the comparison result with the augmented reality device.

Gemäß einer weiteren Ausführungsform des Verfahrens kann der erkannte aktuelle Arbeitszustand des Baustoffs eine aktuelle Arbeitslage des Baustoffs in der Arbeitsumgebung aufweisen. Der Schritt des Erkennens kann ein Bestimmen einer aktuellen Lage des Baustoffs in der Arbeitsumgebung basierend auf der erfassten Bildinformation aufweisen. Das Vergleichsergebnis des Vergleichens kann eine Lageabweichung aufweisen, welche eine Abweichung der Lage des Baustoffs in dem erkannten aktuellen Arbeitszustand und einer Lage des Baustoffs in dem vorgegebenen Arbeitszustand definiert. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren der erkannten aktuellen Arbeitslage des Baustoffs mit der Augmented-Reality-Einrichtung aufweisen.According to a further embodiment of the method, the recognized current working state of the building material can have a current working position of the building material in the working environment. The step of recognizing can include determining a current position of the building material in the working environment based on the captured image information. The comparison result of the comparison can have a positional deviation, which defines a deviation between the position of the building material in the recognized current working state and a position of the building material in the predefined working state. The actuation step can include transmitting a control signal for visualizing the detected current working position of the building material with the augmented reality device.

Gemäß dieser Ausführungsform kann der vorgegebene Arbeitszustand des Baustoffs eine vorgegebene Arbeitslage des Baustoffs in der Arbeitsumgebung aufweisen. Die Lage des Baustoffs in dem vorgegebenen Arbeitszustand kann daher eine vorgegebene Lage des Baustoffs sein. Die Lage des Baustoffs in dem erkannten aktuellen Arbeitszustand kann auch eine Ist-Lage des Baustoffs und die Lage des Baustoffs in dem vorgegebenen Arbeitszustand eine Soll-Lage des Baustoffs sein. Der Schritt des Vergleichens kann somit einen Soll-Ist-Vergleich zur Lage des Baustoffs für ein Ausführen der Bauaufgabe aufweisen.According to this embodiment, the predetermined working condition of the building material can include a predetermined working position of the building material in the working environment. The layer of the building material in the predetermined working state can therefore be a predetermined layer of the building material. The position of the building material in the detected current working state can also be an actual position of the building material and the position of the building material in the specified working state can be a target position of the building material. The step of comparing can thus include a target/actual comparison of the position of the building material for carrying out the construction task.

Gemäß dieser Ausführungsform kann die abgeleitete Korrekturinformation eine Lagekorrekturinformation für die aktuelle Arbeitslage des Baustoffs in der Arbeitsumgebung aufweisen. Die Lagekorrekturinformation für die aktuelle Arbeitslage des Baustoffs kann die beschriebene Korrekturinformation aufweisen.According to this embodiment, the derived correction information can have position correction information for the current working position of the building material in the working environment. The position correction information for the current working position of the building material can have the correction information described.

Gemäß einer weiteren Ausführungsform des Verfahrens kann dieses als einen weiteren Schritt ein visuelles Signalisieren des aktuellen Arbeitszustands in der eingelesenen Bildinformation zu der Arbeitsumgebung aufweisen. Das Ansteuern der Augmented-Reality-Einrichtung kann hierfür auf einem signalisierten aktuellen Arbeitszustand basieren. Eine Signalisierung des aktuellen Arbeitszustands kann so die Bildinformation überlagern. Das Signalisieren kann ein semantisches Signalisieren aufweisen. Alternativ oder zusätzlich kann das Signalisieren ein numerisches oder alphanumerisches Signalisieren aufweisen. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren einer entsprechenden Signalisierung mit der Augmented-Reality-Einrichtung aufweisen.According to a further embodiment of the method, as a further step, this can include visual signaling of the current working status in the image information about the working environment that has been read in. For this purpose, the activation of the augmented reality device can be based on a signaled current working status. Signaling of the current working status can thus be superimposed on the image information. The signaling may include semantic signaling. Alternatively or additionally, the signaling may include numeric or alphanumeric signaling. The actuation step can include transmitting a control signal for visualizing a corresponding signaling with the augmented reality device.

Gemäß einer weiteren Ausführungsform des Verfahrens kann dieses als einen weiteren Schritt ein Auslesen des vorgegebenen Arbeitszustands aus einem Bauplan aufweisen. Der Bauplan kann von der Augmented-Reality-Einrichtung eingelesen werden. Gemäß dieser Ausführungsform kann der vorgegebene Arbeitszustand Planungsinformation zum Ausführen der Bauaufgabe aufweisen. Der Bauplan kann Informationen zu der auszuführenden Arbeitsaufgabe aufweisen. Alternativ dazu kann die Augmented-Reality-Einrichtung die auszuführende Bauaufgabe aus dem vorgegebenen Arbeitszustand und dem aktuellen Arbeitszustand ableiten beziehungsweise berechnen.According to a further embodiment of the method, as a further step, the method can include reading out the specified working state from a construction plan. The construction plan can be read in by the augmented reality device. According to this embodiment, the predetermined work status may include planning information for executing the construction task. The blueprint may include information about the work item to be performed. As an alternative to this, the augmented reality device can derive or calculate the construction task to be carried out from the specified working status and the current working status.

Gemäß dieser Ausführungsform kann der Schritt des Ansteuerns der Augmented-Reality-Einrichtung basierend auf der Planungsinformation durchgeführt werden. Der Schritt des Ansteuerns kann ein Übermitteln eines Steuersignals zum Visualisieren der Planungsinformation mit der Augmented-Reality-Einrichtung aufweisen.According to this specific embodiment, the act of controlling the augmented reality device can be carried out on the basis of the planning information. The driving step may include transmitting a control signal to the Visua lize the planning information with the augmented reality device.

Gemäß einer weiteren Ausführungsform des Verfahrens kann mindestens einer der Schritte des Erkennens, des Vergleichens und des Ableitens basierend auf Methoden der Bildverarbeitung durchgeführt werden. Der mindestens eine Schritt des Erkennens, des Vergleichens und des Ableitens kann automatisiert, beispielsweise mittels Methoden der bildbasierten Mustererkennung, durchgeführt werden.According to a further embodiment of the method, at least one of the steps of recognition, comparison and derivation can be carried out based on methods of image processing. The at least one step of recognizing, comparing and deriving can be carried out automatically, for example using methods of image-based pattern recognition.

Gemäß einer weiteren Ausführungsform des Verfahrens kann dieses als einen weiteren Schritt ein Ansteuern einer Arbeitseinrichtung basierend auf der abgeleiteten Korrekturinformation zum automatisierten Ausführen der Bauaufgabe mit der Arbeitseinrichtung aufweisen. Der Schritt des Ansteuerns der Arbeitseinrichtung kann zusätzlich beziehungsweise parallel zum Ansteuern der Augmented-Reality-Einrichtung durchgeführt werden.According to a further embodiment of the method, as a further step, this can include controlling a working device based on the derived correction information for the automated execution of the construction task with the working device. The step of activating the working device can be carried out in addition to or in parallel with the activation of the augmented reality device.

Gemäß einer weiteren Ausführungsform des Verfahrens kann dieses als einen weiteren Schritt ein Ansteuern einer Überwachungseinrichtung basierend auf mindestens einem von der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum Überwachen der Bauaufgabe durch einen Betreiber der Baumaschine aufweisen. Der Schritt des Ansteuerns der Überwachungseinrichtung kann zusätzlich beziehungsweise parallel zum Ansteuern der Augmented-Reality-Einrichtung durchgeführt werden. Bei dem Betreiber kann es sich um einen Bediener der Baumaschine handeln. Bei dem Betreiber kann es sich auch um einen Leiter einer Baustelle handeln, welcher die Ausführung der Arbeitsaufgabe überwacht. Eine Plausibilisierung einer ausgeführten Arbeitsaufgabe kann so effizient bereitgestellt werden.According to a further embodiment of the method, this can include, as a further step, activation of a monitoring device based on at least one of the captured image information and the derived correction information for monitoring the construction task by an operator of the construction machine. The step of activating the monitoring device can be carried out in addition to or in parallel with the activation of the augmented reality device. The operator can be an operator of the construction machine. The operator can also be a manager of a construction site who monitors the execution of the work task. A plausibility check of an executed work task can thus be provided efficiently.

Gemäß einer weiteren Ausführungsform des Verfahrens kann mindestens einer der Schritte des Verfahrens auf einer Interaktion eines Betreibers der Baumaschine mit der Augmented-Reality-Einrichtung basieren. Der mindestens eine Schritt des Verfahrens kann in Abhängigkeit der Interaktion des Betreibers durchgeführt werden. Gemäß einer weiteren Ausführungsform des Verfahrens können mindestens zwei Schritte des Verfahrens iterativ durchgeführt werden.According to a further embodiment of the method, at least one of the steps of the method can be based on an operator of the construction machine interacting with the augmented reality device. The at least one step of the method can be performed depending on the interaction of the operator. According to a further embodiment of the method, at least two steps of the method can be carried out iteratively.

Die Erfindung betrifft in einem weiteren Aspekt eine Steuereinrichtung zum Betreiben einer Baumaschine. Die Steuereinrichtung kann zum Durchführen des Verfahrens gemäß dem vorhergehenden Aspekt eingerichtet sein. Ausführungsformen des Verfahrens gemäß dem vorhergehenden Aspekt können entsprechende Ausführungsformen der Steuereinrichtung gemäß diesem Aspekt bilden, und umgekehrt. Die Steuereinrichtung kann entsprechende Einheiten zum Durchführen von Verfahrensschritten aufweisen.In a further aspect, the invention relates to a control device for operating a construction machine. The control device can be set up to carry out the method according to the preceding aspect. Embodiments of the method according to the previous aspect can form corresponding embodiments of the control device according to this aspect, and vice versa. The control device can have appropriate units for carrying out method steps.

Die Steuereinrichtung weist eine Schnittstelle auf, welche zum Einlesen von Bildinformation zu einer Arbeitsumgebung der Baumaschine eingerichtet ist. Die Schnittstelle kann mit der beschriebenen Kamera verbunden sein.The control device has an interface which is set up for reading in image information on a working environment of the construction machine. The interface can be connected to the camera described.

Die Steuereinrichtung weist eine Recheneinheit auf, welche zum Erkennen eines aktuellen Arbeitszustands von einer mit der Baumaschine in der Arbeitsumgebung auszuführenden Bauaufgabe in der erfassten Bildinformation eingerichtet ist. Die Recheneinheit ist zudem zum Vergleichen des erkannten aktuellen Arbeitszustands der Bauaufgabe mit einem vorgegebenen Arbeitszustand der Bauaufgabe eingerichtet. Die Recheneinheit ist zudem zum Ableiten von Korrekturinformation für die mit der Baumaschine in der Arbeitsumgebung auszuführende Bauaufgabe aus einem auf dem Schritt des Vergleichens basierenden Vergleichsergebnis eingerichtet.The control device has a computing unit, which is set up to recognize a current working status of a construction task to be carried out with the construction machine in the working environment in the captured image information. The processing unit is also set up to compare the recognized current working status of the construction task with a predefined working status of the construction task. The processing unit is also set up to derive correction information for the construction task to be carried out with the construction machine in the working environment from a comparison result based on the step of comparing.

Die Steuereinrichtung weist eine Schnittstelle auf, welche zum Ausgeben eines Steuersignals zum Ansteuern einer Augmented-Reality-Einrichtung basierend auf der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine eingerichtet ist. Die Schnittstelle kann mit der Augmented-Reality-Einrichtung verbunden sein.The control device has an interface which is set up to output a control signal for controlling an augmented reality device based on the captured image information and the derived correction information for visually providing the correction information for executing the construction task with the construction machine. The interface can be connected to the augmented reality device.

Gemäß jeweiliger Ausführungsformen der Steuereinrichtung kann diese zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt beziehungsweise zum Durchführen von mindestens einer der Ausführungsformen des Verfahrens nach dem vorhergehenden Aspekt eingerichtet sein. Die Steuereinrichtung kann hierfür mindestens eine entsprechende Einheit aufweisen, welche eingerichtet sein kann, mindestens einen der Verfahrensschritte des Verfahrens nach dem vorhergehenden Aspekt durchzuführen.According to respective embodiments of the control device, it can be set up to carry out a method according to the preceding aspect or to carry out at least one of the embodiments of the method according to the preceding aspect. For this purpose, the control device can have at least one corresponding unit, which can be set up to carry out at least one of the method steps of the method according to the preceding aspect.

Die Erfindung betrifft in einem weiteren Aspekt ein Augmented-Reality-System zum Betreiben einer Baumaschine. Das Augmented-Reality-System weist eine Steuereinrichtung nach dem vorhergehenden Aspekt auf. Das Augmented-Reality-System weist eine Augmented-Reality-Einrichtung zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine auf. Das Augmented-Reality-System kann somit als ein Baustellenassistenzsystem ausgebildet sein, welches den Betreiber der Baumaschine im Ausführen der Arbeitsaufgabe assistiert.In a further aspect, the invention relates to an augmented reality system for operating a construction machine. The augmented reality system has a control device according to the preceding aspect. The augmented reality system has an augmented reality device for visually providing the correction information for executing the construction task with the construction machine. The augmented reality system can thus be embodied as a construction site assistance system, which assists the operator of the construction machine in carrying out the work task.

Die Erfindung betrifft in einem weiteren Aspekt eine Baumaschine. Die Baumaschine weist ein Augmented-Reality-System nach dem vorhergehenden Aspekt auf. Das Augmented-Reality-System kann an oder in der Baumaschine montiert sein.In a further aspect, the invention relates to a construction machine. The construction machine has an augmented reality system according to the previous aspect. The augmented reality system can be mounted on or in the construction machine.

Figurenlistecharacter list

  • 1 zeigt ein Ablaufdiagramm mit Verfahrensschritten zum Durchführen eines Verfahrens zum Betreiben einer Baumaschine gemäß einer Ausführungsform der Erfindung. 1 shows a flowchart with method steps for carrying out a method for operating a construction machine according to an embodiment of the invention.

Detaillierte Beschreibung von AusführungsformenDetailed Description of Embodiments

1 zeigt ein Ablaufdiagramm mit Verfahrensschritten S0 bis S7 in einer zeitlichen Abfolge zum Durchführen eines Verfahrens zum Betreiben einer Baumaschine gemäß einer Ausführungsform der Erfindung. 1 shows a flow chart with method steps S0 to S7 in a chronological sequence for carrying out a method for operating a construction machine according to an embodiment of the invention.

In einem Schritt S1 wird ein Ansteuern einer Kamera durchgeführt. Die Kamera erfasst basierend auf dem Ansteuern Bildinformation zu einer Arbeitsumgebung der Baumaschine. In einem weiteren Schritt S2 wird ein Einlesen von Bildinformation durchgeführt. Im Schritt S2 wird die erfasste Bildinformation zu der Arbeitsumgebung der Baumaschine eingelesen.In a step S1, a camera is driven. Based on the actuation, the camera captures image information on a working environment of the construction machine. In a further step S2, image information is read in. In step S2, the captured image information on the working environment of the construction machine is read.

In einem weiteren Schritt S3 wird ein Erkennen eines Arbeitszustands durchgeführt. Im Schritt S3 wird ein aktueller Arbeitszustand von einer mit der Baumaschine in der Arbeitsumgebung auszuführenden Bauaufgabe in der erfassten Bildinformation erkannt. In einem Unterschritt S3a des Schritts S3 wird ein Erkennen eines Arbeitszustands eines Arbeitswerkzeugs durchgeführt. Im Unterschritt S3a wird ein aktueller Arbeitszustand des Arbeitswerkzeugs zum Ausführen der Bauaufgabe in der erfassten Bildinformation erkannt. Alternativ oder zusätzlich zu dem Unterschritt S3a wird als ein Unterschritt S3b des Schritts S3 ein Erkennen eines Arbeitszustands eines Baustoffs durchgeführt. Im Unterschritt S3b wird ein aktueller Arbeitszustand eines Baustoffs zum Ausführen der Bauaufgabe in der erfassten Bildinformation erkannt.In a further step S3, a working state is detected. In step S3, a current working state of a construction task to be carried out with the construction machine in the working environment is recognized in the captured image information. In a sub-step S3a of step S3, a working state of a working tool is recognized. In sub-step S3a, a current working state of the working tool for executing the construction task is recognized in the captured image information. As an alternative or in addition to sub-step S3a, a sub-step S3b of step S3 involves detecting a working state of a building material. In sub-step S3b, a current working state of a building material for executing the building task is recognized in the captured image information.

In einem weiteren Schritt S0 wird ein Auslesen eines vorgegebenen Arbeitszustands durchgeführt. Der Arbeitszustand wird in Schritt S0 aus einem Bauplan ausgelesen. In einem weiteren Schritt S4 wird ein Vergleichen von Arbeitszuständen durchgeführt. Im Schritt S4 wird der erkannte aktuelle Arbeitszustand der Bauaufgabe mit einem vorgegebenen Arbeitszustand der Bauaufgabe verglichen.In a further step S0, a predetermined working state is read out. The working state is read from a construction plan in step S0. In a further step S4, working states are compared. In step S4, the recognized current working status of the construction task is compared with a predefined working status of the construction task.

In einem weiteren Schritt S5 wird ein Ableiten von Korrekturinformation durchgeführt. Im Schritt S5 wird Korrekturinformation für die mit der Baumaschine in der Arbeitsumgebung auszuführende Bauaufgabe aus einem auf dem Schritt S4 des Vergleichens basierenden Vergleichsergebnis abgeleitet.In a further step S5, correction information is derived. In step S5, correction information for the construction task to be carried out with the construction machine in the work environment is derived from a comparison result based on the comparison in step S4.

In einem weiteren Schritt S6 wird ein Ansteuern einer Augmented-Reality-Einrichtung durchgeführt. Im Schritt S6 wird die Augmented-Reality-Einrichtung basierend auf der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine angesteuert.In a further step S6, an augmented reality device is activated. In step S6, the augmented reality device is controlled based on the captured image information and the derived correction information for visually providing the correction information for executing the construction task with the construction machine.

Zusätzlich zu dem Schritt S6 wird als optionaler weiterer Schritt S7 ein Ansteuern einer Arbeitseinrichtung durchgeführt. Zusätzlich zu dem Schritt S6 wird als optionaler weiterer Schritt S8 ein Ansteuern einer Überwachungseinrichtung durchgeführt.In addition to step S6, a working device is controlled as an optional further step S7. In addition to step S6, a monitoring device is activated as an optional further step S8.

BezugszeichenlisteReference List

5050
Auslesen vorgegebener ArbeitszustandReading out the specified working status
S1S1
Ansteuern Kameracontrol camera
S2S2
Einlesen BildinformationReading image information
S3S3
Erkennen ArbeitszustandDetect working condition
S3aS3a
Erkennen Arbeitszustand ArbeitswerkzeugDetect working condition working tool
S3bS3b
Erkennen Arbeitszustand BaustoffDetect working condition of building material
S4S4
Vergleichen ArbeitszustandCompare working condition
S5S5
Ableiten KorrekturinformationDeriving correction information
S6S6
Ansteuern Augmented-Reality-EinrichtungDriving augmented reality device
S7S7
Ansteuern ArbeitseinrichtungControl work device
S8S8
Ansteuern ÜberwachungseinrichtungControlling monitoring device

Claims (16)

Verfahren zum Betreiben einer Baumaschine, mit den Schritten: Einlesen (S2) von Bildinformation zu einer Arbeitsumgebung der Baumaschine, Erkennen (S3) eines aktuellen Arbeitszustands von einer mit der Baumaschine in der Arbeitsumgebung auszuführenden Bauaufgabe in der erfassten Bildinformation, Vergleichen (S4) des erkannten aktuellen Arbeitszustands der Bauaufgabe mit einem vorgegebenen Arbeitszustand der Bauaufgabe, Ableiten (S5) von Korrekturinformation für die mit der Baumaschine in der Arbeitsumgebung auszuführende Bauaufgabe aus einem auf dem Schritt des Vergleichens (S4) basierenden Vergleichsergebnis, und Ansteuern (S6) einer Augmented-Reality-Einrichtung basierend auf der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine.Method for operating a construction machine, with the steps: reading in (S2) image information on a working environment of the construction machine, recognizing (S3) a current working status of a construction task to be carried out with the construction machine in the working environment in the captured image information, comparing (S4) the recognized current working status of the construction task with a predetermined working status of the construction task, deriving (S5) correction information for the construction task to be carried out with the construction machine in the working environment from a comparison result based on the step of comparing (S4), and controlling (S6) an augmented reality Device based on the captured image information and the derived correction information for visually providing the correction information for executing the construction task with the construction machine. Verfahren nach Anspruch 1, mit dem weiteren Schritt eines Ansteuerns (S1) einer Kamera zum Erfassen der Bildinformation in der Arbeitsumgebung der Baumaschine.procedure after claim 1 , with the further step of driving (S1) a camera for capturing the image information in the working environment of the construction machine. Verfahren nach Anspruch 1 oder 2, wobei der Schritt des Erkennens (S3) ein Erkennen (S3a) eines aktuellen Arbeitszustands eines Arbeitswerkzeugs zum Ausführen der Bauaufgabe in der erfassten Bildinformation aufweist, und wobei der Schritt des Vergleichens (S4) ein Vergleichen des erkannten aktuellen Arbeitszustands mit einem vorgegebenen Arbeitszustand des Arbeitswerkzeugs zum Ausführen der Bauaufgabe aufweist.procedure after claim 1 or 2 , wherein the step of recognizing (S3) comprises recognizing (S3a) a current working status of a working tool for executing the construction task in the recorded image information, and the step of comparing (S4) comprises comparing the recognized current working status with a predetermined working status of the working tool to carry out the construction task. Verfahren nach Anspruch 3, wobei der erkannte aktuelle Arbeitszustand des Arbeitswerkzeugs eine aktuelle Arbeitslage des Arbeitswerkzeugs in der Arbeitsumgebung aufweist, wobei der vorgegebene Arbeitszustand des Arbeitswerkzeugs eine vorgegebene Arbeitslage des Arbeitswerkzeugs in der Arbeitsumgebung aufweist, und wobei die abgeleitete Korrekturinformation eine Lagekorrekturinformation für die aktuelle Arbeitslage des Arbeitswerkzeugs in der Arbeitsumgebung aufweist.procedure after claim 3 , wherein the recognized current working condition of the working tool has a current working position of the working tool in the working environment, wherein the specified working condition of the working tool has a specified working position of the working tool in the working environment, and the derived correction information is position correction information for the current working position of the working tool in the working environment having. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Erkennens (S3) ein Erkennen (S3b) eines aktuellen Arbeitszustands eines Baustoffs zum Ausführen der Bauaufgabe in der erfassten Bildinformation aufweist, und wobei der Schritt des Vergleichens (S4) ein Vergleichen des erkannten aktuellen Arbeitszustands mit einem vorgegebenen Arbeitszustand des Baustoffs zum Ausführen der Bauaufgabe aufweist.Method according to one of the preceding claims, wherein the step of recognizing (S3) comprises recognizing (S3b) a current working condition of a building material for executing the construction task in the captured image information, and wherein the step of comparing (S4) comprises comparing the recognized current working condition with a predetermined working condition of the building material for carrying out the construction task. Verfahren nach Anspruch 5, wobei der erkannte aktuelle Arbeitszustand des Baustoffs eine aktuelle Arbeitslage des Baustoffs in der Arbeitsumgebung aufweist, wobei der vorgegebene Arbeitszustand des Baustoffs eine vorgegebene Arbeitslage des Baustoffs in der Arbeitsumgebung aufweist, und wobei die abgeleitete Korrekturinformation eine Lagekorrekturinformation für die aktuelle Arbeitslage des Baustoffs in der Arbeitsumgebung aufweist.procedure after claim 5 , wherein the recognized current working condition of the building material has a current working position of the building material in the working environment, wherein the specified working condition of the building material has a specified working state of the building material in the working environment, and the derived correction information is position correction information for the current working position of the building material in the working environment having. Verfahren nach einem der vorhergehenden Ansprüche, mit dem weiteren Schritt eines visuellen Signalisierens des aktuellen Arbeitszustands in der eingelesenen Bildinformation zu der Arbeitsumgebung.Method according to one of the preceding claims, with the further step of visually signaling the current working status in the read-in image information on the working environment. Verfahren nach einem der vorhergehenden Ansprüche, mit dem weiteren Schritt eines Auslesens (S0) des vorgegebenen Arbeitszustands aus einem Bauplan, wobei der vorgegebene Arbeitszustand Planungsinformation zum Ausführen der Bauaufgabe aufweist, und wobei der Schritt des Ansteuerns (S6) der Augmented-Reality-Einrichtung basierend auf der Planungsinformation durchgeführt wird.Method according to one of the preceding claims, with the further step of reading (S0) the specified working state from a construction plan, the specified working state having planning information for executing the construction task, and the step of controlling (S6) the augmented reality device being based is carried out on the planning information. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens einer der Schritte des Erkennens (S3), des Vergleichens (S4) und des Ableitens (S5) basierend auf Methoden der Bildverarbeitung durchgeführt wird.Method according to one of the preceding claims, wherein at least one of the steps of recognizing (S3), comparing (S4) and deriving (S5) is carried out on the basis of image processing methods. Verfahren nach einem der vorhergehenden Ansprüche, mit dem weiteren Schritt eines Ansteuerns (S7) einer Arbeitseinrichtung basierend auf der abgeleiteten Korrekturinformation zum automatisierten Ausführen der Bauaufgabe mit der Arbeitseinrichtung.Method according to one of the preceding claims, with the further step of activating (S7) a working device based on the derived correction information for the automated execution of the construction task with the working device. Verfahren nach einem der vorhergehenden Ansprüche, mit dem weiteren Schritt eines Ansteuerns (S8) einer Überwachungseinrichtung basierend auf mindestens einem von der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum Überwachen der Bauaufgabe durch einen Betreiber der Baumaschine.Method according to one of the preceding claims, with the further step of activating (S8) a monitoring device based on at least one of the captured image information and the derived correction information for monitoring the construction task by an operator of the construction machine. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens einer der Schritte des Verfahrens auf einer Interaktion eines Betreibers der Baumaschine mit der Augmented-Reality-Einrichtung basiert.Method according to one of the preceding claims, wherein at least one of the steps of the method is based on an interaction of an operator of the construction machine with the augmented reality device. Steuereinrichtung zum Betreiben einer Baumaschine, mit: einer Schnittstelle zum Einlesen von Bildinformation zu einer Arbeitsumgebung der Baumaschine, einer Recheneinheit zum Erkennen eines aktuellen Arbeitszustands von einer mit der Baumaschine in der Arbeitsumgebung auszuführenden Bauaufgabe in der erfassten Bildinformation, zum Vergleichen des erkannten aktuellen Arbeitszustands der Bauaufgabe mit einem vorgegebenen Arbeitszustand der Bauaufgabe, und zum Ableiten von Korrekturinformation für die mit der Baumaschine in der Arbeitsumgebung auszuführende Bauaufgabe aus einem auf dem Schritt des Vergleichens basierenden Vergleichsergebnis, und einer Schnittstelle zum Ausgeben eines Steuersignals zum Ansteuern einer Augmented-Reality-Einrichtung basierend auf der erfassten Bildinformation und der abgeleiteten Korrekturinformation zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine.Control device for operating a construction machine, having: an interface for reading in image information on a working environment of the construction machine, a computing unit for detecting a current working status of a construction task to be carried out with the construction machine in the working environment in the recorded image information, for comparing the detected current working status of the construction task with a specified working status of the construction task, and for deriving correction information for the construction task to be carried out with the construction machine in the working environment from a comparison result based on the comparison step, and an interface for outputting a control signal for controlling an augmented reality device based on the captured image information and the derived correction information for visually providing the correction information for executing the construction task with the construction machine. Steuereinrichtung nach Anspruch 13, wobei die Steuereinrichtung zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 eingerichtet ist.control device Claim 13 , wherein the control device for carrying out a method according to one of Claims 1 until 12 is set up. Augmented-Reality-System zum Betreiben einer Baumaschine, mit: einer Steuereinrichtung nach Anspruch 13 oder 14, und der Augmented-Reality-Einrichtung zum visuellen Bereitstellen der Korrekturinformation für ein Ausführen der Bauaufgabe mit der Baumaschine.Augmented reality system for operating a construction machine, having: a control device Claim 13 or 14 , and the augmented reality device for visually providing the correction information for executing the construction task with the construction machine. Baumaschine, mit einem Augmented-Reality-System nach Anspruch 15.construction machine, with an augmented reality system claim 15 .
DE102021203602.3A 2021-04-13 2021-04-13 Method and control device for operating a construction machine Pending DE102021203602A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021203602.3A DE102021203602A1 (en) 2021-04-13 2021-04-13 Method and control device for operating a construction machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021203602.3A DE102021203602A1 (en) 2021-04-13 2021-04-13 Method and control device for operating a construction machine

Publications (1)

Publication Number Publication Date
DE102021203602A1 true DE102021203602A1 (en) 2022-10-13

Family

ID=83361741

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021203602.3A Pending DE102021203602A1 (en) 2021-04-13 2021-04-13 Method and control device for operating a construction machine

Country Status (1)

Country Link
DE (1) DE102021203602A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200221A1 (en) 2018-01-09 2019-07-11 Robert Bosch Gmbh Site monitoring procedure
EP3161569B1 (en) 2014-06-27 2019-10-09 Topcon Positioning Systems, Inc. Method and apparatus for providing guidance to an operator of construction machines
WO2020156890A1 (en) 2019-01-28 2020-08-06 Holo-Light Gmbh Method for monitoring a building site

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3161569B1 (en) 2014-06-27 2019-10-09 Topcon Positioning Systems, Inc. Method and apparatus for providing guidance to an operator of construction machines
DE102018200221A1 (en) 2018-01-09 2019-07-11 Robert Bosch Gmbh Site monitoring procedure
WO2020156890A1 (en) 2019-01-28 2020-08-06 Holo-Light Gmbh Method for monitoring a building site

Similar Documents

Publication Publication Date Title
DE102015002760B4 (en) Robot simulation system that simulates the process of removing workpieces
DE102015013161B4 (en) Device for setting an interference range of a robot
DE102015000587B4 (en) A robot programming device for creating a robot program for taking an image of a workpiece
DE102019002898A1 (en) ROBOTORSIMULATIONSVORRICHTUNG
DE102018213985B4 (en) robotic system
DE102019109624B4 (en) Robot motion teaching device, robot system and robot controller
DE102018112403B4 (en) ROBOTIC SYSTEM DISPLAYING INFORMATION FOR ASSISTING AN ROBOT
EP3098034B1 (en) Selecting an apparatus or an object using a camera
DE102019125126A1 (en) Information processing device, information processing method and system
DE102015016530B4 (en) Robot identification system
DE112009001414T5 (en) Processing system, control device, control method and program
DE112019003185T5 (en) AUTOMATIC DYNAMIC DIAGNOSTIC GUIDE WITH EXTENDED REALITY
DE102017128543A1 (en) INTERFERENCE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
DE102020110252A1 (en) Vibration indicator, operating program generator and system
DE102020129967A1 (en) Simulation device and robotic system with augmented reality
DE102019002928A1 (en) Simulation device for robots
DE112021003127T5 (en) PROGRAMMING DEVICE
DE102017009272A1 (en) ROBOT CONTROL DEVICE WITH A FUNCTION FOR LIMITING SPEED AND / OR ACCELERATING A ROBOT
DE102020131815A1 (en) Display device and display program
EP3974936B1 (en) Configuration of a visualisation device for a machine area
DE102021203602A1 (en) Method and control device for operating a construction machine
EP3543810A1 (en) System for virtually assisting an operator for woodworking machines
DE102015012732A1 (en) System and method for controlling, in particular for commissioning, a production plant
DE102015206203A1 (en) Image measuring apparatus
DE102021208976A1 (en) Method and system for controlling a work machine

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication