DE102013212686A1 - Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität - Google Patents

Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität Download PDF

Info

Publication number
DE102013212686A1
DE102013212686A1 DE201310212686 DE102013212686A DE102013212686A1 DE 102013212686 A1 DE102013212686 A1 DE 102013212686A1 DE 201310212686 DE201310212686 DE 201310212686 DE 102013212686 A DE102013212686 A DE 102013212686A DE 102013212686 A1 DE102013212686 A1 DE 102013212686A1
Authority
DE
Germany
Prior art keywords
work machine
mobile work
virtual reality
machine
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310212686
Other languages
English (en)
Inventor
Martin Grepl
Henning Hayn
Oliver Glitza
Roman Mayer
Frederik Gladhorn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201310212686 priority Critical patent/DE102013212686A1/de
Publication of DE102013212686A1 publication Critical patent/DE102013212686A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/167Control of land vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/048Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Es wird vorgestellt ein Verfahren (100) zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität. Das Verfahren (100) umfasst einen Schritt des Einlesens (110) eines Informationssignals der mobilen Arbeitsmaschine, einen Schritt des Aufbereitens (120) des Informationssignals zu einem Modell der mobilen Arbeitsmaschine sowie einen Schritt des Bereitstellens (130) des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen. Dabei repräsentiert das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine.

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, auf eine entsprechende Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, auf eine mobile Arbeitsmaschine sowie auf ein entsprechendes Computerprogrammprodukt.
  • Für mobile Arbeitsmaschinen, insbesondere fast sämtliche Ausführungsformen von Baggern, existieren heutzutage visuelle Anzeigesysteme, die, in der Fahrerkabine installiert, den Bediener bei seinen planungsgemäßen Arbeiten unterstützen, indem sie beispielsweise die Position anzeigen und insbesondere bei Baggern die Stellung des Arbeitsarms, das heißt die Koordinaten des Tool Center Points (TCP) des Arbeitsarms, liefern. Teilweise können diese Systeme durch Kombination mit einem Satellitennavigationssystem die globale Position der Maschine anzeigen.
  • Es ist die Aufgabe der vorliegenden Erfindung eine verbesserte Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität und eine entsprechende Vorrichtung zu schaffen.
  • Diese Aufgabe wird durch ein Verfahren zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, eine Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, eine mobile Arbeitsmaschine sowie ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen sowie der nachfolgenden Beschreibung.
  • Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass mobile Arbeitsmaschinen, insbesondere Baumaschinen, aufgrund ihrer Größe und der ausladenden Arbeitswerkzeuge für einen Bediener unübersichtlich sind und gleichzeitig eine virtuelle Darstellung einer mobilen Arbeitsmaschine aus einer oder einer Mehrzahl von Perspektiven in einer virtuellen Umgebung insbesondere eine die reale Umgebung bildende Darstellung eine Erleichterung in der Bedienung für einen Bediener darstellen. Eine intuitive Virtual-Reality-Darstellung erlaubt eine schnelle kognitive Erfassung durch den Bediener der Arbeitsmaschine, wobei Zusatzinformationen über einen Betriebszustand der Arbeitsmaschine in die Darstellung eingeblendet werden können.
  • Vorteilhafterweise kann ein solches Verfahren einen Bediener in die Lage versetzen, die Arbeitsmaschine in Ansichten beziehungsweise aus Perspektiven zu betrachten, die er aus seiner ihm eigentlich zugedachten Position auf einem Bedienersitz nicht oder nur sehr schwer einnehmen kann. Die Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität ermöglicht es beispielsweise, einen Arbeitsarm der Arbeitsmaschine in Stellungen vollständig anzuzeigen, in denen er sonst teilweise oder alternativ vollständig durch andere Teile der Arbeitsmaschine verdeckt wäre.
  • Die vorliegende Erfindung schafft ein Verfahren zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, wobei das Verfahren die folgenden Schritte aufweist:
    Einlesen eines Informationssignals der mobilen Arbeitsmaschine, wobei das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine repräsentiert;
    Aufbereiten des Informationssignals zu einem Modell der mobilen Arbeitsmaschine; und
    Bereitstellen des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen.
  • Unter einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, kann ein Fahrzeug für den Einsatz auf einer Baustelle oder im Tagebau verstanden werden. Unter einer Baumaschine, die auch als Arbeitsgerät bezeichnet werden kann, kann eine semimobile oder mobile Maschine verstanden werden, die ausgebildet ist, Baustoffe oder Bauhilfsstoffe zu bearbeiten, zu transportieren oder Bauaufgaben auszuführen. Dabei kann die mobile Arbeitsmaschine eine Arbeitsausrüstung oder einen Arbeitsarm aufweisen, die die genannten Arbeiten durchführt. An der Arbeitsausrüstung oder dem Arbeitsarm kann ein zusätzliches Werkzeug angebracht sein. Unter einer virtuellen Realität kann eine, mit dem englischsprachigen Begriff bezeichnete „Virtual Reality“ oder kurz VR, Darstellung gleichzeitig Wahrnehmung der Wirklichkeit in einer in Realzeit generierten interaktiven virtuellen Umgebungen bezeichnet werden. Dabei können Sie physikalische Eigenschaften mit einbezogen werden. Unter einem Modell kann eine Information über die geometrische Gestalt und Position der mobilen Arbeitsmaschine verstanden werden. Das Modell kann Information über die Umgebung der Arbeitsmaschine aufweisen. Das Modell kann geeignet sein, ein Abbild der Arbeitsmaschine auf einer Anzeigeeinrichtung zu erzeugen. Unter dem Modell kann eine dreidimensionale Wiedergabe der Arbeitsmaschine verstanden werden. Das Modell kann einen Datensatz mit geometrischen Informationen repräsentieren.
  • Ferner kann das vorgestellte Verfahren in einer Ausführungsform einen Schritt des Darstellens nach dem Schritt des Bereitstellens aufweisen, um das Modell der mobilen Arbeitsmaschine in der virtuellen Realität auf einer Anzeige darzustellen. Im Schritt des Darstellens kann das Modell bzw. das das Modell repräsentierende Signal für eine Anzeigeeinrichtung aufbereitet werden.
  • Im Schritt des Einlesens kann das Informationssignal eine Information über einen Arbeitsarm und ergänzend oder alternativ ein an dem Arbeitsarm befestigtes Werkzeug und ersatzweise oder alternativ eine Stellung und alternativ oder ergänzend eine Situation des Werkzeugs, und ersatzweise oder ergänzend zumindest eine Ausrichtung und ersatzweise oder ergänzend eine geografische Position und ersatzweise oder ergänzend auf einer Satellitennavigation basierende Daten repräsentieren. Die in dem Informationssignal enthaltene Information kann es ermöglichen, ein Abbild der Umgebung der mobilen Arbeitsmaschine und gleichzeitig oder alternativ die Position, die Ausrichtung, die Lage oder das eingesetzte Werkzeug in der virtuellen Umgebung der mobilen Arbeitsmaschine virtuell darzustellen.
  • Im Schritt des Einlesens kann eine Arbeitsraumbegrenzungsinformation eingelesen werden und im Schritt des Aufbereitens kann das Modell der Arbeitsmaschine um die Arbeitsraumbegrenzungsinformation angereichert werden. Eine Arbeitsraumbegrenzungsinformation kann eine Information über einen sicheren Arbeitsraum für die mobile Arbeitsmaschine repräsentieren. So kann eine mit dem vorgestellten Verfahren erweiterte Steuerung einer Arbeitsmaschine ausgebildet sein, den Arbeitsarm oder ein Werkzeug der Arbeitsmaschine nur innerhalb des durch die Arbeitsraumbegrenzungsinformation beschriebenen Bereichs zu bewegen.
  • In einer Ausführungsform kann es vorteilhaft sein, wenn im Schritt des Einlesens Landschaftsdaten und ersatzweise oder ergänzend Infrastrukturdaten eingelesen werden und im Schritt des Aufbereitens das Modell unter Verwendung der Landschaftsdaten und alternativ oder ergänzend Infrastrukturdaten aufbereitet wird. Dabei können Landschaftsdaten und gleichzeitig oder alternativ Infrastrukturdaten sich aus digitalen Karten und ergänzend oder ersatzweise Bibliotheken und alternativ oder ergänzend Datenbanken ergebende Informationen zu zumindest einer Gasleitung und gleichzeitig oder alternativ einer Wasserleitung und alternativ oder ergänzend einer Stromleitung und ersatzweise oder ergänzend einem Bauwerk und gleichzeitig oder alternativ einem Gebäude und alternativ oder ergänzend einer Straße und ersatzweise oder ergänzend ein Masten und gleichzeitig oder alternativ einer Straßenverkehrseinrichtung und alternativ oder ergänzend einer Schienenverkehrseinrichtung und ersatzweise oder ergänzend ein gefährliches Gelände repräsentieren. Vorteilhafterweise kann ein realitätsnahes virtuelles Abbild der Umgebung der mobilen Arbeitsmaschine geschaffen werden.
  • In einer Ausführungsform der vorliegenden Erfindung umfasst das Verfahren einen Schritt des Warnens bei einer Kippgefahr der Arbeitsmaschine, wobei eine Kippgefahr unter Verwendung des Informationssignals bestimmt wird. Das vorstehend beschriebene Verfahren kann eine Mehrzahl von Zustandsinformationen über die Arbeitsmaschine erfassen und weiterverarbeiten. Unter Verwendung der Zustandsinformationen der Arbeitsmaschine kann eine Kippgefahr bestimmt werden.
  • Die vorliegende Erfindung schafft eine Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, wobei die Vorrichtung die folgenden Merkmale aufweist:
    eine Schnittstelle zum Einlesen eines Informationssignals der mobilen Arbeitsmaschine, wobei das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine repräsentiert;
    eine Einrichtung zum Aufbereiten des Informationssignals zu einem Modell der mobilen Arbeitsmaschine; und
    eine Schnittstelle zum Bereitstellen des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen.
  • So ist die Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität ausgebildet, Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
  • Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
  • In einer Ausführungsform umfasst die Vorrichtung eine Anzeigeeinrichtung zum Darstellen des Modells der mobilen Arbeitsmaschine in der virtuellen Realität.
  • Die vorliegende Erfindung schafft eine mobile Arbeitsmaschine mit einer Anzeigevorrichtung und einer Vorrichtung zum Darstellen der mobilen Arbeitsmaschine in einer virtuellen Realität auf der Anzeigevorrichtung.
  • Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
  • Für eine Baumaschine kann ein Display mit einer virtuellen Darstellung der Baumaschine im aktuellen Betriebszustand, vor allem mit der aktuellen Stellung des Arbeitsarmes, bereitgestellt werden. Es können Zusatzdaten aus der Umgebung ebenfalls dargestellt werden. Dabei können auch Ansichten aus Beobachtungspunkten außerhalb der Baumaschine, insbesondere eine Vogelperspektive, dargestellt werden. In einer Ausführungsform können genaue durch Sensoren erfasste Positionsdaten der Baumaschine und ihres Arbeitsarmes oder sonstiger Anbaugeräte verwendet werden.
  • Ein Aspekt der vorliegenden Erfindung ist es, dem Bediener einer mobilen Arbeitsmaschine, insbesondere eines Baggers, eine Virtual-Reality-Darstellung der Maschine und gegebenenfalls der Umgebung der Maschine zu ermöglichen und diese Darstellung mit zusätzlichen Informationen sowie möglicherweise Warnelementen bei Gefährdung des sicheren Betriebs der Maschine zu versehen. Dadurch wird der Bediener in die Lage versetzt, die Maschine in Ansichten beziehungsweise aus Perspektiven zu betrachten, die er aus seiner ihm eigentlich zugedachten Position auf dem Bedienersitz nicht oder nur sehr schwer einnehmen kann. Beispielsweise kann der Arbeitsarm aus der Bedienerplatzperspektive in einigen durchaus wichtigen Stellungen nicht vollständig, teilweise fast gar nicht mehr, zu sehen sein. Ebenso kann bei Arbeiten unter Wasser oder bei Arbeiten in Gruben der Arbeitsarm praktisch nicht sichtbar sein. Hier kann eine Virtual-Reality-Darstellung den Arbeitsarm für einen Bediener sichtbar machen.
  • Der Vorteil kann in der intuitiven Virtual-Reality-Darstellung der Maschine bestehen und der damit verbundenen möglichen schnellen kognitiven Erfassung durch den Bediener sowie der Darstellung von Zusatzinformationen über den Betriebszustand.
  • Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
  • 1 einen Ablaufplan eines Verfahrens zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 2 eine schematische Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 3 eine schematische Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 4 eine schematische Darstellung einer mobilen Arbeitsmaschine aus einer Vogelperspektive in einer virtuellen Realität gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
  • 5 eine schematische Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität mit einer Arbeitsraumbegrenzungsinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
  • Gleiche oder ähnliche Elemente können in den nachfolgenden Figuren durch gleiche oder ähnliche Bezugszeichen versehen sein. Ferner enthalten die Figuren der Zeichnungen, deren Beschreibung sowie die Ansprüche zahlreiche Merkmale in Kombination. Einem Fachmann ist dabei klar, dass diese Merkmale auch einzeln betrachtet werden oder sie zu weiteren, hier nicht explizit beschriebenen Kombinationen zusammengefasst werden können.
  • 1 zeigt einen Ablaufplan eines Verfahrens 100 zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 100 weist einen Schritt 110 des Einlesens eines Informationssignals der mobilen Arbeitsmaschine, einen Schritt 120 des Aufbereitens des Informationssignals zu einem Modell der mobilen Arbeitsmaschine sowie einen Schritt 130 des Bereitstellens des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen. Dabei repräsentiert das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine.
  • In einem Ausführungsbeispiel umfasst das Verfahren 100 einen optionalen Schritt 140 des Darstellens nach dem Schritt 130 des Bereitstellens, um das Modell der mobilen Arbeitsmaschine in der virtuellen Realität auf einer Anzeige darzustellen.
  • In einem Ausführungsbeispiel repräsentiert im Schritt 110 des Einlesens das Informationssignal eine Information über einen Arbeitsarm und/oder ein an dem Arbeitsarm befestigtes Werkzeug und/oder eine Stellung und/oder Situation des Werkzeugs, und/oder zumindest eine Ausrichtung und/oder eine geografische Position und/oder auf einer Satellitennavigation basierende Daten.
  • In einem Ausführungsbeispiel wird im Schritt 110 des Einlesens eine Arbeitsraumbegrenzungsinformation eingelesen und im Schritt 120 des Aufbereitens wird das Modell der Arbeitsmaschine um die Arbeitsraumbegrenzungsinformation angereichert.
  • In einem Ausführungsbeispiel werden im Schritt 110 des Einlesens Landschaftsdaten und/oder Infrastrukturdaten eingelesen und im Schritt 120 des Aufbereitens wird das Modell unter Verwendung der Landschaftsdaten und/oder Infrastrukturdaten aufbereitet. Dabei repräsentieren die Landschaftsdaten und/oder die Infrastrukturdaten sich aus digitalen Karten und/oder Bibliotheken und/oder Datenbanken ergebende Informationen zu zumindest einer Gasleitung und/oder einer Wasserleitung und/oder einer Stromleitung und/oder einem Bauwerk und/oder einem Gebäude und/oder einer Straße und/oder einen Masten und/oder einer Straßenverkehrseinrichtung und/oder einer Schienenverkehrseinrichtung und/oder ein gefährliches Gelände.
  • In einem Ausführungsbeispiel umfasst das Verfahren einen optionalen Schritt 150 des Warnens bei einer Kippgefahr der Arbeitsmaschine, wobei eine Kippgefahr unter Verwendung des Informationssignals bestimmt wird.
  • In einem nicht gezeigten Ausführungsbeispiel wird die dem in 1 beschriebenen Verfahren zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität zugrunde liegende Idee in einer Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität umgesetzt, wobei die Vorrichtung die folgenden Merkmale aufweist:
    eine Schnittstelle zum Einlesen eines Informationssignals der mobilen Arbeitsmaschine, wobei das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine repräsentiert;
    eine Einrichtung zum Aufbereiten des Informationssignals zu einem Modell der mobilen Arbeitsmaschine; und
    eine Schnittstelle zum Bereitstellen des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen.
  • In einem Ausführungsbeispiel weist die Vorrichtung eine Anzeigeeinrichtung zum Darstellen des Modells der mobilen Arbeitsmaschine in der virtuellen Realität auf.
  • Die dem beschriebenen Verfahren zugrunde liegende Idee kann in einem Ausführungsbeispiel in einer mobilen Arbeitsmaschine mit einer Anzeigevorrichtung und einer Vorrichtung zum Darstellen der mobilen Arbeitsmaschine in einer virtuellen Realität auf der Anzeigevorrichtung umgesetzt werden.
  • 2 zeigt eine schematische Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität 200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die virtuelle Realität kann in einem Ausführungsbeispiel auf einen Bildschirm, einem Head-Up-Display oder einem Head-Mounted-Display dargestellt werden. Die Darstellung der virtuellen Realität 200 in 2 zeigt einen Löffelbagger mit im Wesentlichen senkrecht nach oben ausgerichteten Arm, an dem eine Schaufel angeordnet ist. In einer Tabelle im oberen rechten Bildrand werden die Koordinaten des Tool Center Points (TCP) sowie ein die Ausrichtung der Schaufel bestimmender Winkel dargestellt.
  • Das Ausführungsbeispiel zeigt eine 3D-Virtual-Reality-Darstellung der Maschine mit einer Position des Arbeitsarms, bei welcher der Bediener den Arbeitsarm vom Bedienplatz nicht vollständig einsehen kann. Eine solche Position kann beispielsweise bei Abrissarbeiten eingestellt werden.
  • In einem Ausführungsbeispiel ist, wie in 2 sowie den folgenden 3 bis 4 beispielhaft dargestellt, die 3D-Virtual-Reality-Darstellung eines Baggers auf einem hypothetischen Untergrund beispielhaft dargestellt. Mithilfe dieser Darstellungen kann der Bediener die Position und Ausrichtung sowohl der Maschine als auch insbesondere des Arbeitsarms mit einem einzigen Blick in intuitiver Weise sofort erfassen- und zwar aus Perspektiven, die er sonst nicht oder nur sehr schwer einnehmen kann wie beispielsweise ein verdeckter Arbeitsarm in 2 und 3 oder eine Vogelperspektive mit Anzeige der Orientierung in 4. Die Anzeige der Position des Tool Center Points (TCP) und der Stellung des Werkzeugs relativ zu einem baggerfesten Koordinatensystem ist hier beispielhaft mit Hilfe von Zahlenwerten realisiert.
  • In 5 ist zusätzlich ein Raumsegment abgesetzt gezeigt, das die Funktionalität einer sogenannten Arbeitsraumbegrenzung repräsentiert: Die Maschinensteuerung lässt es nicht zu, dass der Bediener das Werkzeug aus diesem Bereich heraus bewegt, beziehungsweise dass der Bediener Bereiche durchdringt, die nicht zu diesem Raumausschnitt gehören. Diese Funktionalität ist vorteilhaft, da das Bedienerassistenzsystem direkt in die (hydraulische) Maschinensteuerung eingreift. Die Anzeige der Position des TCP und der Stellung des Werkzeugs erfolgt hier wie zuvor mit Hilfe von Zahlenwerten.
  • In unterschiedlichen Ausführungsbeispielen umfasst und unterstützt die erfindungsgemäße 3D-Virtual-Reality-Darstellung folgende Funktionalitäten:
    Anzeige der Ansicht, Position und Lage der Maschine, z. B. (und besonders vorteilhaft) unter Hinzunahme von Satellitennavigationsdaten relativ zu einem Weltkoordinatensystem oder relativ zu (beliebigen) bedienerdefinierten Koordinatensystemen.
  • Anzeige des Arbeitsarms und des daran befestigten Werkzeugs, insbesondere in Stellungen und/oder Situationen, welche einen Sichtkontakt mit dem Arm aus regulärer Bedienerperspektive erschweren oder sogar behindern (z. B. verdeckte Arbeiten in Gruben, unter Wasser etc.) Arbeitsraumbegrenzung, d. h. Anzeige von räumlichen Bereichen, deren Erreichen bzw. Durchdringung durch die Maschinensteuerung verhindert wird, und hierfür zusätzlich Anzeige von geometrischen Primitiven, welche Objekte repräsentieren sollen, deren Berührung durch die Maschine und vor allem durch den Arbeitsarm einschließlich des Werkzeugs verhindert werden soll; diese geometrischen Primitiven wurden zuvor durch den Bediener z. B. mithilfe eines Eingabesystems definiert.
  • Anzeige von Objekten, die sich aus digitalen Karten, Bibliotheken, Datenbanken o.ä. ergeben und Landschafts- und/oder Infrastrukturdaten wie z. B. Gas-, Wasser-, und Stromleitungen oder Bauwerke, Gebäude, Straßen, Masten, Straßen- und Schienenverkehrseinrichtungen aller Art, gefährliches Gelände (Absturzkanten) usw. repräsentieren, deren Berührung, d. h. Beschädigung, durch die Maschine und vor allem durch den Arbeitsarm einschließlich des Werkzeugs mithilfe einer Maschinensteuerung verhindert werden soll.
  • Anzeige von Objekten, die sich aus digitalen Karten, Bibliotheken, Datenbanken o.ä. ergeben und Landschafts- und/oder Infrastrukturdaten wie z. B. Böschungen, Gräben, Kanäle, Gruben, Bauwerke oder Gebäude o.ä. repräsentieren, welche durch die Maschine bearbeitet (Untergrund) oder bearbeitet/entfernt (Bau/Abriss) werden sollen, Warnung bei Kippgefahr der Arbeitsmaschine.
  • Warnung bei unvorhergesehener Annäherung an durch ein Abstandswarnsystem detektierte Objekte.
  • Wechsel der Anzeigeperspektive durch ein Bedienermenü.
  • Die Art und Weise der Darstellung kann mit unterschiedlichen Anzeigesystemen erfolgen, wie beispielsweise einem konventionellen (Flach-)Bildschirm, einem Head-Up-Display oder einem Head-Mounted-Display und beinhaltet sowohl die grafischen als auch die textuellen (alphanumerischen) Elemente.
  • 3 zeigt eine schematische Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität 200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung in 2 entspricht im Wesentlichen der Darstellung in 2, wobei der Arbeitsamt der Arbeitsmaschine im Wesentlichen senkrecht nach unten gerichtet ist. Dadurch verschiebt sich die Tabelle zur Anzeige der Koordinaten des Tool Center Points (TCP) sowie ein die Ausrichtung der Schaufel bestimmender Winkel in die untere rechte Bildecke.
  • Ein Ausführungsbeispiel zeigt eine 3D-Virtual-Reality-Darstellung der Maschine mit einer Position des Arbeitsarms, bei welcher der Bediener den Arbeitsarm vom Bedienplatz nicht vollständig einsehen kann. Die gezeigte Position des Arbeitsarms kann beispielsweise bei Arbeiten in einer Grube oder Unterwasserarbeiten auftreten.
  • 4 zeigt eine schematische Darstellung einer mobilen Arbeitsmaschine aus einer Vogelperspektive in einer virtuellen Realität 200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung der virtuellen Realität 200 in 4 entspricht der in 2 gezeigten Seitendarstellung der Arbeitsmaschine aus einer Vogelperspektive. Eine Windrose der oberen linken Bildecke zeigt die geografische Ausrichtung der Arbeitsmaschine. In dem gezeigten Ausführungsbeispiel ist die Arbeitsmaschine im Wesentlichen nach Norden ausgerichtet, mit einer leichten Abweichung in Richtung Nord-Nordwest.
  • Ein Ausführungsbeispiel zeigt eine 3D-Virtual-Reality-Darstellung aus einer Perspektive, die der Bediener ohne Bedienerassistenzsystem nicht einnehmen kann.
  • 5 zeigt eine schematische Darstellung einer mobilen Arbeitsmaschine in einer virtuellen Realität 200 mit einer Arbeitsraumbegrenzungsinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung der virtuellen Realität 200 zeigt die mobile Arbeitsmaschine in einer perspektivischen Ansicht. Der Arbeitsarm der Arbeitsmaschine ist nach vorne gerichtet in einer Ruheposition dargestellt. Vor der mobilen Arbeitsmaschine ist ein Arbeitsraum mittels einer Begrenzungsinformation aufgespannt.
  • Das Ausführungsbeispiel in 5 zeigt eine 3D-Virtual-Reality-Darstellung der mobilen Arbeitsmaschine und beispielhafte Darstellung der Funktionalität "Arbeitsraumbegrenzung" durch Einblendung eines Raumbereichs, der als "erlaubte Zone" fungiert und nicht verlassen werden kann.
  • Die gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt und können miteinander kombiniert werden.
  • Bezugszeichenliste
  • 100
    Verfahren
    110
    Schritt des Einlesens
    120
    Schritt des Aufbereitens
    130
    Schritt des Bereitstellens
    140
    Schritt des Darstellens
    150
    Schritt des Warnens
    200
    virtuelle Realität

Claims (10)

  1. Verfahren zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, wobei das Verfahren (100) die folgenden Schritte aufweist: Einlesen (110) eines Informationssignals der mobilen Arbeitsmaschine, wobei das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine repräsentiert; Aufbereiten (120) des Informationssignals zu einem Modell der mobilen Arbeitsmaschine; und Bereitstellen (130) des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen.
  2. Verfahren (100) gemäß Anspruch 1, mit einem Schritt des Darstellens nach dem Schritt des Bereitstellens, um das Modell der mobilen Arbeitsmaschine in der virtuellen Realität auf einer Anzeige darzustellen.
  3. Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (110) des Einlesens das Informationssignal eine Information über einen Arbeitsarm und/oder ein an dem Arbeitsarm befestigtes Werkzeug und/oder eine Stellung und/oder Situation des Werkzeugs, und/oder zumindest eine Ausrichtung und/oder eine geografische Position und/oder auf einer Satellitennavigation basierende Daten repräsentiert.
  4. Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Einlesens eine Arbeitsraumbegrenzungsinformation eingelesen wird und im Schritt des Aufbereitens das Modell der Arbeitsmaschine um die Arbeitsraumbegrenzungsinformation angereichert wird.
  5. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Einlesens Landschaftsdaten und/oder Infrastrukturdaten eingelesen werden und im Schritt des Aufbereitens das Modell unter Verwendung der Landschaftsdaten und/oder Infrastrukturdaten aufbereitet wird, wobei Landschaftsdaten und/oder Infrastrukturdaten sich aus digitalen Karten und/oder Bibliotheken und/oder Datenbanken ergebende Informationen zu zumindest einer Gasleitung und/oder einer Wasserleitung und/oder einer Stromleitung und/oder einem Bauwerk und/oder einem Gebäude und/oder einer Straße und/oder einen Masten und/oder einer Straßenverkehrseinrichtung und/oder einer Schienenverkehrseinrichtung und/oder ein gefährliches Gelände repräsentiert.
  6. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Warnens bei einer Kippgefahr der Arbeitsmaschine, wobei eine Kippgefahr unter Verwendung des Informationssignals bestimmt wird.
  7. Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine, insbesondere einer Baumaschine, in einer virtuellen Realität, wobei die Vorrichtung die folgenden Merkmale aufweist: eine Schnittstelle zum Einlesen eines Informationssignals der mobilen Arbeitsmaschine, wobei das Informationssignal eine Position und/oder eine Lage der mobilen Arbeitsmaschine repräsentiert; eine Einrichtung zum Aufbereiten des Informationssignals zu einem Modell der mobilen Arbeitsmaschine; und eine Schnittstelle zum Bereitstellen des Modells der mobilen Arbeitsmaschine, um die mobile Arbeitsmaschine in der virtuellen Realität darzustellen.
  8. Vorrichtung gemäß Anspruch 7, mit einer Anzeigeeinrichtung zum Darstellen des Modells der mobilen Arbeitsmaschine in der virtuellen Realität.
  9. Mobile Arbeitsmaschine mit einer Anzeigevorrichtung und einer Vorrichtung zum Darstellen der mobilen Arbeitsmaschine in einer virtuellen Realität auf der Anzeigevorrichtung.
  10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (100) nach einem der Ansprüche 1 bis 6, wenn das Programmprodukt auf einer Vorrichtung gemäß einem der Ansprüche 7 bis 8 ausgeführt wird.
DE201310212686 2013-06-28 2013-06-28 Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität Withdrawn DE102013212686A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310212686 DE102013212686A1 (de) 2013-06-28 2013-06-28 Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310212686 DE102013212686A1 (de) 2013-06-28 2013-06-28 Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität

Publications (1)

Publication Number Publication Date
DE102013212686A1 true DE102013212686A1 (de) 2014-12-31

Family

ID=52017382

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310212686 Withdrawn DE102013212686A1 (de) 2013-06-28 2013-06-28 Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität

Country Status (1)

Country Link
DE (1) DE102013212686A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901872A1 (de) * 2016-04-08 2021-10-27 Liebherr-Werk Biberach GmbH Verfahren und vorrichtung zum steuern des betriebs einer baumaschine

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901872A1 (de) * 2016-04-08 2021-10-27 Liebherr-Werk Biberach GmbH Verfahren und vorrichtung zum steuern des betriebs einer baumaschine
EP3437036B1 (de) * 2016-04-08 2021-11-24 Liebherr-Werk Biberach GmbH Verfahren und vorrichtung zum planen und/oder steuern und/oder simulieren des betriebs einer baumaschine

Similar Documents

Publication Publication Date Title
DE102019210970A1 (de) Visuelles assistenz- und steuersystem für einearbeitsmaschine
DE102005037787A1 (de) Verfahren und Vorrichtung zur Verbesserung der Sichtbarkeit für einen Maschinenbediener
DE102018207706A1 (de) Umgebungsabtastung unter Verwendung einer Arbeitsmaschine mit einer Kamera
EP3514709B1 (de) Verfahren und vorrichtung zur übertragung und anzeige von nutzereigenen vektorgraphiken mit infopunkten aus einem cloudbasierten cad-archiv auf mobilgeräten, tragbaren oder stationären computern
DE69815940T2 (de) Verfahren und Anordnung zur Informationsdarstellung in Form einer Landkarte für Fahrzeugsnavigationsgeräte
DE60121944T2 (de) Verfahren und vorrichtung zum anzeigen von navigationsinformationen im echtzeitbetrieb
DE112017002047T5 (de) Verwaltungssystem
DE102018215292A1 (de) Verfahren zum Darstellen einer Fahrzeugumgebung in einem Fahrzeug und zugehörige Vorrichtung
DE102021202030A1 (de) Verwendung generierter linien zur fahrzeugsteuerung und objektvermeidung
EP3978877B1 (de) Horizontale positionsfestlegung für das einblenden virtueller objekte bei einer head-up- displayeinrichtung
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
DE102016124978A1 (de) Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
WO2021083915A1 (de) Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks
DE102012213768A1 (de) Bildanzeigesteuersystem, bildanzeigesteuerverfahren und bildanzeigesteuerprogramm
DE102013006025A1 (de) Methode zur Auflösung und Bedienung von POl-Stapeln
DE102013212683A1 (de) Verfahren und Vorrichtung zum Erkennen oder Vermeiden einer Kollision
EP3679324A1 (de) Verfahren und vorrichtung zum erstellen einer karte
DE112017001522T5 (de) Bauverwaltungssystem
DE102015218686A1 (de) Verfahren zum Modellieren eines dreidimensionalen Bewegungsraumes zumindest einer Lastentransporteinrichtung und/oder zumindest einer Komponente der Lastentransporteinrichtung und/oder zumindest eines von der Lastentransporteinrichtung transportierten Transportguts, Verfahren zum Betreiben einer Lastentransporteinrichtung sowie Vorrichtung
EP2171399B1 (de) Verdeckungsarme darstellung dicht benachbarter topografischer objekte
DE102013212686A1 (de) Verfahren und Vorrichtung zum Darstellen einer mobilen Arbeitsmaschine in einer virtuellen Realität
DE102010062464A1 (de) Verfahren und Vorrichtung zur Darstellung eines Abschnitts einer Umgebung
DE112017007023T5 (de) Anzeigesystem für aushubmaschine, aushubmaschine und anzeigeverfahren füraushubmaschine
WO2017092733A1 (de) Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0017500000

Ipc: G06F0030000000

R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee