DE102021112135A1

DE102021112135A1 - Fernsteuersystem für eine Baumaschine und Verfahren zum Steuern einer Baumaschine

Info

Publication number: DE102021112135A1
Application number: DE102021112135.3A
Authority: DE
Inventors: Johannes HENIKL; Mykola Oleksyuk
Original assignee: Friedrich Wilhelm Schwing GmbH
Current assignee: Friedrich Wilhelm Schwing GmbH
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2022-11-10
Also published as: WO2022238228A1; US20240248485A1

Abstract

Die Erfindung betrifft ein Fernsteuersystem für eine Baumaschine (10), mit einem mobilen Endgerät (20) mit Eingabe- und/oder Steuerelementen (21, 21a, 21b), insbesondere in Form von Joysticks (21a, 21b), zur Eingabe von Steuerbefehlen zum Steuern der Baumaschine (10) in einem ersten Betriebsmodus. Das Fernsteuersystem weist ferner mindestens eine bildgebende Einrichtung (30, 31) zur Aufnahme der Maschinenumgebung und/oder eines Arbeitswerkzeugs (11) der Baumaschine (10) auf, wobei die Position und/oder Ausrichtung der mindestens einen bildgebenden Einrichtung (30, 31) steuerbar ist. In einen zweiten Betriebsmodus ist die mindestens eine bildgebende Einrichtung mit den Eingabe- und Steuerelementen (21) des mobilen Endgerätes (20) steuerbar. Die Erfindung betrifft außerdem ein entsprechendes Verfahren.

Description

Die Erfindung betrifft ein Fernsteuersystem für eine Baumaschine mit einem mobilen Endgerät mit Eingabe- und/oder Steuerelementen zum Steuern der Baumaschine und mindestens einer bildgebenden Einrichtung zur Aufnahme der Maschinenumgebung und/oder eines Arbeitswerkzeugs der Baumaschine, wobei die Position und/oder Ausrichtung der mindestens einen bildgebenden Einrichtung steuerbar ist.
Die Erfindung betrifft außerdem ein Verfahren, bei dem ein Bediener eine Baumaschine mittels Eingabe- und/oder Steuermitteln, insbesondere Joysticks, eines mobilen Endgerätes steuert und Aufnahmen der Maschinenumgebung und/oder eines Arbeitswerkzeugs der Baumaschine von mindestens einer steuerbaren und/oder ausrichtbaren bildgebenden Einrichtung bereitgestellt werden.
Aus dem Stand der Technik ist es bekannt, Baumaschinen, beispielsweise Krane oder Autobetonpumpen, von einem Bedienstand aus oder mit einer Fernsteuerung zu steuern. Um dem Bediener die Arbeit zu erleichtern, insbesondere wenn er nicht alle Arbeitsbereiche der Baumaschine einsehen kann, wurde bereits vorgeschlagen, bildgebende Einrichtungen, zum Beispiel an der Baumascheine oder im Arbeitsbereich der Baumaschine installierte Kameras oder mit Kameras ausgestattete Flugdrohnen, vorzusehen, um dem Bediener Aufnahmen, insbesondere Videoaufnahmen, des Arbeitsgerätes oder der Arbeitsumgebung bereitzustellen, so dass der Bediener die Baumaschine auch bei eingeschränktem oder fehlendem Sichtkontakt steuern kann. Bei dem Arbeitsgerät handelt es sich im Fall einer Autobetonpumpe beispielsweise um den Endschlauch am Ende des Verteilermastes oder im Fall eines Krans um den Lasthaken. Die Position beziehungsweise Ausrichtung der Kameras bzw. Flugdrohnen kann und soll vom Bediener oftmals angesteuert werden, um insbesondere den Arbeitsbereich optimal einsehen zu können. Der Bediener kann hierdurch aber überfordert werden und zum Beispiel das Steuern der Baumaschine während der Ausrichtung einer Kamera vernachlässigen oder die Steuerung der Baumaschine und der Kamera verwechseln.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes System und ein verbessertes Verfahren zum Steuern einer Baumaschine anzugeben, dass die oben genannten Nachteile des Standes der Technik weitestgehend vermeidet.
Gelöst wird diese Aufgaben durch ein Fernsteuersystem für eine Baumaschine mit den Merkmalen des Anspruchs 1 sowie durch ein Verfahren zum Steuern einer Baumaschine mit den Merkmalen des Anspruchs 14.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Es ist darauf hinzuweisen, dass die in den Ansprüchen einzeln aufgeführten Merkmale auch in beliebiger und technologisch sinnvoller Weise miteinander kombiniert werden können und somit weitere Ausgestaltungen der Erfindung aufzeigen.
Dadurch, dass die Eingabe- und oder Steuerelemente des mobilen Endgerätes des Fernsteuersystems, die in einem ersten Betriebsmodus zur Steuerung der Baumaschine verwendet werden, in einem zweiten Betriebsmodus zur Steuerung der mindestens einen bildgebenden Einrichtung verwendet werden, kann der Bediener die Steuerelemente zum Steuern der Baumaschine, also beispielsweise die Joysticks, mit denen der Verteilermast einer Autobetonpumpe oder der Ausleger eines Krans gesteuert werden, sehr einfach zusätzlich verwenden, um die mindestens eine bildgebende Einrichtung zu steuern und/oder auszurichten. Der Bediener braucht sich also nicht mit zwei, unter Umständen völlig unterschiedlichen, Steuerelementen beziehungsweise Steuereinrichtungen zur Bedienung der Baumaschine und zur Steuerung/Ausrichtung der bildgebenden Einrichtung auseinandersetzen, was zu Fehlbedienungen führen könnte und beispielsweise im Falle eines Betonverteilermastes, katastrophale Folgen haben könnte.
Gemäß einer vorteilhaften Ausgestaltung ist die von dem mobilen Endgerät gesteuerte und/oder ausgerichtete, mindestens eine bildgebende Einrichtung, eine an der Baumaschine angeordnete Kamera oder eine außerhalb der Baumaschine angeordnete Kamera. Hierdurch kann sich der Bediener einen optimalen Überblick über die Arbeitsumgebung der Baumaschine verschaffen.
Eine vorteilhafte Ausführung sieht vor, dass die von dem mobilen Endgerät gesteuerte und/oder ausgerichtete, mindestens eine bildgebende Einrichtung, eine mit einer Kamera ausgestatte Flugdrohne ist und im zweiten Betriebsmodus die Flugdrohne und/oder die Kamera mit den Eingabe- und/oder Steuerelementen steuerbar sind. Somit kann der Bediener beispielsweise sehr einfach eine mit einer Kamera ausgestatte Flugdrohne im Arbeitsbereich der Baumaschine positionieren und die Kamera ausrichten.
Gemäß einer vorteilhaften Ausgestaltung umfassen die Eingabe- und/oder Steuerelemente des mobilen Endgerätes einen ersten und einen zweiten Joystick und im zweiten Betriebsmodus ist die Baumaschine mit dem ersten Joystick steuerbar und die mindestens eine bildgebende Einrichtung ist mit dem zweiten Joystick steuerbar. Der Bediener kann dann mit einem mobilen Endgerät gleichzeitig die Baumaschine, also zum Beispiel den Verteilermast einer Autobetonpumpe, und eine Kamera oder eine Flugdrohne mit Kamera steuern und damit die Situation am Endschlauch des Verteilermastes bei optimaler Ausrichtung der Kamera einsehen, während er die Baumaschine steuert.
Die Eingabe- und/oder Steuerelemente des mobilen Endgerätes können vorteilhafterweise auch einen ersten und einen zweiten Joystick umfassen, wobei mit dem ersten Joystick die Flugdrohne steuerbar ist und die Kamera an der Flugdrohne mit dem zweiten Joystick steuerbar ist. Damit kann der Bediener mit einem Joystick die Flugdrohne in eine optimale Position steuern und gleichzeitig mit dem anderen Joystick den Blickwinkel der Kamera beispielsweise auf das Arbeitsgerät auszurichten.
Die Aufnahmen der mindestens einen bildgebenden Einrichtung werden vorteilhafterweise an das mobile Endgerät übertragen und das mobile Endgerät weist einen Bildschirm zur Anzeige der Aufnahmen auf. So kann der Bediener mit der mobilen Einrichtung einerseits einfach die Baumaschine und die mindestens eine bildgebende Einrichtung steuern und hat gleichzeitig auf dem Bildschirm eine Anzeige der Arbeitsumgebung beziehungsweise des Arbeitswerkzeuges der Baumaschine, die er unter Umständen sonst nicht direkt einsehen könnte.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung werden die Aufnahmen der mindestens einen bildgebenden Einrichtung zur Anzeige an ein Smartphone oder ein Tabletcomputer oder eine Augmented-Reality Brille oder eine Virtual-Reality Brille übertragen.
Gemäß einer weiteren Ausgestaltung der Erfindung können die Aufnahmen der mindestens einen bildgebenden Einrichtung an einen Bildschirm, der an oder in der Baumaschine angeordnet ist, übertragen und darauf angezeigt werden. Damit kann der Maschinebediener während der Steuerung der Baumaschine bequem gleichzeitig auf dem Bildschirm, der beispielsweise auch in der Fahrerkabine der Baumaschine angeordnet sein kann, den Arbeitsvorgang am Arbeitsgerät verfolgen.
Das Fernsteuersystem kann vorteilhafterweise mindestens zwei bildgebende Einrichtungen zur Aufnahme der Maschinenumgebung und/oder eines Arbeitswerkzeugs der Baumaschine und eine Bildverarbeitungseinheit umfassen, wobei die Bildverarbeitungseinheit die Aufnahmen der mindestens zwei bildgebenden Einrichtungen zu einem virtuellen 3D-Bild zusammengefügt. Dadurch wird dem Bediener ein besserer Überblick über den Arbeitsvorgang am Arbeitsgerät zur Verfügung gestellt. Zudem kann der Bediener vorteilhafterweise an einem Bildschirm anhand des virtuellen 3D-Bilds eine beliebige Perspektive auf die Maschinenumgebung und/oder das Arbeitswerkzeug der Baumaschine einstellen.
Bevorzugt ist vorgesehen, dass das Fernsteuersystem eine Auswertungseinheit zur automatischen Auswertung der Aufnahmen der mindestens einen bildgebenden Einrichtung aufweist. Das heißt, die Auswertungseinheit kann die, von der oder den Kameras gemachten, Aufnahmen automatisch auswerten und den Bediener damit bei seiner Tätigkeit unterstützen.
Vorteilhafterweise wertet die Auswertungseinheit die Aufnahmen so aus, dass Kollisionsobjekte erkannt werden. Durch diese Maßnahme können Kollisionen von Bauteilen/Arbeitsgeräten automatisch vermieden werden, indem das Fernsteuersystem automatisch vom Bediener eingeleitete Bewegungen der Baumaschine oder beispielsweise der Flugdrohne stoppt, wenn Kollisionen durch eine eingeleitete Bewegung drohen.
Alternativ oder zusätzlich kann die Auswertungseinheit die Aufnahmen derartig auswerten, so dass die mindestens eine bildgebende Einrichtung automatisch an einem Arbeitswerkzeug der Baumaschine ausgerichtet wird. Durch diese Maßnahme kann der Bediener sich beispielsweise auf die Steuerung der Baumaschine konzentrieren, während ihm auf einer Anzeige immer der Arbeitsbereich um das Arbeitswerkzeug angezeigt wird.
Zudem kann die Auswertungseinheit die Aufnahmen beispielsweise derartig auswerten, so dass eine Flugdrohne als bildgebende Einrichtung automatisch zum Landeplatz fliegen kann. Auch durch diese Maßnahme kann der Bediener sich auf die Steuerung der Baumaschine konzentrieren, während die Flugdrohne automatisch zu ihrem Landeplatz, zum Beispiel auf der Baumaschine, fliegt, um beispielsweise die Akkus nachzuladen.
Besonders vorteilhaft ist es, wenn das System mindestens eine zweite Flugdrohne als bildgebende Einrichtung aufweist, welche automatisch die Aufgabe der Aufnahme der Maschinenumgebung und/oder eines Arbeitswerkzeug der Baumaschine von der ersten Drohne übernimmt, wenn der Akku der ersten Drohne aufgeladen werden muss.
Weitere Merkmale, Einzelheiten und Vorteile der Erfindung ergeben sich aufgrund der nachfolgenden Beschreibung sowie anhand der Zeichnungen, die Ausführungsbeispiele der Erfindung zeigen. Einander entsprechende Gegenstände oder Elemente sind in allen Figuren mit den gleichen Bezugszeichen versehen. Es zeigen:

1 Darstellung des erfindungsgemäßen Fernsteuersystem in einer Baustellenumgebung,
2 erfindungsgemäßes Fernsteuersystems in einer ersten Ausführungsform,
3 erfindungsgemäßes Fernsteuersystem in einer zweiten Ausführungsform,
4 schematische Darstellung einer weiteren Baustellenumgebung einer Baumaschine, bei der das erfindungsgemäße Fernsteuersystem eingesetzt wird,
5 Variante der schematischen Darstellung aus 4,
6 schematische Darstellung einer weiteren Arbeitsumgebung einer Baumaschine, bei der das erfindungsgemäße Fernsteuersystem eingesetzt wird,
7a-d schematische Darstellungen verschiedener Anzeigeeinrichtungen des erfindungsgemäßen Fernsteuersystems,
8a, b, c schematische Darstellungen einer erfindungsgemäßen automatischen Kameraausrichtung, und
9a, b schematische Darstellungen einer weiteren erfindungsgemäßen Kameraausrichtung.

In der 1 ist ein erfindungsgemäßes Fernsteuersystem dargestellt, mit dem eine Baumaschine 10, in Form einer auf einem LKW-Fahrgestell angeordneten Autobetonpumpe 10, gesteuert wird. Die Autobetonpumpe 10 ist mit einem Verteilermast 12 ausgestattet, an dessen Ende eine Arbeitseinrichtung 11 in Form eines Endschlauches 11 herabhängt. Die Autobetonpumpe 10 verfügt über eine Betonpumpe 14, mit der, von einem Fahrmischer angelieferter, Frischbeton, der über eine in 1 nicht dargestellte Förderleitung zum Endschlauch 11 gepumpt und von dort auf der Baustelle ausgebracht wird. Ferner zeigt die 1 ein mobiles Endgerät 20 mit Eingabe- und/oder Steuerelementen 21, insbesondere in Form von Joysticks 21a, 21b (2), zur Eingabe von Steuerbefehlen zum Steuern der Autobetonpumpe 10, beziehungsweise des Verteilermastes 12 und der Betonpumpe 14 in einem ersten Betriebsmodus. Die Joysticks 21a und 21b können beispielsweise in die X- und Y-Achse auslenkbar und für eine Steuerung in der Z-Achse drehbar sein. Ferner können durch Herunterdrücken der Joysticks oder Taster an einem Joystick 21a und 21b weitere Funktionen ausgelöst werden, beispielweise die Aufnahme eines Fotos zur Dokumentation der Betonierung.
Ferner ist in 1 eine bildgebende Einrichtung in Form einer Kamera 30 am Ende des Verteilermastes 12, oberhalb des Endschlauches 11 zur Aufnahme des Endschlauches 11 und der näheren Umgebung, beziehungsweise des Ausbringungsortes des Frischbetons, und eine bildgebende Einrichtung in Form einer Flugdrohne 31, an der eine weitere Kamera 30 angeordnet ist, dargestellt. In einem zweiten Betriebsmodus ist die Kamera 30, beziehungsweise die Flugdrohne 31, mit den Eingabe- und/oder Steuerelementen 21, insbesondere den Joysticks 21a und 21b, des mobilen Endgerätes 20 steuerbar. Auch wenn die Flugdrohne 31 selbst keine Aufnahmen machen kann, sondern immer nur in Verbindung mit der an der Flugdrohne 31 angeordneten Kamera 30, wird der Einfachheit halber die Flugdrohne 31 als bildgebende Einrichtung bezeichnet, weil auch durch eine Steuerung der Flugdrohne 31 die Aufnahmeperspektive der Kamera 30 an der Flugdrohne 31 verändert wird. Im Weiteren wird die Erfindung anhand einer Kamera 30 beziehungsweise einer Flugdrohne 31 beschrieben. Es versteht sich, dass auch mehrere Kameras 30 oder mehrere Flugdrohnen 31, die auch jeweils mit mehreren Kameras 30 ausgestattet sein können, von dem erfindungsgemäßen Fernsteuersystem gesteuert werden können.
Für den Fall, dass beide Joysticks 21a, 21b für Steuerung einer mit einer Kamera 30 ausgestatteten Flugdrohne 31 verwendet werden, könnten die Steuerfunktionen der Joysticks 21a, 21b beispielsweise folgendermaßen zugeordnet werden:

Joystick 21a (links):
- x-Achse: Flugdrohne 31: Drehen um die vertikale-Achse
- y-Achse: Kamera 30 an der Flugdrohne 31: Sichtwinkel auf/ab
- z-Achse: Kamera 30 an der Flugdrohne 31: Zoom
Joystick 21b (rechts):
- x-Achse: Flugdrohne 31: Bewegung rechts/links
- y-Achse: Flugdrohne 31: Bewegung vor/zurück
- z-Achse: Flugdrohne 31: Bewegung rauf/runter

In der 2 sind ein mobiles Endgerät 20 eines erfindungsgemäßen Fernsteuersystems und eine Steuereinheit 16 einer Baumaschine dargestellt. Das mobile Endgerät 20 entspricht im Wesentlichen einer heute üblichen (Funk- )-Fernsteuerung mit Eingabe- und oder Steuerelementen 21, insbesondere in Form von Joysticks 21a und 21b zur Fernsteuerung einer Baumaschine 10, beispielsweise zur Fernsteuerung der Betonpumpe 14 und des Verteilermastes 12 einer Autobetonpumpe 10. Das mobile Endgerät 20 umfasst beispielsweise eine Anzeigevorrichtung 40 zur Anzeige der Aufnahme einer bildgebenden Einrichtung 30, 31. Mittels einer Umschalters 23a, der hier als Drehschalter dargestellt ist, aber beispielsweise auch über einen Touchscreen oder Sprachsteuerung bedient werden kann, wird das Fernsteuersystem von einem ersten Betriebsmodus, in dem nur die Autobetonpumpe 10 von den Eingabe- und/oder Steuerelementen 21 gesteuert wird, in einen zweiten Betriebsmodus umgeschaltet, in dem zusätzlich auch die mindestens eine bildgebende Einrichtung 30, 31 von den Eingabe- und/oder Steuerelementen 21 des mobilen Endgerätes 20 steuerbar ist. Das mobile Endgerät 20 umfasst ferner einen Funkempfänger 34b und einen Funksender 35b zum Austausch von Daten mit der Steuereinheit 16 der Autobetonpumpe 10. Die Steuereinheit 16 umfasst für den Austausch von Daten mit dem mobilen Endgerät 20 einen entsprechenden Funkempfänger 34a und einen Funksender 35a. Die Daten zwischen dem mobilen Endgerät 20 und der Steuereinheit 16 können auch über eine Kabelverbindung übertragen werden. Die vom Bediener vorgenommene Einstellung des Umschalters 23a wird an die Umschalteinrichtung 23b der Steuereinheit 16 geleitet, die beispielsweise mittels eines Schalters 29 auswählt, ob das Baumaschinen-Steuermodul 26, das Flugdrohnensteuermodul 27 oder Kamerasteuerungsmodul 28 den Eingabe- und oder Steuerelementen 21, zugeordnet werden. Die Darstellung ist in der 2 stark vereinfacht, denn mit dem Umschalter 23a in Verbindung mit der Umschalteinrichtung 23b kann beispielsweise auch nur der Joystick 21a dem Steuermodul 26 für die Baumaschine 10 zugeordnet werden und der zweite Joystick 21b wird dem Modul 27 für die Steuerung der Flugdrohne 31 oder dem Modul 28 für die Steuerung der Kamera 30 zugeordnet. Alle Einstellungen, bei denen eine oder mehrere bildgebende Einrichtungen 30, 31 beziehungsweise die eine oder mehrere bildgebenden Einrichtungen 30, 31 und gleichzeitig die Autobetonpumpe 10 gesteuert werden, sind im Sinne der Erfindung als zweiter Betriebsmodus zu verstehen, während im ersten Betriebsmodus nur die Autobetonpumpe 10 von den Eingabe- und oder Steuerelementen 21 gesteuert wird. Die Steuermodule 26, 27, 28 steuern die Autobetonpumpe 10, die Kamera 30 und die Flugdrohne 31 über Steuersignalleitungen 32 kabelgebunden oder funktechnisch in geeigneter Weise an. Die Aufnahmen der bildgebenden Einrichtungen 30, 31, beziehungsweise der Kameras 30, werden per Funk oder kabelgebunden über die Bildsignalleitung 33 an die Steuereinheit 16 geleitet und können entweder direkt zur Anzeigevorrichtung 40 des mobilen Endgerätes 20 weitergeleitet werden oder durchlaufen zunächst die Bildverarbeitungseinheit 24, die beispielsweise Aufnahmen mehrerer Kameras 30 zu einem dreidimensionalen Bild verarbeitet, von welchem dann eine einstellbare zweidimensionale Projektion auf der Anzeigevorrichtung 40 dargestellt wird. Die Bildverarbeitungseinheit 24 kann beispielsweise auch die Aufnahmen mehrerer Kameras 30 empfangen und gibt nur die Aufnahme einer Kamera 30, die vom Benutzer in geeigneter Weise auf dem mobilen Endgerät 20 ausgewählt wurde, zur Anzeigevorrichtung 40 weiter. Die Aufnahmen können von der Bildsignalleitung 33 auch zu einer Auswertungseinheit 25 geleitet werden, die die Aufnahmen auswertet, um zum Beispiel die Umgebung der Flugdrohne 31 oder des Verteilermastes 12 auf mögliche Kollisionsgefahren zu untersuchen. Die Auswertungseinheit 25 kann bei Erkennung einer Kollisionsgefahr beispielweise einen Alarmton auslösen oder beispielsweise über die Steuerleitungen 36 und/oder 38 Einfluss auf das Steuerungsmodul 26 oder 27 nehmen um, beispielweise eine Bewegung des Verteilermastes 12 zu unterbinden oder zu ändern oder auf die Position der Flugdrohne 31 Einfluss zu nehmen. Die Auswertungseinheit 25 könnte beispielsweise auch eine Markierung 15 (8a, 8b) am Endschlauch in den Aufnahmen erkennen und über die Steuerleitung 37 beziehungsweise Steuerleitung 38 die Kamera 30 oder die Flugdrohne 31 autonom steuern oder neu positionieren. Die autonome Steuerung der Kamera 30 oder der Flugdrohne 31 kann über die Steuermodule 27, 28 erfolgen. Die Kamera 30 oder die Flugdrohne 31 können aber auch über integrierte Steuermodule für die autonome Steuerung ausgestattet sein. Die Auswertungseinrichtung 25 kann über die Steuerleitung 35 beispielsweise auch Steuerdaten von der Autobetonpumpe 10, insbesondere für die Ansteuerung des Verteilermastes 12, erhalten und dann regelnd auf die Steuermodule 27 und 28 einwirken, um die Position der Flugdrohne 31, beziehungsweise der Kamera 30, automatisch nachzuführen. Die Aufnahmen können auch so ausgewertet werden, dass die Position der Flugdrohne 31 und damit die Ausrichtung der Kamera 30 automatisch verändert wird, wenn der Endschlauch 11 nicht mehr voll einsehbar ist, weil beispielsweise, weil sich Personen im Bereich des Endschlauches 11 aufhalten.
In der 3 ist eine alternative Ausführungsform eines mobilen Endgerätes 20 dargestellt, mit dem sich sowohl die Autobetonpumpe 10 als auch die Kamera 30 beziehungsweise die Flugdrohne 31 steuern lassen, wie in Verbindung mit der 2 bereits beschrieben. Das in 3 dargestellte mobile Endgerät 20 verfügt über mehr Rechenleistung als das in der 2 dargestellte mobile Endgerät 20 und beinhaltet die Steuermodule 26, 27 und 28, sowie die Auswertungseinheit 25 und die Bildverarbeitungseinheit 24, die somit nicht mehr in der Steuereinheit 16 der Autobetonpumpe 10 vorhanden sein müssen. Die Funktionalität dieser Module und Einheiten ist praktisch identisch zu der in Verbindung mit den in 2 beschriebenen Funktionalitäten. Es versteht sich, dass andere Aufteilungen der Einheiten und Module zwischen dem mobilen Endgerät 20 und der Steuereinheit 16 der Autobetonpumpe 10 möglich sind. Die Steuerung der bildgebenden Einrichtungen 30 und 31 und der Empfang der Aufnahmen muss auch nicht immer über die Steuereinheit 16 der Autobetonpumpe 10 erfolgen, sondern mit geeigneten, nicht dargestellten Mitteln, kann die mobile Einrichtung 20 auch direkt mit den bildgebenden Einrichtungen 30, 31 kommunizieren.
Die Flugdrohne 31 kann beispielsweise mit einem Positioniersystem, zum Beispiel einem baustellenfesten Funk-Positionssystem oder GPS, ausgestattet sein, so dass diese nach einem Steuervorgang bzw. einer Neupositionierung automatisch ihre Position bis zur nächsten Ansteuerung beibehält.
Bei der Steuerung eines Verteilermastes 12 einer Autobetonpumpe 10 werden die Bewegungen der einzelnen Gelenke des Verteilermastes 12 üblicherweise mit den zwei Joysticks 21a und 21b angesteuert. Möglich ist aber auch, die einzelnen Gelenke des Verteilermastes 12 mit nur einem Joystick 21a zu steuern, wobei der Bediener an dem einen Joystick 21a nur die Richtung des Endschlauches 11 (vor/zurück; auf/ab) vorgibt und das Steuermodul 26 die Ansteuerung der einzelnen Mastgelenke des Verteilermastes 12 vornimmt (sogenannte Einhebelsteuerung). Wenn der Verteilermast 12 beispielsweise nur mit dem linken Joystick 21a gesteuert wird, kann im zweiten Betriebsmodus der rechte Joystick 21b für die Steuerung der Kamera 30 beziehungsweise der Flugdrohne 31 verwendet werden. Ebenso denkbar ist, dass im zweiten Betriebsmodus einzelne Achsen der Joysticks 21a, 21b zwischen der Steuerung der Baumaschine 10 und der Steuerung der bildgebenden Einrichtungen 30,31 aufgeteilt werden. Der Bediener kann auf diese Art und Weise einfach die Baumaschine 10 und gleichzeitig eine bildgebenden Einrichtungen 30, 31 steuern.
Für den Fall, dass beide Joysticks 21a, 21b für Steuerung einer mit einer Kamera 30 ausgestatteten Flugdrohne 31 verwendet werden, könnten die Funktionen der Joysticks 21a, 21b beispielsweise folgendermaßen zugeordnet werden:

Wenn die Joysticks 21a und 21b im zweiten Betriebsmodus sowohl für die Steuerung der Autobetonpumpe 10 als auch für die Steuerung der bildgebenden Einrichtungen 30, 31 verwendet werden, könnte die Belegung beispielsweise folgendermaßen gestaltet werden:

Linker Joystick:
- x-Achse: Flugdrohne 31: Kreisbahn um den Endschlauch herum
- y-Achse: Baumaschine 10/Einhebelsteuerung: Neigung der Mastspitze anpassen
- z-Achse: Kamera 30: Zoom
Rechter Joystick
- x-Achse: Baumaschine 10: Verteilermast 12 drehen
- y-Achse: Baumaschine 10: Endschlauch 11 vor/zurück
- z-Achse: Baumaschine 10: Endschlauch 11 heben/senken

Beispielsweise ändert die Flugdrohne 31 bei einer Kreisbahn um den Endschlauch 11 die Perspektive auf den Endschlauch 11. Die Flugdrohne 31, beziehungsweise die daran angebrachte Kamera 10, bleiben dabei automatisch auf den Endschlauch 11 ausgerichtet.
Die Flugdrohne 31 steuert in diesem Fall einen Teil ihrer Freiheitsgrade, beispielsweise mittels eines eingebauten Gyrometers, GPS, Umgebungsbeobachtung oder ähnlichem, autonom.
In 4 ist ein beispielhaftes Baustellenszenario dargestellt, bei der das erfindungsgemäße Fernsteuersystem eingesetzt wird. Die Baumaschine 10 besteht in diesem Fall aus einer sogenannten Stationär- beziehungsweise Anhängerbetonpumpe 14 mit einer Förderleitung 13 und einem, auf einem Bauwerk 50 angeordnetem, Verteilermast 12 für die Verteilung des Frischbetons mittels eines Endschlauches 11. Der Frischbeton wird von einem Fahrmischer 60 in den Aufgabetrichter der Stationärpumpe 14 übergeben. Weil ein Bediener nicht gleichzeitig die Stationärpumpe 14, insbesondere den Betonübergabevorgang vom Fahrmischer 60 in die Pumpe 14, und den Verteilermast 12 beobachten kann, waren bisher für derartige Baustellen in der Regel zwei Bediener erforderlich, die die Vorgänge beobachten und beispielsweise über ein Funkgerät miteinander kommunizieren. In dem erfindungsgemäßen Szenario reicht ein Bediener aus, der sich, wie in 3 dargestellt, im Bereich der Stationärpumpe 14 aufhält und den Betoniervorgang mit dem erfindungsgemäßen Fernsteuersystem kontrolliert. Auf dem Bauwerk 50 ist beispielsweise eine Kamera 30 an einer Wand oder einem Haltepfosten 51 in einigen Metern Höhe installiert und auf den Betonierbereich ausgerichtet. Die Kamera 30 kann mit Stellmotoren zur Steuerung ihrer Ausrichtung vom Bediener vom mobilen Endgerät 20 aus mit einem der Joysticks 21a, 21b im zweiten Betriebsmodus gesteuert werden. Zudem kann der Bediener die Kamera 30 beispielsweise auch Ein- und Auszoomen. Durch eine zweite Kamera 30, die auf der anderen Seite des Verteilermastes 12 oder neben der ersten Kamera 30 angeordnet ist, können die Kameraaufnahmen für eine 3D-Visualisierung- beziehungsweise räumliche Aufnahme zusammengefügt werden. Alternativ oder zusätzlich kann über dem Betonierbereich eine Flugdrohne 31 mit einer Kamera 30 positioniert sein, die ebenfalls mit dem erfindungsgemäßen Fernsteuersystem vom Bediener gesteuert wird. Falls die Flugdrohne 31 aufgrund der baulichen Gegebenheiten nicht so positioniert werden kann, so dass der Endschlauch 11, bei senkrecht nach unten ausgerichteter Kamera 30, gut sichtbar ist, kann die Flugdrohne 31 auch seitlich des Verteilermastes 12 positioniert und die Kamera 30 so ausgerichtet werden, dass der Bediener den Betonierbereich gut einsehen kann. Zusätzlich zu der Bildübertragung können auch ein oder mehrere Mikrofone im Betonierbereich angeordnet sein, so dass Arbeiter im Betonierbereich Anweisungen an den Bediener geben können. Umgekehrt kann die bildgebende Einrichtung 30, 31 auch mit einem Lautsprecher zur Ausgabe von Anweisungen für die Arbeiter am Endschlauch 11 ausgestattet sein.
In der 5 ist ein ähnliches Baustellenszenario dargestellt, bei dem der Bediener mit der mobilen Einrichtung 20 auf dem Bauwerk 50 mit direktem Sichtkontakt zum Verteilermast 12 steht und diesen steuert. Oberhalb der Stationärpumpe 14, beziehungsweise des Fahrmischers 60, ist eine Flugdrohne 31 mit einer Kamera 30 positioniert, mit deren Hilfe der Bediener den Betonübergabevorgang auf einer Anzeigevorrichtung 40 (7a-d) beobachten kann. Wenn der Aufgabetrichter der Stationärpumpe 14 vom Fahrmischer 60 ausreichend gefüllt ist, kann der Bediener über das mobile Endgerät 20 die Pumpleistung der Stationärpumpe 14 erhöhen aber auch reduzieren oder stoppen, wenn kein oder wenig Frischbeton vom Fahrmischer 60 abgegeben wird.
In 6 ist ein ähnliches Baustellenszenario wie in 3 dargestellt, bei dem zwischen einer Autobetonpumpe 10 und dem Betonierfeld ein Gebäude 50 steht. Der Verteilermast 12 wird dafür über das Gebäude 50 geführt, so dass der Bediener, der im Bereich der Autobetonpumpe 10 steht, den Betonierbereich nicht einsehen kann. Eine Flugdrohne 31 mit einer Kamera 30 ist im Bereich des Endschlauchs 11 positioniert und sendet Aufnahmen zum mobilen Endgerät 20, mit dem der Bediener im zweiten Betriebsmodus sowohl die Autobetonpumpe 10 mit dem Verteilermast 12 als auch die Flugdrohne 31 mit der Kamera 30 steuert.
In den 7a-c sind mögliche Varianten zur Anordnung der Anzeigevorrichtung 40 dargestellt. Die 7a zeigt eine fest im mobilen Endgerät 20 angeordnete Anzeigevorrichtung 40, wie sie in Verbindung mit den 1, 2 und 3 beschrieben wird. Die 7b zeigt ein Smartphone oder Tablet-Computer 41 mit einer Anzeigevorrichtung 40, das beispielsweise mit einer geeigneten Aufnahmevorrichtung am mobilen Endgerät 20 befestigt ist. Die Aufnahmen der Kamera 30 können beispielsweise auch direkt, z.B. über eine WLAN-Funkverbindung, an das Smartphone 31 gesendet werden oder werden in geeigneter Weise vom mobilen Endgerät 20 über eine Funk- oder Kabelverbindung an das Smartphone 41 übertragen. Am mobilen Endgerät 20 kann zudem eine weitere Anzeigeeinrichtung angeordnet sein, auf der die Maschinendaten und das Steuerungsmenü, wie bisher üblich, dargestellt werden. Die 7c zeigt eine Variante der 7a, bei der die Anzeigevorrichtung 40 beweglich am mobilen Endgerät 20 angeordnet ist. Bei der 7d ist die Anzeigevorrichtung 40 beispielhaft an einer Stationärpumpe 14 gut sichtbar für den Bediener angeordnet. Die Anzeigevorrichtung 40 kann beispielsweise auch an einer Autobetonpumpe 10, beziehungsweise in der Fahrerkabine der Autobetonpumpe 10, angeordnet sein, so dass der Bediener alle Vorgänge bequem von der Fahrerkabine aus steuern kann. Ebenso ist es denkbar, dass ein Bediener mit dem hier vorgestellten Fernsteuersystem auch von einem weiter entfernten Standort oder von einem Baucontainer aus sowohl die Autobetonpumpe 10 als auch die bildgebenden Einrichtungen 30, 31 steuert. Zusätzlich oder alternativ könnte die Anzeigevorrichtung 40 auch Teil einer nicht dargestellten Augmented-Reality Brille sein, welche das Kamerabild in das normale Sichtfeld des Bedieners einblendet. Weiterhin könnte die Anzeigevorrichtung 40 auch Teil einer Virtual-Reality-Brille sein, die dem Bediener unter Umständen auch eine weitwinkligere Perspektive auf das Betonierfeld ermöglicht.
Die Flugdrohne 31 kann beispielsweise auch mit einem Radar- Lidar- oder ähnlichem System zur Vermeidung eigener Kollisionen oder Kollisionen des beispielsweise beobachteten Verteilermastes 12 ausgestattet sein und damit die eigene Position autonom korrigieren oder über die Auswertungseinheit 25 Einfluss auf die Position beziehungsweise Bewegung des Verteilermastes 11 nehmen.
Die 8a, 8b und 8c zeigen, wie weiter oben schon erläutert, wie mithilfe einer Objekterkennung, beispielsweise mittels der Auswertungseinheit 25, eine an der Spitze des Verteilermastes 12 angebrachte Kamera 30 automatisch ausgerichtet werden kann. Am Endschlauch 11 ist beispielsweise eine Markierung 15 angebracht, die von der Auswertungseinheit 25 erkannt wird. Die Auswertungseinheit 25 wirkt dann bei einer Änderung der Neigung des letzten Mastsegmentes des Verteilermastes 12 so auf das Steuermodul 28 für die Kamera 10 ein, dass die Markierung 15 immer in der Mitte der Aufnahme oder einer vom Benutzer ausgewählten Position dargestellt wird. Alternativ könnte die Ausrichtung der Kamera 30 auch automatisch einer Mastbewegung folgen, das heißt, wenn der Bediener die Neigung des letzten Mastsegmentes verändert, wird die Neigung der Kamera 10 automatisch in die entgegengesetzte Richtung nachjustiert. In der 8c sind an der Spitze des Verteilermastes zwei Kameras 30 angeordnet, so dass eine zweite Kamera 30 die Bildübertragung übernehmen kann, wenn die Neigung des letzten Mastsegmentes über 90 Grad hinausgeht.
Die 9a und 9b zeigen beispielhaft zwei Möglichkeiten der Anbringung der Kamera 30 am Drehturm des Verteilermastes 12, beziehungsweise am ersten Mastsegment des Verteilermastes 12. Aus dieser Perspektive kann der Bediener die gesamte Stellung des Verteilermastes 12 und beispielsweise auch den Ein- und Ausfaltvorgang des Verteilermastes 12 einsehen und gegebenenfalls ohne Sichtverbindung zum Verteilermast 12 steuern. Insbesondere bei der Anordnung der Kamera 30 am ersten Segment des Verteilermastes 12 kann die Ausrichtung der Kamera 30 auch den Mastbewegungen folgen, so dass der Bereich um den Endschlauch 11 immer gut auf den Aufnahmen sichtbar ist.
Die Kamera 30 kann beispielsweise mit einem Weitwinkel- oder Fischaugenobjektiv ausgestattet sein. Zur besseren Interpretierbarkeit der Aufnahmen ist es von Vorteil, die Aufnahmen mit Hilfe der Bildverarbeitungseinheit 24 zu entzerren bevor diese auf der Anzeigevorrichtung 40 dargestellt werden.
Die bildgebenden Einrichtungen 30, 31 könnten auch schon vor dem Ausfalten des Verteilermastes 12 die Arbeitsumgebung auf mögliche Hindernisse überprüfen, die dann beim Ausfalten des Verteilermastes 12 automatisch berücksichtigt werden.
Weil Flugdrohnen eine begrenzte Akkukapazität haben, ist es von Vorteil, den Ladezustand des Akkus beispielsweise auf der Anzeigevorrichtung 40 darzustellen. Durch den Einsatz von zwei Flugdrohnen 31 kann die Kameraüberwachung auch über einen längeren Zeitraum aufrechterhalten werden, wobei sich die Flugdrohnen 31 abwechselnd im Einsatz befinden und eine Ladestation am Landeplatz 42 anfliegen. Sobald die eine frisch aufgeladene Flugdrohne 31 die Überwachung des Arbeitsbereiches aufgenommen hat, kann die andere Flugdrohne 31 den Landeplatz 42 mit der Ladestation anfliegen. Ein Marker am Landeplatz für die Bildverarbeitung kann das autonome Anfliegen vereinfachen. Alternativ oder zusätzlich sind der Landeplatz 42 und die Flugdrohne 31 mit GPS-Sensoren ausgestattet, um das Anfliegen zu erleichtern. Das Laden der Flugdrohne 31 erfolgt beispielsweise über eine kontaktlose Ladetechnologie (beispielsweise induktiv, resonant oder induktiv), um das Anschließen eines Ladesteckers an der Flugdrohne 31 zu vermeiden.
Bezugszeichenliste

10: Baumaschine/Autobetonpumpe
11: Arbeitswerkzeug/Endschlauch
12: Verteilermast
13: Förderleitung
14: Betonpumpe/Stationärpumpe
15: Markierung
16: Steuereinheit
20: Mobiles Endgerät
21 21a, 21b: Eingabe- und/oder Steuerelemente
23 23a, 23b: Umschalteinrichtung
24: Bildverarbeitungseinheit
25: Auswertungseinheit
26: Steuermodul Baumaschine
27: Steuermodul Flugdrohne
28: Steuermodul Kamera
30: Kamera
31: Flugdrohne
32: Steuersignalleitung
33: Bildsignalleitung
34 a,b: Funkempfänger
35 a, b: Funksender
36: Steuerleitung
37: Steuerleitung
38: Steuerleitung
40: Anzeigevorrichtung
41: Smartphone/Tablet
42: Landeplatz
50: Bauwerk
51: Wand/Haltepfosten
60: Fahrmischer

Claims

Fernsteuersystem für eine Baumaschine (10), aufweisend: - ein mobiles Endgerät (20) mit Eingabe- und/oder Steuerelementen (21, 21a, 21b) zum Steuern der Baumaschine (10) in einem ersten Betriebsmodus, - mindestens eine bildgebende Einrichtung (30, 31) zur Aufnahme der Maschinenumgebung und/oder eines Arbeitswerkzeugs (11) der Baumaschine (10), wobei die Position und/oder Ausrichtung der mindestens einen bildgebenden Einrichtung (30, 31) steuerbar ist, - wobei in einem zweiten Betriebsmodus die mindestens eine bildgebende Einrichtung (30, 31) mit den Eingabe- und Steuerelementen (21, 21a, 21b) des mobilen Endgerätes (20) steuerbar ist.
Fernsteuersystem für eine Baumaschine (10) nach Anspruch 1, dadurch gekennzeichnet, dass die von dem mobilen Endgerät (20) im zweiten Betriebsmodus gesteuerte und/oder ausgerichtete mindestens eine bildgebende Einrichtung (30, 31) eine an der Baumaschine (10) angeordnete Kamera (30) oder eine außerhalb der Baumaschine (10) angeordnete Kamera (30) ist.
Fernsteuersystem für eine Baumaschine (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die von dem mobilen Endgerät (20) gesteuerte und/oder ausgerichtete mindestens eine bildgebende Einrichtung (30, 31) eine mit einer Kamera (30) ausgestatte Flugdrohne (31) ist und dass in dem zweiten Betriebsmodus die Flugdrohne (31) und/oder die Kamera (30) an der Flugdrohne (31) mit den Eingabe- und Steuerelementen (21, 21a, 21b) steuerbar sind.
Fernsteuersystem für eine Baumaschine (10) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Eingabe- und/oder Steuerelemente (21, 21a, 21b) des mobilen Endgerätes (20) einen ersten und einen zweiten Joystick (21a, 21b) umfassen und wobei im zweiten Betriebsmodus die Baumaschine (10) mit dem ersten Joystick (21a) und die mindestens eine bildgebende Einrichtung mit dem zweiten Joystick (21b) steuerbar und/oder ausrichtbar sind.
Fernsteuersystem für eine Baumaschine (10) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Eingabe- und/oder Steuerelemente (21, 21a, 21b) des mobilen Endgerätes (20) einen ersten und einen zweiten Joystick (21a, 21b) umfassen und wobei im zweiten Betriebsmodus die Flugdrohne (31) mit dem ersten Joystick (21a) und die Kamera (30) an der Flugdrohne (31) mit dem zweiten Joystick (21b) steuerbar und/oder ausrichtbar sind.
Fernsteuersystem für eine Baumaschine (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Aufnahmen der mindestens einen bildgebenden Einrichtung (30, 31) an das mobile Endgerät (20) übertragbar sind und dass das mobile Endgerät (20) eine Anzeigevorrichtung (40) zur Anzeige der Aufnahmen aufweist.
Fernsteuersystem für eine Baumaschine (10) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Aufnahmen der mindestens einen bildgebenden Einrichtung (30, 31) zur Anzeige an ein Smartphone (41) oder ein Tabletcomputer (41) oder eine Augmented-Reality Brille oder eine Virtual-Reality Brille übertragbar sind.
Fernsteuersystem für eine Baumaschine (10) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Aufnahmen der mindestens einen bildgebenden Einrichtung (30, 31) an eine Anzeigevorrichtung (40), die an oder in der Baumaschine (10) angeordnet ist, übertragbar und darauf anzeigbar sind.
Fernsteuersystem für eine Baumaschine (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fernsteuersystem mindestens zwei bildgebende Einrichtungen (30, 31) zur Aufnahme der Maschinenumgebung und/oder eines Arbeitswerkzeugs (11) der Baumaschine (10) und eine Bildverarbeitungseinheit (24) umfasst, wobei die Bildverarbeitungseinheit (24) die Aufnahmen der mindestens zwei bildgebenden Einrichtungen (30, 31) zu einem dreidimensionalen Bild zusammenfügt.
Fernsteuersystem für eine Baumaschine (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fernsteuersystem eine Auswertungseinheit (25) zur automatischen Auswertung der Aufnahmen der mindestens einen bildgebenden Einrichtung (30, 31) aufweist.
Fernsteuersystem für eine Baumaschine (10) nach Anspruch 10, dadurch gekennzeichnet, dass die Auswertungseinheit (25) die Aufnahmen so auswertet, dass Kollisionsobjekte erkannt werden.
Fernsteuersystem für eine Baumaschine (10) nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Auswertungseinheit (25) die Aufnahmen so auswertet, dass die mindestens eine bildgebende Einrichtung (30, 31) automatisch an dem Arbeitswerkzeug (11) der Baumaschine (30) ausgerichtet werden kann.
Fernsteuersystem für eine Baumaschine (10) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Auswertungseinheit (25) die Aufnahmen so auswertet, dass die Flugdrohne (31) als bildgebende Einrichtung automatisch zu einem Landeplatz (42) fliegen kann.
Verfahren zur Steuerung einer Baumaschine (10), bei dem ein Bediener die Baumaschine (10) mittels Eingabe- und/oder Steuermitteln (21), insbesondere Joysticks (21a, 21b), eines mobilen Endgerätes (20) in einem ersten Betriebsmodus steuert, und dem Bediener Aufnahmen der Maschinenumgebung und/oder eines Arbeitswerkzeugs (11) der Baumaschine (10) von mindestens einer steuerbaren/ausrichtbaren bildgebenden Einrichtung (30, 31) bereitgestellt werden, dadurch gekennzeichnet, dass der Bediener die Eingabe- und/oder Steuermittel (21, 21a, 21b) des mobilen Endgerätes (20) in einem zweiten Betriebsmodus zur Steuerung und/oder Ausrichtung der mindestens einen bildgebenden Einrichtung (30, 31) verwendet.