-
Stand der Technik
-
Die Überwachung autonomer Maschinen, insbesondere in Form von Fahrzeugen, erfolgt durch menschliches Personal / Bediener. Wenn eine Situation oder Aufgabe durch die Automatisierung nicht geleistet werden kann, ist ein manueller Eingriff durch das Personal nötig. Dieser kann vor Ort (der Bediener muss zur Maschine, z.B. ein Fahrer zu einem Fahrzeug, gelangen) oder auch aus einer Leitwarte per Fernsteuerung / Fernbedienung erfolgen. Dadurch ändert sich die Rolle des Personals von der reinen Überwachung der Maschine/ des Fahrzeugs zur Bedienung (Bediener, Teleoperator). Es sind HMI (Human Machine Interface / Mensch-Maschine-Schnittstelle)- Konzepte (Direct Control) für den Teleoperator bekannt, die das HMI des Fahrzeugs / der Maschine nachempfinden. Bei abstrakteren Bedienkonzepten gibt der Teleoperator z. B. eine zu fahrende Bahnkurve / Trajektorie vor (Indirect Control).
-
Weiterhin sind Verfahren bekannt, die eine deterministische Latenzzeit bei der Datenübertragung zwischen Fahrzeug / Maschine und Teleoperator ermöglichen. Dies bedeutet, dass eine Datenübertragung, z.B. die Übertragung eines die Maschine und/oder deren Umgebung zeigendes Videobild / Frame, nach einer maximalen oder genau definierten Latenzzeit (z.B. 300ms) erfolgt.
-
Offenbarung der Erfindung
-
Gegenstand der Erfindung ist eine Einrichtung gemäß Anspruch 1 und ein Verfahren gemäß dem Anspruch 11. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung sowie anderer Erfindungskategorien (Computerprogramm, Computerlesbares Medium) ergeben sich aus den weiteren Ansprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
-
Die Einrichtung dient bzw. ist eingerichtet zur Überwachung einer realen Maschine. Die Maschine befindet sich dabei in einem realen Umfeld, das heißt einer realen Umgebung. Die Maschine ist durch einen menschlichen Bediener anhand eines realen Steuerbefehls steuerbar bzw. wird durch diesen gesteuert. Mit anderen Worten setzt die Erfindung voraus, dass eine entsprechende Situation gegeben ist, also die reale Maschine durch den Bediener steuerbar ist usw.
-
Die Einrichtung enthält einen Steuereingang. Dieser dient bzw. ist eingerichtet zur Eingabe bzw. Entgegennahme wenigstens eines Steuerbefehls, insbesondere von Steuerbefehlen, welche von dem Bediener an die reale Maschine gesendet werden. Mit anderen Worten werden am Steuereingang die vom Bediener zur Maschine hin abgesendeten Steuerbefehle abgezweigt bzw. mitgehört. Der Bediener bedient sich zur Erzeugung bzw. Ausgabe der Steuerbefehle an die Maschine und die Einrichtung insbesondere einer HMI, insbesondere in einer Leitwarte, die zur Überwachung und Steuerung der Maschine dient.
-
Die Einrichtung enthält ein Maschinenbeobachtermodul. Dieses ist dazu eingerichtet, anhand des Steuerbefehls / der Steuerbefehle ein virtuelles Maschinenmodell der Maschine in Echtzeit zu simulieren. Mit anderen Worten wird ein Beobachter geschaffen, welcher im fachüblichen Rahmen versucht, die Maschine und deren Verhalten / Reaktion auf Steuerbefehle in allen für den jeweiligen Anwendungszweck notwendigen Aspekten nachzubilden bzw. das Verhalten der realen Maschine virtuell zu prädizieren. Dies geschieht in fachüblicher Weise unter Zuhilfenahme verschiedener Zusatzinformationen, wie zum Beispiel den notwendigen physikalischen / dynamischen Charakteristiken der Maschine und des Umfeldes, in welchem sich die Maschine gerade befindet usw.
-
Die Einrichtung enthält weiterhin ein Bildbeobachtermodul. Dieses ist dazu eingerichtet, anhand des Maschinenmodells ein virtuelles Bildmodell des Umfeldes der Maschine in Echtzeit zu simulieren. Für das Bildmodell gelten sinngemäß die Ausführungen zum Maschinenmodell von oben, d.h. dieses wird in fachüblicher Weise in Form eines Beobachters dem realen Umfeld nachgeführt, um virtuell möglichst die Entwicklung des realen Umfeldes in Reaktion auf die Steuerung der realen Maschine anhand der Steuerbefehle nachzubilden bzw. zu simulieren bzw. zu prädizieren. Das Bildmodell enthält neben dem Umfeld der Maschine insbesondere auch zumindest Teile der oder die gesamte Maschine. Das Bildmodell dient dazu, anschließend virtuelle Abbildungen des Umfeldes /der Maschine im Umfeld schaffen zu können. Das Bildbeobachtermodul ist ferner eingerichtet, das in Echtzeit simulierte virtuelle Bildmodell an ein Anzeigemodul, insbesondere ein der Einrichtung (4) zugeordnetes oder an der Einrichtung (4) angeordnetes Anzeigemodul, zur Anzeige mittels des Anzeigemoduls (14) in Echtzeit auszugeben.
-
Die Einrichtung enthält optional weiterhin ein Anzeigemodul. Dieses ist dazu eingerichtet, das Bildmodell bzw. daraus gewonnenen virtuelle Ansichten / Sichten des Umfeldes / der Maschine in Echtzeit zu erzeugen und auszugeben und damit anzuzeigen. „Anzeigen“ ist hier weit zu verstehen und schließt auch die Ausgabe von Bilddaten ein, die dann außerhalb der Einrichtung anzeigbar sind, z.B. auf einem Bildschirm einer Leitwarte. Das Anzeigemodul kann also, muss aber kein Anzeigegerät enthalten. Die Anzeige erfolgt insbesondere an den Bediener, sodass der Bediener das Bildmodell bzw. daraus gewonnene Ansichten / Abbildung betrachten kann.
-
Mit anderen Worten wird über das Anzeigemodul also eine Sicht / Ansicht einer virtuellen Situation angezeigt, die in Echtzeit darstellt, wie (gemäß Prädiktion von Maschinenmodell und Bildmodell) sich die reale Maschine im realen Umfeld vermutlich verhält. Mit anderen Worten wird eine tatsächliche Echtzeitabbildung der Maschine mit Umgebung angenähert bzw. prädiziert. Somit ist eine Überwachung der Maschine in Echtzeit möglich. Insbesondere kann in Echtzeit eine (prädizierte / simulierte) Reaktion der Maschine im Umfeld betrachtet werden, was eine verzögerungsfreie Echtzeit-Steuerung der Maschine ermöglicht.
-
Die Maschine ist insbesondere eine Arbeitsmaschine oder ein Fahrzeug, insbesondere eine autonom arbeitende und / oder sich bewegende / fahrende Maschine. Die Steuerung dient wie oben beschrieben insbesondere zur zusätzlichen Steuerung oder Notsteuerung für den Fall, dass eine autonome Arbeit / Fahrt der Maschine nicht gewünscht oder nicht möglich ist.
-
Aus Plausibilitätsgründen wird die Erfindung teils anhand eines Fahrzeuges als Maschine erläutert. Die Aussagen gelten jedoch sinngemäß gegebenenfalls auch für andere in Frage kommende fahrende oder nicht fahrende, insbesondere autonom arbeitende, Maschinen, die zu überwachen und ggf. zu steuern sind.
-
Dargestellt / ausgegeben auf dem Anzeigemodul wird also insbesondere eine virtuelle Arbeitssituation der Arbeitsmaschine oder ein virtueller Fahrzustand des Fahrzeuges. Entsprechende Steuerbefehle sind insbesondere: Lenken, Bremsen, Beschleunigen eines Fahrzeuges, Anheben oder Absenken einer Gabel eines Gabelstaplers, einer Schaufel eines Baggers, Betriebs-, Schwenkzustände eines Arbeitsgerätes eines Traktors usw.
-
Das Anzeigemodul bzw. das virtuelle Bildmodell enthält/ zeigt insbesondere das Umfeld der Maschine mit oder ohne Maschine, zum Beispiel eine Vogelperspektive / eine Seitenansicht auf ein Fahrzeug, eine Ansicht der Umgebung eines Fahrzeuges in Fahrtrichtung vom Fahrzeug aus gesehen usw.
-
Mit anderen Worten wird eine virtuelle Ansicht der Maschine selbst und oder von der Maschine aus einschließlich des Umfeldes der Maschine virtuell erzeugt / dargestellt. Die Ausdrücke „Bild“, „Anzeige“ sind insbesondere im weitesten Sinne zu verstehen und umfassen dann auch Informationen / Darstellungen beliebiger Umfeld-Sensorik, wie zum Beispiel von Abstandssensoren, Radarsensoren, Bildmaterial im sichtbaren oder anderen Spektralbereichen usw.
-
Der Ausdruck „anhand“ des Steuerbefehls / Maschinenmodells ist so zu verstehen, dass der Steuerbefehl / das Maschinenmodell in Gänze oder nur zum Teil oder aus diesen abgeleitete Parameter in die Simulation einfließen. Mit anderen Worten werden Aspekte / Parameter des Steuerbefehls / Maschinenmodells in der Simulation / Prädiktion verwendet.
-
Gemäß der Erfindung ergibt sich somit ein Verfahren für die Überwachung und auch Fernbedienung / -steuerung von Maschinen / Fahrzeugen. Es ergibt sich ein modellbasierter Beobachter zur Realisierung einer Echtzeitsteuerung bei eingeschränkter Performance einer Datenübertragung zwischen Leitwarte / HMI und Maschine bzw. Datenübertragung von der Maschine oder aus der Umgebung der Maschine zurück zum Bediener/ Überwacher.
-
Die Erfindung beruht auf folgenden Erkenntnissen: Die Fernbedienung von Fahrzeugen oder mobilen Arbeitsmaschinen erfolgt durch einen Teleoperator (Bediener). Die Erfindung geht insbesondere davon aus, dass es keinen direkten Sichtkontakt zwischen dem Operator und der Maschine bzw. dem Fahrzeug gibt. Dem Teleoperator werden daher Bildinformationen / Kamerabilder aus dem Umfeld des Fahrzeugs präsentiert, anhand er die Maschine überwacht und auch steuert / bedient. Bei hoher Übertragungsrate kommt es bei der Übertragung von Bildinformationen zum Verlust von Einzelbildern. Das erfindungsgemäße Verfahren realisiert auch bei Auftreten sporadischer Bildverluste einen kontinuierlichen Bildverlauf, da das virtuelle Modell der Maschine in der Einrichtung verfügbar ist und entsprechend simulierte Abbildungen des Echtzeitverhaltens der Maschine möglich sind, ohne eine tatsächliche Datenübertragung von der Maschine zum Bediener in Echtzeit zu benötigen. Die Bedienbarkeit der Maschine für den Teleoperator wird dadurch verbessert. Die Operatorsicht (vermittels Darstellung mit/ auf dem Anzeigemodul) stellt Fahrzeugbewegungen und Reaktion auf Steuerbefehle entsprechend dem natürlichen Fahrzeugverhalten (abgebildet durch die virtuelle Simulation) dar.
-
Gemäß der Erfindung werden Latenzzeiten (eingeschränkte Performance der Datenübertragung) zwischen Maschine und Teleoperator kompensiert. Auf eine hochperformante Datenverbindung zwischen insbesondere Fahrzeug und Bediener kann somit verzichtet werden. Somit wird ein Fahrzeugeinsatz auch an Orten bzw. zu Zeiten mit einer geringen Übertragungsperformance und ermöglicht und die Betriebskosten werden reduziert (verringertes Datenvolumen bzw. Latenzanforderungen). Das Verfahren ist in gleicher Weise insbesondere für Fahrzeuge (PC: passenger car, PKW, Personenkraftwagen / CV: commercial vehicle, LKW, Lastkraftwagen) oder mobile Arbeitsmaschinen (Radlader, Gabelstapler, Traktoren,...) einsetzbar.
-
Gemäß der Erfindung wird dem Teleoperator ein möglichst realistischer Betrieb der Maschine ermöglicht. Insbesondere wird eine detailreiche Darstellung des Umfeldes der Maschine ermöglicht. So sind ein großes Sichtfeld, hohe Bildauflösung, Erkennung und Darstellung von Objekten möglich. Die Darstellung von Fahrzeugbewegung erfolgt in Echtzeit. Es erfolgt eine verzögerungsfreie Darstellung der Pose der Maschine (Lage, Zustand, Verhalten der Maschine in der Umgebung). Hohe Bildwiederholraten bei der Anzeige der (virtuellen) Umgebung von typischerweise 16 bis 24 Bildern pro Sekunde (fps, Frames per second) sind möglich, um Bewegungen flüssig darzustellen. Die Erfindung ermöglicht die Darstellung / Wiedergabe der unmittelbaren Reaktion des Fahrzeugs bzw. der Maschine auf Steuervorgaben des Operators.
-
Hintergrund der Erfindung ist, dass das reale Fahrzeug sowie die virtuelle Darstellung für den Teleoperator unmittelbar, d.h. mit unmerklich kurzen Verzögerungen, auf die Vorgaben des Teleoperators reagieren müssen. Gemäß der Erfindung ergibt sich eine Toleranz gegen minderperformante Datenübertragung, es ergibt sich eine Reduktion der zu übertragenen Datenmenge, und die Akzeptanz höherer und nicht konstanter Latenzzeit.
-
„Echtzeit“ schließt hier in fachüblicher Weise tolerierbare Latenzen ein. Die maximal mögliche Latenzzeit, bei der noch eine komfortable Fernsteuerung / Überwachung „in Echtzeit“ möglich ist, hängt zum Beispiel bei Fahrzeugen von der Fahrgeschwindigkeit, der Dynamik, Fahrzustände zu ändern (Lenken Bremsen beschleunigen) sowie dem Sichtfeld der Umfeldsensorik ab. „Echtzeit“ ist somit in dem Sinne zu verstehen, dass zumindest die Darstellung des virtuellen Bildmodells / dessen Anzeige innerhalb der maximal tolerierbaren Latenzzeit erfolgt.
-
Die Erfindung eignet sich insbesondere zum Einsatz bei autonom fahrenden Nutzfahrzeugen und autonomen mobilen Arbeitsmaschinen, welchen derzeit ein großer Markt prognostiziert wird. Die Algorithmen, welche die entsprechende Autonomie realisieren, werden aber auf absehbare Zeit nicht allen möglichen Situationen / Aufgaben autonom meistern / leisten können; hiervon geht die Erfindung aus. In diesen Fällen ist menschlicher Eingriff (Bediener) notwendig, idealerweise durch den Fernzugriff eines Teleoperators per Steuerbefehl. Für die Typen-Zulassung (Homologation) autonomer Fahrzeuge ist eine Teleoperation / Fernbedienung vorgeschrieben und wird auch im Rahmen der Homologationstests überprüft. Da nicht an jedem Ort eine hochperformante Netzabdeckung (Fernsteuerung der Maschine über ein Datennetz, Rückmeldung von Informationen / Bilddaten aus dem Umfeld) gegeben ist, kommt das erfindungsgemäße Verfahren dort besonders vorteilhaft zum Einsatz.
-
Gemäß der Erfindung ergibt sich also ein Verfahren für die Überwachung von Fahrzeugen und Maschinen (mit prädizierter Sicht). Dies macht eine entsprechende Fernbedienung der Maschine mit Hilfe der prädizierten Sicht möglich. „Prädizierte Sicht“ bedeutet die Betrachtung des virtuellen Bildmodells am / mit Hilfe des Anzeigemoduls durch den Bediener.
-
Gemäß einem Aspekt der Erfindung ist die Einrichtung eingerichtet, innerhalb einer Verzögerungszeit ab Eingabe bzw. Empfang des Steuerbefehls mittels des Steuereingangs das Maschinenmodell mittels des Maschinenbeobachtermoduls und das Bildmodell mittels des Bildbeobachtermoduls in Echtzeit zu simulieren und mittels des Anzeigemoduls anzuzeigen, wobei die Verzögerungszeit höchstens eine vorgebbare Maximalzeit ist. Das heißt, mit anderen Worten, gemäß einem Aspekt der Erfindung ist die Einrichtung durch folgende Maßnahmen zum Betrieb in Echtzeit (Simulation der Modelle, Bereitstellung / Anzeige am Anzeigemodul) eingerichtet: Innerhalb einer Verzögerungszeit - ab Empfang des Steuerbefehls am Steuereingang - wird das Maschinenmodell und das Bildmodell simuliert und das Bildmodell am Anzeigemodul angezeigt / bereitgestellt. Die Verzögerungszeit ist dabei höchstens so groß wie eine vorgebbare Maximalzeit. Diese Maximalzeit ist insbesondere die oben erläuterte maximal erlaubte bzw. tolerierbare Latenzzeit zwischen Absenden oder Eintreffen des Steuerbefehls in der Maschine und Anzeige / Betrachtung der Reaktion der Maschine im Umfeld durch den Bediener.
-
Die Erfindung geht dabei von der Erkenntnis aus, dass der Empfang des Steuerbefehls in der Einrichtung als Beginn der Verzögerungszeit mit demjenigen Zeitpunkt zusammenfällt, bei dem der Steuerbefehl Richtung Maschine losgesendet wird. Etwaige Latenzen für die Übermittlung vom Bediener zur Maschine können daher bereits zum Simulieren der Modelle und zur Anzeige der simulierten Reaktion an den Bediener genutzt werden. Wie oben erläutert, kann die vorgebbaren Maximalzeit situationsangepasst gewählt werden, je nachdem wie zeitkritisch die jeweilige Anwendung / Maschine / deren Bedienung ist.
-
Gemäß einem Aspekt der Erfindung ist die vorgebbare Maximalzeit ein Einfaches oder Mehrfaches einer Bildwiederholzeit des Anzeigemoduls / einer Anzeige an den Bediener. Insbesondere im Fall der einfachen Bildwiederholzeit ist sichergestellt, dass nach Absetzen des Steuerbefehls bzw. Eintreffen des Steuerbefehls an der Einrichtung bereits das nächste mit dem Anzeigemodul dem Bediener angezeigte Bild auf Basis der erfindungsgemäßen Simulation erzeugt ist und so die (im Rahmen der Bildwiederholung frühestmögliche) unverzügliche Darstellung der virtuellen Reaktion der Maschine / Umgebung auf den Steuerbefehl zeigt. Die Bildwiederholzeit resultiert dabei insbesondere aus Zeitabständen zweier Einzelbilder für übliche Bildwiederholraten von 16 bis 24 Bildern pro Sekunde.
-
Gemäß einem Aspekt der Erfindung enthält die Einrichtung einen Parametereingang zum Empfang eines realen Maschinenparameters und ein Maschinenkorrekturmodul. Das Maschinenkorrekturmodul ist dazu eingerichtet, das Maschinenmodell anhand des Maschinenparameters zu korrigieren. Das Vorgehen dieser Korrektur ist dabei fachüblich: Im Wesentlichen wird das aktuelle virtuelle Maschinenmodell bzw. dessen Parameter mit den erhaltenen realen Maschinenparametern und damit der realen Maschine verglichen, gegebenenfalls Abweichungen bestimmt und Korrekturen durchgeführt, um die Abweichungen zu minimieren oder auf Null zu führen. Maschinenparameter sind insbesondere Statusgrößen der Maschine wie zum Beispiel Geschwindigkeit, Fahrtrichtung, Beschleunigung, Verzögerung oder Lenkeinschlag eines Fahrzeuges. Fachüblich werden hierbei Totzeitglieder eingesetzt, um einen Ausgleich der Laufzeiten zwischen virtuellem Maschinenmodell und realer Maschine zu realisieren, so dass der Vergleich von virtueller und realer Maschine immer zu einem bestimmten selben Zeitpunkt erfolgt. Hintergrund ist, dass die Übermittlung der Maschinenparameter von der realen Maschine an die Einrichtung eine gewisse Zeit in Anspruch nehmen kann, je nach Latenzzeit der entsprechenden Datenverbindung usw. So wird erreicht, dass das virtuelle Maschinenmodell anhand der realen Maschinenparameter der realen Maschine bestmöglich nachgeführt werden kann, falls das prädizierte Maschinenmodell von der Realität abweicht.
-
Gemäß einem Aspekt der Erfindung ist der Maschine ein Bildgebungsmodul zugeordnet. Dieses ist dazu eingerichtet, ein reales Maschinenbild des Umfelds der Maschine (und ggf. eines Teils oder der ganzen Maschine) zu erzeugen. Mit anderen Worten geht die Erfindung davon aus, dass ein entsprechendes Bildgebungsmodul vorhanden ist und entsprechende Maschinenbilder erzeugt werden. Die Einrichtung enthält einen Bildeingang, der dazu dient bzw. eingerichtet ist, die Maschinenbilder zu empfangen. Das Bildbeobachtermodul ist dann dazu eingerichtet, das virtuelle Bildmodell des Umfeldes der Maschine auch anhand des Maschinenbildes in Echtzeit zu simulieren. Ein entsprechendes Bildgebungsmodul ist bzw. enthält beispielsweise eine auf einem Fahrzeug montierte Frontkamera oder ein Multi Kamerasystem, welches die reale Umgebung der realen Maschine abbildet. Das Maschinenbild ist also insbesondere ein reales Abbild der Umgebung der Maschine, gegebenenfalls mit der Maschine oder von der Maschine aus, insbesondere aufgenommen von einer auf der Maschine montierten Kamera.
-
Hierdurch wird es ermöglicht, dass wenn auch historisches, jedoch immerhin reales Bildmaterial des Umfelds / der Maschine in das Bildmodell einfließen kann. So ist es zum Beispiel möglich, ein virtuelles Bildmodell besonders realitätstreu zu gestalten, indem eine virtuelle Maschine (prädiziere Maschine in Echtzeit) in eine reale historische Umgebung (reales historisches Maschinenbild) nach aktueller Prädiktion eingepasst wird. Somit ergibt sich ein besonders realitätstreues virtuelles Bildmodell. Durch die Integration realer Bildelemente kann also insbesondere eine gemischte virtuelle / reale Darstellung am Anzeigemodul erfolgen.
-
Insbesondere ist es auch vorgesehen, bewegliche Objekte (Menschen, Fahrzeuge, Maschinen, Hindernisse) im Umfeld der ferngesteuerten Maschine durch eine Objekterkennung basierend auf Bildinformationen oder anhand weiterer Umfeldsensorik wie Ultraschall und Radar zu erkennen. Wenn sich diese Objekte bewegen wird auch diese Bewegung im Bildbeobachtermodul prädiziert und kann so mit dem Anzeigemodul im Bildmodell in Echtzeit angezeigt werden.
-
Gemäß einem Aspekt der Erfindung enthält die Einrichtung ein Bildkorrekturmodul. Dieses ist dazu eingerichtet, das Bildmodell anhand des Maschinenbildes zu korrigieren. Die entsprechende Korrektur erfolgt auch hier fachüblich wie oben sinngemäß bereits erläutert, durch Vergleich bzw. Bestimmung von Abweichungen zwischen virtuellem Bildmodell / dessen Parametern und realem Maschinenbild, und Einfügen von Korrekturen, um die Abweichungen zu minimieren oder zu beseitigen. Auch hier werden, wie oben erläutert, Totzeitglieder zum Ausgleich der Laufzeiten zwischen virtuellem Bildmodell und realem Maschinenbild eingesetzt. Wie oben sinngemäß erläutert, wird auch hierdurch vermieden, dass das Bildmodell zu sehr von der Realität abweicht: Gegebenenfalls erfolgt also eine Korrektur, sollte das Bildmodell des Umfeldes von dem tatsächlich realen Umfeld der Maschine abweichen.
-
Gemäß einem Aspekt der Erfindung enthält die Einrichtung ein Bildmaschinenkorrekturmodul. Dieses ist dazu eingerichtet, das Maschinenmodell anhand des Maschinenbildes und optional auch des Maschinenparameters zu korrigieren. Das Bildmaschinenkorrekturmodul nutzt also jedenfalls das Maschinenbild, gegebenenfalls zusätzlich auch den Maschinenparameter, um das Maschinenmodell zu korrigieren. Hierzu gelten wieder sinngemäß die oben bereits getroffenen Aussagen: die Korrektur erfolgt fachüblich durch Vergleich, Feststellung von Abweichungen und gegebenenfalls Korrektur, um die Abweichungen / Fehler zu minimieren usw. Entsprechender Totzeitausgleich erfolgt ebenfalls sinngemäß wie oben erläutert. So kann eine besonders wirkungsvolle Korrektur des Maschinenmodells erfolgen.
-
Gemäß einem Aspekt der Erfindung enthält die Einrichtung eine Umgebungsinformation, insbesondere einen Speicher für eine entsprechende Umgebungsinformation, und / oder einen Informationseingang, um eine entsprechende Umgebungsinformation in die Einrichtung einzuspeisen. Die Einrichtung ist dazu eingerichtet, das Maschinenmodell und / oder das Bildmodell auch anhand der Umgebungsinformation zu simulieren. Derartige Umgebungsinformation sind zum Beispiel Karteninformationen, 3-D-Karten, Informationen aus Umfeldkameras, fest installierten Kameras in der Umgebung, in welcher sich die Maschine befindet oder bewegt, Kameras an anderen Maschinen, insbesondere Fahrzeugen, Geoinformationen / GPS-Informationen über den (aktuellen) Aufenthaltsort der Maschine usw.
-
Durch die Verarbeitung entsprechender Informationen kann sowohl das Maschinenmodell als auch das Bildmodell bzw. deren Verhalten noch genauer simuliert / prädiziert werden.
-
Ein weiterer Gegenstand der Erfindung ist eine Maschinenanlage. Diese enthält die erfindungsgemäße Einrichtung sowie die in diesem Zusammenhang genannte Maschine. Die Maschinenanlage und zumindest ein Teil deren möglicher Ausführungsformen sowie die jeweiligen Vorteile wurden sinngemäß bereits im Zusammenhang mit der erfindungsgemäßen Einrichtung erläutert.
-
Insbesondere enthält die Maschinenanlage auch die oben genannten Elemente wie z.B. ein Modul zur Erzeugung oder Bereitstellung der Umgebungsinformation der Maschine/ diese Umgebungsinformation, das Bildgebungsmodul zur Erzeugung des realen Maschinenbildes der Umgebung der Maschine usw. Insbesondere sind die Maschine / ggf. eine Leitwarte und die Einrichtung über ein Datennetzwerk kommunikationstechnisch zum Austausch des Steuerbefehls, des Maschinenparameters, des Maschinenbildes usw. verbunden.
-
Gemäß einem Aspekt der Erfindung enthält die Maschinenanlage dieses Datennetzwerk. Über das Datennetzwerk sind die Maschine, ggf. eine Leitwarte und die Einrichtung kommunikativ miteinander verbunden, gegebenenfalls auch die oben genannten zusätzlichen weiteren Komponenten. Das Datennetzwerk ist dabei, zumindest zeitweise bzw. temporär, nicht in der Lage, ein reales Abbild des Umfeldes / der Maschine in Echtzeit zu ermöglichen. Unter dem „realen Abbild“ ist ein solches zu verstehen, welches dem virtuellen Bildmodell / einer Darstellung am Anzeigemodul vergleichbar wäre, das heißt eine entsprechende reale anstelle der virtuellen Bildinformation über das Umfeld / die Maschine für den Bediener bereitstellen würde.
-
Gerade hier kommt der erfindungsgemäße Effekt zur Wirkung, dass das virtuelle Abbild des Umfeldes in Form des Bildmodells am Anzeigemodul in Echtzeit anzeigbar/ ausgebbar ist und somit dem Bediener zur Verfügung steht.
-
Die Erfindung beruht auf folgenden Erkenntnissen, Beobachtungen bzw. Überlegungen und weist noch die nachfolgenden bevorzugten Ausführungsformen auf. Diese Ausführungsformen werden dabei teils vereinfachend auch „die Erfindung“ genannt. Die Ausführungsformen können hierbei auch Teile oder Kombinationen der oben genannten Ausführungsformen enthalten oder diesen entsprechen und/oder gegebenenfalls auch bisher nicht erwähnte Ausführungsformen einschließen.
-
Die Erfindung geht davon aus, dass Steuerbefehle (insbesondere Daten der Bewegungssteuerung für die Maschine) vom Bediener zur Maschine und entsprechende Rückmeldungen von der Maschine zum Bediener (Maschinenparameter) vergleichsweise häufig mit kleiner Zykluszeit übertragen werden aber nur ein geringes Datenvolumen verursachen. Umfangreiche Bilddaten (reales Maschinenbild der Umgebung / Maschine) dagegen werden selten d.h. mit langer Zyklus- und Latenzzeit übertragen. Um dem Operator/ Bediener trotzdem einen flüssigen Bewegungsablauf bezüglich der Maschine in Echtzeit zu präsentieren, kommt ein modellbasierter Beobachter in Form des Maschinenmodells und des Bildmodells zum Einsatz. Exemplarisch stellen sich Datenflüsse bei einer Fernbedienung einer Maschine in Form eines Fahrzeuges durch einen Teleoperator in Form eines Bedieners zum Beispiel wie folgt dar: Steuerbefehle in Form von Stellgrößen werden von einer Leit- / Steuerwarte (Bediener) zu einer Maschine (Fahrzeug) übertragen. Entsprechende Daten sind zum Beispiel Stellung eines Fahrpedals, eines Bremspedals, ein Lenkradwinkel. Zykluszeiten hierfür sind 20 bis 100 ms, Datenvolumen pro Zyklus 48 Bit (beispielhaft, das genaue Datenvolumen kann je nach Anwendung abweichen). Vom Fahrzeug zur Warte, also von der Maschine zum Bediener werden Zustandsgrößen (Maschinenparameter) übertragen, zum Beispiel Geschwindigkeit, Beschleunigung, Gierrate, Antriebsmoment, Bremsmoment oder auch Objektkoordinaten des Fahrzeugumfeldes. Auch hier beträgt die Zykluszeit 20 bis 100 ms. Ein typisches Datenvolumen ist zum Beispiel 80 plus 768 Bit (Fahrzeugdaten plus Koordinaten von 16 Objekten). Bilddaten, die von der Maschine zur Warte (Bediener) übertragen werden sind zum Beispiel Video-Bilddaten (je nach Bewegungszustand einer Front- oder Rückfahr-) Kamera. Hier beträgt die Zykluszeit 500 bis 1500 ms, das Datenvolumen 1,5 MB. Das HMI überträgt Daten von der Warte (Anzeigemodul) an den Operator (Bediener), beispielsweise durch Darstellung auf einem hochauflösenden Bildschirm. Als Daten wird ein Bild der Fahrzeugumgebung übertragen, hierbei wird zum Beispiel das tatsächliche Bild und zusätzliche Objektmarkierungen übertragen. Dargestellt bei einer Bildwiederholrate von 20 Bildern pro Sekunde (fps) beträgt die Zykluszeit 50 ms; das Datenvolumen pro Zyklus beträgt zum Beispiel 5 MB.
-
Die erfindungsgemäße Einrichtung bzw. ein mit der Einrichtung ausgeführtes Verfahren sieht damit ein virtuelles Fahrzeugmodell vor (Maschinenbeobachtermodul, Maschinenmodell), welches die aktuelle Fahrzeugpose auf Basis der Steuerdaten (Steuerbefehle) ermittelt / prädiziert. Die später vom realen Fahrzeug zurück gemeldeten realen Zustands- und Bewegungsdaten werden zur nachlaufenden Korrektur des Fahrzeugmodells verwendet. Zur Phasenkorrektur von beobachteten (virtuelle Modelle) und gemessenen (realen) Werten wird ein Totzeitglied mit einer der Latenzzeit entsprechenden Zeitkonstante (Totzeit) verwendet. Es sind Verfahren bekannt, welche die Laufzeit der Datenübertragung (Steuerbefehl über das Netzwerk zur Maschine / Maschinenparameter über das Netzwerk zum Parametereingang, Maschinenbild über das Netzwerk zum Bildeingang) über Netzwerke ermitteln können. Zusammen mit der Verarbeitungszeit auf dem Fahrzeug ergibt sich die gesamte Totzeit im Signalpfad. Diese kann dann statisch (bei immer gleicher Totzeit) oder vorzugsweise dynamisch (entsprechend der aktuell gemessenen Totzeit) berücksichtigt werden.
-
Die beobachtete Pose (prädiziertes Maschinenmodell, Bildmodell) welche im Idealfall der realen Fahrzeugpose entspricht, wird zur Weiterverarbeitung dem Bildbeobachtermodul übergeben.
-
Aus den zuletzt übermittelten realen Bilddaten (neuestes verfügbares Maschinenbild, historische Daten) und der prädizierten Änderung der Fahrzeugpose wird eine aktuelle Sicht (virtuelles Bildmodell) berechnet. Sobald neue reale Bilddaten verfügbar sind, erfolgt ein nachlaufender Abgleich im Bildbeobachtermodul (Bildkorrekturmodul unter Nutzung des neuesten, wenn auch historischen Maschinenbildes). Die vom Bildgebungsmodul (zum Beispiel Vision System des Fahrzeuges) übermittelten Bilddaten (Maschinenbild) können für die Darstellung auf dem HMI durch das Bildbeobachtermodul noch weiter verarbeitet werden, zum Beispiel ein entsprechender Sichtwinkel angepasst werden usw.
-
Bei der Berechnung neuer Sichten (Bildmodell / Anzeigemodul) auf der Basis vergangener Bilddaten (Maschinenbild) kommen folgende Bildverarbeitungen zum Einsatz (am Beispiel einer Frontkamera):
- • Longitudinale Fahrzeugbewegungen werden simuliert durch einen digitalen Zoom, auch wenn dadurch Bildauflösung verloren geht.
- • Eine transversale Fahrzeugbewegung kann durch Änderung des Bildausschnitts simuliert werden; dabei wird der Sichtbereich eingeengt. Deshalb ist es vorteilhaft, dem Operator bei Geradeausfahrt nur einen eingeschränkten Sichtbereich zu präsentieren, um bei Änderungen des Bildausschnitts keine „schwarzen Ränder“ zu erhalten.
-
In weiteren vorteilhaften Ausführungsformen können die Umfelddaten (Bild, Objekte, Punktkoordinaten) der Maschine mit in der Warte / der Einrichtung gespeicherten 3D-Karten verglichen werden. Entsprechende SLAM Verfahren (Simultaneous Localization and Mapping, simultane Positionsbestimmung und Kartierung) sind bekannt. Dabei wird aus dem Vergleich der gespeicherten Kartendaten mit den übermittelten Daten die Pose des Fahrzeugs ermittelt. Über das Bildmaschinenkorrekturmodul erfolgt eine Korrektur der beobachteten Fahrzeugpose (virtuelles Maschinenmodell).
-
Zur Erhöhung der optischen Qualität bzw. Erweiterung des Sichtfeldes können optional die folgenden Maßnahmen zur Anwendung kommen:
- • Bildinformationen aus dem Fahrzeug (Maschinenbild) können mit denen anderer Fahrzeuge oder ortsfester Kameras (Umgebungsinformation) ergänzt werden, um eine besonders geeignete Sicht (Bildmodell) für den Teleoperator zu erzeugen.
- • Weiterhin besteht die Möglichkeit, mit den Daten der 3D-Karte das Sichtfeld des Teleoperators (Bildmodell) zu erweitern. Dazu werden die Kartendaten entsprechend der Fahrzeugpose (Maschinenmodell) und den herrschenden Lichtverhältnissen (bekannt aus den vom Fahrzeug übertragenen Bilddaten / Maschinenbild) gerendert. Voraussetzung für dieses Verfahren sind aktuelle Kartendaten, zum Beispiel muss es ausgeschlossen sein, dass andere Verkehrsteilnehmer sich im erweiterten Bildbereich befinden. Die Einhaltung dieser Voraussetzung ist einfach in abgesperrten Bereichen (Betriebshof, Mine, ...) realisierbar.
-
Weitere mögliche Alternativen der Erfindung sind:
- • Die Fahrzeugpose kann durch Übertragung der Geoposition abgeglichen werden.
- • Bei geringer Fahrzeugdynamik bzw. kurzer Latenzzeit kann auf die Korrektur durch das Maschinenkorrekturmodul verzichtet werden.
- • Die Übertragung von Objektdaten ist optional.
- • Es können nichtlineare oder (abschnittsweise) lineare Beobachter eingesetzt werden.
- • Es können auch von den genannten Messgrößen (Maschinenparameter) abweichende Messgrößen zur Korrektur der Beobachter (Maschinenmodell, Bildmodell) verwendet werden (Kriterien der Beobachtbarkeit sind einzuhalten).
- • Das HMI des Teleoperators muss nicht dem Fahrzeug / dem Maschinen-HMI nachempfunden sein.
- • Das Maschinenbeobachtermodul / Bildbeobachtermodul können synchron oder asynchron (auch in unterschiedlichen Zeitrastern) ausgeführt werden.
- • Steht dem Bildgebungsmodul des Fahrzeugs eine Rundumsicht zur Verfügung, muss bei Kurvenfahrt der Bildbereich nicht eingeschränkt werden.
-
Weitere Merkmale, Wirkungen und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie der beigefügten Figuren. Dabei zeigen, jeweils in einer schematischen Prinzipskizze:
- 1 eine Maschinenanlage gemäß der Erfindung in einem symbolischen Blockschaltbild,
- 2 den zeitlichen Verlauf verschiedener Daten und Größen in der Maschinenanlage aus 1.
-
1 zeigt eine Maschinenanlage 2. Diese enthält eine erfindungsgemäße Einrichtung 4 sowie eine Maschine 6, hier in Form eines autonom fahrenden Fahrzeuges. Das Fahrzeug 6 bewegt sich in einem Umfeld 16 bzw. einer Umgebung, hier einem Stollen eines Bergwerkes / einer Mine. Das Fahrzeug 6 wird über eine Leitwarte 8 überwacht. In der Leitwarte 8 befindet sich ein Bediener 10 in Form eines Teleoperators. Über ein HMI 12 kann dieser die Maschine 6 bzw. deren Umfeld 16, in welchem sich die Maschine 6 bewegt, über ein Anzeigemodul 14, hier einen Monitor, überwachen. Für den Fall, dass die autonome Fahrfähigkeit der Maschine 6 nicht ausreicht, kann der Bediener 10 über das HMI 12 auch einen Steuerbefehl 18 an die Maschine 6 senden, hier einen Lenk, Beschleunigungs- oder Bremsbefehl. Zwischen Bediener 10 / Leitwarte 8, hier an der Erdoberfläche, und der Maschine 6 / Umfeld 16 besteht kein Sichtkontakt.
-
Die Maschinenanlage 2 enthält ein Datennetzwerk 20, welche eine drahtlose Verbindung zwischen der Leitwarte 8 und der Einrichtung 4 einerseits sowie der Maschine 6 bzw. dem Umfeld 16 andererseits herstellt. Leitwarte 8, Maschine 6 und Einrichtung 4 sind also über das Datennetzwerk 20 kommunikativ verbunden. Das Datennetzwerk 20 ist jedoch nicht in der Lage, Bilddaten ausreichend schnell aus dem Umfeld 16 an das Anzeigemodul 14 zu übermitteln, dass der Bediener 10 die Maschine 6 mit akzeptabler Verzögerungszeit per „Live“-Videoüberwachung überwachen bzw. steuern könnte. Aus diesem Grund kommt die Einrichtung 4 zum Einsatz.
-
Die Einrichtung 4 dient zur Überwachung der sich in dem realen Umfeld 16 befindenden realen Maschine 6, wobei die Maschine 6 durch den menschlichen Bediener 10 anhand der realen Steuerbefehle 18 steuerbar ist bzw. gesteuert wird. Die Einrichtung 4 enthält einen Steuereingang 22 zur Eingabe bzw. Entgegennahme des Steuerbefehls 18, der durch den Bediener 10 an die Maschine 6 abgesetzt wird. Die Einrichtung 4 enthält ein Maschinenbeobachtermodul 24. Dieses ist dazu eingerichtet, anhand des Steuerbefehls 18 ein virtuelles Maschinenmodell 26 der realen Maschine 6 in Echtzeit zu simulieren. Das Maschinenmodell 26 wird auch Beobachter genannt. Das Maschinenmodell 26 simuliert virtuell das Verhalten der Maschine 6 auf die Steuerbefehle 18 in Umfeld 16.
-
Die Einrichtung 4 enthält auch ein Bildbeobachtermodul 28. Dieses ist dazu eingerichtet, anhand des Maschinenmodells 26 ein virtuelles Bildmodell 30 des Umfeldes 16 der Maschine 6 in Echtzeit zu simulieren. Das virtuelle Bildmodell 30 bildet dabei das Umfeld 16 mit der darin befindlichen und sich bewegenden Maschine 6 virtuell nach, sodass aus diesem ein virtuelles Abbild des Umfeldes 16 gewonnen werden kann. Das Anzeigemodul 14 ist ebenfalls Teil der Einrichtung 4 und ist dazu eingerichtet, das Bildmodell 30 bzw. daraus gewonnenen Ansichten / Abbildungen des virtuell nachgebildeten Umfeldes 16 in Echtzeit anzuzeigen, sodass der Bediener 10 dieses betrachten kann.
-
Im Ergebnis sieht der Bediener 10 am Anzeigemodul 14 in Echtzeit eine prädizierte Simulation, wie sich das virtuelle Maschinenmodell 26, also die virtuell nachgebildete Maschine, im virtuellen Bildmodell 30, also dem virtuell nachgebildeten Umfeld 16, bewegt. Anhand der Simulation wird nachgebildet, wie sich die tatsächliche Maschine 6 im tatsächlichen Umfeld 16 als Reaktion auf die Steuerbefehle 18 in Echtzeit vermutlich bewegt und verhält.
-
Die Einrichtung 4 enthält auch einen Parametereingang 32. Über diesen empfängt die Einrichtung 4 reale Maschinenparameter 34, welche Informationen über die Maschine 6 bzw. deren aktuellen Zustand enthalten. Die Maschinenparameter 34 sind hier aktuelle Geschwindigkeit, Verzögerung, Beschleunigung und Lenkeinschlag des Fahrzeuges bzw. der Maschine 6. Die Einrichtung 4 enthält auch ein Maschinenkorrekturmodul 36. Dieses verarbeitet die Maschinenparameter 34 und führt in fachüblicher Weise einen Abgleich mit dem Maschinenmodell 26 und gegebenenfalls dessen Korrektur durch, um die reale Maschine 6 im virtuellen Maschinenmodell 26 möglichst exakt nachzubilden bzw. zu simulieren. Ein Totzeitglied 38 dient dazu, den Zeitversatz zwischen der realen Maschine 6 bzw. dem Aufnahmezeitpunkt der Maschinenparameter 34 und dem Nachbildungszeitpunkt des Maschinenmodells 26 auszugleichen. Vorliegend setzt sich die entsprechende Totzeit zusammen aus der Totzeit TTU der Übertragung des Steuerbefehls 18 von der Leitwarte 8 zur Maschine 6 und der Totzeit TTY der Übertragung des Maschinenparameters 34 vom Fahrzeug 6 bzw. dem Umfeld 16 an die Einrichtung 4, jeweils über das Datennetzwerk 20.
-
Der Maschine 6 ist ein Bildgebungsmodul 40 der Maschinenanlage 2 zugeordnet, hier ein auf der Maschine 6 bzw. dem Fahrzeug montiertes Kamerasystem, welches Bilder des Umfeldes 16 von der Maschine 6 aus aufnimmt. Die entsprechend erzeugten Bilder sind hier Maschinenbild 42 genannt. Im Maschinenbild 42 ist daher das reale Umfeld 16 der realen Maschine 6 abgebildet.
-
Die Einrichtung 4 weist einen Bildeingang 44 auf, über den die Maschinenbilder 42 vom Bildgebungsmodul 40 über das Datennetzwerk 20 (Übertragung bzw. Latenzzeit in Form der Totzeit TTV) empfangen werden. Die Maschinenbilder 42 werden an das Bildbeobachtermodul 28 übertragen und fließen somit als Quelle realer Bildinhalte in die Simulation des Bildmodells 30 mit ein. Das Bildmodell 30 enthält daher auch reale Bildanteile. Die Einarbeitung erfolgt gemäß entsprechender Korrektur der Totzeiten (nicht dargestellt) und geeigneter Bildverarbeitung.
-
Die Einrichtung 4 enthält auch ein Bildkorrekturmodul 46. Dieses ist dazu eingerichtet, das virtuelle Bildmodell 30 anhand der (verzögert eintreffenden) Maschinenbilder 42 nachlaufend zu korrigieren. Auch hierzu wird in fachüblicher Weise ein Totzeitglied 38 verwendet, welches die Latenzzeiten bzw. Totzeiten TTU und TTV berücksichtigt. Wie im Maschinenkorrekturmodul 36 erfolgt auch hier die Korrektur des Bildmodells 30 in fachüblicher Weise durch Totzeitangepassten Vergleich, Ermittlung von Abweichung, und Fehlerminimierung zwischen Bildmodell 30 und realem Maschinenbild 42.
-
Die Einrichtung 4 enthält auch ein Bildmaschinenkorrekturmodul 48. Dieses dient dazu, das Maschinenbild 42 auch (also zusätzlich zu dem Maschinenparameter 34) zur Überprüfung und gegebenenfalls Korrektur des Maschinenmodells 26 zu nutzen. Somit wird das Maschinenmodell 26 auch anhand der Maschinenbilder 42 der Realität nachgeführt.
-
Die Einrichtung 4 enthält auch eine Umgebungsinformation 50 der Maschine 6, sowie einen Informationseingang 52 zur Einspeisung der Umgebungsinformation 50 in die Einrichtung 4. All dies ist hier nur symbolisch angedeutet. Im Beispiel ist die Umgebungsinformation 50 eine 3D-Karten-Information der Umgebung 16, hier ein 3D-Modell der Mine / Stollen, in welcher sich das Fahrzeug / die Maschine 6 bewegt. Weiterhin enthält die Umgebungsinformation 50 die aktuelle Position von nicht dargestellten anderen Fahrzeugen innerhalb der Mine usw. Auch diese Umgebungsinformation 50 wird genutzt, um das Maschinenmodell 26 und das Bildmodell 30 noch realitätsgetreuer und verbessert zu simulieren, indem z.B. andere Fahrzeuge in der Simulation mit abgebildet werden.
-
2 zeigt in einem zeitlichen Ablaufdiagramm über der Zeit t die zeitlichen Zusammenhänge der Abläufe in 1, insbesondere bezüglich Bediener 10, Maschine 6 und Bildgebungsmodul 40.
-
In der obersten Zeile ist für den Bediener 10 angezeigt, dass das Anzeigemodul 14 in Form des Monitors, durch ein Strichraster angedeutet, jeweils nach einer Bildwiederholzeit TB von 50 ms (20 Bilder pro Sekunde, fps) ein neues, aktualisiertes Monitorbild anzeigt. Zu einem Zeitpunkt T1 erfolgt die Erfassung einer Operator-Vorgabe (Lenkbefehl) in Form des Steuerbefehls 18 durch das HMI 12.
-
Es folgt die Übertragung des Steuerbefehls 18 an das Fahrzeug in Form der Maschine 6. Durch Laufzeiten bei der Signalübertragung und Prozesszeiten beginnt die Umsetzung der Vorgabe im Fahrzeug bzw. der Maschine 6 zum Zeitpunkt T2, also nach der Totzeit TTU. Die Umsetzung des Steuerbefehls in der Maschine 6 ist in der zweiten Zeile von 2 durch eine Sprungfunktion angedeutet. Gleichzeitig werden Statusgrößen in Form der Maschinenparameter 34 im Fahrzeug ermittelt und an die Leitwarte 8 sowie auch an die Einrichtung 4 zurückgesendet, wo sie zum Zeitpunkt T3 eintreffen (Latenzzeit TTY).
-
Die Übermittlung des Steuerbefehls 18 und Rückmeldung der Maschinenparameter 34 ist durch Pfeile in 1 symbolisiert.
-
Ein weiterer Steuerbefehl 18 wird zum Zeitpunkt T3 an das Fahrzeug 6 übermittelt, trifft dort zum Zeitpunkt T4 ein. Neue Maschinenparameter 34 werden zum Zeitpunkt T4 vom Fahrzeug 6 an die Leitwarte 10 und die Einrichtung 4 zurückgesendet und treffen dort zum Zeitpunkt T5 ein.
-
Das bildgebende System (Bildgebungsmodul 40) auf dem Fahrzeug bzw. der Maschine 6 (Frontkamera, Multi Kamerasystem) muss höhere Datenmengen verarbeiten (Zeitraum T2 bis T6) und übertragen (T6 bis T7), was dazu führt, dass aktuelle Bilddaten erst zum Zeitpunkt T7 in der Leitwarte 8 und der Einrichtung 4 eintreffen. Die Bildverarbeitung im Bildgebungsmodul 40 erfolgt also vom Zeitpunkt T2 bis zum Zeitpunkt T6, die Übertragung des Maschinenbildes 42 vom Zeitpunkt T6 bis zum Zeitpunkt T7.
-
Die Vorgänge im Bildgebungsmodul 40 / Bereitstellung eines realen Umgebungsbildes sind in der untersten Zeile von 2 durch eine Sprungfunktion angedeutet. Die Totzeit TTY erstreckt sich damit von den Zeitpunkten T2 bis zum Zeitpunkt T3, die Totzeit TTV vom Zeitpunkt T2 bis zum Zeitpunkt T7.
-
Würden die realen Bilddaten in Form des Maschinenbildes 42 dem Operator bzw. Bediener 10 so zum Zeitpunkt T7 präsentiert, dann vermitteln sie den Eindruck eines verzögerten Fahrzeugverhaltens (Reaktion auf den Lenkbefehl / Steuerbefehl 18 zum Zeitpunkt T1). Infolgedessen neigt der Bediener 10 dazu, Lenkbewegungen zu übersteuern oder eine Kurvenfahrt zu spät auszuleiten. Um die Arbeit des Bedieners 10 zu vereinfachen, präsentiert ihm das erfindungsgemäße Verfahren bzw. die Einrichtung 4 die Fahrzeugreaktion praktisch unverzögert mit einer für die visuelle Wahrnehmung des Menschen angepassten Bildrate von hier 20 Bildern pro Sekunde. Die Einrichtung 4 ist nämlich dazu eingerichtet, die Bilder (aus dem Bildmodell 30 am Anzeigemodul 14) unverzögert bzw. in Echtzeit dadurch anzuzeigen, dass diese innerhalb einer Verzögerungszeit ZV angezeigt werden, die hier einer vorgebbaren Maximalzeit ZM entspricht, die hier der Bildwiederholzeit TB entspricht.
-
Somit gilt: Bereits das nächste Monitorbild nach Absetzen des Lenkbefehls, also Steuerbefehls 18, zum Zeitpunkt T1 zeigt das damit in Echtzeit simulierte Bildmodell 30 auf dem Anzeigemodul 14 an. Dem Bediener 10 wird somit in Echtzeit die simulierte Reaktion der Maschine 6 im Umfeld 16 angezeigt, in dem eine Abbildung des virtuellen Maschinenmodells 26 im virtuellen Bildmodell 30 dargestellt wird (in der Figur oben symbolisch durch eine Sprungfunktion dargestellt). Mit anderen Worten wird so eine praktisch verzögerungsfreie Übertragung des realen Maschinenbildes 42 simuliert.
