-
Die vorliegende Erfindung betrifft ein Verfahren zur Steuerung eines Wasserfahrzeugs, eine Steuereinrichtung für ein Wasserfahrzeug, ein Computerprogrammprodukt, ein computerlesbares Medium und ein Wasserfahrzeug.
-
Bei einem hohen Wellengang ist es wichtig, dass ein Wasserfahrzeug eine Welle immer in einem senkrechten Winkel zu ihrem Wellenkamm anfährt. So ist die Gefahr des Kenterns geringer als bei einer seitlichen Erfassung des Wasserfahrzeugs durch die Welle. Da sich aber in der Realität die Wellenrichtung ständig ändert, muss stetig eine Korrektur der Fahrtrichtung des Wasserfahrzeugs erfolgen.
-
US 2017300056 A1 offenbart eine proaktive Richtungssteuerung für ein Wasserfahrzeug. Mittels der Richtungssteuerung kann eine Fahrtrichtung des Wasserfahrzeugs bezüglich einer Wellenstruktur angepasst werden.
-
EP 2890608 B1 offenbart ein Wasserfahrzeug, bei welchen Echtzeit-Gezeitendaten in das Steuersystem eingespeist werden können, wobei das Steuersystem auch eine Vorhersage der Gezeiten- und Wellengangdaten empfängt.
-
EP 1824730 B1 offenbart eine Vorrichtung zum Stabilisieren der Ausrichtung eines Wasserfahrzeugs.
-
DE 2528073 A1 offenbart ein Verfahren zur selbsttätigen Positionierung eines Schiffes mit dem das Schiff über Propulsionsmittel in Richtung der Hauptstörkräfte gelegt werden kann.
-
Ausgehend vom Stand der Technik ist es Aufgabe der vorliegenden Erfindung eine verbesserte Möglichkeit zu schaffen, eine Fahrtrichtungs-Korrektur eines Wasserfahrzeugs durchzuführen.
-
Die vorliegende Erfindung schlägt ausgehend von der vorgenannten Aufgabe ein Verfahren zur Steuerung eines Wasserfahrzeugs nach Anspruch 1, eine Steuereinrichtung für ein Wasserfahrzeug nach Anspruch 8, ein Computerprogrammprodukt nach Anspruch 9, ein computerlesbares Medium nach Anspruch 10 und ein Wasserfahrzeug nach Anspruch 11 vor. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen gehen aus den Unteransprüchen hervor.
-
Bei einem Verfahren zur Steuerung eines Wasserfahrzeugs bei Wellengang, wird mittels wenigstens einer Kamera eine gewellte Wasseroberfläche in einer Umgebung um das Wasserfahrzeug erfasst, wodurch Bilddaten generiert werden. Aus den Bilddaten wird ein Segment ausgenommen, dessen Mittelachse durch eine Wasserfahrzeugachse definiert wird, wobei sich das Segment auf beiden Seiten der Mittelachse im gleichen Winkel erstreckt und wobei das Segment an derjenigen Seite des Wasserfahrzeugs angeordnet ist, welche einer Fahrtrichtung des Wasserfahrzeugs entgegengesetzt ist. Die segmentfreien Bilddaten werden einer inversen Perspektiven-Transformation unterzogen, wodurch transformierte Bilddaten generiert werden.
-
Ausgehend von den transformierten Bilddaten werden Wellen auf der Wasseroberfläche in der Umgebung um das Wasserfahrzeug identifiziert. Eine Hauptausrichtung der Wellen der Wasseroberfläche wird ermittelt. Eine Lage der Wasserfahrzeugachse wird zur Hauptausrichtung der Wellen ermittelt. Ausgehend von der Lage wird eine Fahrtrichtungs-Korrektur bestimmt, durch welche die Lage der Wasserfahrzeugachse senkrecht zu der Hauptausrichtung der Wellen ausrichtbar ist. Ausgehend von der Fahrtrichtungs-Korrektur erfolgt ein Eingriff in die Steuerung des Wasserfahrzeugs, so dass die Fahrtrichtungs-Korrektur durchgeführt wird.
-
Das Wasserfahrzeug kann dabei als ein maschinenbetriebenes Schiff oder Boot ausgebildet sein. Zudem ist das Wasserfahrzeug derart ausgebildet, dass dieses automatisierte Fahrfunktionen durchführen kann, beispielsweise ein automatisiertes Halten seiner Fahrtrichtung oder Korrigieren seiner Fahrtrichtung bzw. seines Kurses. Zu diesem Zweck weist das Wasserfahrzeug eine Steuereinrichtung auf, welche in die Steuerung des Wasserfahrzeugs eingreifen kann. Die Steuereinrichtung ist zu diesem Zweck mit einer Aktuatorik der Steuerung, z. B. mit einer Aktuatorik des Antriebssystems und mit einer Aktuatorik des Lenksystem des Wasserfahrzeugs verbunden, so dass ein Daten- und Signalaustausch erfolgen kann. Diese Verbindung kann dabei drahtlos oder kabelgebunden ausgebildet sein.
-
Das Wasserfahrzeug bewegt sich in seine Fahrtrichtung auf dem Wasser fort, wobei das Wasser eine gewellte Wasseroberfläche aufweist. In anderen Worten herrscht Wellengang.
-
Das Wasserfahrzeug weist wenigstens eine Kamera auf. Selbstverständlich kann das Wasserfahrzeug mehr als eine Kamera aufweisen. Die wenigstens eine Kamera kann als monokulare Kamera ausgebildet sein. Alternativ dazu kann die wenigstens eine Kamera als Surround-View-Kamera, oder als Fisheye-Kamera, oder als Stereo-Kamera ausgebildet sein. Die wenigstens eine Kamera ist dabei derart am Wasserfahrzeug angebracht, dass diese die Umgebung erfassen kann. Beispielsweise ist die wenigstens eine Kamera an einem höchsten Punkt des Wasserfahrzeugs angeordnet, z. B. an einem Mast oder an einer Antenne. Alternativ dazu kann die wenigstens eine Kamera an einer Flug-Drohne angebracht sein, die über dem Schiff fliegt.
-
Mittels der Kamera wird die gewellte Wasseroberfläche in der Umgebung rund um das Wasserfahrzeug erfasst, wodurch Bilddaten generiert werden. Die Ausformung der Bilddaten richtet sich nach der Ausformung der Kamera. Beispielsweise kann mittels einer Stereo-Kamera ein dreidimensionales Bild der Wasseroberfläche aufgenommen werden. Im Gegensatz dazu kann mittels einer monokularen Kamera ein zweidimensionales Bild der Wasseroberfläche aufgenommen werden.
-
Die generierten Bilddaten werden zur Weiterverarbeitung und Auswertung an die Steuereinrichtung des Wasserfahrzeugs oder an eine zusätzliche Steuereinrichtung des Wasserfahrzeugs weitergeleitet. Die Steuereinrichtung oder die zusätzliche Steuereinrichtung sind zu diesem Zweck mit der wenigstens einen Kamera verbunden, so dass ein Daten- und Signalaustausch erfolgen kann. Diese Verbindung kann dabei drahtlos oder kabelgebunden ausgebildet sein. Vorzugsweise werden die Bilddaten an die Steuereinrichtung des Wasserfahrzeugs weitergeleitet und nicht an die zusätzliche Steuereinrichtung.
-
Vor der eigentlichen Auswertung der Bilddaten bezüglich vorhandener Wellen sind mehrere Preprocessing-Schritte nötig, um die auszuwertenden Daten zu reduzieren und um unnötige Auswertungsrechenschritte zu vermeiden.
-
Zuerst wird aus den generierten Bilddaten das Segment ausgenommen, dessen Mittelachse durch die Wasserfahrzeugachse definiert wird. Die Wasserfahrzeugachse ist hierbei definiert als eine Längsachse des Wasserfahrzeugs, wobei diese Längsachse vom Bug zum Heck des Wasserfahrzeugs verläuft. Die Wasserfahrzeugachse ist bei einer Geradeausfahrt des Wasserfahrzeugs in Richtung der Fahrtrichtung des Wasserfahrzeugs orientiert.
-
Das Segment ist als ein geometrischer Kreissektor ausgeformt. Die Mittelachse dieses Segments verläuft derart, dass diese eine Spiegelachse ausbildet. Dadurch erstreckt sich das Segment auf beiden Seiten der Mittelachse im gleichen Winkel. Das heißt, wenn das Segment beispielsweise einen Winkel von 20° aufweist, ist sowohl links der Mittelachse als auch rechts der Mittelachse ein Winkel von 10° angeordnet. Der Winkel wird von den beiden Radien des Kreissektors eingeschlossen. Das Segment kann beispielsweise einen Winkel von 45°, von 40°, von 30°, von 20°, also z. B. einen Winkel im Intervall [45°;10°]. Des Weiteren kann das Segment je nach Geschwindigkeit des Wasserfahrzeugs angepasst werden. Bei einem langsam fahrenden Wasserfahrzeug kann das Segment daher größer gewählt werden als bei einem schnell fahrenden Wasserfahrzeug.
-
Das Segment ist an derjenigen Seite des Wasserfahrzeugs angeordnet, welche der Fahrtrichtung des Wasserfahrzeugs entgegengesetzt ist. Das Segment wird also durch das Wasserfahrzeug hinterhergezogen und öffnet sich vom Wasserfahrzeug weg. Das Ausnehmen des Segments dient daher dem Zweck, die vom Wasserfahrzeug durch seinen Antrieb selbst verursachten Wellen in der weiteren Bildauswertung nicht zu beachten. Diese Wellen sind für das Wasserfahrzeug nicht störend oder gefährlich im Gegensatz zu fremdversursachten Wellen, die mittels des hier beschriebenen Verfahrens identifiziert werden können.
-
Die segmentfreien Bilddaten werden zudem der inversen Perspektiven-Transformation unterzogen, wodurch transformierte Bilddaten generiert werden. Diese inverse Perspektiven-Transformation ist aus dem Stand der Technik für PKWs bekannt. Durch die inverse Perspektiven-Transformation wird eine Top-View-Ansicht nachgeahmt. Dadurch werden die segmentfreien Bilddaten so umgerechnet, dass eine Ansicht aus der Vogelperspektive entsteht.
-
Ausgehend von den transformierten Bilddaten werden Wellen auf der Wasseroberfläche in der Umgebung um das Wasserfahrzeug identifiziert. Dieses Identifizieren kann auf verschiedene Arten erfolgen. Zuerst werden mittels Thresholding von hellen und dunklen Bereichen der transformierten Bilddaten und mittels einer gleichzeitig ablaufenden Kantendetektion „Kanten“, die durch die Wellenmaxima oder durch die Wellenminima festgelegt werden, identifiziert. Dadurch wird gleichzeitig ein Denoising und somit eine Datenreduktion durchgeführt. Das Detektieren der Kanten entspricht dabei einem Glättungsverfahren.
-
Anschließend kann die Ermittlung der Hauptausrichtung der Wellen der Wasseroberfläche ausgehend von den Kanten durchgeführt werden mittels einer Hough-Transformation oder mittels Blobbing oder mittels einer diskreten 2D-Fourier-Transformation. Die Hauptausrichtung der Wellen beschreibt diejenige Richtung, in die die Wellen hauptsächlich orientiert sind. Die Ausbreitungsrichtung der Wellen ist dabei senkrecht zu den Wellenmaxima der Wellen und somit auch zu der Hauptausrichtung.
-
Durch die Hough-Transformation ist es möglich, Geraden durch die Wellenmaxima zu ziehen. Dadurch können mehrere Geraden gezogen werden, die zueinander parallel sind, wenn sich die Wellen im Freiwasser ausbreiten. Die Hough-Transformation ist aus dem Stand der Technik bekannt.
-
Alternativ kann durch das Blobbing erkannt werden, welches die längste Kante ist, durch die ein Blob gezogen werden kann. Wenn der Blob eine Längserstreckung aufweist und nicht kreisförmig ausgebildet ist, werden die entferntesten Punkte im Blob berechnet. Dadurch können wiederum mehrere Blob ermittelt werden, die zueinander parallel sind, wenn sich die Wellen im Freiwasser ausbreiten. Blobbing ist ist aus dem Stand der Technik bekannt. Die inverse Perspektiven-Transformation kann als Alternative nach der Datenreduktion oder nach dem Blobbing stattfinden. Ebenso ist die diskrete 2D-Fourier-Transformation aus dem Stand der Technik bekannt.
-
Die Hauptausrichtung der Wellen wird ausgehend von den Ergebnissen des Blobbings, der Hough-Transformation oder der diskreten 2D-Fourier-Transformation mittels einer Majority-Abstimmung ausgewählt. Alternativ dazu können 2D-Data-Fittig Algorithmen angewendet werden, die auf uniformen oder adaptiven Gittern basieren. Die Grobheit der Gitter wird, genau wie die Frequenzen aus der Fouriere Transformation, anhand des relevanten Bereichs der Werte einer Welle ausgewählt. Somit werden keine zu kleinen Wellen ausgewählt, je nach dem wie groß das Wasserfahrzeug ist.
-
Anschließend wird die Lage der Wasserfahrzeugachse wird zur Hauptausrichtung der Wellen ermittelt. Dabei wird aufgrund der Fahrtrichtung des Wasserfahrzeugs bestimmt, wohin sich das Wasserfahrzeug bewegt. Anschließend wird mittels eines Vergleichs bestimmt, welche Lage, d. h. welche Ausrichtung, das Wasserfahrzeug aufweist zur Hauptausrichtung der Wellen. Dadurch kann bestimmt werden, welchen Winkel die Wasserfahrzeugsachse zur Hauptausrichtung der Wellen aufweist.
-
Ausgehend von der Lage wird die Fahrtrichtungs-Korrektur bestimmt. Die Fahrtrichtungs-Korrektur beschreibt eine Korrektur der Fahrtrichtung des Wasserfahrzeugs so, dass die Lage des Wasserfahrzeugs senkrecht zu der Hauptausrichtung der Wellen ausgerichtet ist, wenn das Wasserfahrzeug sich fortbewegt. Es wird also berechnet, um welchen Winkel die Wasserfahrzeugachse bewegt werden muss, also um welchen Winkel das Wasserfahrzeug einlenken muss, um senkrecht zur Hauptausrichtung ausgerichtet zu werden.
-
Ausgehend von der Fahrtrichtungs-Korrektur erfolgt ein Eingriff in die Steuerung des Wasserfahrzeugs, so dass die Fahrtrichtungs-Korrektur durchgeführt wird. In anderen Worten wird die Steuerung des Wasserfahrzeugs automatisiert so angepasst, dass die Fahrtrichtung des Wasserfahrzeugs sich senkrecht zur Hauptausrichtung der Wellen ausrichtet. Der Eingriff in die Steuerung erfolgt mittels der Steuereinrichtung des Wasserfahrzeugs, die zu diesem Zweck mit der Aktuatorik der Steuerung, z. B. mit der Aktuatorik des Antriebssystems und mit der Aktuatorik des Lenksystem des Wasserfahrzeugs, verbunden ist und diese ansteuern kann. Beispielsweise kann mittels der Aktuatorik ein Steuerruder so eingestellt werden, dass das Schiff seine Fahrtrichtung entsprechend der Fahrtrichtungs-Korrektur anpasst.
-
Vorteilhaft daran ist, dass das Wasserfahrzeug somit stets automatisiert senkrecht zur Hauptausrichtung der Wellen ausgerichtet werden kann. Dadurch wird die Gefahr eines Kenterns des Wasserfahrzeugs aufgrund ungünstig auftreffender Wellen minimiert.
-
Nach einer weiterbildenden Ausführungsform wird die Umgebung um das Wasserfahrzeug bei der Ermittlung der Hauptausrichtung der Wellen in der Nähe eines Hindernisses in Kreissektoren unterteilt. Die Hauptausrichtung der Wellen wird wenigstens für denjenigen der Kreissektoren ermittelt, welcher in Fahrtrichtung orientiert ist. Zusätzlich kann die Hauptausrichtung der Wellen für an diesen Kreissektor angrenzende Kreissektoren ermittelt werden. Bei der Ermittlung der Hauptausrichtung der Wellen im Freiwasser wird die Hauptausrichtung der Wellen für die gesamte Umgebung des Wasserfahrzeugs ermittelt.
-
Hier liegt die Erkenntnis zu Grunde, dass die Ausbreitung von Wellen, die sich an einem Hindernis brechen, anders ist als im Freiwasser. Die Wellen, die sich im Freiwasser ausbreiten weisen mehrere parallele Wellenmaxima und Wellenminima auf, die im Wesentlichen äquidistant zueinander sind. Die Wellen, die auf ein Hindernis treffen, weisen hingegen nur teilweise parallele Wellenmaxima und Wellenminima auf, die nicht äquidistant zueinander sind. Das Hindernis kann hierbei eine Küste, eine Insel, ein Felsen, eine Düne, eine Sandbank, ein Riff, ein Gebäude o. ä. sein. Das Hindernis ist hierbei derart ausgeformt, dass das Wasserfahrzeug dieses nicht überfahren kann.
-
In Hindernisnähe ist die Ausbreitung der Wellen rund um das Wasserfahrzeug daher verschieden von der Ausbreitung der Wellen im Freiwasser. In Hindernisnähe werden daher nicht die Wellen in der gesamten Umgebung rund um das Wasserfahrzeug betrachtet, sondern nur die Wellen, die in dem Kreissektor auftreten, der in Fahrtrichtung des Wasserfahrzeugs orientiert ist. Die Abmessungen des Kreissektors richten sich dabei beispielsweise nach einer Geschwindigkeit des Wasserfahrzeugs. Je größer die Geschwindigkeit des Wasserfahrzeugs ist, desto größer ist der zu betrachtende Kreissektor. Alternativ können sich die Abmessungen des Kreissektors nach der Nähe des Wasserfahrzeugs zum Hindernis richten. Beispielsweise kann der Kreissektor umso größer sein je weiter das Wasserfahrzeug von dem Hindernis entfernt ist. Der Kreissektor ist hierbei derart orientiert, dass das Wasserfahrzeug den Mittelpunkt des Kreises ausbildet, dessen Kreissektor betrachtet wird.
-
Die Hauptausrichtung der Wellen wird auf die gleiche Art und Weise bestimmt, die bereits in der vorherigen Beschreibung beschrieben wurde. Die Wellenabschnitte innerhalb des Kreissektors sind nämlich ausreichend glatt, so dass deren identifizierte Kanten zur Bestimmung der Hauptausrichtung der Wellen herangezogen werden kann. Innerhalb des Kreissektors sind die Wellenmaxima im Wesentlichen parallel zueinander. Die Hauptausrichtung der Wellen innerhalb des Kreissektors werden in Hindernisnähe daher als gesamte Hauptausrichtung definiert. Die Fahrtrichtungs-Korrektur richtet sich daher nach der Hauptausrichtung innerhalb des Kreissektors.
-
Bei der Ermittlung der Hauptausrichtung der Wellen im Freiwasser wird hingegen die Hauptausrichtung der Wellen für die gesamte Umgebung des Wasserfahrzeugs, wobei das Segment immer noch ausgenommen ist, ermittelt. Dies erfolgt auf die bereits Beschriebene Art und Weise.
-
Nach einer weiterbildenden Ausführungsform wird das Vorhandensein des Hindernisses ausgehend von globalen Koordinaten und/oder ausgehend von einem Sensorsignal eines bildgebenden Sensors des Wasserfahrzeugs festgestellt. Das Erkennen des Hindernisses ist nötig, um rechtzeitig von der Freiwasserbetrachtung in die Hindernisbetrachtung umzuschalten. Mittels globaler Koordinaten, z. B. mittels Koordinaten eines globalen Positionsbestimmungssystem wie GPS, kann bestimmt werden, wo sich das Wasserfahrzeug aufhält. Mittels eines Vergleichs mit Kartenmaterial kann ermittelt werden, ob sich ein Hindernis in der Nähe der Koordinaten des Wasserfahrzeugs befindet.
-
Zusätzlich oder alternativ dazu kann ausgehend von dem Sensorsignal des bildgebenden Sensors des Wasserfahrzeugs festgestellt werden, ob das Wasserfahrzeug sich in der Nähe eines Hindernisses befindet. Der bildgebende Sensor kann dabei als eine Kamera, als ein Radar-Sensor, als ein Sonar-Sensor, als ein Lidar-Sensor oder als anderer geeigneter bildgebender Sensor ausgebildet sein.
-
Sobald festgestellt wird, dass sich das Wasserfahrzeug in der Nähe des Hindernisses bewegt, wird von der Freiwasserbetrachtung in die Hindernisbetrachtung umgeschaltet. Dieses Umschalten kann zudem dann erfolgen, wenn die Freiwasserbetrachtung nicht mehr mit ausreichender Konfidenz ein Ergebnis liefern kann.
-
Nach einer weiterbildenden Ausführungsform wird zum Erkennen der Wellen eine künstliche Intelligenz eingesetzt, die sich eines trainierten künstlichen neuronalen Netzes bedient, wobei dieses zusätzlich ein Labeln der Wellen durchführt. Das trainierte künstliche neuronale Netz weist hierbei mehrere Schichten auf. Das künstliche neuronale Netz wurde bereits werksseitig vor einer Inbetriebnahme des Wasserfahrzeugs trainiert mittels Trainingsdaten, welche jeweils Bilddaten enthalten, auf welchen Wellen als solche gelabelt sind. Zudem wird das künstliche neuronale Netz durch die Bilddaten, die während des Fahrbetriebs des Wasserfahrzeugs generiert werden, weiter trainiert. Zusätzlich kann das künstliche neuronale Netz durch Bilddaten eines externen Datenspeichers weiter trainiert werden.
-
Das Labeln der Wellen bedeutet, dass das künstliche neuronale Netz jede Welle, die in den transformierten Bilddaten enthalten ist, als solche kennzeichnet und somit identifiziert. Zusätzlich kann das künstliche neuronale Netz aufgrund des Labelns jeder Welle einen Winkel und/oder eine Phase zuweisen. Dadurch kann die Kantendetektion entfallen.
-
Nach einer weiterbildenden Ausführungsform werden rotatorische Bewegungen und Schwingungen des Wasserfahrzeugs ermittelt, wobei diese rotatorischen Bewegungen und Schwingungen in die Bestimmung der Fahrtrichtungs-Korrektur einfließen. Rotatorische Bewegungen und Schwingungen sind diejenigen Bewegungen, die aufgrund der Fahrbewegung und aufgrund der Einwirkung des Wassers auf das Wasserfahrzeug in das Schiff eingetragen werden. Die rotatorischen Bewegungen umfassen Gierbewegungen, Stampfbewegungen und Rollbewegungen des Wasserfahrzeugs, wobei diese jeweils um die drei geometrischen Hauptachsen des Wasserfahrzeugs erfolgen. Die Schwingungen umfassen Rotationsschwingungen und Translationsschwingungen, die nicht an die geometrischen Hauptachsen des Wasserfahrzeugs gebunden sind. Sowohl die Schwingungen als auch die rotatorischen Bewegungen bilden Störfaktoren für die zu ermittelnde Fahrtrichtungs-Korrektur aus.
-
Um die nötige Fahrtrichtungs-Korrektur zu ermitteln, werden sowohl die Schwingungen als auch die rotatorischen Bewegungen in die Berechnung der Fahrtrichtungs-Korrektur einbezogen. Dies ist vorteilhaft, weil durch die rotatorischen Bewegungen und durch die Schwingungen ein Nachsteuern nötig sein kann, um das Wasserfahrzeug auf Kurs zu halten. Dadurch kann auch ein Übersteuern oder Untersteuern verhindert werden.
-
Nach einer weiterbildenden Ausführungsform erfolgt das Ermitteln der Fahrtrichtungs-Korrektur mittels einer künstlichen Intelligenz, die sich eines weiteren trainierten künstlichen neuronalen Netzes bedient, welche ausgehend von den erkannten Wellen anhand im Training antrainierter Reaktionen auf gleichartige Wellen die Fahrtrichtungs-Korrektur auswählt. Das weitere trainierte künstliche neuronale Netz weist hierbei mehrere Schichten auf. Das weitere künstliche neuronale Netz wurde bereits werksseitig vor einer Inbetriebnahme des Wasserfahrzeugs trainiert mittels Trainingsdaten, welche jeweils Bilddaten enthalten, auf welchen Wellen als solche gekennzeichnet sind, wobei die Hauptausrichtung der Wellen ebenfalls gekennzeichnet ist. Dabei enthalten die Trainingsdaten jeweils Reaktionen auf die entsprechenden Hauptausrichtungen der Wellen in Verbindung mit der Lage des Wasserfahrzeugs. Die Reaktionen sind ausgeformt mittels Fahrtrichtungs-Korrekturen und somit mittels Eingriffen in die Steuerung des Wasserfahrzeugs, die bei einer gewissen Hauptausrichtung der Wellen erfolgt sind. In anderen Worten enthalten die Trainingsdaten Bilddaten zu Wellen, deren Hauptausrichtung bekannt ist, und damit verknüpft Fahrtrichtungs-Korrektur-Daten des Wasserfahrzeugs bei einer vorbekannten Lage des Wasserfahrzeugs, um das Wasserfahrzeug senkrecht zur Hauptausrichtung der Wellen auszurichten.
-
Zudem wird das weitere künstliche neuronale Netz durch die Bilddaten, die während des Fahrbetriebs des Wasserfahrzeugs generiert werden, und durch Fahrtrichtungs-Korrektur-Daten weiter trainiert. Zusätzlich kann das weitere künstliche neuronale Netz durch Bilddaten und damit verknüpfte Fahrtrichtungs-Korrektur-Daten eines externen Datenspeichers weiter trainiert werden.
-
Durch das Verwenden des weiteren künstlichen neuronalen Netzes kann das Bestimmen der Hauptausrichtung der Wellen und die darauf aufbauende Berechnung der Fahrtrichtungs-Korrektur vereinfacht werden. Somit werden die Berechnungsschritte reduziert, da das weitere künstliche neuronale Netz ausgehend von Erfahrungswerten die passende Fahrtrichtungs-Korrektur für die jeweilige Hauptausrichtung der Wellen in Verbindung mit der Lage des Wasserfahrzeugs zu dieser Hauptausrichtung auswählt.
-
Die Steuereinrichtung für das Wasserfahrzeug umfasst einen Prozessor, der so angepasst ist, dass er die Schritte des Verfahrens ausführt, welches bereits in der vorherigen Beschreibung beschrieben wurde. Die Steuereinrichtung kann dabei als ECU oder Domain-ECU ausgebildet sein. Wenn die Steuereinrichtung in einem Wasserfahrzeug verwendet wird, ist diese mit der wenigstens einen Kamera verbunden, so dass ein Daten- und Signalaustausch erfolgen kann. Diese Verbindung kann drahtlos oder kabelgebunden ausgebildet sein. Dies wurde bereits in der vorherigen Beschreibung beschrieben. Des Weiteren ist die Steuereinrichtung mit einer Aktuatorik der Steuerung des Wasserfahrzeugs, z. B. mit der Aktuatorik des Antriebssystems und mit einer Aktuatorik des Lenksystem des Wasserfahrzeugs, verbunden, wenn die Steuereinrichtung in einem Wasserfahrzeug verwendet wird. Diese Verbindung ist derart, dass ein Daten- und Signalaustausch erfolgen kann. Diese Verbindung kann drahtlos oder kabelgebunden ausgebildet sein. Dies wurde bereits in der vorherigen Beschreibung beschrieben. Das Verfahren kann hierbei in Form eines Computerprogrammprodukts auf dem Prozessor ablaufen.
-
Das Computerprogrammprodukt umfasst Befehle, die bei der Ausführung des Programms durch die bereits beschriebene Steuereinrichtung diese veranlassen, die Schritte des bereits beschriebenen Verfahrens auszuführen. Das Computerprogrammprodukt kann z. B. in Form eines Algorithmus vorliegen.
-
Das Computerprogrammprodukt kann auf einem computerlesbaren Medium verkörpert sein. Das computerlesbaren Medium umfasst Befehle, die bei der Ausführung durch die bereits beschriebene Steuereinrichtung diese veranlassen, die Schritte des bereits beschriebenen Verfahrens auszuführen. Das computerlesbaren Medium kann dabei als Datenträger, z. B. als CD, DVD, USB-Speicher, Festplatte o. ä., oder als herunterladbarer Datenstrom ausgebildet sein.
-
Das Wasserfahrzeug weist die wenigstens eine Kamera und die Steuereinrichtung auf. Sowohl die wenigstens eine Kamera als auch die Steuereinrichtung wurden bereits in der vorherigen Beschreibung beschrieben. Die Kamera und die Steuereinrichtung sind miteinander verbunden, wie bereits beschrieben. Das Wasserfahrzeug ist so ausgeformt, dass dieses automatisierte Fahrfunktionen durchführen kann, beispielsweise ein automatisiertes Halten seiner Fahrtrichtung oder Korrigieren seiner Fahrtrichtung bzw. seines Kurses. Dies wurde bereits beschrieben.
-
Anhand der im Folgenden erläuterten Figuren werden verschiedene Ausführungsbeispiele und Details der Erfindung näher beschrieben. Es zeigen:
- 1 eine schematische Darstellung eines Wasserfahrzeugs im Freiwasser nach einem Ausführungsbeispiel,
- 2 eine schematische Darstellung des Wasserfahrzeugs aus 1 in Küstennähe nach einem Ausführungsbeispiel,
- 3 eine schematische Darstellung eines Verfahrens zur Steuerung des Wasserfahrzeugs nach den Ausführungsbeispielen aus 1 und 2.
-
1 zeigt eine schematische Darstellung eines Wasserfahrzeugs 1 im Freiwasser 14 nach einem Ausführungsbeispiel. Das Wasserfahrzeug 1 ist als motorbetriebenes Wasserfahrzeug 1 ausgeformt. Das Wasserfahrzeug 1 weist eine Kamera 2 auf, die an einem Mast des Wasserfahrzeugs 1 angeordnet ist, so dass diese Kamera 2 die Umgebung 4 rund um das Wasserfahrzeug 1 erfassen kann. Die Kamera 2 erfasst somit die Wasseroberfläche 3 in der Umgebung 4. Das Wasserfahrzeug 1 weist eine Steuereinrichtung auf, welche hier aus Übersichtlichkeitsgründen nicht eingezeichnet ist. Die Steuereinrichtung ist mit der Kamera 2 verbunden, so dass ein Daten- und Signalaustausch erfolgen kann.
-
Das Wasserfahrzeug 1 weist die Wasserfahrzeugachse 7 auf, die sich vom Bug zum Heck des Wasserfahrzeugs 1 erstreckt. Die Wasserfahrzeugachse 7 ist in Richtung der Fahrtrichtung 8 orientiert. Das Wasserfahrzeug 1 ist derart ausgeformt, dass es tomatisierte Fahrfunktionen durchführen kann. Zu diesem Zweck ist die Steuereinrichtung mit einer Steuerung des Wasserfahrzeugs 1, genauer mit einer Aktuatorik eines Antriebssystems und mit einer Aktuatorik eines Lenksystem des Wasserfahrzeugs 1, verbunden. Die Steuerung des Wasserfahrzeugs 1 ist aus Übersichtlichkeitsgründen nicht eingezeichnet.
-
Das Wasserfahrzeug 1 bewegt sich in Fahrtrichtung 8 auf dem Wasser und somit auch auf der Wasseroberfläche 3. Die Wasseroberfläche 3 weist mehrere Wellen 9 auf. Bei diesen Wellen 9 können hier zwei Arten unterschieden werden. Zum einen weist die Wasseroberfläche 3 selbstverursachte Wellen 9 auf, die durch das Wasserfahrzeug 1 verursacht werden und hinter dem Wasserfahrzeug 1 hergezogen werden. Diese selbstverursachten Wellen 9 sind für das Wasserfahrzeug 1 nicht störend. Zum anderen weist die Wasseroberfläche 3 fremdverursachte Wellen 9 auf. Diese können z. B. durch andere Wasserfahrzeuge, durch Wetterbedingungen wie Wind, durch Naturereignisse wie Erd- oder Seebeben, o. ä. hervorgerufen sein. Diese fremdverursachten Wellen 9 können für das Wasserfahrzeug 1 eine Störung oder gar eine Gefahr darstellen, wenn die Ausrichtung des Wasserfahrzeugs 1 zu einer Hauptausrichtung 10 der Wellen 9 ungünstig ist.
-
Die selbstverursachten Wellen 9, die sich vom Heck des Wasserfahrzeugs 1 ausbreiten, sind für die Steuerung des Wasserfahrzeugs 1 unerheblich. Daher werden diese aus den Bilddaten, die die Kamera 2 generiert ausgenommen. Zu diesem Zweck wird ein Segment 5 aus den Bilddaten ausgenommen, in welchem sich die selbstverursachten Wellen 9 erstrecken. Dieses Segment 5 weist eine Mittelachse 6 auf, welche in Richtung der Fahrtrichtung 8 orientiert ist und auf der Wasserfahrzeugachse 7 liegt. Das Segment 5 ist in Form eines symmetrischen Kreissektors ausgeformt. Die Symmetrieachse des Segments 5 ist dessen Mittelachse 6.
-
Es ist deutlich zu erkennen, dass die fremdverursachten Wellen 9 parallel und äquidistant zueinander angeordnet sind. Die Hauptausrichtung 10 dieser Wellen 9 weist keinen senkrechten Winkel zur Wasserfahrzeugachse 7 auf. Dadurch können die fremdverursachten Wellen 9 eine Gefahr für das Wasserfahrzeug 1 darstellen. Eine Ausrichtung der Wasserfahrzeugachse 7 senkrecht zu der Hauptausrichtung 10 der Wellen 9 ist daher nötig. Dies erfolgt mittels eines Verfahrens, das in 3 näher erläutert wird.
-
2 zeigt eine schematische Darstellung des Wasserfahrzeugs 1 aus 1 in Küstennähe nach einem Ausführungsbeispiel. Das Wasserfahrzeug 1 ist dabei dasselbe Wasserfahrzeug 1, das bereits in 1 dargestellt und beschrieben wurde. Allerdings befindet sich das Wasserfahrzeug 1 nun nicht mehr im Freiwasser sondern in Küstennähe. Die Küste stellt hierbei ein Hindernis 13 für das Wasserfahrzeug 1, aber auch für die Wellen 9 dar.
-
Das Wasserfahrzeug 1 bewegt sich in Fahrtrichtung 8 in Richtung der Küste. Das Wasserfahrzeug 1 hält sich in unmittelbarer Nähe der Küste auf. In Küstennähe verhalten sich die fremdverursachten Wellen 9 anders als im Freiwasser. Die fremdverursachten Wellen 9 sind nicht mehr durchgängig parallel und nicht mehr äquidistant zueinander, da sich diese am Hindernis 13 brechen und aufgrund des Hindernisses 13 an ihrer gelichmäßigen Ausbreitung gehindert werden.
-
Um die Hauptausrichtung 10 der fremdverursachten Wellen 9 ermitteln zu können ist daher eine andere Vorgehensweise nötig als im Freiwasser. Anstelle einer Betrachtung der gesamten Umgebung 4 des Wasserfahrzeugs 1 wird hier die unmittelbare Umgebung 4 rund um das Wasserfahrzeug 1 in Kreissektoren 12 unterteilt. Die Hauptausrichtung 10 der fremdverursachten Wellen 9 wird nur für denjenigen Kreissektor 12 bestimmt, der in Fahrtrichtung 8 des Wasserfahrzeugs 1 orientiert ist. In diesem Kreissektor 12 sind die fremdverursachten Wellen 9 nahezu parallel zueinander. Die Hauptausrichtung 10 ist für diesen Kreissektor 12 daher auf dieselbe Art und Weise bestimmbar wie im Freiwasser.
-
Selbstverständlich wird auch hier das Segment 5, in welchem sich die selbstverursachten Wellen 9 ausbreiten, ausgenommen. Auch in Küstennähe, also in Hindernisnähe, ist es nötig die Wasserfahrzeugachs 7 senkrecht zu der Hauptausrichtung 10 der Wellen 9 auszurichten, um Gefahren oder Störungen für das Wasserfahrzeug 1 abzuwenden. Dies erfolgt mittels des Verfahrens, das in 3 näher erläutert wird.
-
3 zeigt eine schematische Darstellung des Verfahrens V zur Steuerung des Wasserfahrzeugs nach den Ausführungsbeispielen aus 1 und 2. In einem ersten Schritt 101 des Verfahrens V werden mittels der Kamera 2 des Wasserfahrzeugs Bilddaten 80 generiert. Diese Bilddaten 80 beschreiben die Umgebung rund um das Wasserfahrzeug, genauer die Wasseroberfläche der Umgebung rund um das Wasserfahrzeug.
-
In einem zweiten Schritt 102, der auf den ersten Schritt 101 folgt, wird aus den generierten Bilddaten 80 das in 1 und 2 gezeigte Segment ausgenommen, wodurch segmentfreie Bilddaten 81 generiert werden. Durch das Ausnehmen des Segments werden die selbstverursachten Wellen 9 nicht in die Betrachtung einbezogen. Der zweite Schritt 102 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
In einem dritten Schritt 103, der auf den zweiten Schritt 102 folgt, werden die segmentfreien Bilddaten 81 einer inverse Perspektiven-Transformation unterzogen. Dadurch werden transformierte Bilddaten 82 generiert. Dadurch werden die segmentfreien Bilddaten 81 so umgerechnet, dass eine Top-View-Ansicht nachgeahmt wird.
-
Der dritte Schritt 103 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
In einem vierten Schritt 104, der auf den dritten Schritt 103 folgt, werden fremdverursachte Wellen 9 auf der Wasseroberfläche identifiziert. Dies erfolgt, indem sowohl ein Thresholding von hellen und dunklen Bereichen der transformierten Bilddaten 82 als auch eine gleichzeitig ablaufende Kantendetektion durchgeführt wird, um Kanten 83 in den transformierten Bilddaten 82 zu identifizieren. Dadurch wird gleichzeitig ein Denoising und somit eine Datenreduktion durchgeführt. Das Detektieren der Kanten 83 entspricht dabei einem Glättungsverfahren.
-
Ausgehend von den Kanten 83 werden die fremdverursachten Wellen 9 mittels einer Hough-Transformation oder mittels Blobbing oder mittels einer diskreten 2D-Fourier-Transformation identifiziert. Alternativ dazu können die Wellen mittels einer künstlichen Intelligenz, die sich eines trainierten künstlichen neuronalen Netzes 60 bedient, identifiziert werden. Der vierte Schritt 104 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
In einem fünften Schritt 105, der auf den vierten Schritt 104 folgt, wird die Hauptausrichtung 10 der fremdverursachten Wellen 9 ermittelt. Dies kann optional mit Hilfe des trainierten künstlichen neuronalen Netzes 60 erfolgen. Der fünfte Schritt 105 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
In einem sechsten Schritt 106, der auf den fünften Schritt 105 folgt, wird die Lage 11 der Wasserfahrzeugachse in Bezug zur Hauptausrichtung 10 der fremdverursachten Wellen 9 ermittelt. Die Lage 11 der Wasserfahrzeugachse ist hierbei abhängig von der Fahrtrichtung des Wasserfahrzeugs. Es wird in anderen Worten festgestellt, welche Ausrichtung das Wasserfahrzeug im Vergleich zur Hauptausrichtung 10 der fremdverursachten Wellen 9 aufweist. Der sechste Schritt 106 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
In einem siebten Schritt 107, der auf den sechsten Schritt 106 folgt, wird eine Fahrtrichtungs-Korrektur 90 ausgehend von der Lage 11 der Wasserfahrzeugachse und ausgehend von der Hauptausrichtung 10 der fremdverursachten Wellen 9 bestimmt. Die Fahrtrichtungs-Korrektur 90 ist dabei definiert als eine nötige Korrektur der Fahrtrichtung des Wasserfahrzeugs, so dass die Lage 11 der Wasserfahrzeugachse senkrecht zu der Hauptausrichtung 10 der fremdverursachten Wellen 9 ausgerichtet wird. Der siebte Schritt 107 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
Optional können in die Bestimmung der Fahrtrichtungs-Korrektur 90 rotatorische Bewegungen 50 sowie Schwingungen 51 des Wasserfahrzeugs einbezogen werden. Dies ist vorteilhaft, weil durch die rotatorischen Bewegungen 50 und durch die Schwingungen 51 ein Nachsteuern nötig sein kann, um das Wasserfahrzeug auf Kurs zu halten.
-
Alternativ zu dem eben beschriebenen fünften Schritt 105 und dem eben beschriebenen sechsten Schritt 106 kann eine künstliche Intelligenz eingesetzt werden, die sich eines weiteren künstlichen neuronalen Netzes 61 bedient. Mittels dieses weiteren künstlichen neuronalen Netzes 61 kann ausgehend von den identifizierten Wellen 9 direkt eine Fahrtrichtungs-Korrektur 90 ermittelt werden. Diese Fahrtrichtungs-Korrektur 90 wird ausgehend von Erfahrungswerten bestimmt, die aus Trainingsdaten des weiteren künstlichen neuronalen Netzes 61 stammen. Die künstliche Intelligenz, die das weitere künstliche neuronale Netz 61 aufweist, kann z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ablaufen.
-
In einem achten Schritt 108, der auf den siebten Schritt 107 folgt, wird ein Eingriff 91 in die Steuerung des Wasserfahrzeugs durchgeführt. Dieser Eingriff 91 ist derart, dass die Fahrtrichtung des Wasserfahrzeugs so angepasst wird, dass die Fahrtrichtungs-Korrektur 90 umgesetzt werden kann. Durch den Eingriff 91 soll die Fahrtrichtung des Wasserfahrzeugs korrigiert werden, so dass die Lage 11 der Wasserfahrzeugachse senkrecht zu der Hauptausrichtung 10 der fremdverursachten Wellen 9 ausgerichtet wird. Beispielsweise erfolgt der Eingriff 91 in das Antriebssystem und/ oder in das Lenksystem des Wasserfahrzeugs. Der achte Schritt 108 läuft z. B. auf der Steuereinrichtung 20 des Wasserfahrzeugs ab.
-
In einem neunten Schritt 109, der auf den achten Schritt 108 folgt, wird durch den Eingriff 91 in die Steuerung des Wasserfahrzeugs die Fahrtrichtungs-Korrektur 90 umgesetzt. Das Wasserfahrzeug dreht seine Wasserfahrzeugachse somit senkrecht zu der Hauptausrichtung 10 der fremdverursachten Wellen 9.
-
Das Verfahren V läuft hierbei kontinuierlich ab. Das heißt, dass das Verfahren V immer wieder durchlaufen wird, solange das Wasserfahrzeug sich auf dem Wasser fortbewegt, also ein Fahrbetrieb vorliegt. Alternativ kann das Verfahren V abhängig von einer Sturmwarnungen gestartet werden, welche an das Wasserfahrzeug übermittelt wurde. Wiederum alternativ kann das Verfahren V in Abhängigkeit von einer Position des Wasserfahrzeugs gestartet werden, beispielsweise in Küsten- oder Hindernisnähe. Alternativ dazu kann bei bestimmten Witterungsverhältnissen das Verfahren V gestartet werden. Alternativ kann das Verfahren V in Abhängigkeit von der Amplitude der erkannten Wellen gestartet werden, d. h. bei hohen Wellen wird das Verfahren V durchgeführt, bei kleinen Wellen nicht. Beispielsweise kann das Verfahren V bei schlechtem Wetter oder Sturm häufiger genutzt werden. Bei gutem Wetter können Teile der Rechenressourcen für andere Anwendungen freigegeben werden.
-
Bezugszeichenliste
-
- 1
- Wasserfahrzeug
- 2
- Kamera
- 3
- Wasseroberfläche
- 4
- Umgebung
- 5
- Segment
- 6
- Mittelachse
- 7
- Wasserfahrzeugachse
- 8
- Fahrtrichtung
- 9
- Welle
- 10
- Hauptausrichtung
- 11
- Lage
- 12
- Kreissektor
- 13
- Hindernis
- 14
- Freiwasser
- 20
- Steuereinrichtung
- 50
- rotatorische Bewegungen
- 51
- Schwingungen
- 60
- trainiertes künstliches neuronales Netz
- 61
- weiteres trainiertes künstliches neuronales Netz
- 80
- Bilddaten
- 81
- segmentfreie Bilddaten
- 82
- transformierte Bilddaten
- 83
- Kanten
- 90
- Fahrtrichtungs-Korrektur
- 91
- Eingriff
- 101
- erster Schritt
- 102
- zweiter Schritt
- 103
- dritter Schritt
- 104
- vierter Schritt
- 105
- fünfter Schritt
- 106
- sechster Schritt
- 107
- siebter Schritt
- 108
- achter Schritt
- 109
- neunter Schritt
- V
- Verfahren
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017300056 A1 [0003]
- EP 2890608 B1 [0004]
- EP 1824730 B1 [0005]
- DE 2528073 A1 [0006]
