DE102022201639B3 - Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens - Google Patents

Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens Download PDF

Info

Publication number
DE102022201639B3
DE102022201639B3 DE102022201639.4A DE102022201639A DE102022201639B3 DE 102022201639 B3 DE102022201639 B3 DE 102022201639B3 DE 102022201639 A DE102022201639 A DE 102022201639A DE 102022201639 B3 DE102022201639 B3 DE 102022201639B3
Authority
DE
Germany
Prior art keywords
image
camera
camera images
obstacle
watercraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102022201639.4A
Other languages
English (en)
Inventor
Markus Birk
Gabriela Jager
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102022201639.4A priority Critical patent/DE102022201639B3/de
Application granted granted Critical
Publication of DE102022201639B3 publication Critical patent/DE102022201639B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Ocean & Marine Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen. Es umfasst folgende Verfahrensschritte,• Erfassen mehrerer Kamerabilder (5) von Bord des Wasserfahrzeugs (1) aus, wobei die Kamerabilder in derselben Blickrichtung erfasst werden,• Segmentieren der Kamerabilder (5) in die Bildsegmente Wasser (11), Festland (12) und Hindernis (13);• Prüfung anhand eines Vergleichs von mindestens zwei zu verschiedenen Zeitpunkten erfassten Kamerabildern (5), ob sich die Bildinformation in einem Prüfbereich (6) in dem Bildsegment Festland (12) verändert hat;• Bestimmung eines Kollisionsrisikos in Abhängigkeit von einem Ergebnis ausder Prüfung in dem vorhergehenden Verfahrensschritt.Ferner werden eine entsprechende Einrichtung und ein Computerprogrammprodukt zur Durchführung des Verfahrens angegeben.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen sowie eine Einrichtung zur Kollisionsvermeidung von Wasserfahrzeugen. Das vorgeschlagene Verfahren ist zumindest teilweise computerimplementiert und umfasst bildverarbeitende Verfahrensschritte.
  • Es sind verschiedene Verfahren bekannt, um Kollisionsrisiken zwischen einem Wasserfahrzeug und einem Hindernis zu erkennen. Dabei werden in der Regel die Trajektorien des eigenen Wasserfahrzeugs und die eines möglicherweise kollidierenden Schiffes ermittelt, um daraufhin zu berechnen, ob es zu einer Kollision kommt. Derartige Verfahren erfordern einen erheblichen Aufwand zur Erfassung der dazu notwendigen Parameter und zur Berechnung einer Kollisionswahrscheinlichkeit.
  • Verfahren zur Erkennung von Objekten und zur Kollisionsvermeidung sind aus den folgenden Dokumenten bekannt:
    • • KRISTAN, M., et al.: Fast image-based obstacle detection from unmanned surface vehicles. In: IEEE transactions on cybernetics, 2015, 46. Jg., Nr. 3, S. 641-654. doi: 10.1109/TCYB.2015.2412251
    • • BORGHGRAEF, A., Acheroy, M.: Using optical flow for the detection of floating mines in IR image sequences. In: Electro-Optical and Infrared Systems:
      • Technology and Applications III. SPIE, 2006. S. 296-305. doi: 10.1117/12.688839
    • • KIM, H., et al.: Vision-based real-time obstacle segmentation algorithm for autonomous surface vehicle. In: IEEE Access, 2019, 7. Jg., S. 179420-179428. doi:
      • 10.1109/ACCESS.2019.2959312
    • • VERTENS, J., Valada, A., Burgard, W.: Smsnet: Semantic motion segmentation using deep convolutional neural networks. In: 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017. S. 582-589. doi: 10.1109/IROS.2017.8202211
  • Es ist die Aufgabe der vorliegenden Erfindung eine Lösung zur Kollisionsvermeidung von Wasserfahrzeugen zu schaffen, welche insbesondere im Hinblick auf einen geringeren Aufwand verbessert ist.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen von Anspruch 1, durch eine Einrichtung nach Anspruch 7 und durch ein Computerprogrammprodukt nach Anspruch 8 gelöst. Vorteilhafte Ausführungen sind in den abhängigen Ansprüchen angegeben.
  • Es wird ein Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen vorgeschlagen, bei dem eine mit einer Kamera verbundene Steuereinrichtung dazu eingerichtet ist, die folgenden Verfahrensschritte durchzuführen:
    • • Erfassen mehrerer Kamerabilder von Bord des Wasserfahrzeugs aus, wobei die Kamerabilder in derselben Blickrichtung erfasst werden,
    • • Segmentieren der Kamerabilder in zumindest die Bildsegmente Wasser, Festland und Hindernis;
    • • Prüfung anhand eines Vergleichs von mindestens zwei zu verschiedenen Zeitpunkten erfassten Kamerabildern, ob sich die Bildinformation in einem Prüfbereich in dem Bildsegment Festland verändert hat, wobei die Überwachung der Veränderung der Bildinformation in dem Bildsegment Festland (12) durch eine Abstraktion und Prüfung, ob sich die Abstraktion signifikant verändert, erfolgt, und wobei die Abstraktion eine Kantenextraktion umfasst;
    • • Bestimmung eines Kollisionsrisikos in Abhängigkeit von einem Ergebnis aus der Prüfung in dem vorhergehenden Verfahrensschritt.
  • Das vorgeschlagene Verfahren macht sich die Erkenntnis zu Nutze, wonach man sich mit seinem fahrenden Boot auf Kollisionskurs befindet, wenn sich die Kompasspeilung eines sich nähernden Schiffes nicht wesentlich ändert. Übertragen auf eine Anwendung durch den Menschen an Bord eines Schiffs bedeutet das, dass eine Kollision droht, wenn sich die Landschaft hinter einem sich nähernden Schiff oder Boot nicht verändert. Demnach kann eine mögliche Kollision durch die Beobachtung eines Festlands hinter einem anderen Boot erkannt werden. Dabei kann durch das Anpeilen eines anderen Bootes und durch das Beobachten des dahinter befindlichen Festlands festgestellt werden, ob sich das Festland in Bezug auf das andere Boot verschiebt bzw. verändert. Ist dies der Fall, befindet sich das Boot nicht auf Kollisionskurs. ist dies nicht der Fall, so befinden sich die beiden Boote bzw. Schiffe auf Kollisionskurs. Da ein Bootsführer oder Kapitän jedoch in der Regel nicht zu lange an einer Stelle warten kann, um zu schauen, wie sich die Landschaft hinter einem Boot oder anderen Hindernis verändert hat, kann das vorgeschlagene Verfahren bei der Überwachung der Lage eines Hindernisses zum eigenen Boot unterstützen und somit Kollisionen verhindern.
  • Ein solches Verfahren und System kann beispielsweise auf Wasserfahrzeugen einen großen Nutzen bringen, die nicht mit anderen Kollisionswarnsystemen wie AIS (Automatic Identification System) oder Radar ausgestattet sind. Das bildbasierte Verfahren kann auch als Erweiterung des Funktionsumfangs und zur Erhöhung der Robustheit von vorhandenen Systemen zur Kollisionsvermeidung von Wasserfahrzeugen dienen. Es kann also insbesondere in gemeinsamer Anwendung von anderen Kollisionswarnsystemen oder Kollisionswarnverfahren die Sicherheit in Bezug auf Kollisionen von Wasserfahrzeugen erhöhen. Das mit dem vorliegenden Verfahren ermittelte Kollisionsrisiko kann beispielsweise als Zahlenwert oder Prozentangabe festgelegt und/oder ausgegeben werden. Es kann auch ein Kollisionsrisiko aus dem vorliegenden und anderen Verfahren ermittelt und als gemeinsamer Wert für das Kollisionsrisiko ermittelt und ausgegeben werden.
  • Das Verfahren ist zumindest teilweise ein computerimplementiertes Verfahren, bei dem Bildverarbeitungstechnologien in Kombination mit einer Kamera und einem Computerprogrammprodukt verwendet werden, um Objekte bzw. Bildsegmente in den Kamerabildern zu erkennen. Das Verfahren umfasst eine Bilderkennung mithilfe einer Bildverarbeitung. Die Bilderkennung im Kontext der Bildverarbeitung umfasst die Fähigkeit von Software, Objekte, Orte, Personen, Schriften und Aktionen in Bildern zu identifizieren. Vorliegend können mögliche Hindernisse in einem Kamerabild als solche identifiziert werden. Zusätzlich kann das Verfahren auch die Möglichkeit bieten, dass ein im Kamerabild erkennbares Hindernis in dem Kamerabild manuell markiert wird. Dies kann beispielsweise von einem Schiffsführer gemacht werden, der ein mögliches Hindernis erkennt.
  • Bei dem vorgeschlagenen Verfahren sind keine Distanzinformation zu einem Hindernis erforderlich. Daher kann die Kamera auf dem Wasserfahrzeug in verhältnismäßig niedriger Höhe angeordnet sein. Dies ermöglicht eine einfache, günstige und flexible Lösung, beispielsweise auch mit der Kamera eines mobilen Gerätes, sofern diese in Bezug auf das Wasserfahrzeug zwischen der Erfassung der zu vergleichenden Kamerabilder nicht signifikant bewegt wird. Die Kamera bzw. das mobile Gerät mit der Kamera kann zur Anwendung des Verfahrens beispielsweise zeitweise an Bord des Wasserfahrzeugs befestigt werden.
  • Das Verfahren ist geeignet zur Anwendung in küstennahen Gewässern, in denen vom Boot aus Festland zu sehen ist. Die Verwendung der Begriffe Boot und Schiff in diesem Dokument soll nicht einschränkend verstanden werden, da sich das vorgeschlagene Verfahren für Boote, Schiffe und andere Wasserfahrzeuge eignet.
  • Zum Erfassen der Kamerabilder kann eine mobile oder fest an Bord des Wasserfahrzeugs installierte Kamera verwendet werden. Die jeweilige Kamera kann manuell in die Blickrichtung eines möglichen Hindernisses, insbesondere eines anderen Bootes, gerichtet und die Erfassung einzelner Kamerabilder manuell ausgelöst werden. Alternativ kann eine Kamera auch computergesteuert nach Hindernissen auf oder im Wasser suchen, entsprechend ausgerichtet und die Kamerabilder ausgelöst werden. Die zu vergleichenden Kamerabilder können beispielsweise mit einem zeitlichen Versatz von einigen Sekunden oder Minuten erfasst werden.
  • Das Verfahren setzt voraus, dass die verwendbaren Kamerabilder zumindest jeweils einen Ausschnitt mit Wasser, Festland und einem möglichen Hindernis umfassen. Kamerabilder, welche diese Inhalte nicht umfassen, können gelöscht werden und das Verfahren kann mit anderen, geeigneten Kamerabildern durchgeführt werden.
  • Unter einer Segmentierung wird eine Erzeugung von inhaltlich zusammenhängenden Bildausschnitten durch Zusammenfassung benachbarter Pixel entsprechend einem bestimmten Homogenitätskriterium verstanden. Das heißt, dass die Kamerabilder jeweils in sinnvolle Teile, die Bildsegmente, aufgeteilt werden. Zum Segmentieren der Kamerabilder können Verfahren und Softwareprogramme angewendet werden, bei denen die Segmentierung mithilfe von künstlicher Intelligenz, also mittels KI-basierter Methoden, erfolgt.
  • Die Prüfung einer Veränderung der Bildinformation in dem Bildsegment Festland kann vorzugsweise mittels Überwachung des optischen Flusses in dem Bildsegment Festland erfolgen. Die Prüfung einer Veränderung der Bildinformation in dem Bildsegment Festland erfolgt durch eine Abstraktion und Prüfung, ob sich die Abstraktion signifikant verändert. Dabei umfasst die Abstraktion eine Kantenextraktion.
  • Die Kantenextraktion ist bekannt als Teil einer Segmentierung von Elementen in der Bildverarbeitung. Bei der Kantenextraktion werden flächige Bereiche in einem Kamerabild voneinander getrennt, wenn sie sich entlang gerader oder gekrümmter Linien ausreichend in Farb- oder Grauwert, Helligkeit oder Textur unterscheiden. Spezielle Kantenoperatoren können die Übergänge zwischen diesen Bereichen erkennen und als Kanten markieren. Ausreichend homogene Bereiche in dem Kamerabild werden als solche bzw. als Segmente erkannt und bei der Erkennung der Kanten nicht durch eine Kante in zwei Flächen geteilt.
  • Die Prüfung auf Veränderung der Bildinformation ist auf einen Prüfbereich begrenzt, wobei der Prüfbereich vorzugsweise nur einen Teil des Kamerabildes umfasst. Das heißt, dass der Prüfbereich sich nur über einen Teil des jeweiligen Kamerabildes erstreckt. Gegebenenfalls umfasst der Prüfbereich den Teil des Kamerabildes, in dem das Bildsegment Festland an das Bildsegment Hindernis angrenzt. Es werden in diesem Fall somit Veränderungen der Bildinformationen nur in den an das Bildsegment Hindernis angrenzenden Flächenbereichen des Bildsegments Festland geprüft. Durch den flächenmäßig begrenzten Prüfbereich kann unnötiger Rechenaufwand vermieden und die Geschwindigkeit des Verfahrens erhöht werden. In einer Ausführungsform der Erfindung kann sich der Prüfbereich jedoch auch über das gesamte Kamerabild erstrecken.
  • In einem zusätzlichen Verfahrensschritt kann geprüft werden, ob sich die Lage des Bildsegments Hindernis in den zwei genannten Kamerabildern verändert hat, wobei die Bestimmung des Kollisionsrisikos auch von dem Ergebnis dieses Verfahrensschrittes abhängig ist. Sollte sich die Lage des Bildsegments Hindernis in den beiden verglichenen Kamerabildern signifikant verändert haben, so kann kein zuverlässiges Ergebnis aus der Verarbeitung dieser Kamerabilder mit dem vorgeschlagenen Verfahren erwartet werden. Stattdessen kann das Verfahren mit neu erfassten Kamerabildern neu gestartet werden. Dieser zusätzliche Verfahrensschritt kann die Zuverlässigkeit der Kollisionsprüfung erhöhen und unnötigen Aufwand an Berechnung und Auswertung vermeiden.
  • Bei einer Ausführungsform des Verfahrens, welche insbesondere bei einer verhältnismäßig hoch an dem Wasserfahrzeug angeordneten Kamera anwendbar ist, umfasst der Prüfbereich einen Bildbereich des Kamerabildes, der an eine Peillinie angrenzt, welche von einem Mittelpunkt einer Kamerabildunterkante durch einen Mittelpunkt des Bildsegments Hindernis bis zu einem dahinterliegenden Segment Festland verläuft. Bei dieser Ausführungsform können also auch Kamerabilder verwendet werden, bei denen das Bildsegment Festland nicht an das Bildsegment Hindernis angrenzt. Die genannten Bildsegmente sind in diesem Fall durch ein Bildsegment mit Wasser voneinander getrennt.
  • Bei der Überschreitung eines zuvor festgelegten Grenzwertes des Kollisionsrisikos kann beispielsweise ein Alarmsignal ausgelöst werden, sodass der Bootsführer auf die Kollisionsgefahr aufmerksam gemacht wird und entsprechende Maßnahmen zur Abwendung der Gefahr ergreifen kann.
  • Die Erfindung umfasst auch eine entsprechende Einrichtung zur Kollisionsvermeidung von Wasserfahrzeugen, mit einer Kamera und mit einer damit verbundenen Steuereinrichtung. Die Steuereinrichtung ist dazu eingerichtet ein oben beschriebenes Verfahren durchzuführen. Eine solche Einrichtung zur Kollisionsvermeidung kann aus einfachen Mitteln bestehen. So können gemäß einer Ausführung beispielsweise die Kamera und elektronische Steuerung (ECU) eines mobilen Gerätes, bspw. eines Smartphones oder eines Tabletcomputers verwendet werden, wobei auf dem mobilen Gerät ein Softwareprogramm zur Durchführung des Verfahrens angewendet wird. Das mobile Gerät kann an geeigneter Stelle an Bord des Wasserfahrzeugs zeitweise befestigt werden, um das vorgeschlagene Verfahren durchzuführen. Beim Erkennen eines Kollisionsrisikos kann einen akustische und/oder optische Warnung auf dem mobilen Gerät ausgegeben werden oder an ein damit verbundenes Steuer- oder Kontrollsystem des Wasserfahrzeugs ausgegeben werden.
  • In einer anderen Ausführung kann eine an Bord des Wasserfahrzeugs befestigte Kamera auch mit einer bereits vorhandenen elektronischen Steuereinrichtung verbunden werden, wobei die Steuereinrichtung zur Verarbeitung der von der Kamera erfassten Kamerabilder gemäß dem vorgeschlagenen Verfahren eingerichtet wird.
  • Schließlich umfasst die vorliegende Erfindung auch ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein oben beschriebenes Verfahren auszuführen. Ein solches Computerprogrammprodukt kann beispielsweise auf einem Computer einer Bootssteuerung oder auf einem mobilen Gerät gespeichert und zur Ausführung des Verfahrens genutzt werden.
  • Bestehende Wasserfahrzeuge können demnach sehr einfach mit einer erfindungsgemäßen Einrichtung und einem Computerprogrammprodukt nachgerüstet werden.
  • Im Folgenden wird die Erfindung anhand der in den anliegenden Figuren gezeigten Ausführungsbeispiele noch näher erläutert.
  • Dabei zeigen
    • 1 eine schematische Darstellung einer Szenerie mit einer erfindungsgemä-ßen Einrichtung zur Kollisionsvermeidung von Wasserfahrzeugen;
    • 2 ein Kamerabild aus der 1;
    • 3 eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens und
    • 4 eine schematische Darstellung einer weiteren Szenerie mit einer erfindungsgemäßen Einrichtung zur Kollisionsvermeidung von Wasserfahrzeugen.
  • Die 1 zeigt ein Wasserfahrzeug 1 mit einer Einrichtung 10 zur Kollisionsvermeidung von Wasserfahrzeugen 1, 2. Die Einrichtung 10 umfasst eine Kamera 3, welche an Bord des Wasserfahrzeugs 1 befestigt ist. Die Kamera 3 weist einen Bildwinkel 7, das bedeutet einen Erfassungsbereich, auf, welcher in einer Blickrichtung ausgerichtet ist, in der ein weiteres Wasserfahrzeug fährt, welches ein mögliches Hindernis 2 darstellt. Mit dieser Ausrichtung können mehrere Kamerabilder 5 erfasst werden. Die Kamerabilder 5 können in einer Speichereinrichtung der Einrichtung 10 abrufbar gespeichert werden, sodass eine Steuereinrichtung 4 der Einrichtung 10 auf die Kamerabilder 5 zugreifen kann. Das Kamerabild 5 ist in die vier Bildsegmente Wasser 11, Festland 12, Hindernis 13 und Himmel 14 segmentiert worden.
  • Die Steuereinrichtung 4 ist im vorliegenden Ausführungsbeispiel in einer gemeinsamen Baueinheit mit der Kamera 3 angeordnet. Die gemeinsame Baueinheit kann ein mobiles Gerät sein, welches nur zeitweise auf dem Wasserfahrzeug 1 befestigt ist. Die Steuereinrichtung 4 umfasst auch einen Prozessor zur Verarbeitung von Bilddaten der Kamerabilder 5 und einen Datenspeicher, auf dem erfasste Kamerabilder 5 zumindest zeitweise abgespeichert werden können. in der Steuereinrichtung 4 befindet sich ferner ein Softwareprogramm zur Verarbeitung von Bilddaten der Kamerabilder 5, sodass das beschriebene Verfahren gemäß den in 3 dargestellten Verfahrensschritten durchführbar ist.
  • Die 2 zeigt das Kamerabild 5 aus der 1 in einer größeren Darstellung. Die Bildsegmente Wasser 11, Festland 12 und Himmel 14 erstrecken sich jeweils vom rechten Bildrand bis zum linken Bildrand. Im mittleren Bereich des Kamerabildes 5 ist ein Boot als Hindernis 2 abgebildet. Dementsprechend wurde das Abbild des Hindernisses 2 als Bildsegment Hindernis 13 segmentiert.
  • Ein das Bildsegment Hindernis 13 umfassender Prüfbereich 6 ist mit einem Punktraster dargestellt. Der Prüfbereich 6 umgibt also mit seiner Fläche das Bildsegment Hindernis 13. Der Prüfbereich 6 ist bei der vorliegenden Ausführung rechteckig und erstreckt sich nur über einen Teil des Kamerabildes 5, wodurch der Bearbeitungsaufwand reduziert ist. Bei anderen Ausführungen kann sich ein entsprechender Prüfbereich auch über das gesamte Kamerabild 5 erstrecken oder in einer anderen Form begrenzt sein.
  • Die in dem Prüfbereich 6 liegenden Segmentteile 12a und 12b des Bildsegmentes Festland 12 werden im vorgeschlagenen Verfahren geprüft auf Veränderung der Bildinformation in diesen Segmentteilen. Sie sind in der 2 schraffiert dargestellt. Die zu prüfenden Segmentteile 12a und 12b sind beide benachbart, also angrenzend an das Bildsegment Hindernis 13 angeordnet.
  • Zunächst werden in einem ersten Verfahrensschritt V1 mehrere Kamerabilder 5 von Bord des Wasserfahrzeugs 1 aus erfasst, wobei die Kamera 3 zumindest im Wesentlichen in derselben Blickrichtung ausgerichtet bleibt, und wobei die Kamerabilder 5 zumindest jeweils einen Ausschnitt der Wasseroberfläche, eines Festlands und einem möglichen Hindernis umfassen.
  • Von der Steuereinrichtung 4 werden die Kamerabilder 5 in einem nachfolgenden Verfahrensschritt V2 zumindest in die Bildsegmente Wasser 11, Festland 12 und Hindernis 13 segmentiert. Daneben können auch noch weitere Bildsegmente identifiziert und segmentiert werden, beispielsweise ein Bildsegment Himmel 14.
  • In einem weiteren Verfahrensschritt V3 wird anhand eines Vergleichs von mindestens zwei zeitlich nacheinander erfassten Kamerabildern 5 geprüft, ob sich die Bildinformation in dem Bildsegment Festland 12 verändert haben. Mit anderen Worten wird hierbei geprüft, ob sich die Landschaft hinter dem Hindernis 2 verändert oder nicht. Verändert sich die Landschaft hinter dem Hindernis 2, d.h. die Bildinformation in dem Bildsegment Festland 12 hat sich zwischen den zwei verglichenen Kamerabildern 5 geändert, so erkennt das Verfahren keine Kollisionsgefahr.
  • Hat sich die Bildinformation in dem Bildsegment Festland 12 nicht geändert, so wird zusätzlich in einem Verfahrensschritt V4 geprüft, ob sich die Lage des Bildsegments Hindernis 13 in den mindestens zwei genannten Kamerabildern 5 verändert hat. Wenn sich die Lage des Bildsegments Hindernis 13 von einem Kamerabild 5 zu einem anderen Kamerabild 5 signifikant verändert hat, so wird das Verfahren mit neu erfassten Kamerabildern neu gestartet. Die Signifikanz der Veränderung der Lage des Bildsegments Hindernis 13 kann beispielsweise mithilfe eines vorgegebenen Schwellenwerts festgestellt werden.
  • Schließlich wird in dem Verfahrensschritt V5 ein Kollisionsrisikos in Abhängigkeit von dem Ergebnis aus der Prüfung der Verfahrensschritte V3 und V4 ermittelt. Das ermittelte Kollisionsrisiko kann an einen Bootsführer in Form eines Zahlenwertes ausgegeben werden. Abhängig von der Höhe des Zahlenwertes kann die Ausgabe als einfache Mitteilung oder als Alarms erfolgen.
  • Die 4 zeigt das Wasserfahrzeug 1 mit der Einrichtung 10 zur Kollisionsvermeidung aus 1 in einer anderen Anordnung. Die Einrichtung 10 umfassend die Kamera 3, ist in größerer Höhe an dem Wasserfahrzeug 1 angeordnet. Die Kamera 3 weist einen Bildwinkel 7 auf, bei dem sich das mögliche Hindernis 2 auf den erfassten Kamerabildern 5 nicht teilweise vor dem Festland befindet, sondern vollständig vom Bildsegment Wasser umgeben ist. Mit dieser Anordnung kann bei der Durchführung des Verfahrens ein Prüfbereich 6 so angeordnet werden, dass er einen Bildbereich des Kamerabildes 5 umfasst, in dem eine Peillinie 8, welche von einem Mittelpunkt einer Kamerabildunterkante 9 durch einen Mittelpunkt des Bildsegments Hindernis 13 verläuft ein dahinterliegendes Bildsegment Festland 12 schneidet. Dabei ist eine Voraussetzung, dass die Kamera 3 horizontal eingebaut ist. Somit ist die Kamerabildunterkante 9 mit der Horizontalen assoziiert. Unter der Annahme, dass das Hindernis 2 selbst auf der horizontalen Wasseroberfläche angeordnet ist, wird dann zwischen Hindernis 2 und Kamerabildunterkante 9 der Wasserspiegel approximiert.
  • Der Prüfbereich 6 ist im Beispiel der 4 kreisförmig. Er ist der besseren Erkennbarkeit halber in der 4 auf dem Kamerabild 5 und vor der Landschaft abgebildet. Im vorgeschlagenen Verfahren wird innerhalb des Prüfbereichs 6 in einem Segmentteil 12c des Bildsegments Festland 12 anhand eines Vergleichs von mindestens zwei zu verschiedenen Zeitpunkten erfassten Kamerabildern 5 geprüft, ob sich die Bildinformation verändert hat. Davon abhängig wird ein Kollisionsrisiko bestimmt.
  • Bezugszeichenliste
  • 1
    Wasserfahrzeug
    2
    Hindernis, Boot
    3
    Kamera
    4
    Steuereinrichtung
    5
    Kamerabild
    6
    Prüfbereich
    7
    Bildwinkel
    8
    Peillinie
    9
    Kamerabildunterkante
    10
    Einrichtung zur Kollisionsvermeidung
    11
    Bildsegment Wasser
    12
    Bildsegment Festland
    12a
    Segmentteil
    12b
    Segmentteil
    12c
    Segmentteil
    13
    Bildsegment Hindernis
    14
    Bildsegment Himmel
    V1
    Verfahrensschritt
    V2
    Verfahrensschritt
    V3
    Verfahrensschritt
    V4
    Verfahrensschritt
    V5
    Verfahrensschritt

Claims (8)

  1. Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen, wobei eine mit einer Kamera (3) verbundene Steuereinrichtung (4) dazu eingerichtet ist, die folgenden Verfahrensschritte durchzuführen, • Erfassen mehrerer Kamerabilder (5) von Bord des Wasserfahrzeugs (1) aus, wobei die Kamerabilder in derselben Blickrichtung erfasst werden, • Segmentieren der Kamerabilder (5) in die Bildsegmente Wasser (11), Festland (12) und Hindernis (13); • Prüfung anhand eines Vergleichs von mindestens zwei zu verschiedenen Zeitpunkten erfassten Kamerabildern (5), ob sich die Bildinformation in einem Prüfbereich (6) in dem Bildsegment Festland (12) verändert hat, wobei die Überwachung der Veränderung der Bildinformation in dem Bildsegment Festland (12) durch eine Abstraktion und Prüfung, ob sich die Abstraktion signifikant verändert, erfolgt, und wobei die Abstraktion eine Kantenextraktion umfasst; • Bestimmung eines Kollisionsrisikos in Abhängigkeit von einem Ergebnis aus der Prüfung in dem vorhergehenden Verfahrensschritt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem zusätzlichen Verfahrensschritt geprüft wird, ob sich die Lage des zumindest einen Bildsegments Hindernis (13) in den mindestens zwei genannten Kamerabildern (5) verändert hat, und dass die Bestimmung des Kollisionsrisikos auch von dem Ergebnis dieses Verfahrensschrittes abhängig ist.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Prüfung von einer Veränderung der Bildinformation in dem Bildsegment Festland (12) mittels Überwachung des optischen Flusses erfolgt.
  4. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass der Prüfbereich (6) einen Bildbereich des Kamerabildes (5) umfasst, der an eine Peillinie angrenzt, welche von einem Mittelpunkt einer Kamerabildunterkante (9) durch einen Mittelpunkt des Bildsegments Hindernis (13) bis zu einem dahinterliegenden Bildsegment Festland (12) verläuft.
  5. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Segmentieren der Kamerabilder (5) in die Bildsegmente Wasser (11), Festland (12) und Hindernis (13) mithilfe von Ki-basierten Methoden durchgeführt wird.
  6. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass bei Überschreiten eines Grenzwertes des Kollisionsrisikos ein Alarmsignal ausgelöst wird.
  7. Einrichtung (10) zur Kollisionsvermeidung von Wasserfahrzeugen (1, 2), umfassend eine Kamera (3) und eine damit verbundene Steuereinrichtung (4), wobei die Steuereinrichtung (4) dazu eingerichtet ist ein Verfahren nach einem der vorgenannten Ansprüche durchzuführen.
  8. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.
DE102022201639.4A 2022-02-17 2022-02-17 Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens Active DE102022201639B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022201639.4A DE102022201639B3 (de) 2022-02-17 2022-02-17 Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022201639.4A DE102022201639B3 (de) 2022-02-17 2022-02-17 Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens

Publications (1)

Publication Number Publication Date
DE102022201639B3 true DE102022201639B3 (de) 2023-06-29

Family

ID=86693318

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022201639.4A Active DE102022201639B3 (de) 2022-02-17 2022-02-17 Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens

Country Status (1)

Country Link
DE (1) DE102022201639B3 (de)

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BORGHGRAEF, A., Acheroy, M.: Using optical flow for the detection of floating mines in IR image sequences. In: Electro-Optical and Infrared Systems: Technology and Applications III. SPIE, 2006. S. 296-305. doi: 10.1117/12.688839
KIM, H., et al.: Vision-based real-time obstacle segmentation algorithm for autonomous surface vehicle. In: IEEE Access, 2019, 7. Jg., S. 179420-179428. doi: 10.1109/ACCESS.2019.2959312
KRISTAN, M., et al. Fast image-based obstacle detection from unmanned surface vehicles. In: IEEE transactions on cybernetics, 2015, 46. Jg., Nr. 3, S. 641-654. doi: 10.1109/TCYB.2015.2412251
VERTENS, J., Valada, A., Burgard, W.: Smsnet: Semantic motion segmentation using deep convolutional neural networks. In: 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017. S. 582-589. doi: 10.1109/IROS.2017.8202211

Similar Documents

Publication Publication Date Title
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102009015142B4 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
CN109409283A (zh) 一种海面舰船跟踪和监控的方法、系统和存储介质
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102007043164A1 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102015208228A1 (de) Diagnoseverfahren für einen Sichtsensor eines Fahrzeugs und Fahrzeug mit einem Sichtsensor
DE102018121008B4 (de) System zum fahren eines autonomen fahrzeugs sowie damit ausgestattetes fahrzeugs
EP3671546A1 (de) Verfahren und system zum bestimmen von landmarken in einer umgebung eines fahrzeugs
DE102016122487A1 (de) Sichtbasierte erkennung von nassem fahrbahnoberflächenzustand unter verwendung des seitwärtsspritzens von reifen
DE102013104306A1 (de) Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug
DE102017207438B4 (de) Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns
EP3811286A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
DE102019207711A1 (de) Verfahren und Vorrichtung zur Detektion von Rauch
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102009048739B3 (de) Verfahren und Vorrichtung zur automatischen Waldbranderkennung
DE102018121866A1 (de) Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten
EP3921819B1 (de) Überwachungsvorrichtung und verfahren zur man-overboard-überwachung eines schiffsabschnitts
DE102022201639B3 (de) Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102022212343A1 (de) Autonom-fahrsystem
DE112018005497T5 (de) Vermeiden eines propellerkontakts in einem unbemannten luftfahrzeug
DE102018208481A1 (de) Abschätzen eines Verlaufs eines Schienenpfads
DE102022103324A1 (de) System und Verfahren zur Erkennung von Inkonsistenzen in Wahrnehmungssystemen von automatisierten Fahrzeugen.

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final