DE102013104306A1 - Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug - Google Patents

Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug Download PDF

Info

Publication number
DE102013104306A1
DE102013104306A1 DE102013104306.2A DE102013104306A DE102013104306A1 DE 102013104306 A1 DE102013104306 A1 DE 102013104306A1 DE 102013104306 A DE102013104306 A DE 102013104306A DE 102013104306 A1 DE102013104306 A1 DE 102013104306A1
Authority
DE
Germany
Prior art keywords
underwater structure
underwater
reference image
additional information
image space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013104306.2A
Other languages
English (en)
Inventor
Anton Lorenson
Benjamin Lehmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Atlas Elektronik GmbH
Original Assignee
Atlas Elektronik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Atlas Elektronik GmbH filed Critical Atlas Elektronik GmbH
Priority to DE102013104306.2A priority Critical patent/DE102013104306A1/de
Priority to EP14725352.0A priority patent/EP2989610A1/de
Priority to PCT/DE2014/100112 priority patent/WO2014173393A1/de
Publication of DE102013104306A1 publication Critical patent/DE102013104306A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/74Systems using reradiation of acoustic waves, e.g. IFF, i.e. identification of friend or foe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Zum Identifizieren oder Detektieren beispielsweise einer Unterwasserpipeline werden nach dem Stand der Technik Template-basierte Verfahren eingesetzt, bei denen vorab der Gesamtlösungsraum mit den einzelnen synthetisch gewonnenen Bilder berechnet und anschließend ein mittels Sonar gewonnenes Bild mit jedem einzelnen synthetischen Bild des Gesamtlösungsraums verglichen wird. Dies ist extrem rechen- und/oder arbeitsspeicheraufwändig, sodass diese Lösungen in AUVs (Autonomous Underwater Vehicles) nicht einsetzbar sind. Die Erfindung betrifft somit ein Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, wobei das Verfahren folgende Schritte umfasst: ein Ermitteln eines Originalbilds mittels eines (Synthetic Aperture) Side Scan Sonars, montiert auf einem Wasserfahrzeug, insbesondere einem Unterwasserfahrzeug, ein Ermitteln einer Wasserfahrzeuglage und/oder einer Unterwasserstrukturlage, sodass eine Zusatzinformation vorliegt, ein Ermitteln eines Referenzbildraums mit zugehörigen Referenzbildern unter Verwenden der Zusatzinformation und bekannter Geometrie der Unterwasserstruktur, sodass ein reduzierter Referenzbildraum vorliegt und ein Vergleichen des Originalbildes mit den ermittelten Referenzbildern des reduzierten Referenzbildraums, sodass die Unterwasserstruktur detektiert und/oder identifiziert wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, einen Rechner der derart eingerichtet ist, dass das Verfahren durchführbar ist, und ein Wasserfahrzeug, welches den Rechner und ein Bildgebendes System, insbesondere ein Sonar aufweist.
  • Die Objektdetektion sowie die Objektidentifizierung (Objektklassifizierung) in sonargenerierten Aufnahmen stellen nach wie vor eine Herausforderung an die automatisierte Bildverarbeitung dar. Die messspezifischen Eigenschaften wie turbulente inhomogene Umgebung, kein Apriori-Wissen über die Lage des aufzunehmenden Objekts und niedrige Signal-zu-Rausch-Verhältnisse erschweren Detektion und Identifizieren der Objekte und steigern die Falschalarmrate.
  • Zum Identifizieren oder Detektieren beispielsweise einer Unterwasserpipeline werden nach dem Stand der Technik Template-basierte Verfahren eingesetzt, bei denen vorab der Gesamtlösungsraum mit den einzelnen synthetisch gewonnenen Bildern berechnet und anschließend ein mittels Sonar gewonnenes Bild mit jedem einzelnen synthetischen Bild des Gesamtlösungsraums verglichen. Dies ist extrem rechen- und/ oder speicheraufwändig, sodass diese Lösungen in AUVs (Autonomous Underwater Vehicles) nicht einsetzbar sind. Eine Echtzeitverarbeitung ist absolut unmöglich, da ein Zeitabstand zwischen zwei Sonaraufnahmen um Größenordnungen niedriger ist als eine Berechnungsdurchlaufdauer.
  • Aufgabe der Erfindung ist es den Stand der Technik zu verbessern.
  • Gelöst wird die Aufgabe durch ein Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, wobei das Verfahren folgende Schritte umfasst
    • – Ermitteln eines Originalbilds mittels eines Wasserfahrzeugs, insbesondere eines Unterwasserfahrzeugs, insbesondere eines mit Sonar oder anderem geeigneten bildgebenden System ausgestattetem Unterwasserfahrzeug
    • – Ermitteln einer Wasserfahrzeuglage und/oder einer Unterwasserstrukturlage, sodass eine Zusatzinformation vorliegt,
    • – Ermitteln eines Referenzbildraums mit zugehörigen Referenzbildern unter Verwenden der Zusatzinformation und bekannter Geometrie der Unterwasserstruktur, sodass ein reduzierter Referenzbildraum vorliegt und
    • – Vergleichen des Originalbilds mit den ermittelten Referenzbildern des Referenzbildraums, sodass die Unterwasserstruktur identifiziert oder detektiert wird.
  • Durch das Einbeziehen von Zusatzinformationen kann ein Gesamtlösungsraum dramatisch reduziert werden, sodass lediglich ein Referenzbildraum vorliegt. So kann ein echtzeitfähiges Detektions- und Identifizierungsverfahren bereitgestellt werden. Insbesondere kann das vorstehende Verfahren in AUVs (Autonomous Operated Vehicles) oder ROVs (Remotely Operated Vehicles) eingesetzt werden, da insbesondere die Berechnungsdauer des Referenzlösungsraums mit entsprechenden Referenzbildern des Zeitabstandes zwischen dem Ermitteln zweier Sonaraufnahmen in den AUVs oder ROVs liegt.
  • Folgendes Begriffliche sei erläutert:
    „Identifizieren“ oder „Detektieren“ umfasst das Erkennen und das Charakterisieren der Unterwasserstruktur in einem Originalbild. Dabei können dann Informationen über Entfernung zur Unterwasserstruktur und/oder Geografische Lage der Unterwasserstruktur gewonnen werden. Zudem können spezielle Objekte wie zum Beispiel Unterwasserminen, deren Geometrie bekannt ist, aufgefunden werden.
  • Die „Unterwasserstruktur“ kann sämtliche natürlichen oder technischen Gebilde unter Wasser umfassen. Insbesondere Pipelines, Fundamente von Off-Shore-Windenergieanlagen oder Unterwasserminen sind von besonderem Interesse.
  • Das „Ermitteln eines Originalbilds“ erfolgt insbesondere messtechnisch mittels Sonar. Dabei können Bug, Heck-,Downlooking-, Side-Scan-, Synthetic-Aperture- und andere geeignete Sonare eingesetzt werden. Grundsätzlich sind passive und aktive Sonare umfasst.
  • Beim „Ermitteln einer Wasserfahrzeuglage“ werden insbesondere messtechnisch Daten ermittelt. Beispielsweise können bei einem Schiff die Wasserfahrzeuglage die mittels Satellitennavigation ermittelten Koordinaten umfassen. Bei einem Unterwasserfahrzeug kann dies beispielsweise die Höhe über Grund sein, welche beispielsweise mittels Echolot gewonnen wird. Aber auch sämtliche anderen Daten in Bezug auf irgendein Koordinatensystem können beim Ermitteln verwendet werden. Die Anzahl und die Qualität der ermittelten Daten sind von großer Bedeutung, da diese beim Verringern des Gesamtreferenzbildraum einen erheblichen Einfluss haben, sodass ein Referenzbildraum bestimmbar ist, welcher im Vergleich zum Gesamtreferenzbildraum (deutlich) reduziert ist.
  • Alternativ oder zusätzlich kann ein „Ermitteln einer Unterwasserstrukturlage“ erfolgen. Beispielsweise kann die Unterwasserstruktur Wasserschall stark reflektierende Bereiche aufweisen, sodass bei einer linearen Struktur, wie beispielsweise einer Pipeline, der Referenzbildraum derart reduziert ist, dass im Wesentlichen die „Dicke“ der Pipeline im Originalbild für eine Entfernungsbestimmung relevant ist. Auch können an der Unterwasserstruktur Sender angebracht sein, welche Signale aussenden, sodass eine Information bzgl. einer Lage der Unterwasserstruktur ermittelbar und auswertbar ist.
  • Das „Ermitteln eines Referenzbildraums mit zugehörigen Referenzbildern“ erfolgt unter Verwenden der Zusatzinformation. Das bedeutet je umfangreicher die Zusatzinformationen bzgl. der Lage des Wasserfahrzeugs und/oder der Unterwasserstruktur sind, desto stärker kann der Gesamtreferenzbildraum zum Referenzbildraum reduziert werden. Je weniger Referenzbilder im Referenzbildraum vorhanden sind desto weniger Vergleiche mit dem Originalbild müssen erfolgen, sodass die Rechenzeit erheblich reduziert wird.
  • „Zusatzinformationen“ umfassen sämtliche Informationen aufgrund derer der Gesamtreferenzbildraum reduzierbar ist. Insbesondere sind messtechnische Daten beispielsweise Lage/Koordinaten des Wasserfahrzeugs, Höhe über Meeresgrund und/oder Lage der Unterwasserstruktur. Teile der Zusatzinformationen können auch geschätzt werden. So kann beispielsweise die Höhe über Grund messtechnisch bestimmt werden und ein Abstand zur Unterwasserstruktur geschätzt werden.
  • Vorliegend muss die „Geometrie der Unterwasserstruktur“ im Wesentlichen bekannt sein, sodass ein rechnergestütztes Modellieren einer Abbildung (mit gegebenen bildgebenden System) dieser Unterwasserstruktur umsetzbar ist. Die modellierte synthetische Struktur kann beispielsweise ein rechnergestütztes Abbild einer Pipeline oder einer Mine sein. Insbesondere wird neben ausgeleuchtetem/insonifiziertem Objektbereich (s.g. Highlight) ein Schattenwurf der eigentlichen Unterwasserstruktur zusätzlich mitmodelliert, da sich ein Highlight-Schatten Paar der Unterwasserstruktur auch dem Originalbild entnehmen lässt. Ein Modellieren kann beispielsweise mit einer Modellierungssoftware wie Matlab/Simulink® oder POV-RAY oder OCTAVE oder anderer geeigneten Software erfolgen.
  • Durch ein Ausnutzen der Zusatzinformation kann ein „reduzierter Referenzbildraum“ bereitgestellt werden. So weist ein Referenzbildraum weniger Referenzbilder als ein Gesamtreferenzbildraum auf, sodass weniger Referenzbilder mit dem Originalbild zu vergleichen sind.
  • Beim „Vergleichen“ der Referenzbilder mit dem Originalbild werden geeignete Bildverarbeitungsverfahren eingesetzt. Insbesondere erfolgt hier ein Korrelieren, oder anderes geeignete Verfahren zur Berechnung der Übereinstimmung, durch welches beim höchsten Übereinstimmungsgrad des Referenzbildes mit dem Originalbild der Ort der größten Übereinstimmungen bestimmt wird. Anhand des Referenzbildes können dann weitere Daten wie beispielsweise Entfernung zur Unterwasserstruktur, Lage der Struktur, geografische Koordinaten der Struktur gewonnen werden, oder ein Navigieren zu oder ein Reparieren/Warten/Beseitigen des gesuchten Objektes erfolgen.
  • In einer weiteren Ausführungsform erfolgt das Ermitteln des Referenzbildraums während eines Einsatzes des Wasserfahrzeugs mittels eines Berechnens durch einen Rechner, wobei insbesondere der Rechner ein Bestandteil des Wasserfahrzeugs ist.
  • Somit kann insbesondere ein AUV bereitgestellt werden das autonom sich adaptiv an Unterwassergegebenheiten anpassen kann. Auch kann die Vorgabe zu einer Unterwasserstruktur geändert werden, ohne das umfangreiche Daten in einem Speicher abgelegt sein müssen. Insbesondere bei ROVs kann das Berechnen auch auf einem Schiff oder einer Plattform erfolgen, sodass ein entsprechendes Anpassen durch einen Bediener an Bord des Schiffes/der Plattform erfolgen kann.
  • Ein „Einsatz“ umfasst bei AUVs oder ROVs insbesondere Aktivitäten unter Wasser, bei denen eine Unterwasserstruktur aufgefunden werden soll.
  • Beim „Berechnen durch einen Rechner“ wird der Referenzbildraum mittels eines geeigneten Computers aufgrund der Modellparameter der Unterwasserstruktur und der Zusatzinformation bestimmt.
  • Um das Identifizieren oder Detektieren noch weiter zu beschleunigen, kann ein Gesamtreferenzbildraum strukturiert, insbesondere in einer Datenbank, auf einem Speichermedium abgelegt sein und beim Ermitteln des Referenzbildraums der Referenzbildraum aus dem Gesamtreferenzbildraum extrahiert und in einen Arbeitsspeicher des Rechners geladen wird.
  • Somit liegt ein gegenüber in dem Stand der Technik verwendeten Template-Verfahren effektiverer Mechanismus zur Verfügung. Vorliegend werden aufgrund der Struktur der abgelegten Daten lediglich die Daten in einen Arbeitsspeicher geladen, welche aufgrund der ermittelten Zusatzparameter notwendig für den Vergleich der Referenzbilder mit dem Originalbild sind. Durch das Strukturierte ablegen in einem Speichermedium können zwar grundsätzlich mehr Datenmengen (Einheit [Byte]) vorliegen, jedoch erfolgt der Geschwindigkeitsvorteil bei der Auswahl. Der „Nachteil“ der größeren Datenmengen ist eher nachrangig, da Speichermedien wesentlich günstiger sind und um die Größenordnungen mehr Kapazität bieten als entsprechende Arbeitsspeicher.
  • Der „Gesamtreferenzbildraum“ entspricht dem vollständigen Lösungsraum, um für sämtliche Missionsparameter sämtliche Referenzbilder bereitstellen zu können. Beispielsweise sind sämtliche Höhen über Grund und sämtliche zugehörigen Abstände eines AUVs zur Unterwasserstruktur ermittelt. Zudem können neben den Referenzbildern weitere Daten wie beispielsweise Bildauflösungen und/oder Modellparameter etc. umfasst sein.
  • Unter „strukturierte“ Datenablage können sowohl hierarchische und/oder relationale Speicherung der Daten verstanden sein. Die Daten können normalisiert oder auch mehrfach redundant sein. Vorliegend ist wichtig, dass anhand der Struktur eine Auswahl der Referenzbilder und Daten erfolgt, die für einen Vergleich der Referenzbilder mit dem Originalbild erforderlich sind.
  • Eine „Datenbank“ umfasst sämtliche Datenbanken mit sämtlichen Datenbankmodellen. Besonders vorteilhaft sind relationale Datenbanken.
  • Als „Speichermedium“ sind insbesondere externe Speichermedien wie CD-ROMs, Festplatten, Flash-Speicher, DVDs, Disketten, USB-Sticks oder dgl. umfasst. Im Regelfall sind sämtliche Speicher umfasst, welche nicht Bestandteil des Arbeitsspeichers des den Vergleich von Referenzbild und Originalbild durchführenden Rechners sind. Es sei jedoch angemerkt, dass bestimmte Daten auch im Arbeitsspeicher abgelegt sein können. Hierbei bieten sich sich wenig verändernde Daten an.
  • Die entsprechend auf dem Speichermedium abgelegten Daten können entsprechend ermittelter Zusatzinformationen „extrahiert“ und in den Arbeitsspeicher geladen werden. Somit liegen die jeweils relevanten Daten im Arbeitsspeicher, sodass ein zeiteffektives Identifizieren oder Detektieren erfolgen kann.
  • In einer weiteren Ausführungsform erfolgt das Ermitteln des Originalbilds mittels eines Sonars. Dieses Vorgehen ist für Unterwasserstruktur besonders effektiv, wobei Unterwasser-Originalbilder auch optisch ermittelbar sind.
  • „Sonar“ ist ein Verfahren zur Ortung von Gegenständen unter Wasser mittels ausgesandter Schallimpulse“. Das Wort ist ein englisches Akronym von sound navigation and ranging, was sich mit Schall-Navigation und -Entfernungsbestimmung übersetzen lässt und die Funktion gut beschreibt.
  • Um den Gesamtreferenzbildraum effektiv zu reduzieren umfasst die Zusatzinformation eine Wasserfahrzeughöhe über Meeresgrund, eine Messentfernung zur Unterwasserstruktur und/oder eine erwartete Unterwasserstrukturlage der Unterwasserstruktur, welche insbesondere messtechnisch zu bestimmen sind.
  • Die „Wasserfahrzeughöhe über Meeresgrund“ umfasst die mittels eines Echolots bestimmbare Höhe.
  • Die „Messentfernung zur Unterwasserstruktur“ entspricht im Wesentlichen der Länge einer Line of Sight oder deren Projektion auf den Meeresboden.
  • „Eine Unterwasserstrukturlage der Unterwasserstruktur“ entspricht der räumlichen Anordnung der Struktur. Beispielsweise umfasst die Unterwasserstrukturlage den Verlauf einer Pipeline auf dem Meeresgrund.
  • In einer weiteren Ausführungsform wird die Zusatzinformation diskretisiert. Somit kann die Datenmenge ebenfalls erheblich reduziert werden.
  • Durch das „Diskretisieren“ werden kontinuierliche Bereiche linear oder nichtlinear in Untereinheiten aufgeteilt. So kann die Höhe über Meeresgrund diskretisiert sein, wobei winkelabhängig die Struktur mit zugehörigem Schatten und die Auflösung des Originalbilds einen Einfluss auf jeweilige Breite der Höhenabschnitte über Grund haben.
  • Um die Rechengeschwindigkeit oder den Vergleich zu beschleunigen kann ein Unterteilen des Originalbilds in Teilbereiche, insbesondere überlappende Teilbereiche, erfolgen.
  • Die Teilbereiche werden auch Ranges genannt. Unterteilen in Ranges führt somit im Allgemeinen zu einem weiteren Reduzieren des Gesamtreferenzbildraums. Die Überlappe werden insbesondere so gewählt, dass in den Überlappbereich ein Highlight-Schatten Abbild der jeweiligen Unterwasserstruktur hineinpasst.
  • In einer weiteren Ausführungsform erfolgt das Diskretisieren der Zusatzinformation oder das Unterteilen des Originalbildes auf Basis der Bildauflösung des Messverfahrens und/oder einer Unterwasserstruktur mit zugehörigen Länge des Highlight-Schattenpaares der Unterwasserstruktur. Somit kann das Verfahren sehr effektiv an die Zusatzinformationen angepasst werden.
  • Um besonders effizient die Zusatzinformationen zu ermitteln, können die Zusatzinformation(en) messtechnisch ermittelt werden.
  • Nach einem weiteren Aspekt der Erfindung wird die Aufgabe gelöst durch einen Rechner, welcher derart eingerichtet ist, dass ein zuvor beschriebenes Verfahren durchführbar ist. Dabei kann insbesondere der Rechner sowohl in dem AUV als auch auf einem Schiff, separiert vom ROV verortet sein.
  • In einem weiteren Aspekt der Erfindung wird die Aufgabe gelöst durch ein Wasserfahrzeug, insbesondere unbemanntes Unterwasserfahrzeug (AUV, ROV), welches einen zuvor beschriebenen Rechner aufweist oder welches derart eingerichtet ist, dass ein zuvor beschriebenes Verfahren durchführbar ist.
  • Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. Es zeigen
  • 1 eine schematische Darstellung eines unter Wasser arbeitenden ROVs, welches einen zylindrischen Unterwasserobjekt detektiert,
  • 2 eine schematische Darstellung analog zu 1, wobei die für das Detektieren ermittelbaren oder berechenbaren Größen angegeben sind,
  • 3 eine schematische Darstellung eines modellierten Zylinders mit zusätzlich modelliertem Schatten,
  • 4 eine schematische Darstellung eines aufgeteilten Sonarranges mit dargestelltem Überlapp und
  • 5 strukturierte Darstellung eines Dateiaufbaus für ein Template-basiertes Verfahren.
  • Ein AUV 100 taucht unterhalb der Wasseroberfläche 111 in einer Einsatzhöhe 121 über dem Meeresgrund 113. Das AUV weist ein Echolotsystem auf, welches Echolotsignale 131 aussendet, um die Einsatzhöhe 121 messtechnisch zu bestimmen. Zudem weist das AUV 100 ein Sonarsystem auf, welches Sonar-Bilder ermittelt. Zudem ist in einer ersten Alternativen ein Hochleistungsrechner 101 in dem AUV angeordnet, welcher sowohl anhand der Messdaten des AUVs und der bekannten Geometrie eines zu suchenden Objektes 104 einen Vergleich ermittelter Sonarbilder mit modellierten Referenzbilder durchführt, als auch die benötigten Referenzbilder im Echtzeitbetrieb modelliert.
  • In der zweiten Alternativen sind lediglich ein Rechner 101 und ein Datenspeicher (z.B. Flashspeicher) in dem ROV 100 angeordnet. In dieser zweiten Alternativen ist auf dem Flashspeicher eine Datenbank mit Referenzbildern abgelegt, wobei die Datenbank den Speicheraufbau aufweist wie er in 5 abgebildet ist.
  • Umgebaut ist das AUV 100 oder ein ROV 100, welches im Gegensatz zu AUV über ein Versorgungskabel 108 mit einem Schiff 102 verbunden ist. Das Schiff 102 weist einen Hochleistungsrechner 103 auf, welcher sowohl anhand der Messdaten des ROV und der bekannten Geometrie der zu suchenden Pipeline 104 einen Vergleich ermittelter Sonarbilder mit modellierten Referenzbilder durchführt.
  • Am Meeresgrund 113 ist ein Objekt (z.B. eine Pipeline) 104 angebracht. In einer alternativen Version kann das Objekt 104 zusätzliche Schallreflektoren 135 zur Signalverstärkung aufweisen, welche ein Unterwasserschallsignal, welches vom Sonar des AUVs/ROVs 100 ausgesandt wird, stark reflektieren. Durch mehrere dieser Schallreflektoren 135 kann das AUV 100 oder ROV 100 zusätzlich einen Unterwasserverlauf/eine Lage des Objektes bestimmen.
  • In einer weiteren Version sind statt der Unterwasserschallreflektoren Unterwasserschallsender 135 an dem Objekt (z.B. Pipeline) angeordnet, welche ein kodiertes Unterwasserschallsignal 133 aussenden. Über dieses Unterwasserschallsignal 133 kann ebenfalls ein Unterwasserverlauf bzw. eine Lage des Objektes ermittelt werden. Eine direkte „Sichtlinie“ 123 zwischen AUV/ROV und Pipeline wird vorliegend Line of Sight (LOS) genannt.
  • Im AUV-Betrieb erfolgt das Identifizieren in zwei Varianten. In Variante a) wird die Höhe 121 über Grund mittels Echolot bestimmt. Die Geometrie des Objektes ist bekannt.
  • Aufgrund der gemessenen Flughöhe 121 und der bekannten Geometrie des Objektes 104 wird das Objekt für verschiedene Entfernungen 123 und verschiedene Objekt-Lagewinkel modelliert. Sollte eine Zusatzinformation über Lage des Objektes aus der Messung ermittelbar sein, kann nur die ermittelte Objektlage zur Modellierung herangezogen werden, was den Lösungsraum zusätzlich signifikant reduziert. Nach dem Modellieren liegt eine Vielzahl modellierter Referenzbilder vor. Diese werden in dem Arbeitsspeicher des Rechners 101 abgelegt.
  • Vorab, parallel oder anschließend erfolgt das Ermitteln eines Originalbilds mittels eines bildgebenden Systems, z.B. des Sonars. Dieses Originalbild wird mit sämtlichen Referenzbildern mittels Korrelation oder eines anderen geeigneten Verfahrens zur Bestimmung des Übereinstimmungsgrades verglichen. Dabei wird das Referenzbild mit dem höchsten Übereinstimmungsgrad ausgewählt. Die diesem Bild zugrundeliegenden Informationen werden z.B. gespeichert, für die weitere Navigation zum Objekt oder anderweitig genutzt.
  • In der Varianten b) wurden vor der Mission auf einem Hochleistungsrechner sämtliche Simulationsdaten bestimmt und in einem Flashspeicher als Datenbank abgelegt, wobei die Datenbank den Aufbau gemäß 5 aufweist. Es wird wiederum die Höhe 121 messtechnisch mittels Echolot bestimmt und in Abhängigkeit der Höhe 121 werden die für diese Höhe relevanten Daten (Referenzbilder) in den Arbeitsspeicher des Rechners 101 geladen. Es wird ebenfalls ein diskretes Bild (Pixelbild) des durchzusuchenden Gebietes erstellt und wie beschrieben ein Vergleich durchgeführt.
  • Ist das Unterwasserfahrzeug als ROV ausgestaltet erfolgen die rechenintensiven Arbeitsschritte mittels des Rechners 103 an Bord des Schiffs 102. Der Datenaustausch erfolgt z.B. über die Versorgungsleitung 108 oder anderen geeigneten Versorgungskanal.
  • Mathematisch kann 1 wie folgt in guter Näherung beschrieben werden (siehe 2), wobei die Höhe h (Bezugszeichen 121 in 1) so diskrtisiert wird, dass eine Höhendiskretisierung ∆h vorliegt, welche derart ausgelegt ist, dass innerhalb ∆h eine Schattenänderung des vom Objekt geworfenen akustischen oder optischen Schattens unterhalb einer Bildauflösung des Sonars liegt, was z.B. anhand folgender Beispielsrechnung bestimmt werden kann: d/(h – a) = l/a daraus folgt h = (a·d)/l + a es gilt ∆h = h1 – h2 = a·d[∆l/(l1l2)] es folgt ∆l <= r woraus folgt, dass ∆h <= a·d(r/ld 2) ist, wobei „ld“ die Schattenlänge der Pipeline 104 bei der kleinsten Pipelineentfernung (gegeben durch das Messverfahren), „d“ die kleinstmögliche Objektentfernung (gegeben durch das Messverfahren), „r“ die Bildauflösung der Szene (bei einem Sidescan-Sonar in die zur Eigenfahrt des AUVs/ROVs orthogonale Richtung) und „a“ die Höhe des kleinsten gesuchten Objekts ist.
  • Zur Reduktion der Anzahl der zu vergleichenden Referenzbilder wird eine Range-Diskretisierung (4) durchgeführt. Der Messbereich (Sonarbereich) wird in sich überlappende Teilbereiche unterteilt. Für jeden dieser Teilbereiche werden in Variante b) Templates generiert, so als ob sich das gesuchte Objekt (z.B. die Pipeline) 104 in der Mitte des Bereichs befände. Folgende Schritte erfolgen:
    • A: Ein Versatz der 1.Ranges 451 vom AUV wird auf das Blanked Range 465 gesetzt. (Im Falle einer Sonar Messung ist der Blanked Range 465 ein messtechnisch bedingter ausgeblendeter Bereich).
    • B: Eine Ausdehnung des 1. Ranges 451 in die zur AUV/ROV Fahrtrichtung ergibt sich aus dem – bei einer gegebenen AUV-(Flug-)Höhe – Versatz des gesuchten Objekts, welcher nötig wäre, um den Schatten 344 signifikant (um z.B. 10%) zu verlängern.
    • C: Der Versatz des Beginns des folgenden Ranges 453 zum ende des vorangehenden Ranges 451 wird so gewählt, dass dieser mindestens um die Bildauflösung größer ist, als die Längste Highlight-Schattenstruktur 344, die sich am Beginn dieses Ranges 453 befindender Objekt erzeugen würde. Dabei wird insbesondere eine maximale Objekthöhe aus der gesuchten Objektmenge berücksichtigt.
    • D: Es werden die Schritte A bis C solange wiederholt, bis die maximal mögliche Ausdehnung der durchzusuchenden Szene abgedeckt ist.
  • Dies kann analog für Variante a) als auch für ROVs durchgeführt werden.
  • Eine Template Datei (siehe Struktogramm 5) ist wie folgt aufgebaut:
    • 571: Anzahl diskreter Flughöhen
    • 573: Für jede Flughöhe
    • 575: Höhen-Nummer
    • 577: Höhen-Wert
    • 579: Anzahl diskreter Ranges
    • 581: Für jeden Range
    • 583: Range-Nummer
    • 585: Range-Wert (Start, Stopp)
    • 587: Anzahl Templates im Range
    • 589: Für jedes Template (Objektmodellbild)
    • 591: Template-Nummer
    • 593: Template-Typ (Art des Objektes)
    • 595: Lage des Objektmittelpunkts im Modellbild
    • 597: Template Daten: Modellbild, Auflösung, angenommene Objektlage etc.
  • Der Ablauf des Detektierungsverfahrens wird wie folgt durchgeführt. Liegt ein generiertes diskretes Bild der durchzusuchenden Umgebung vor (z.B. Videokamera oder Sonar Bild), werden die Modellbilder (Templates) in den Arbeitsspeicher des Rechners geladen. In einer Alternativen geht man davon aus, dass alle bei der zur Zeit der Bildgenerierung AUV/ROV gegebenen Flughöhe 121 sich ergebenden Range-Templates in den Arbeitsspeicher des Rechners 101 passen. So werden diese Range-Template-Daten (die 579 mal 587) Anzahl der Templates gleich in den Arbeitsspeicher geladen und ein Vergleich wie im Absatz [51] beschrieben durchgeführt. Dabei wird das Originalbild in die Ranges unterteilt und jedes dieser Ranges mit dazu gehörenden Modellbilder/Templates 597 verglichen. In anderer Alternativen geht man davon aus, dass bei der zur Zeit der Bildgenerierung AUV/ROV gegebenen Flughöhe 121 sich ergebenden Range-Templates nicht in den Arbeitsspeicher des Rechners 101 passen. So wird das Bild der durchsuchten Scene erst in die Ranges unterteilt. Anschließend für jeden dieser Bereiche werden dazu gehörenden Modellbilder/Templates 597 in den Arbeitsspeicher des Rechners 101 geladen, dem Vergleich unterzogen und wieder ausgeladen.
  • Bezugszeichenliste
  • 100
    AUV, ROV
    101
    Rechner
    102
    Schiff
    103
    Hochleistungsrechner
    104
    Pipeline
    108
    Versorgungskabel
    111
    Wasseroberfläche
    113
    Meeresgrund
    121
    Einsatzhöhe
    123
    Sichtlinie
    133
    Unterwasserschallsignal
    135
    Schallreflektor
    304
    modellierte Pipeline
    344
    modellierte Schattenstruktur
    346
    Schattenmischzone
    451
    Versatz des 1.Ranges vom AUV
    453
    nachfolgender Range
    465
    Blanked Range
    571
    Anzahl diskreter Flughöhen
    573
    Für jede Flughöhe
    575
    Höhen-Nummer
    577
    Höhen-Wert
    579
    Anzahl diskreter Ranges
    581
    Für jeden Range
    583
    Range-Nummer
    585
    Range-Wert (Start, Stopp)
    587
    Anzahl Templates im Range
    589
    Für jedes Template (Objektmodellbild)
    591
    Template-Nummer
    593
    Template-Typ (Art des Objektes)
    595
    Lage des Objektmittelpunkts im Modellbild
    597
    Template Daten: Modellbild, Auflösung, angenommene Objektlage etc.

Claims (12)

  1. Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, wobei das Verfahren folgende Schritte umfasst – Ermitteln eines Originalbilds mittels eines Wasserfahrzeugs, insbesondere eines Unterwasserfahrzeugs, – Ermitteln einer Wasserfahrzeuglage – Ermitteln eines Referenzbildraums mit zugehörigen Referenzbildern unter Verwenden der Zusatzinformation und bekannter Geometrie der gesuchten Unterwasserstruktur, sodass ein reduzierter Referenzbildraum vorliegt und – Vergleichen des Originalbilds mit den ermittelten Referenzbildern des Referenzbildraums, sodass die Unterwasserstruktur detektiert und/oder identifiziert wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des Referenzbildraums während eines Einsatzes des Wasserfahrzeugs mittels eines Berechnens durch einen Rechner erfolgt, wobei insbesondere der Rechner ein Bestandteil des Wasserfahrzeugs ist.
  3. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Gesamtreferenzbildraum strukturiert, insbesondere in einer Datenbank, auf einem Speichermedium abgelegt ist und beim Ermitteln des Referenzbildraums der Referenzbildraum aus dem Gesamtreferenzbildraum extrahiert und in einen Arbeitsspeicher des Rechners geladen wird.
  4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Ermitteln des Originalbilds mittels eines Sonars erfolgt.
  5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformation eine Wasserfahrzeughöhe über Meeresgrund, eine Messentfernung zur Unterwasserstruktur und/oder eine Unterwasserstrukturlage der Unterwasserstruktur umfasst.
  6. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformation diskretisiert wird.
  7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Unterteilen des Originalbilds in Teilbereiche, insbesondere überlappende Teilbereiche, erfolgt.
  8. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Diskretisieren der Zusatzinformation oder das Unterteilen des Originalbildes auf Basis einer Bildauflösung und/oder einer Schattenlänge der Unterwasserstruktur erfolgt.
  9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformation messtechnisch ermittelt wird.
  10. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die messtechnische Gewinnung der Zusatzinformation durch das Anbringen zusätzlicher Reflektoren/Signalgeber an dem zu suchenden Objekt erleichtert wird.
  11. Rechner, welcher derart eingerichtet ist, dass ein Verfahren nach einem der vorherigen Ansprüche durchführbar ist.
  12. Wasserfahrzeug, insbesondere unbemanntes Unterwasserfahrzeug, welches einen Rechner nach Anspruch 10 aufweist oder welches derart eingerichtet ist, dass ein Verfahren nach einem der Ansprüche 1 bis 9 durchführbar ist.
DE102013104306.2A 2013-04-26 2013-04-26 Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug Withdrawn DE102013104306A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102013104306.2A DE102013104306A1 (de) 2013-04-26 2013-04-26 Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug
EP14725352.0A EP2989610A1 (de) 2013-04-26 2014-04-01 Verfahren zum identifizieren oder detektieren einer unterwasserstruktur, rechner sowie wasserfahrzeug
PCT/DE2014/100112 WO2014173393A1 (de) 2013-04-26 2014-04-01 Verfahren zum identifizieren oder detektieren einer unterwasserstruktur, rechner sowie wasserfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013104306.2A DE102013104306A1 (de) 2013-04-26 2013-04-26 Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug

Publications (1)

Publication Number Publication Date
DE102013104306A1 true DE102013104306A1 (de) 2014-10-30

Family

ID=50771022

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013104306.2A Withdrawn DE102013104306A1 (de) 2013-04-26 2013-04-26 Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug

Country Status (3)

Country Link
EP (1) EP2989610A1 (de)
DE (1) DE102013104306A1 (de)
WO (1) WO2014173393A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021156765A1 (en) * 2020-02-03 2021-08-12 Cappelletti Sergio Monitoring method and system to monitor the underwater traffic of an area of interest
GB2608049A (en) * 2020-02-03 2022-12-21 Cappelletti Sergio Monitoring method and system to monitor the underwater traffic of an area of interest

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11846733B2 (en) * 2015-10-30 2023-12-19 Coda Octopus Group Inc. Method of stabilizing sonar images
SE541940C2 (en) 2015-11-04 2020-01-07 Eronn Martin System for detecting subsurface objects and unmanned surface vessel
CN108896997B (zh) * 2018-07-04 2022-06-17 国家海洋局第一海洋研究所 复杂地形条件下侧扫声呐探测结果改正方法
CN109800700B (zh) * 2019-01-15 2022-08-02 哈尔滨工程大学 一种基于深度学习的水下声信号目标分类识别方法
CN114663745A (zh) * 2022-03-04 2022-06-24 深圳鳍源科技有限公司 水下设备的位置锁定方法、终端设备、系统和介质
CN114895313A (zh) * 2022-06-07 2022-08-12 上海市信息管线有限公司 一种河道内管线的检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040041999A1 (en) * 2002-08-28 2004-03-04 Hogan John M. Method and apparatus for determining the geographic location of a target
KR101228017B1 (ko) * 2009-12-09 2013-02-01 한국전자통신연구원 위치 정보 기반 영상 인식 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G.L. Foresti and S. Gentili: A VISON BASED SYSTEM FOR OBJECT DETECTION IN UNDERWATER IMAGE. In: International Journal of Pattern Recognition and Artificial Intelligence, 14, 2000, 2, 167-188. *
Y. Petillot, Y. Pailhas, J. Sawas, N. Valeyrie, J. Bell: Target Recognition In Synthetic Aperture and High Resolution Side-Scan Sonar. In: High Resolution Imaging and Target Classification, 2006. The Institution of Engineering and Technology Seminar on, 2006, 99-106. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021156765A1 (en) * 2020-02-03 2021-08-12 Cappelletti Sergio Monitoring method and system to monitor the underwater traffic of an area of interest
GB2608049A (en) * 2020-02-03 2022-12-21 Cappelletti Sergio Monitoring method and system to monitor the underwater traffic of an area of interest
US11899105B2 (en) 2020-02-03 2024-02-13 Sergio Cappelletti Monitoring method and system to monitor the underwater traffic of an area of interest

Also Published As

Publication number Publication date
EP2989610A1 (de) 2016-03-02
WO2014173393A1 (de) 2014-10-30

Similar Documents

Publication Publication Date Title
DE102013104306A1 (de) Verfahren zum Identifizieren oder Detektieren einer Unterwasserstruktur, Rechner sowie Wasserfahrzeug
DE102018124640A1 (de) Verfahren und Vorrichtungen zur Aufnahme von Tomogrammen und Strukturen unter Verwendung unbemannter Luftfahrzeuge
EP3387375B1 (de) Verfahren zur erstellung einer tiefenkarte
DE102009054214B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Umgebung
DE102010018144A1 (de) Verfahren zur automatischen Erzeugung eines dreidimensionalen Referenzmodells als Geländeinformation für eine bildgebende Einrichtung
WO2020038944A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
DE102014205083B3 (de) Erstellen von Karten mit Küstenlinien
DE102010022726B4 (de) Vorrichtung zur Darstellung von Gelände auf einer Anzeigevorrichtung eines Flugkörpers
EP3420311B1 (de) Vorrichtung zur integrierten darstellung von informationen auf einem wasserfahrzeug
DE102020133092A1 (de) Positionsschätzungseinrichtung und positionsschätzungsverfahren
DE102011013776A1 (de) Verfahren zur Erfassung und/oder Verfolgung von Objekten
EP3105608B1 (de) Überwachungssystem zum überwachen sowie verfahren zum verifizieren eines wasserfahrzeugs oder mehrerer wasserfahrzeuge
WO2015185033A1 (de) Verfahren zum ermitteln einer unterwasserkarte, unterwasserkarte sowie fahrzeug
DE102017118993A1 (de) Verfahren zur Identifizierung eines Schiffes
DE102017118992A1 (de) Verfahren zur Erzeugung eines ISAR-Bildes
EP3265839B1 (de) Verfahren zum ermitteln eines von mehrwegeausbreitungseffekten befreiten vertrauensschall-signals und zum bestimmen einer entfernung und/oder einer richtung zu einer schallquelle sowie vorrichtung und fahrzeug
WO2011036013A1 (de) Verfahren und vorrichtung zum bestimmen der position eines wasserfahrzeugs
DE102022201639B3 (de) Verfahren zur Kollisionsvermeidung von Wasserfahrzeugen und Einrichtung zur Durchführung des Verfahrens
EP2956797B1 (de) Verfahren zum identifizieren oder zum orten eines unterwasserobjekts, zugehöriger rechner oder messsystem, sowie wasserfahrzeug
DE102019207301A1 (de) Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
DE102017220506A1 (de) Verfahren und Vorrichtung zum Schätzen eines maritimen Verkehrszustandes
DE102013107402B3 (de) Schiffsdetektion in Interferometrie-Radardaten
DE102022209654A1 (de) Signaturmanagement unter Berücksichtigung von Satelliten
DE102009020636B4 (de) Verfahren zur verbesserten Erkennung von leitungsartigen Objekten
DE102020207079A1 (de) Assistenzsystem für Wasserfahrzeuge

Legal Events

Date Code Title Description
R163 Identified publications notified
R082 Change of representative
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee