DE102018217164A1

DE102018217164A1 - Vorrichtung, Verfahren und System zur Datenanalyse

Info

Publication number: DE102018217164A1
Application number: DE102018217164.5A
Authority: DE
Inventors: Joachim Gröger
Original assignee: Geomar Helmholtz Centre For Ocean Res Kiel; Geomar Helmholtz Centre For Ocean Research Kiel
Current assignee: Geomar Helmholtz Centre For Ocean Res Kiel; Geomar Helmholtz Centre For Ocean Research Kiel
Priority date: 2018-10-08
Filing date: 2018-10-08
Publication date: 2020-04-09
Anticipated expiration: 2038-10-09
Also published as: DE102018217164B4; WO2020074429A1

Abstract

Die Erfindung betrifft eine Vorrichtung, ein Verfahren und ein System zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen. Eine Sonareinrichtung ist dazu eingerichtet, maritime Lebewesen unter Wasser in einem Sonarerfassungsbereich akustisch zu erfassen und entsprechende Sonardaten zu erzeugen, und eine Kameraeinrichtung ist dazu eingerichtet, maritime Lebewesen unter Wasser in einem Kameraerfassungsbereich optisch zu erfassen und entsprechende Kameradaten zu erzeugen. Zudem ist eine Datenverarbeitungseinrichtung dazu eingerichtet, auf Grundlage von miteinander korrespondierenden Sonardaten und Kameradaten, insbesondere im Wesentlichen gleichzeitig aufgenommenen Sonardaten und Kameradaten, statistische Daten, insbesondere wenigstens die Abundanz, bezüglich der erfassten maritimen Lebewesen in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, automatisch zu erzeugen. Eine Trägereinrichtung ist dabei dazu eingerichtet, die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung gemeinsam bei einer Fortbewegung der Vorrichtung unter Wasser zu tragen und/oder auf dem Meeresboden und/oder an einem Unterwasserbauwerk abzustützen.

Description

Die Erfindung betrifft eine Vorrichtung, ein Verfahren und ein System zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen.
Oftmals bildet die, insbesondere statistische, Erhebung von Daten in Gewässern, insbesondere in den Weltmeeren, die Grundlage für wissenschaftliche Erkenntnisse in Bezug auf die Unterwasserfauna oder sogar das gesamte betreffende Ökosystem. Beispielsweise erlauben solche Daten Erkenntnisse über den Klimawandel. Entsprechend können solche Daten auch maßgeblich für wirtschaftliche und/oder politische Überlegungen bzw. Entscheidungen sein, etwa bei der Festlegung von Umweltschutzzielen oder Fischfangquoten.
Eine Möglichkeit, solche Daten zu erheben, besteht in der Auswertung von Fangstatistiken von Fischereiflotten. Alternativ oder zusätzlich können, etwa durch Forschungsschiffe, Stichproben beispielsweise der Fischfauna gesammelt werden.
Es ist eine Aufgabe der vorliegenden Erfindung, die Erhebung von statistischen Daten in Bezug auf maritime Lebewesen, insbesondere die Ermittlung von Beständen maritimer Lebewesen, zu verbessern, insbesondere zuverlässigere und/oder präzisere statistische Daten zu erzeugen. Es ist insbesondere eine Aufgabe der vorliegenden Erfindung, diese Daten zumindest im Wesentlichen kontinuierlich zu erzeugen.
Diese Aufgabe wird gelöst von einer Vorrichtung, einem Verfahren und einem System zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, gemäß den unabhängigen Ansprüchen.
Eine erfindungsgemäße Vorrichtung zur, insbesondere automatischen, Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, weist eine Sonareinrichtung und eine Kameraeinrichtung auf, wobei die Sonareinrichtung dazu eingerichtet ist, maritime Lebewesen unter Wasser in einem Sonarerfassungsbereich akustisch zu erfassen und entsprechende Sonardaten zu erzeugen, und die Kameraeinrichtung dazu eingerichtet ist, maritime Lebewesen unter Wasser in einem Kameraerfassungsbereich optisch zu erfassen und entsprechende Kameradaten zu erzeugen. Zudem ist eine Datenverarbeitungseinrichtung der Vorrichtung dazu eingerichtet, auf Grundlage von miteinander korrespondierenden Sonardaten und Kameradaten, insbesondere im Wesentlichen gleichzeitig aufgenommenen Sonardaten und Kameradaten, statistische Daten, insbesondere wenigstens die Abundanz, bezüglich der erfassten maritimen Lebewesen in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, automatisch zu erzeugen. Eine Trägereinrichtung der Vorrichtung ist dabei dazu eingerichtet, die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung gemeinsam bei einer Fortbewegung der Vorrichtung unter Wasser zu tragen und/oder auf dem Meeresboden und/oder an einem Unterwasserbauwerk abzustützen.
Ein erfindungsgemäßes System zur, insbesondere automatischen, Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, weist mehrere erfindungsgemäße Vorrichtungen auf. Dabei weisen die mehreren Vorrichtungen jeweils eine Kommunikationseinrichtung zum Herstellen von Kommunikationsverbindungen untereinander auf, und die Datenverarbeitungseinrichtungen der Vorrichtungen sind dazu eingerichtet, über die hergestellten Kommunikationsverbindungen die jeweils erzeugten Sonardaten und Kameradaten und/oder die jeweils direkt erzeugten statistischen Daten, z.B. quantitative Informationen, zu übermitteln. Zudem ist wenigstens eine der Datenverarbeitungseinrichtungen zusätzlich dazu eingerichtet, die statistischen Daten unter Berücksichtigung der von wenigstens einer anderen Datenverarbeitungseinrichtung übermittelten Sonardaten und Kameradaten und/oder quantitativen Informationen zu erzeugen.
Ein erfindungsgemäßes Verfahren zur, insbesondere automatischen, Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, weist die folgenden Schritte auf: akustisches Erfassen von maritimen Lebewesen unter Wasser mittels einer Sonareinrichtung in einem Sonarerfassungsbereich und Erzeugen entsprechender Sonardaten; optisches Erfassen von maritimen Lebewesen unter Wasser mittels einer Kameraeinrichtung in einem Kameraerfassungsbereich und Erzeugen entsprechender Kameradaten; und automatisches datentechnisches Erzeugen von statistischen Daten, insbesondere wenigstens der Abundanz, bezüglich der erfassten maritimen Lebewesen in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, auf Grundlage von miteinander korrespondierenden Sonardaten und Kameradaten.
Ein Aspekt der Erfindung basiert auf dem Ansatz, maritime Lebewesen unter Wasser durch zwei, vorzugsweise voneinander unabhängige und/oder zueinander komplementäre, Modalitäten zu erfassen und die dabei erzeugten Daten automatisch mittels einer Datenverarbeitungseinrichtung auszuwerten. Beispielsweise können maritime Lebewesen mit einer Sonareinrichtung, vorzugsweise einem Hochfrequenzsonar, insbesondere einem Vielstrahlsonar (engl. multibeam sonar) bei einer oder mehreren Sendefrequenzen z.B. bei 900 kHz, einerseits und einer Kameraeinrichtung, vorzugsweise einer Stereokameraanordnung mit zwei, insbesondere restlichtverstärkenden, Kameras, andererseits erfasst und entsprechende Sonardaten und Kameradaten erzeugt werden. Die Datenverarbeitungseinrichtung erzeugt dann in bevorzugter Weise statistische Daten, z.B. die Abundanz der erfassten maritimen Lebewesen, insbesondere einzelner Spezies, auf Grundlage der kombinierte Sonar- und Kameradaten.
Die Sonareinrichtung kann die maritimen Lebewesen dabei insbesondere in einem Fernfeldbereich eines Kameraerfassungsbereichs erfassen, in dem z.B. die Auflösung der Kameraeinrichtung aufgrund der Entfernung zwischen den zu erfassenden Lebewesen und der Kameraeinrichtung beeinträchtigt ist. Die Kameraeinrichtung kann die maritimen Lebewesen dagegen insbesondere in einem Nachfeldbereich eines Sonarerfassungsbereichs erfassen, in dem z.B. die Auflösung der Sonareinrichtung aufgrund der Entfernung zwischen den zu erfassenden Lebewesen und der Sonareinrichtung beeinträchtigt ist. Dadurch kann die Qualität beispielsweise bei der Identifikation von erfassten maritimen Lebewesen und die Zuverlässigkeit der auf Grundlage der Sonar- und Kameradaten erzeugten statistischen Daten erhöht werden.
Auf Grundlage miteinander korrespondierender, z.B. im Wesentlichen gleichzeitig aufgenommener oder zumindest dem gleichen maritimen Lebewesen zuordenbarer, Sonar- und Kameradaten können die erfassten maritimen Lebewesen, vorzugsweise in automatischer Weise, besonders zuverlässig und präzise identifiziert, insbesondere klassifiziert, werden. Dies ermöglicht eine differenzierte Erzeugung der statistischen Daten, beispielsweise das Bestimmen des Aufkommens einer bestimmten Spezies in einem Beobachtungsgebiet, insbesondere in einem aus dem Sonarerfassungsbereich und dem Kameraerfassungsbereich kombinierten Erfassungsbereich.
Bei der Erzeugung der statistischen Daten aus den Sonar- und Kameradaten kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, durch maschinelles Lernen aus den Sonar- und/oder Kameradaten gewonnene Regeln und/oder Daten zu berücksichtigen bzw. auf die Sonar- und Kameradaten anzuwenden. Zu diesem Zweck kann die Datenverarbeitungseinrichtung z.B. vor ihrem Einsatz mit bereitgestellten, vorzugsweise präparierten, z.B. klassifizierten, Sonar- und/oder Kameradaten trainiert werden bzw. worden sein, um im Einsatz unter Wasser dann eine entsprechende, differenzierte Klassifikation der erfassten maritimen Lebewesen, beispielsweise bezüglich der Tierart bzw. Spezies, insbesondere der Familie, der Anzahl erfasster Lebewesen, ggfs. einer Spezies, der Abmessungen der erfassten Lebewesen, der Trajektorien der erfassten Lebewesen, der Fortbewegungsgeschwindigkeit der erfassten Lebewesen, der Schwarmbildung, des Schwarmverhaltens, des Fluchtverhaltens und/oder dergleichen anhand der Sonar- und Kameradaten vornehmen zu können. Die Datenverarbeitungseinrichtung weist zu diesem Zweck in bevorzugter Weise ein künstliches neuronales Netz auf, das diese Regeln und/oder Daten ermitteln, insbesondere aus bereitgestellten Sensordaten- und Kameradaten extrahieren, und in der Folge bei der Verarbeitung der Sonar- und Kameradaten, die von der Sonar- und Kameraeinrichtung unter Wasser erzeugt werden, anwenden kann. Solch ein künstliches neuronales Netz kann auch trainiert werden bzw. sein, um aus den Sonar- und Kameradaten Größen abzuleiten, die eine weitere Klassifikationen beispielsweise nach Gewicht, Biomasse, Alter und/oder dergleichen erlauben.
Die Datenverarbeitungseinrichtung kann dabei insbesondere dazu eingerichtet sein, in den miteinander kombinierten, vorzugsweise fusionierten, Sonar- und Kameradaten Muster zu erkennen, die eine entsprechende, besonders zuverlässige und differenzierte Klassifikation der erfassten maritimen Lebewesen ermöglichen.
Dadurch, dass die Sonar- und Kameradaten automatisch analysiert und die statistischen Daten dementsprechend automatisch, d.h. ohne externe Einflussnahme z.B. durch an die Datenverarbeitungseinrichtung übermittelte Steuerungssignale, erzeugt werden, kann die Datenverarbeitungseinrichtung bzw. bzw. ein Verbund aus der Datenverarbeitungseinrichtung, der Sonareinrichtung und der Kameraeinrichtung zumindest zeitweise autark operieren. Dabei kann beispielsweise eine Trägereinrichtung, insbesondere ein Gestell oder ein Rahmen, vorgesehen sein, mit welcher die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung unter Wasser fortbewegt und/oder auf dem Meeresboden abgestützt und/oder an Unterwasserbauwerken wie etwa Brückenpfeilern, Spundwänden, Leuchttürmen, Bojen, Fundamenten von Windrädern und/oder dergleichen montiert, insbesondere zyklisch zwischen verschiedenen Beobachtungsgebieten bewegt oder in einem vorgegebenen Beobachtungsgebiet stationär positioniert, werden können. Die statistischen Daten können in dieser Weise im Wesentlichen kontinuierlich oder zumindest zyklisch in dem Beobachtungsgebiet bzw. den Beobachtungsgebieten erhoben werden.
Die mehreren Vorrichtungen eines Systems zur Datenanalyse bilden vorzugsweise ein homogenes Netzwerk. Dabei kann zumindest ein Teil des Netzwerks durch wenigstens eine stationär betriebene Vorrichtung gebildet sein, die z.B. auf dem Meeresboden abgestellt oder an einem Unterwasser- bzw. Offshorebauwerk montiert ist. Das homogene Netzwerk kann insbesondere, zumindest teilweise, durch ein heterogenes Netzwerk gebildet bzw. in dieses eingebunden und/oder mit diesem gekoppelt werden, z.B. indem wenigstens eine Vorrichtung an einer Boje oder einer anderen marinen Plattform des heterogenen Netzwerks montiert ist.
Insgesamt ermöglicht die Erfindung eine verbesserte Erhebung von statistischen Daten in Bezug auf maritime Lebewesen, insbesondere eine verbesserte Ermittlung von Beständen maritimer Lebewesen.
In einer bevorzugten Ausführungsform ist eine Antriebseinrichtung vorgesehen, die dazu eingerichtet ist, die Vorrichtung unter Wasser fortzubewegen. Zudem ist eine Steuerungseinrichtung vorgesehen, die dazu eingerichtet ist, die Antriebseinrichtung in verschiedenen Antriebsbetriebsmodi zu steuern. Dabei ist die Antriebseinrichtung, etwa ein Propellerantrieb oder ein Jetantrieb, in bevorzugter Weise mit der Trägereinrichtung verbunden, um die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung zuverlässig und kontrolliert gemeinsam unter Wasser fortzubewegen. Durch die Steuerungseinrichtung kann die Antriebseinrichtung insbesondere situationsabhängig gesteuert und die Vorrichtung somit situationsabhängig fortbewegt werden. Dabei kann in einem System zur Datenanalyse gegebenenfalls nur ein Teil der Vorrichtungen, z.B. nur eine Vorrichtung, jeweils eine Antriebseinrichtung aufweisen, während der restliche Teil des Systems von stationär eingesetzten Vorrichtungen gebildet wird.
Es gilt als verstanden, dass die Verwendung der Begriffe Steuerung, Steuerungssignale bzw. Steuerungseinrichtung und dergleichen bezogen auf die Erfindung auch zeitlich abhängige Vorgänge wie Regelungen und Folgeregelungen umfassen.
Vorzugsweise ist die Steuerungseinrichtung in wenigstens einem Antriebsbetriebsmodus zur automatischen, d.h. zur autarken, Steuerung der Antriebseinrichtung eingerichtet. Mit anderen Worten kann die Steuerungseinrichtung selbstständig eine Fortbewegung der Vorrichtung veranlassen, ohne dass Steuerungssignale zur Steuerung der Antriebseinrichtung extern vorgegeben werden. Dadurch kann die Vorrichtung über einen längeren Zeitraum, insbesondere unabhängig von Umweltbedingungen wie etwa einem Sturm, die eine manuelle Fortbewegung der Vorrichtung etwa mittels eines Schleppseils unmöglich machen oder zumindest behindern, zur Erzeugung von statistischen Daten unter Wasser eingesetzt werden.
Vorzugsweise ist die Steuerungseinrichtung in wenigstens einem Antriebsbetriebsmodus dazu eingerichtet, Steuerungssignale zur Steuerung der Antriebseinrichtung zu empfangen, z.B. über ein Funknetz, ein Datenkabel und/oder dergleichen. Dadurch kann die Antriebseinrichtung ferngesteuert werden.
Die Steuerungseinrichtung ist in bevorzugter Weise dazu eingerichtet, in jedem der Antriebsbetriebsmodi auf Grundlage der Sonar- und/oder Kameradaten Hindernissen, etwa erfassten maritimen Lebewesen oder Unterwasserbauwerken, auszuweichen. Dadurch können Kollisionen zuverlässig vermieden werden.
In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, die Antriebseinrichtung in einem ersten Antriebsbetriebsmodus auf Grundlage von bereitgestellten Steuerungsdaten in der Weise zu steuern, dass die Vorrichtung im Wesentlichen entlang eines durch die Steuerungsdaten charakterisierten Pfads fortbewegt wird. Dadurch ist es möglich, in verschiedenen, räumlich voneinander getrennten Regionen statistischen Daten zu erzeugen und in dieser Weise z.B. einen noch breiteren, insbesondere zuverlässigeren, Überblick über die Unterwasserfauna zu erhalten.
Dabei können die Steuerungsdaten beispielsweise aus einem Speicher geladen werden. Solche, in einem Speicher gespeicherten Steuerungsdaten erlauben es in bevorzugter Weise, gegebenenfalls zyklisch vorgegebene Regionen, etwa Laichgebiete, anzusteuern und dort die statistischen Daten zu erzeugen. Durch das Vorsehen der Steuerungsdaten in dem Speicher ist dabei ein autarker Betrieb der Vorrichtung möglich. Die Vorrichtung kann somit insbesondere über einen längeren Zeitraum ohne äußere Einflussnahme zur Überwachung der vorgegebenen Regionen, etwa Laichgebieten, eingesetzt werden.
Alternativ oder zusätzlich können die Steuerungsdaten über eine Kommunikationsverbindung, insb. mit einem Kontrollzentrum auf dem Festland, empfangen werden, wobei die Kommunikationsverbindung etwa als Datenkabel oder eine drahtlose Verbindung ausgebildet sein kann. Somit ist ein zumindest teilweise ferngesteuerter Betrieb der Vorrichtung möglich. Dies ist besonders vorteilhaft, wenn bestimmte Regionen situationsabhängig angesteuert werden sollen, z.B. wenn die Auswertung der erzeugten statistischen Daten ergibt, dass eine Region bevorzugt näher untersucht werden sollte, oder wenn sich äußere Randbedingungen, etwa durch Fischfang, ändern.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, auf Grundlage der Sonardaten und der Kameradaten eine Bewegung wenigstens eines erfassten maritimen Lebewesens zu ermitteln, und die Steuerungseinrichtung ist dazu eingerichtet, die Antriebseinrichtung in einem zweiten Antriebsbetriebsmodus auf Grundlage der ermittelten Bewegung des wenigstens einen erfassten maritimen Lebewesens zu steuern. Dadurch kann eine Störung der Unterwasserfauna durch die Vorrichtung verringert werden. Zudem können maritime Lebewesen, insbesondere Schwärme von maritimen Lebewesen, über einen längeren Zeitraum und daher besonders zuverlässig überwacht werden.
Die Datenverarbeitungseinrichtung kann zu diesem Zweck dazu eingerichtet sein, die Bewegung maritimer Lebewesen nachzuverfolgen (engl. tracken), d.h. z.B. eine oder mehrere Trajektorien eines oder mehrerer maritimen Lebewesen aus den Kamera- und Sonardaten zu ermitteln, so dass die Steuerungseinrichtung die Antriebseinrichtung im zweiten Antriebsbetriebsmodus auf Grundlage der einen oder mehreren ermittelten Trajektorien steuern kann. Die Antriebseinrichtung kann insbesondere in der Weise gesteuert werden, dass die Vorrichtung in Abhängigkeit der ermittelten Bewegung des wenigstens einen erfassten maritimen Lebewesens fortbewegt wird, z.B. dem erfassten maritimen Lebewesen folgt und/oder die Fortbewegung der Vorrichtung an die ermittelte Bewegung des maritimen Lebewesens angepasst wird. Beispielsweise ist es denkbar, dass die Steuerungseinrichtung dazu eingerichtet ist, die Antriebseinrichtung im zweiten Antriebsbetriebsmodus in der Weise zu steuern, dass die ermittelte Bewegung des erfassten maritimen Lebewesens nachgeahmt bzw. imitiert wird. Dadurch kann beispielsweise zuverlässig verhindert werden, dass das wenigstens eine erfasste maritime Lebewesen bei Annäherung der Vorrichtung flüchtet. Zudem kann sichergestellt werden, dass umfassende statistischen Daten bezüglich des wenigstens einen erfassten maritimen Lebewesens, insbesondere wenn es Teil eines Schwarms ist, erzeugt werden können, indem die Vorrichtung dem erfassten Lebewesen bzw. seinem Schwarm zumindest für eine vorgegebene Zeitdauer folgt. Außerdem können durch das Nachverfolgen des wenigstens einen erfassten maritimen Lebewesens Fehler in den erzeugten statistischen Daten, beispielsweise durch Abschattung wenigstens eines weiteren maritimen Lebewesens durch das wenigstens eine erfasste maritimen Lebewesen, vermieden oder zumindest reduziert werden.
Im zweiten Antriebsbetriebsmodus ist vorzugsweise eine Fortbewegungsgeschwindigkeit der Vorrichtung bzw. der Antriebseinrichtung reduziert bzw. gedrosselt, um erfasste maritime Lebewesen nicht aufzuscheuchen.
Die Steuerungseinrichtung kann dabei dazu eingerichtet sein, die Antriebseinrichtung im zweiten Antriebsbetriebsmodus zusätzlich in Abhängigkeit einer Klassifikation, insbesondere einer Identifikation, des erfassten maritimen Lebewesens zu steuern. Z.B. kann die Fortbewegung der Vorrichtung an die Bewegung einer Fischart angepasst werden, die charakteristisch für diese Fischart ist. Die Klassifikation, insbesondere die Identifikation, des erfassten maritimen Lebewesens, d.h. Zuordnung des Lebewesens zu einer bestimmten Spezies oder Familie, wird dabei vorzugsweise von der Datenverarbeitungseinrichtung auf Grundlage der Kamera- und Sensordaten durchgeführt.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu eingerichtet, eine Relativbewegung zwischen dem wenigstens einen erfassten maritimen Lebewesen und der Vorrichtung zu ermitteln, und die Steuerungseinrichtung ist in bevorzugter Weise dazu eingerichtet, die Antriebseinrichtung auf Grundlage der ermittelten Relativbewegung zu steuern. Dies ermöglicht eine besonders präzise Nachahmung der Bewegung des erfassten Lebewesens bzw. ein besonders zuverlässiges Folgen des erfassten Lebewesens.
Mit anderen Worten kann der zweite Antriebsbetriebsmodus einem Fluchtvermeidungsmodus und/oder einem Verfolgermodus entsprechen, indem die Vorrichtung mittels der Antriebseinrichtung derart fortbewegt wird, dass kein Fluchtreflex des wenigstens einen erfassten maritimen Lebewesens ausgelöst bzw. dem wenigstens einen erfassten maritimen Lebewesens gefolgt wird.
Dabei kann die Steuerungseinrichtung auch dazu eingerichtet sein, die Antriebseinrichtung zu Stoppen. Insbesondere wenn ein maritimes Lebewesen im Nahfeldbereich der Sonareinrichtung erfasst wird, kann die Antriebseinrichtung gestoppt werden, z.B. um eine zuverlässige Erfassung des Lebewesens durch die Kameraeinrichtung zu ermöglichen.
In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, durch maschinelles Lernen in den in den erzeugten statistischen Daten Muster zu erkennen und die Antriebseinrichtung in einem dritten Antriebsbetriebsmodus auf Grundlage der erkannten Muster zu steuern. Zu diesem Zweck kann die Steuerungseinrichtung z.B. ein künstliches neuronales Netz aufweisen oder als künstliches neuronales Netz ausgebildet sein. Dies ist besonders vorteilhaft, wenn die Vorrichtung autark, d.h. ohne externe Einflussnahme/Steuerung, betrieben wird, da die Steuerung der Antriebseinrichtung dann in Abhängigkeit der erzeugten statistischen Daten erfolgen kann.
Beispielsweise kann die Steuerungseinrichtung dazu eingerichtet sein, durch fortlaufende Analyse der erzeugten statistischen Daten auf maschinelle Weise, etwa durch deep-learning-Verfahren, Regeln und/oder Daten erlernen, welche mit Mustern in den statistischen Daten korrespondieren. Auf Grundlage dieser maschinell erlernten Regeln und/oder Daten kann die Antriebseinrichtung entsprechend gesteuert werden.
Durch die zum maschinellen Lernen eingerichtete Steuerungseinrichtung können z.B. Habitate der erfassten maritimen Lebewesen ermittelt werden. Alternativ oder zusätzlich können zyklische Abläufe der Unterwasserfauna, z.B. Wanderbewegungen von Fischen, Laichzyklen und/oder dergleichen ermittelt werden. Eine Steuerung der Antriebseinrichtung im dritten Antriebsbetriebsmodus auf Grundlage dieser erkannten Muster erlaubt z.B. ein entsprechendes wiederholtes, insbesondere zyklisches, Ansteuern bzw. Anfahren der ermittelten Habitate und/oder Wanderrouten.
Dabei kann die Steuerungseinrichtung bzw. das künstliche neuronale Netz dazu eingerichtet sein, die Muster in den statistischen Daten während des Einsatzes der Vorrichtung unter Wasser, d.h. beim Erfassen maritimer Lebewesen unter Wasser, maschinell zu lernen bzw. sich entsprechend zu trainieren. Dies erlaubt einen besonders flexiblen Einsatz der Vorrichtung und kann die Menge der insgesamt erzeugten statistischen Daten und damit auch deren Zuverlässigkeit signifikant erhöhen.
Alternativ oder zusätzlich ist es aber auch denkbar, dass die, insbesondere derart ausgebildete, Steuerungseinrichtung bereits vor dem Einsatz der Vorrichtung unter Wasser, d.h. vor dem Erfassen maritimer Lebewesen unter Wasser, mit präparierten, insbesondere bezüglich zu erkennender Muster klassifizierten, statistischen Daten zumindest teilweise trainiert ist bzw. wird, um im Einsatz unter Wasser für eine entsprechende Mustererkennung vorbereitet zu sein. Bei solchen präparierten statistischen Daten kann es sich beispielsweise um künstlich erzeugte, etwa simulierte, oder um anderweitig, etwa durch Auswertung von Statistiken von Fischereiflotten oder stichprobenartig, ermittelte statistische Daten handeln. Dadurch können, insbesondere weitere, Muster in den statistischen Daten während des Einsatzes der Vorrichtung zuverlässiger erlernt und/oder erkannt werden.
In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, einen der Antriebsbetriebsmodi auf Grundlage der Sonardaten und/oder Kameradaten, insb. der statistische Daten, auszuwählen. Dies erlaubt einen besonders flexiblen, insbesondere autarken, Einsatz der Vorrichtung.
Beispielsweise kann die Steuerungseinrichtung den ersten Antriebsbetriebsmodus, in dem die Antriebseinrichtung auf Grundlage von vorgegebenen Steuerungsdaten gesteuert wird, auswählen, wenn, zumindest für eine vorgegebene Zeitdauer von beispielsweise mindestens 1 Stunde, vorzugsweise mindestens 2 Stunden, insbesondere mindestens 5 Stunden, kein maritimes Lebewesen erfasst wird. Dadurch kann sichergestellt werden, dass die Unterwasserfauna möglichst umfassend statistisch erfasst wird.
Alternativ oder zusätzlich ist es denkbar, dass die Steuerungseinrichtung den zweiten Antriebsbetriebsmodus, in dem die Antriebseinrichtung auf Grundlage einer ermittelten Bewegung wenigstens eines erfassten maritimen Lebewesens gesteuert wird, auswählt, wenn eine Entfernung bzw. ein Abstand zwischen dem wenigstens einen erfassten maritimen Lebewesen und der Vorrichtung einen vorgegebenen Abstandsschwellenwert erreicht oder unterschreitet. Der Abstand zwischen dem wenigstens einen erfassten maritimen Lebewesen unter Vorrichtung kann beispielsweise von der Datenverarbeitungseinrichtung auf Grundlage der Sonardaten ermittelt und der Steuerungseinrichtung bereitgestellt werden, so dass die Steuerungseinrichtung prüfen kann, ob der vorgegebenen Abstandsschwellenwert erreicht oder unterschritten wird. Dadurch kann zuverlässig vermieden werden, dass die Vorrichtung beim Antreffen maritimer Lebewesen, insbesondere während sich die Vorrichtung auf einem vorgegebenen Pfad bewegt, die angetroffenen und erfassten Lebewesen in die Flucht schlägt.
Alternativ oder zusätzlich kann die Steuerungseinrichtung den dritten Antriebsbetriebsmodus, in dem die Antriebseinrichtung auf Grundlage des erkannten Musters in den statistischen Daten gesteuert wird, auswählen, wenn ein Zuverlässigkeitskriterium durch die statistischen Daten erfüllt ist, beispielsweise wenn ein Zuverlässigkeitsmaß wie etwa das Inverse einer Standardabweichung einen vorgegebenen Zuverlässigkeitsschwellenwert erreicht oder überschreitet. Das Zuverlässigkeitsmaß wird dabei in bevorzugter Weise von der Datenverarbeitungseinrichtung beim Erzeugen der statistischen Daten ermittelt. Dadurch kann sichergestellt werden, dass eine Steuerung der Antriebseinrichtung erst erfolgt, wenn ausreichend statistischen Daten gesammelt wurden und diesen vertraut werden kann.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, auf Grundlage der Sonardaten und der Kameradaten eine Bewegung des erfassten maritimen Lebewesens relativ zur Vorrichtung zu ermitteln und die Sonardaten und Kameradaten auf Grundlage der ermittelten Relativbewegung zu korrigieren. Beispielsweise kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die Bewegung des wenigstens einen erfassten maritimen Lebewesens nachzuverfolgen (engl. tracken), z.B. seine Trajektorie zu ermitteln, und vorzugsweise mit der, z.B. durch die entsprechende Steuerung der Antriebseinrichtung durch die Steuerungseinrichtung bekannte, Eigenbewegung der Vorrichtung zu vergleichen. Dadurch können die miteinander korrespondierenden Sonardaten und Kameradaten beispielsweise aneinander angepasst bzw. aufeinander abgestimmt werden. Somit kann die Qualität der erzeugten statistischen Daten signifikant verbessert werden.
Beispielsweise ist es denkbar, anhand der ermittelten Relativbewegung den, insbesondere in den Sonardaten enthaltenen, Dopplereffekt ausgleichen, insbesondere herausrechnen. Dadurch kann, insbesondere aus einer Kombination der derart korrigierten Sonardaten und Kameradaten, der Abstand des erfassten maritimen Lebewesens zu Vorrichtung besonders zuverlässig ermittelt und z.B. die Antriebseinrichtung auf Grundlage des Abstands zweiten Antriebsbetriebsmodus besonders zuverlässig gesteuert werden.
In einer weiteren bevorzugten Ausführungsform ist eine Sensoreinrichtung vorgesehen, die dazu eingerichtet ist, Umgebungsbedingungen zu erfassen und entsprechende Umgebungsdaten zu erzeugen, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, die statistischen Daten unter Berücksichtigung der Umgebungsdaten zu ermitteln. Die Sensoreinrichtung kann beispielsweise dazu eingerichtet sein, die Wassertrübung, die Neigung der Vorrichtung, vorgegebene abiotische Umweltfaktoren und/oder vorgegebene biotische Umweltfaktoren der Umgebung zu erfassen. Zu diesem Zweck kann die Sensoreinrichtung beispielsweise einen etwa auf Lichtstreuung oder -schwächung basierenden Trübheitssensor, eine CTD-Rosette zur Messung der Leitfähigkeit (conductance), Temperatur (temperature) und Tiefe (depth), insbesondere mit Sensoren zur Erfassung von Temperatur, Leitfähigkeit, Wasserdruck, Sauerstoffgehalt und/oder Strömung, und/oder einen Chlorophyll-a-Sensor aufweisen. Die in den Umgebungsdaten enthaltene Information erlaubt die Erzeugung besonders vielschichtiger bzw. differenzierter Statistiken.
Zudem ist es auch denkbar, dass die Steuerungseinrichtung dazu eingerichtet ist, die Antriebseinrichtung auf Grundlage der Umgebungsdaten, insbesondere unabhängig von einem der verschiedenen Abtriebsbetriebsmodi, zu steuern. Die Sensoreinrichtung kann beispielsweise einen Signalempfänger zum Empfangen von elektromagnetischen Signalen, beispielsweise RFID-Signalen, aufweisen, so dass, z.B. durch die Steuerungseinrichtung, solche elektromagnetische Signale aussendende Hindernisse wie etwa Schiffe, Offshorebauwerke und/oder dergleichen bei der Fortbewegung der Vorrichtung berücksichtigt werden können. Dabei kann der Signalempfänger Teil eines Transceivers sein, der dazu eingerichtet ist, elektromagnetische Abfragesignale auszusenden und entsprechende elektromagnetische Antwortsignale zu empfangen. So ist es beispielsweise denkbar, bestimmte Hindernisse wie Offshorebauwerke oder Riffe durch Anordnen von Transpondern, z.B. RFID-Tags, zu markieren, um eine Kollision der Vorrichtung mit diesen Hindernissen zuverlässig zu vermeiden. Alternativ oder zusätzlich können solche von den Transponder zurückgesendeten elektromagnetische Signale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten auch dazu verwendet werden, die statistischen Daten in Bezug auf Attraktionseffekte z.B. durch Riffe zu korrigieren, da im Bereich solcher Hindernisse die Abundanz maritimer Lebewesen üblicherweise ungewöhnlich hoch ist.
Gegebenenfalls kann der Empfang solcher elektromagnetischer Signale aber auch genutzt werden, um mit entsprechenden Transpondern markierte maritime Lebewesen, insbesondere größere Lebewesen wie z.B. Robben oder Wale, zu erfassen und die empfangene elektromagnetischen Signale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten bei der Erzeugung der statistischen Daten zu berücksichtigen.
Bei der Steuerung der Antriebseinrichtung kann insbesondere auch die mittels des Neigungssensors erfasste Neigung bzw. Ausrichtung der Vorrichtung berücksichtigt werden. Insbesondere kann die Steuerungseinrichtung dazu eingerichtet sein, die Steuerung der Antriebseinrichtung in einem der Antriebsbetriebsmodi auf Grundlage der erfasste Neigung bzw. Ausrichtung der Vorrichtung zu korrigieren.
Mit dem Sensor zum erfassen biotischer Umweltfaktoren, etwa dem Chlorophyll-a-Sensor, können die statistischen Daten auch in Bezug auf die Nahrungskette erzeugt werden. Mittels dieses Sensors kann beispielsweise der Phytoplanktongehalt im Wasser überwacht werden und mit den erfassten maritimen Lebewesen in Beziehung gesetzt werden. Dies kann vorteilhaft ergänzt werden durch Erfassen des Zooplanktongehalts mittels der Sensoreinrichtung.
Insgesamt erlaubt die Sensoreinrichtung bzw. die von ihr erzeugten Umgebungsdaten damit die Erzeugung statistischen Daten in Bezug auf das gesamte Unterwasser-Ökosystem, da gleichzeitig die Fischabundanz, vorzugsweise klassifiziert nach Spezies und Größe der Fische, Chlorophyllgehalt, Zooplankton, Fischlarven, Quallen, Wassertrübung und/oder andere relevante abiotische Prozesse erfasst werden.
Dabei ist es denkbar, dass in einem System zur Datenerfassung nur ein Teil der Vorrichtungen mit einer Sensoreinrichtung ausgestattet ist. Dadurch kann z.B. die Größe bzw. das Gewicht einzelner Vorrichtungen gegenüber den mit einer Sensoreinrichtung ausgestatteten Vorrichtungen reduziert werden, so dass eine Montage an Unterwasserbauwerke möglich ist. Zumindest wird die Montage dadurch erleichtert.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die erfassten maritimen Lebewesen auf Grundlage der Sonardaten und der Kameradaten zu Klassifizieren und die statistischen Daten, insbesondere separat, für jede ermittelte Klasse zu erzeugen. Beispielsweise kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die erfassten maritimen Lebewesen nach Spezies, Familie, Größe, Anzahl, Schwarmverhalten oder -form und/oder dergleichen einzuteilen. Dies ermöglicht das erzeugen einer besonders detaillierten und differenzierten Statistik bezüglich der Unterwasserfauna.
Datenverarbeitungseinrichtung ist dabei vorzugsweise dazu eingerichtet, die erfassten maritimen Lebewesen auf Grundlage von durch maschinelles Lernen gewonnenen Regeln und/oder Daten zu klassifizieren. Die Datenverarbeitungseinrichtung kann zu diesem Zweck beispielsweise Weise als künstliches neuronales Netz, z.B. als ein faltendes neuronales Netz (convolutional neural network, CNN) eingerichtet sein oder ein solches aufweisen, das z.B. durch ein deep-learning-Verfahren trainiert ist oder wird.
In einer bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die erfassten maritimen Lebewesen bezüglich wenigstens einem der folgenden Merkmale zu klassifizieren: (i) Spezies, insbesondere Familie; (ii) Anzahl; (iii) Abmessung; (iv) Entfernung; (v) Trajektorie; und/oder (vi) Dynamik. Beispielsweise kann das wenigstens eine erfasste maritime Lebewesen identifiziert und einer bestimmten Klasse, beispielsweise einer Spezies bzw. einer Familie, einer bestimmten Größen- oder Gewichtsklasse und/oder einem bestimmten Verhalten, zugeordnet werden. Dadurch kann eine besonders differenzierte und detaillierte Statistik in Bezug auf die Unterwasserfauna erzeugt werden.
Die Datenverarbeitungseinrichtung ist in bevorzugter Weise dazu eingerichtet, auf Grundlage der genannten Merkmale (i) bis (vi) wenigstens ein weiteres Merkmal zu ermitteln, insbesondere aus den genannten Merkmalen (i) bis (vi) abzuleiten. Beispielsweise kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, auf Grundlage der Anzahl von erfassten Lebewesen, gegebenenfalls unter Berücksichtigung von Entfernungen bzw. Abständen der erfassten Lebewesen relativ zueinander und/oder zur Vorrichtung, auf einen Schwarm, insbesondere eine Schwarmgröße, zu schließen. Insbesondere können von der Datenverarbeitungseinrichtung dabei auch eine Schwarmform und/oder ein Schwarmverhalten ermittelt werden. Alternativ oder zusätzlich kann die Datenverarbeitungseinrichtung auf Grundlage der Abmessungen, z.B. der Größe und/oder der Proportionen eines erfassten Lebewesens, das Gewicht des erfassten Lebewesens ableiten.
Alternativ oder zusätzlich kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, auf Grundlage der ermittelten Trajektorie eines erfasste maritime Lebewesens, d.h. dessen Bewegungskurve, und der ermittelten Dynamik des erfassten maritimen Lebewesens, z.B. dessen Bewegungsablauf, Geschwindigkeit und/oder Beschleunigung bzw. des zeitlichen Verlaufs der Geschwindigkeit und/oder Beschleunigung, auf dessen Verhalten zu schließen. Beispielsweise kann die Datenverarbeitungseinrichtung ein oder mehrere Verhaltensmuster, z.B. das Fluchtverhalten, gegebenenfalls in Abhängigkeit von der Entfernung des erfassten Lebewesens zur Vorrichtung, das Fressverhalten und/oder das Laichverhalten, ermitteln.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten und die Kameradaten auf Grundlage der durch maschinelles Lernen gewonnen Regeln und/oder Daten zu korrigieren. Insbesondere kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die Sonareinrichtung und die Kameraeinrichtung auf Grundlage der maschinell erlernten Regeln und/oder Daten zu kalibrieren. Dadurch kann eine besonders zuverlässige Klassifizierung der erfassten maritimen Lebewesen erreicht werden.
Es ist beispielsweise denkbar, auf Grundlage der erlernten Regeln und/oder Daten durch das wenigstens eine erfasste maritime Lebewesen verdeckte, weitere maritime Lebewesen bei der Klassifizierung zu berücksichtigen. Tritt das wenigstens eine erfasste Lebewesen etwa überwiegend im Schwarm auf, ist es in der Regel nicht möglich, alle den Schwarm bildenden Lebewesen einzeln zu erfassen, da unweigerlich eine Abdeckung der Lebewesen auf der der Vorrichtung abgewandten Seite des Schwarms auftritt. Anhand der erlernten Regeln und/oder Daten kann die Datenverarbeitungseinrichtung in bevorzugter Weise jedoch die Größe des Schwarms, insbesondere die Anzahl der im Schwarm vorhandenen Lebewesen, in zuverlässiger Weise ermitteln oder zumindest abschätzen.
Stellt die Datenverarbeitungseinrichtung fest, dass, abhängig von der Ausrichtung der Sonareinrichtung und/oder der Kameraeinrichtung zum erfassten maritimen Lebewesen, d.h. z.B. aus unterschiedlichen Blickwinkeln, beispielsweise unterschiedliche Größen des Lebewesens ermittelt werden, können Sonar-und/oder Kameradaten anhand entsprechender maschinell erlernter Regeln und/oder Daten auch entsprechend unter Berücksichtigung des Winkels zwischen der Sonar- und/oder Kameraeinrichtung und dem erfassten Lebewesen korrigiert werden.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten und die Kameradaten zur Klassifizierung der erfassten maritimen Lebewesen miteinander zu fusionieren. Dadurch kann z.B. die Erfassungszuverlässigkeit im kombinierten Erfassungsbereich erhöht werden. Zudem kann dadurch auch die Zuverlässigkeit bzw. Präzision der Klassifizierung weiter erhöht werden. Z.B. können aufgrund der Sensordatenfusion Mehrdeutigkeiten aufgelöst werden.
Die Datenverarbeitungseinrichtung kann die Sonar- und Kameradaten dabei insbesondere im Rahmen einer zumindest teilweise komplementären Sensordatenfusion miteinander kombinieren, z.B. um den in den fusionierten Sonar- und Kameradaten enthaltenen Informationsgehalt zu erhöhen. Insbesondere kann dadurch der Informationsgehalt der Sonardaten um den Informationsgehalt der Kameradaten oder andersherum ergänzt werden.
Alternativ oder zusätzlich kann die Datenverarbeitungseinrichtung die Sonar-und Kameradaten auch im Rahmen einer zumindest teilweise konkurrierenden Sensordatenfusion miteinander kombinieren, z.B. um die Genauigkeit der Erfassung im kombinierten Erfassungsbereich zu erhöhen. Es ist denkbar, bei der konkurrierenden Sensordatenfusion eine Gewichtung der Sonar- und/oder Kameradaten vorzunehmen, um eine besonders zuverlässige Klassifizierung der erfassten maritimen Lebewesen zu erreichen.
Dabei können die Sonar- und Kameradaten gemäß einer sog. Datenfusion, bei der die Rohdaten vorzugsweise aneinander angepasst, z.B. in das gleiche Format gebracht, und zusammengeführt werden, so dass Lücken in den Sonar-und/oder Kameradaten jeweils durch die Kamera- bzw. Sonardaten gefüllt werden, insbesondere bevor weitere Datenverarbeitungsschritte wie etwa eine Merkmalserkennung durchgeführt werden. Alternativ können die Sonar-und Kameradaten auch gemäß einer sog. Merkmalsfusion, bei der aus den Sonar- und Kameradaten extrahierte Merkmale, beispielsweise einzelne identifizierte Fische und deren Eigenschaften wie Abmessung, Trajektorie und/oder dergleichen, miteinander verschmolzen werden.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten und/oder die Kameradaten, insbesondere vor der Fusionierung, aufzubereiten. Vorzugsweise wird die Aufbereitung der Sonar- und/oder Kameradaten dabei im Hinblick auf die Verarbeitung gemäß der durch maschinelles Lernen gewonnenen Regeln und/oder Daten, z.B. durch ein künstliches neuronales Netz, durchgeführt. Beispielsweise können die Sonar- und/oder Kameradaten in ein entsprechendes Format bzw. eine entsprechende Abbildung, welche die Sonar- und/oder Kameradaten bzw. das wenigstens eine erfasste maritime Lebewesen charakterisiert, transformiert werden. Dadurch kann sichergestellt werden, dass die Sonar- und/oder Kameradaten von der Datenverarbeitungseinrichtung, insbesondere unter Berücksichtigung der durch maschinelles Lernen gewonnenen Regeln und/oder Daten, störungsfrei verarbeitet werden können.
Es ist beispielsweise denkbar, aus den Sonar- und/oder Kameradaten eine graphische Abbildung, insbesondere ein wenigstens zweidimensionales Bild, zu bilden, das durch die Datenverarbeitungseinrichtung, insbesondere das künstliche neuronale Netz, verarbeitet bzw. analysiert werden kann. Durch eine derartige Aufbereitung der Sonar- und/oder Kameradaten kann die Datenverarbeitungseinrichtung anhand der maschinell erlernten Regeln und/oder Daten besonders zuverlässig Muster in den Sonar- und Kameradaten erkennen, die zur Klassifizierung des wenigstens einen erfassten maritimen Lebewesens genutzt werden können.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten (i) zu filtern, (ii) zu segmentieren, und/oder (iii) zu binarisieren. Dadurch können die Sonardaten zuverlässig und eindeutig mit dem Kameradaten fusioniert und/oder durch die Datenverarbeitungseinrichtung unter Berücksichtigung der maschinell erlernten Regeln und/oder Daten weiterverarbeitet bzw. klassifiziert werden.
Die Sonardaten können beispielsweise in Form von Bildpunkten (Pixeln) einer Abbildung von der Sonareinrichtung bereitgestellt werden, wobei die Lage der Bildpunkte relativ zueinander vorzugsweise durch Polarkoordinaten angegeben ist. Insbesondere können die Sonardaten in Form wenigstens einer sonographischen Darstellung, insbesondere eines zweidimensionalen Bilds, dargestellt werden. Vorzugsweise bilden die Sonardaten einen Bildstrom aus aufeinanderfolgenden sonographischen Darstellungen bzw. Bildern. In bevorzugter Weise werden die Sonardaten, insbesondere sonographische Darstellungen, mithilfe von digitalen Filtern gefiltert, wobei das durch Unterwassergeräusche wie Windrauschen, Muschel- bzw. Fischgeräusche, Schiffslärm und/oder Bohrlärm erzeugte Rauschen in den Sonardaten bzw. Darstellungen herausgefiltert wird. Gegebenenfalls kann auf diese Weise auch thermisches Rauschen aus den Sonardaten bzw. sonographischen Darstellungen herausgefiltert werden.
Zur Segmentierung der Sonardaten wird in bevorzugter Weise ein Nachhall in den Sonardaten geschätzt, beispielsweise durch Mittelung mehrerer zeitlich aufeinander folgender, d.h. aufeinanderfolgend aufgenommener, sonographischen Darstellungen, insbesondere aus dem Bildstrom. Beispielsweise können zwischen 2 und 30, vorzugsweise zwischen 3 und 20, insbesondere zwischen 5 und 10, sonographische Darstellung bzw. Bilder zum Schätzen des Nachhalls gemittelt werden. Die sonographischen Darstellungen können dann z.B. durch Subtraktion des ermittelten Nachhalls von jeder sonographischen Darstellung segmentiert werden. Dadurch treten durch erfasste maritime Lebewesen erzeugte Bildmerkmale in den sonographischen Darstellungen deutlicher hervor.
In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, aus erzeugten Sonardaten, insbesondere mehreren sonographischen Darstellungen, z.B. aus einem Bildstrom, einen Sonardatenmittelwert zu bilden und beim Segmentieren der Sonardaten, insbesondere der sonographischen Darstellungen, einen adaptiven Schwellenwert auf Grundlage von dem gebildeten Sonardatenmittelwert und den erzeugten Sonardaten, insbesondere sonographischen Darstellungen, zu ermitteln und die Sonardaten, insbesondere wenigstens eine sonographische Darstellung, anhand des adaptiven Schwellenwerts zu binarisieren. Dadurch kann unabhängig von der, beispielsweise durch äußere Umweltbedingungen beeinflussten, Aufnahmequalität eine zuverlässige Weiterverarbeitung der Sonardaten, insbesondere durch ein künstliches neuronales Netz bzw. auf Grundlage der maschinell erlernten Regeln und/oder Daten, sichergestellt werden.
Der adaptive Schwellenwert ergibt sich insbesondere durch Subtraktion der Sonardaten vom Sonardatenmittelwert. Beispielsweise kann eine sonographische Darstellung aus einem Bildstrom von einer gemittelten sonographischen Darstellung abgezogen werden, wobei die adaptive Schwellenwert ein Maß für die Differenz zwischen der sonographischen Darstellung und der gemittelten sonographischen Darstellung ist.
Werden die Sonardaten beispielsweise durch ein zweidimensionales Bild dargestellt und von einem gemittelten Bild abgezogen, kann der adaptive Schwellenwert die Summe aller Differenzen zwischen den miteinander korrespondierenden Bildpunkten des zweidimensionalen Bildes und des gemittelten Bildes sein. Da sich diese Summe von Bild zu Bild ändert, passt sich der Schwellenwert z.B. automatisch an Qualität des jeweiligen Bilds an.
Zur Binarisierung können dann z.B. alle Bildpunkte, die einen unterhalb des adaptiven Schwellenwerts liegenden Wert aufweisen, auf Null gesetzt werden. Alle Bildpunkte, die einen oberhalb des adaptieren Schwellenwerts oder dem adaptieren schwellenwertenden Wert aufweisen, können auf eins gesetzt werden. Dadurch werden erfasste maritime Lebewesen in den entsprechend vor verarbeiteten Sonardaten zuverlässig und besonders deutlich abgebildet.
In einer weiteren bevorzugten Ausführungsform ist eine Steuerungseinrichtung vorgesehen, die dazu eingerichtet ist, die Sonareinrichtung und die Kameraeinrichtung in verschiedenen Erfassungsbetriebsmodi zu steuern. Dadurch können maritime Lebewesen flexibel, z.B. auf unterschiedliche Weise, erfasst werden. Insbesondere können maritime Lebewesen situationsabhängig erfasst werden. Es ist beispielsweise denkbar, die Sonareinrichtung und/oder die Kameraeinrichtung in Abhängigkeit von Umweltbedingungen, beispielsweise der Wassertrübung, des Planktongehalts im Wasser und/oder dergleichen zu steuern. Beispielsweise kann in Abhängigkeit der Umweltbedingungen die Leistung bzw. Intensität der von der Sonareinrichtung ausgesandten Schallwellen oder eine Empfindlichkeit der Kameraeinrichtung eingestellt werden. Dies erlaubt eine durchgehend hohe Qualität der erzeugten Sonar- und Kameradaten.
Dabei kann die Steuerungseinrichtung dazu eingerichtet sein, einen der verschiedenen Erfassungsbetriebsmodi auf Grundlage der Sonar- und/oder Kameradaten, insbesondere der erfolgten Klassifikation des wenigstens einen erfassten maritimen Lebewesens, auszuwählen. Beispielsweise kann ein Erfassungsbetriebsmodus, in dem das wenigstens eine maritime Lebewesen nur von der Kameraeinrichtung erfasst wird, ausgewählt werden, wenn eine Entfernung zwischen dem erfassten Lebewesen und der Kamera- und/oder Sonareinrichtung einen vorgegebenen ersten Erfassungsschwellenwert erreicht oder unterschreitet, insbesondere, wenn das Lebewesen im Nahfeldbereich der Sonareinrichtung erfasst wird. Entsprechend kann ein anderer Erfassungsbetriebsmodus, in dem das wenigstens eine maritime Lebewesen nur von der Sonareinrichtung erfasst wird, ausgewählt werden, wenn eine Entfernung zwischen dem erfassten Lebewesen und der Kamera- und/oder Sonareinrichtung einen zweiten vorgegebenen Erfassungsschwellenwert erreicht oder überschreitet, insbesondere, wenn das Lebewesen im Fernfeldbereich der Kameraeinrichtung erfasst wird. Der erste und zweite Erfassungsschwellenwert können, müssen aber nicht gleich sein.
In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, (i) die Sonareinrichtung und die Kameraeinrichtung in einem ersten Erfassungsbetriebsmodus im Wesentlichen kontinuierlich zu betreiben, (ii) in einem zweiten Erfassungsbetriebsmodus die Sonareinrichtung im Wesentlichen kontinuierlich zu betreiben und die Kameraeinrichtung nur dann zu betreiben, wenn die Sonareinrichtung ein maritimes Lebewesen erfasst, und/oder (iii) die Sonareinrichtung und die Kameraeinrichtung in einem dritten Erfassungsbetriebsmodus im Wesentlichen zyklisch zu betreiben. Mit anderen Worten kann die Steuerungseinrichtung die Sonareinrichtung und die Kameraeinrichtung (i) in einem sog. Explorationsmodus, in dem, zumindest für eine vorgegebene Zeitdauer, alle maritimen Lebewesen möglichst umfassend erfasst werden, (ii) in einem sog. Trigger-Modus bzw. ereignisbasierten Modus, in dem auf Grundlage der Sensordaten eine Aktivierung wenigstens der Kameraeinrichtung ausgelöst wird, und/oder (iii) in einem sog. Sampling-Modus bzw. einem Frequenzbasierten Modus, in dem maritime Lebewesen mit vordefinierten oder zufälligen Frequenzen für eine vorgegebene Zeitdauer umfassend erfasst werden, betreiben. Dadurch kann eine auf Grundlage der Klassifikation der maritimen Lebewesen erzeugte Statistik verbessert, Energie gespart und/oder Speicherplatz eingespart werden.
Durch das Betreiben der Sonar- und Kameraeinrichtung im ersten Erfassungsbetriebsmodus kann insbesondere die Datenverarbeitungseinrichtung trainiert, d.h. Regeln und/oder Daten zur Klassifikation der erfassten maritimen Lebewesen maschinell erlernt werden. Alternativ oder zusätzlich können die anhand der maschinell erlernten Regeln und/oder Daten erhaltenden Klassifikationen überprüft und gegebenenfalls Fehler korrigiert, z.B. die erlernten Regeln und/oder Daten angepasst, werden.
Das Betreiben der Sonar- und Kameraeinrichtung im ersten Betriebsmodus ist besonders bevorzugt, wenn die Vorrichtung etwa über eine Antriebseinrichtung verfügt und mobil betrieben wird, z.B. automatisch und/oder autark in einem Antriebsbetriebsmodus fortbewegt wird, da in dieser Weise maritime Lebewesen und/oder Hindernisse zuverlässig erfasst und bei der Steuerung der Antriebseinrichtung berücksichtigt werden können.
Durch das Betreiben der Sonar- und Kameraeinrichtung im zweiten Erfassungsbetriebsmodus kann aufgrund der Energieersparnis insbesondere die Einsatzbereitschaft der Vorrichtung vorteilhaft verlängert werden, insbesondere wenn die Vorrichtung stationär und/oder autark operiert. Z.B. kann die Vorrichtung als eine Art „Fotofalle“ betrieben werden, wenn die Vorrichtung auf dem Meeresboden abgestützt oder an einem Unterwasserbauwerk wie einem Brückenpfeiler, einer Spundwand, einer Boje, einem Leuchtturm und/oder dergleichen angebracht ist.
Durch Betreiben der Sonar- und Kameraeinrichtung im dritten Erfassungsbetriebsmodus wird von der Steuerungseinrichtung in bevorzugter Weise an mit der Unterwasserfauna in Verbindung stehende zyklische Abläufe, beispielsweise zyklische Fischwanderungen, Laichzyklen, Gezeiten und/oder dergleichen, angepasst. Im dritten Erfassungsbetriebsmodus kann der Betrieb von Sonar- und Kameraeinrichtung daher selektiv an äußere Umweltbedingungen angepasst werden. Dies ist z.B. vorteilhaft, wenn die Vorrichtung Laichgebiete mithilfe einer Antriebseinrichtung zyklisch anfährt bzw. ansteuert und nur die in den Laichgebieten erfassten maritimen Lebewesen klassifizieren soll.
In einer weiteren bevorzugten Ausführungsform ist eine Sensoreinrichtung vorgesehen, die dazu eingerichtet ist, Umgebungsbedingungen zu erfassen und entsprechende Umgebungsdaten zu erzeugen, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, die Umgebungsdaten bei der Klassifizierung zu berücksichtigen. Die Sensoreinrichtung kann beispielsweise dazu eingerichtet sein, die Wassertrübung, die Neigung der Vorrichtung, vorgegebene abiotische Umweltfaktoren und/oder vorgegebene biotische Umweltfaktoren der Umgebung zu erfassen. Zu diesem Zweck kann die Sensoreinrichtung beispielsweise einen etwa auf Lichtstreuung oder -schwächung basierenden Trübheitssensor, eine CTD-Rosette zur Messung der Leitfähigkeit (conductance), Temperatur (temperature) und Tiefe (depth), insbesondere mit Sensoren zur Erfassung von Temperatur, Leitfähigkeit, Wasserdruck, Sauerstoffgehalt und/oder Strömung, und/oder einen Chlorophyll-a-Sensor aufweisen. Die in den Umgebungsdaten enthaltene Information erlaubt eine besonders vielschichtige bzw. differenzierte Klassifikation der erfassten Lebewesen.
Die Sensoreinrichtung kann z.B. einen Transceiver aufweisen, der dazu eingerichtet ist, elektromagnetische Abfragesignale auszusenden und entsprechende elektromagnetische Antwortsignale zu empfangen. So ist es beispielsweise denkbar, mit entsprechenden Transpondern, z.B. RFID-Tags, markierte maritime Lebewesen mittels der Sensoreinrichtung zu erfassen und die von den Transpondern zurückgesendeten elektromagnetischen Antwortsignale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten bei der Klassifizierung dieser Lebewesen zu berücksichtigen.
Alternativ oder zusätzlich ist es auch denkbar, solche zurückgesendeten elektromagnetischen Antwortsignale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten bei der Auswahl des Erfassungsbetriebsmodus zu berücksichtigen. Beispielsweise kann der zweite Erfassungsbetriebsmodus ausgewählt werden, insbesondere die Kameraeinrichtung aktiviert werden, wenn ein solches Antwortsignal empfangen wird.
Mit dem Sensor zum Erfassen biotischer Umweltfaktoren, etwa dem Chlorophyll-a-Sensor, kann die Klassifikation auch in Bezug auf die Trophieebene (engl. trophic level) durchgeführt werden. Mittels dieses Sensors kann beispielsweise der Phytoplanktongehalt im Wasser überwacht und mit den erfassten maritimen Lebewesen in Beziehung gesetzt werden. Dies kann vorteilhaft ergänzt werden durch Erfassen des Zooplanktongehalts mittels der Sensoreinrichtung.
Insgesamt erlaubt die Sensoreinrichtung bzw. die von ihr erzeugten Umgebungsdaten damit die Klassifikation der erfassten maritimen Lebewesen in Bezug auf das gesamte Unterwasser-Ökosystem, da z.B. gleichzeitig die Fischabundanz, vorzugsweise klassifiziert nach Spezies und Größe der Fische, Chlorophyllgehalt, Zooplankton, Fischlarven, Quallen, Wassertrübung und/oder andere relevante abiotische Prozesse erfasst werden.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Zusammenhang mit den Figuren. Es zeigen:

1 ein beispielhaftes Blockschaltbild einer Vorrichtung zur Datenanalyse;
2 ein Beispiel für ein System zur Datenanalyse; und
3 ein Beispiel für ein Verfahren zur Datenanalyse.

1 zeigt ein beispielhaftes Blockschaltbild einer Vorrichtung 1 zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen 2, mit einer Sonareinrichtung 3, einer Kameraeinrichtung 4 und einer Sensoreinrichtung 9. Sämtliche Daten, die beim Erfassen wenigstens eines maritimen Lebewesens 2 erzeugt werden, werden von einer Datenverarbeitungseinrichtung 5 verarbeitet und bevorzugt in standardisierter Form gespeichert und/oder über eine Kommunikationseinrichtung 11, z.B. an ein Kontrollzentrum, übermittelt.
Eine Trägereinrichtung 6 nimmt sämtliche Bauteile der Vorrichtung 1 auf. Im gezeigten Beispiel verfügt sie über eine Antriebseinrichtung 7 und eine Steuerungseinrichtung 8, die mit der Datenverarbeitungseinrichtung 5 und der Kommunikationseinrichtung 11 koppelbar ist.
2 zeigt ein Beispiel für ein System 10 zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, mit drei Vorrichtungen 1 nach 1, die miteinander in einem Datenverbund kommunizieren.
3 zeigt beispielhaft Verfahrensschritte S1 bis S3 für mögliche Abläufe in einem Verfahren 100 zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen.
Bezugszeichenliste

1: Vorrichtung
2: maritime Lebewesen
3: Sonareinrichtung
4: Kameraeinrichtung
5: Datenverarbeitungseinrichtung
6: Trägereinrichtung
7: Antriebseinrichtung
8: Steuerungseinrichtung
9: Sensoreinrichtung
10: System
11: Kommunikationseinrichtung
100: Verfahren
S1-S3: Verfahrensschritte

Claims

Vorrichtung (1) zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen (2), mit - einer Sonareinrichtung (3), die dazu eingerichtet ist, maritime Lebewesen unter Wasser in einem Sonarerfassungsbereich akustisch zu erfassen und entsprechende Sonardaten zu erzeugen, - einer Kameraeinrichtung (4), die dazu eingerichtet ist, maritime Lebewesen unter Wasser in einem Kameraerfassungsbereich optisch zu erfassen und entsprechende Kameradaten zu erzeugen, - einer Datenverarbeitungseinrichtung (5), die dazu eingerichtet ist, auf Grundlage von miteinander korrespondierenden Sonardaten und Kameradaten statistische Daten, insbesondere wenigstens die Abundanz, bezüglich der erfassten maritimen Lebewesen in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, automatisch zu erzeugen, und - einem Trägereinrichtung (6), die dazu eingerichtet ist, die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung gemeinsam bei einer Fortbewegung der Vorrichtung unter Wasser zu tragen und/oder auf dem Meeresboden und/oder an einem Unterwasserbauwerk abzustützen.
Vorrichtung nach Anspruch 1 mit einer Antriebseinrichtung (7), die dazu eingerichtet ist, die Vorrichtung unter Wasser fortzubewegen, und einer Steuerungseinrichtung (8), die dazu eingerichtet ist, die Antriebseinrichtung in verschiedenen Antriebsbetriebsmodi zu steuern.
Vorrichtung nach Anspruch 2, wobei die Steuerungseinrichtung dazu eingerichtet ist, die Antriebseinrichtung in einem ersten Antriebsbetriebsmodus auf Grundlage von bereitgestellten Steuerungsdaten in der Weise zu steuern, dass die Vorrichtung im Wesentlichen entlang eines durch die Steuerungsdaten charakterisierten Pfads fortbewegt wird.
Verfahren nach Anspruch 2 oder 3, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, auf Grundlage der Sonardaten und der Kameradaten eine Bewegung wenigstens eines erfassten maritimen Lebewesens zu ermitteln, und die Steuerungseinrichtung dazu eingerichtet ist, die Antriebseinrichtung in einem zweiten Antriebsbetriebsmodus auf Grundlage der ermittelten Bewegung des wenigstens einen erfassten maritimen Lebewesens zu steuern.
Verfahren nach einem der Ansprüche 2 bis 4, wobei die Steuerungseinrichtung dazu eingerichtet ist, durch maschinelles Lernen in den in den erzeugten statistischen Daten Muster zu erkennen und die Antriebseinrichtung in einem dritten Antriebsbetriebsmodus auf Grundlage der erkannten Muster zu steuern.
Vorrichtung nach einem der Ansprüche 2 bis 5, wobei die Steuerungseinrichtung dazu eingerichtet ist, einen der Antriebsbetriebsmodi auf Grundlage der Sonardaten und/oder Kameradaten, insb. der statistische Daten, auszuwählen.
Vorrichtung nach einem der vorangehenden Ansprüche, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, auf Grundlage der Sonardaten und der Kameradaten eine Bewegung des erfassten maritimen Lebewesens relativ zur Vorrichtung zu ermitteln und die Sonardaten und Kameradaten auf Grundlage der ermittelten Relativbewegung zu korrigieren.
Vorrichtung nach einem der vorangehenden Ansprüche mit einer Sensoreinrichtung (9), die dazu eingerichtet ist, Umgebungsbedingungen zu erfassen und entsprechende Umgebungsdaten zu erzeugen, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, die statistischen Daten unter Berücksichtigung der Umgebungsdaten zu ermitteln.
Vorrichtung nach einem der vorangehenden Ansprüche, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, die erfassten maritimen Lebewesen auf Grundlage der Sonardaten und der Kameradaten zu Klassifizieren und die statistischen Daten, insbesondere separat, für jede ermittelte Klasse zu erzeugen.
System (10) zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen (2), mit mehreren Vorrichtungen (1) nach einem der vorangehenden Ansprüche, wobei die mehreren Vorrichtungen jeweils eine Kommunikationseinrichtung (11) zum Herstellen von Kommunikationsverbindungen untereinander aufweisen und die Datenverarbeitungseinrichtungen (5) dazu eingerichtet sind, über die hergestellten Kommunikationsverbindungen die jeweils erzeugten Sonardaten und Kameradaten und/oder die jeweils erzeugten statistischen Daten zu übermitteln, und wobei wenigstens eine der Datenverarbeitungseinrichtungen zusätzlich dazu eingerichtet ist, die statistischen Daten unter Berücksichtigung der von wenigstens einer anderen Datenverarbeitungseinrichtung übermittelten Sonardaten und Kameradaten und/oder statistischen Daten zu erzeugen.
Verfahren (100) zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen (2), mit den Schritten - akustisches Erfassen (S1) von maritimen Lebewesen unter Wasser mittels einer Sonareinrichtung (3) in einem Sonarerfassungsbereich und Erzeugen entsprechender Sonardaten, - optisches Erfassen (S2) von maritimen Lebewesen unter Wasser mittels einer Kameraeinrichtung (4) in einem Kameraerfassungsbereich und Erzeugen entsprechender Kameradaten, und - automatisches Erzeugen (S3) von statistischen Daten, insbesondere wenigstens der Abundanz, bezüglich der erfassten maritimen Lebewesen in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, auf Grundlage von miteinander korrespondierenden Sonardaten und Kameradaten.