DE102018217163A1

DE102018217163A1 - Device and method for data analysis

Info

Publication number: DE102018217163A1
Application number: DE102018217163.7A
Authority: DE
Inventors: Joachim Gröger; Sabah Badri-Höher; Hauke Schramm; Lars Wolff; Gordon Böer
Original assignee: Fachhochschule Kiel
Current assignee: Fachhochschule Kiel
Priority date: 2018-10-08
Filing date: 2018-10-08
Publication date: 2020-04-09

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen. Eine Kameraeinrichtung ist dazu eingerichtet, maritime Lebewesen unter Wasser in einem Sonarerfassungsbereich akustisch zu erfassen und entsprechende Sonardaten zu erzeugen, und eine Kameraeinrichtung ist dazu eingerichtet, maritime Lebewesen unter Wasser in einem Kameraerfassungsbereich optisch zu erfassen und entsprechende Kameradaten zu erzeugen. Zudem ist eine Datenverarbeitungseinrichtung dazu eingerichtet, auf Grundlage von durch maschinelles Lernen gewonnenen Regeln und/oder Daten sowie miteinander korrespondierenden Sonardaten und Kameradaten die in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, erfassten maritimen Lebewesen automatisch zu klassifizieren. Eine Trägereinrichtung ist dabei dazu eingerichtet, die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung gemeinsam bei einer Fortbewegung der Vorrichtung unter Wasser zu tragen und/oder auf dem Meeresboden und/oder an einem Unterwasserbauwerk abzustützen.The invention relates to a device and a method for data analysis, in particular for the determination of stocks of marine life. A camera device is set up to acoustically detect marine life underwater in a sonar detection area and to generate corresponding sonar data, and a camera device is set up to optically detect marine life underwater in a camera detection area and to generate corresponding camera data. In addition, a data processing device is set up to automatically classify, based on rules and / or data obtained by machine learning as well as corresponding sonar data and camera data, the marine life recorded in a combined detection area, which contains at least the sonar detection area and the camera detection area. A carrier device is set up to carry the sonar device, the camera device and the data processing device together when the device is moving under water and / or to support it on the seabed and / or on an underwater structure.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen.The invention relates to a device and a method for data analysis, in particular for the determination of stocks of marine life.

In der Regel bildet die Klassifikation von maritimen Lebewesen wie Fischen, Walen, Robben, Quellen und/oder dergleichen in Gewässern, insbesondere in den Weltmeeren, die Grundlage für eine, insbesondere statistische, Erhebung von Daten und damit auch für wissenschaftliche Erkenntnisse in Bezug auf die Unterwasserfauna oder sogar das gesamte betreffende Ökosystem. Beispielsweise erlauben solche Statistiken Erkenntnisse über den Klimawandel. Entsprechend können solche Statistiken auch maßgeblich für wirtschaftliche und/oder politische Überlegungen bzw. Entscheidungen sein, etwa bei der Festlegung von Umweltschutzzielen oder Fischfangquoten.As a rule, the classification of maritime organisms such as fish, whales, seals, springs and / or the like in water, in particular in the oceans, forms the basis for, in particular statistical, data collection and thus also for scientific knowledge in relation to the Underwater fauna or even the entire ecosystem in question. For example, such statistics allow insights into climate change. Accordingly, such statistics can also be decisive for economic and / or political considerations or decisions, for example when setting environmental protection goals or fishing quotas.

Eine Möglichkeit, solche Statistiken zu erzeugen, besteht in der Auswertung von Fangstatistiken von Fischereiflotten. Alternativ oder zusätzlich können, etwa durch Forschungsschiffe, Stichproben beispielsweise der Fischfauna gesammelt werden.One way to generate such statistics is to evaluate fishing statistics from fishing fleets. As an alternative or in addition, random samples, for example of the fish fauna, can be collected, for example by research ships.

Es ist eine Aufgabe der vorliegenden Erfindung, die Erhebung von statistischen Daten in Bezug auf maritime Lebewesen, insbesondere die Ermittlung von Beständen maritimer Lebewesen, zu verbessern, insbesondere zu vereinfachen. Es ist insbesondere eine Aufgabe der vorliegenden Erfindung, maritime Lebewesen zuverlässiger und/oder präziser zu klassifizieren und/oder die Erzeugung einer besonders differenzierten Statistik zu ermöglichen.It is an object of the present invention to improve, in particular to simplify, the collection of statistical data relating to maritime organisms, in particular the determination of stocks of maritime organisms. It is a particular object of the present invention to classify maritime organisms more reliably and / or more precisely and / or to enable the generation of particularly differentiated statistics.

Diese Aufgabe wird gelöst von einer Vorrichtung und einem Verfahren zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, gemäß den unabhängigen Ansprüchen.This object is achieved by a device and a method for data analysis, in particular for the determination of stocks of marine life, according to the independent claims.

Eine erfindungsgemäße Vorrichtung zur, insbesondere automatischen, Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, weist eine Sonareinrichtung und eine Kameraeinrichtung auf, wobei die Kameraeinrichtung dazu eingerichtet ist, maritime Lebewesen unter Wasser in einem Sonarerfassungsbereich akustisch zu erfassen und entsprechende Sonardaten zu erzeugen, und die Kameraeinrichtung dazu eingerichtet ist, maritime Lebewesen unter Wasser in einem Kameraerfassungsbereich optisch zu erfassen und entsprechende Kameradaten zu erzeugen. Zudem ist eine Datenverarbeitungseinrichtung der Vorrichtung dazu eingerichtet, auf Grundlage von durch maschinelles Lernen gewonnenen Regeln und/oder Daten sowie miteinander korrespondierenden Sonardaten und Kameradaten die in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, erfassten maritimen Lebewesen automatisch zu klassifizieren. Eine Trägereinrichtung der Vorrichtung ist dabei dazu eingerichtet, die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung gemeinsam bei einer Fortbewegung der Vorrichtung unter Wasser zu tragen und/oder auf dem Meeresboden und/oder an einem Unterwasserbauwerk abzustützen.A device according to the invention for, in particular automatic, data analysis, in particular for determining stocks of maritime organisms, has a sonar device and a camera device, the camera device being set up to acoustically detect maritime organisms under water in a sonar detection area and to generate corresponding sonar data, and the camera device is set up to optically detect marine life under water in a camera detection area and to generate corresponding camera data. In addition, a data processing device of the device is set up to automatically classify maritime beings recorded in a combined detection area, which contains at least the sonar detection area and the camera detection area, on the basis of rules and / or data obtained by machine learning and corresponding sonar data and camera data. A carrier device of the device is set up to carry the sonar device, the camera device and the data processing device together when the device is moving under water and / or to support it on the seabed and / or on an underwater structure.

Ein erfindungsgemäßes Verfahren zur, insbesondere automatischen, Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen, weist die folgenden Schritte auf: akustisches Erfassen von maritimen Lebewesen unter Wasser mittels einer Sonareinrichtung in einem Sonarerfassungsbereich und Erzeugen entsprechender Sonardaten; optisches Erfassen von maritimen Lebewesen unter Wasser mittels einer Kameraeinrichtung in einem Kameraerfassungsbereich und Erzeugen entsprechender Kameradaten; und automatisches Klassifizieren der in einem kombinierten Erfassungsbereich, der wenigstens den Sonarerfassungsbereich und den Kameraerfassungsbereich enthält, erfassten maritimen Lebewesen auf Grundlage von durch maschinelles Lernen gewonnenen Regeln und/oder Daten sowie miteinander korrespondierenden Sonardaten und Kameradaten.A method according to the invention for, in particular automatic, data analysis, in particular for determining stocks of maritime organisms, has the following steps: acoustic detection of maritime organisms under water by means of a sonar device in a sonar detection area and generation of corresponding sonar data; optical detection of marine life under water by means of a camera device in a camera detection area and generation of corresponding camera data; and automatic classification of the marine organisms recorded in a combined detection area, which includes at least the sonar detection area and the camera detection area, on the basis of rules and / or data obtained by machine learning, as well as corresponding sonar data and camera data.

Ein Aspekt der Erfindung basiert auf dem Ansatz, durch maschinelles Lernen ermittelte Regeln und/oder Daten bei der Auswertung von Sonardaten, die von einer Sonareinrichtung erzeugt werden, und Kameradaten, die von einer Kameraeinrichtung erzeugt werden, zu berücksichtigen, insbesondere diese Regeln und/oder Daten bei der Auswertung auf die Sonar- und Kameradaten anzuwenden, um eine besonders präzise und zuverlässige Klassifikation von durch die Sonar- und Kameraeinrichtung erfassen maritimen Lebewesen zu bewirken. Dazu kann beispielsweise eine Datenverarbeitungseinrichtung vorgesehen sein, die vorzugsweise vor ihrem Einsatz mit bereitgestellten, in bevorzugter Weise präparierte, z.B. klassifizierten, Sonar- und Kameradaten trainiert wird bzw. wurde, um im Einsatz unter Wasser dann eine entsprechende differenzierte und automatische Klassifikation der erfassten maritimen Lebewesen, beispielsweise bezüglich der Tierart bzw. Spezies, insbesondere der Familie, anhand der Sonar- und Kameradaten vornehmen zu können. Die Datenverarbeitungseinrichtung weist zu diesem Zweck in bevorzugter Weise ein künstliches neuronales Netz auf, das diese Regeln und/oder Daten ermitteln, insbesondere aus bereitgestellten Sensordaten- und Kameradaten extrahieren, und in der Folge bei der Verarbeitung der Sonar- und Kameradaten, die von der Sonar- und Kameraeinrichtung unter Wasser erzeugt werden, anwenden kann.One aspect of the invention is based on the approach of considering rules and / or data determined by machine learning when evaluating sonar data generated by a sonar device and camera data generated by a camera device, in particular these rules and / or To use data in the evaluation on the sonar and camera data in order to bring about a particularly precise and reliable classification of marine organisms recorded by the sonar and camera device. For this purpose, for example, a data processing device can be provided, which is preferably used, preferably prepared, e.g. classified, sonar and camera data is or was trained in order to be able to carry out a correspondingly differentiated and automatic classification of the recorded marine organisms, for example with regard to the animal species or species, in particular the family, on the basis of the sonar and camera data when used underwater . For this purpose, the data processing device preferably has an artificial neural network, which these rules and / or data determine, in particular extract from provided sensor data and camera data, and subsequently during the processing of the sonar and camera data by the sonar - And camera equipment can be generated under water.

Die Datenverarbeitungseinrichtung kann dabei insbesondere dazu eingerichtet sein, in miteinander korrespondierenden, z.B. im Wesentlichen gleichzeitig aufgenommenen oder zumindest dem gleichen maritimen Lebewesen zuordenbaren, Sonar- und Kameradaten Muster zu erkennen, die eine entsprechende besonders zuverlässige und differenzierte Klassifikation der erfassten maritimen Lebewesen ermöglichen. The data processing device can in particular be set up to recognize patterns in sonar and camera data corresponding to one another, for example recorded essentially simultaneously or at least assignable to the same maritime being, which enable a corresponding particularly reliable and differentiated classification of the detected maritime beings.

Die Sonareinrichtung ist vorzugsweise dazu eingerichtet, die maritimen Lebewesen insbesondere in einem Fernfeldbereich eines Kameraerfassungsbereichs zu erfassen, in dem z.B. die Auflösung der Kameraeinrichtung aufgrund der Entfernung zwischen den zu erfassenden Lebewesen und der Kameraeinrichtung beeinträchtigt ist. Die Kameraeinrichtung ist entsprechend vorzugsweise dazu eingerichtet, die maritimen Lebewesen insbesondere in einem Nahfeldbereich eines Sonarerfassungsbereichs erfassen, in dem z.B. die Auflösung der Sonareinrichtung aufgrund der Entfernung zwischen den zu erfassenden Lebewesen und der Sonareinrichtung beeinträchtigt ist. Dadurch kann die Qualität beispielsweise bei der Klassifikation von erfassten maritimen Lebewesen auf Grundlage der maschinell erlernten Regeln und/oder Daten erhöht werden.The sonar device is preferably set up to detect the marine life, in particular in a far field area of a camera detection area, in which e.g. the resolution of the camera device is impaired due to the distance between the living being to be detected and the camera device. Accordingly, the camera device is preferably set up to detect the marine life, in particular in a near field area of a sonar detection area, in which e.g. the resolution of the sonar device is impaired due to the distance between the living being to be detected and the sonar device. As a result, the quality can be increased, for example, in the classification of recorded marine life on the basis of machine-learned rules and / or data.

Dadurch, dass die Sonar- und Kameradaten automatisch auf Grundlage der maschinell erlernten Regeln und/oder Daten, d.h. ohne externe Einflussnahme z.B. durch an die Datenverarbeitungseinrichtung übermittelte Steuerungssignale, analysiert werden, kann die Datenverarbeitungseinrichtung bzw. ein Verbund aus der Datenverarbeitungseinrichtung, der Sonareinrichtung und der Kameraeinrichtung zumindest zeitweise autark operieren. Dabei kann beispielsweise eine Trägereinrichtung, insbesondere ein Gestell oder ein Rahmen, vorgesehen sein, mit welcher die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung unter Wasser fortbewegt und/oder auf dem Meeresboden abgestützt und/oder an Unterwasserbauwerken wie etwa Brückenpfeilern, Spundwänden, Leuchttürmen, Bojen, Fundamenten von Windrädern und/oder dergleichen montiert, insbesondere zyklisch zwischen verschiedenen Beobachtungsgebieten bewegt oder in einem vorgegebenen Beobachtungsgebiet stationär positioniert, werden können. Die Klassifikation kann in dieser Weise im Wesentlichen kontinuierlich oder zumindest zyklisch in dem Beobachtungsgebiet bzw. den Beobachtungsgebieten erfolgen.The fact that the sonar and camera data automatically based on the machine-learned rules and / or data, i.e. without external influence e.g. can be analyzed by control signals transmitted to the data processing device, the data processing device or a combination of the data processing device, the sonar device and the camera device can operate at least temporarily autonomously. For example, a carrier device, in particular a frame or a frame, can be provided with which the sonar device, the camera device and the data processing device can be moved under water and / or supported on the sea floor and / or on underwater structures such as bridge piers, sheet piling, lighthouses, buoys , Foundations of wind turbines and / or the like, in particular being moved cyclically between different observation areas or being positioned stationary in a predetermined observation area. In this way, the classification can take place essentially continuously or at least cyclically in the observation area or the observation areas.

Insgesamt ermöglicht die Erfindung eine verbesserte Klassifikation von maritimen Lebewesen, insbesondere eine verbesserte Ermittlung von Beständen maritimer Lebewesen.Overall, the invention enables an improved classification of maritime organisms, in particular an improved determination of stocks of maritime organisms.

In einer bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die erfassten maritimen Lebewesen bezüglich wenigstens einem der folgenden Merkmale zu klassifizieren: (i) Spezies, insbesondere Familie; (ii) Anzahl; (iii) Abmessung; (iv) Entfernung; (v) Trajektorie; und/oder (vi) Dynamik. Beispielsweise kann das wenigstens eine erfasste maritime Lebewesen identifiziert und einer bestimmten Klasse, beispielsweise einer Spezies bzw. einer Familie, einer bestimmten Größen- oder Gewichtsklasse und/oder einem bestimmten Verhalten, zugeordnet werden. Dadurch kann eine besonders differenzierte und detaillierte Statistik in Bezug auf die Unterwasserfauna erzeugt werden.In a preferred embodiment, the data processing device is set up to classify the recorded marine organisms with respect to at least one of the following features: (i) species, in particular family; (ii) number; (iii) dimension; (iv) removal; (v) trajectory; and / or (vi) dynamics. For example, the at least one recorded marine life can be identified and assigned to a specific class, for example a species or a family, a specific size or weight class and / or a specific behavior. This enables particularly differentiated and detailed statistics to be generated in relation to the underwater fauna.

Die Datenverarbeitungseinrichtung ist in bevorzugter Weise dazu eingerichtet, auf Grundlage der genannten Merkmale (i) bis (vi) wenigstens ein weiteres Merkmal zu ermitteln, insbesondere aus den genannten Merkmalen (i) bis (vi) abzuleiten. Beispielsweise kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, auf Grundlage der Anzahl von erfassten Lebewesen, gegebenenfalls unter Berücksichtigung von Entfernungen bzw. Abständen der erfassten Lebewesen relativ zueinander und/oder zur Vorrichtung, auf einen Schwarm, insbesondere eine Schwarmgröße, zu schließen. Insbesondere können von der Datenverarbeitungseinrichtung dabei auch eine Schwarmform und/oder ein Schwarmverhalten ermittelt werden. Alternativ oder zusätzlich kann die Datenverarbeitungseinrichtung auf Grundlage der Abmessungen, z.B. der Größe und/oder der Proportionen eines erfassten Lebewesens, das Gewicht des erfassten Lebewesens ableiten.The data processing device is preferably set up to determine at least one further feature on the basis of said features (i) to (vi), in particular to derive it from said features (i) to (vi). For example, the data processing device can be set up to infer a swarm, in particular a swarm size, on the basis of the number of detected living beings, possibly taking into account distances or distances of the detected living beings relative to one another and / or to the device. In particular, a swarm shape and / or swarm behavior can also be determined by the data processing device. Alternatively or additionally, the data processing device can be based on the dimensions, e.g. derive from the size and / or the proportions of a detected living being, the weight of the detected living being.

Alternativ oder zusätzlich kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, auf Grundlage der ermittelten Trajektorie eines erfasste maritime Lebewesens, d.h. dessen Bewegungskurve, und der ermittelten Dynamik des erfassten maritimen Lebewesens, z.B. dessen Bewegungsablauf, Geschwindigkeit und/oder Beschleunigung bzw. des zeitlichen Verlaufs der Geschwindigkeit und/oder Beschleunigung, auf dessen Verhalten zu schließen. Beispielsweise kann die Datenverarbeitungseinrichtung ein oder mehrere Verhaltensmuster, z.B. das Fluchtverhalten, gegebenenfalls in Abhängigkeit von der Entfernung des erfassten Lebewesens zur Vorrichtung, das Fressverhalten und/oder das Laichverhalten, ermitteln.Alternatively or additionally, the data processing device can be set up on the basis of the determined trajectory of a detected marine life, i.e. its movement curve, and the determined dynamics of the detected marine life, e.g. its course of motion, speed and / or acceleration or the temporal course of the speed and / or acceleration, to infer its behavior. For example, the data processing device can have one or more behavior patterns, e.g. determine the escape behavior, possibly depending on the distance of the detected living being to the device, the feeding behavior and / or the spawning behavior.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten und die Kameradaten auf Grundlage der durch maschinelles Lernen gewonnen Regeln und/oder Daten zu korrigieren. Insbesondere kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die Sonareinrichtung und die Kameraeinrichtung auf Grundlage der maschinell erlernten Regeln und/oder Daten zu kalibrieren. Dadurch kann eine besonders zuverlässige Klassifizierung der erfassten maritimen Lebewesen erreicht werden.In a further preferred embodiment, the data processing device is set up to correct the sonar data and the camera data on the basis of the rules and / or data obtained by machine learning. In particular, the data processing device can be set up to calibrate the sonar device and the camera device on the basis of the machine-learned rules and / or data. This enables a particularly reliable classification of the recorded marine organisms to be achieved.

Es ist beispielsweise denkbar, auf Grundlage der erlernten Regeln und/oder Daten durch das wenigstens eine erfasste maritime Lebewesen verdeckte, weitere maritime Lebewesen bei der Klassifizierung zu berücksichtigen. Tritt das wenigstens eine erfasste Lebewesen etwa überwiegend im Schwarm auf, ist es in der Regel nicht möglich, alle den Schwarm bildenden Lebewesen einzeln zu erfassen, da unweigerlich eine Abdeckung der Lebewesen auf der der Vorrichtung abgewandten Seite des Schwarms auftritt. Anhand der erlernten Regeln und/oder Daten kann die Datenverarbeitungseinrichtung in bevorzugter Weise jedoch die Größe des Schwarms, insbesondere die Anzahl der im Schwarm vorhandenen Lebewesen, in zuverlässiger Weise ermitteln oder zumindest abschätzen. For example, it is conceivable to take further maritime beings into account in the classification on the basis of the learned rules and / or data that are hidden by the at least one recorded marine life. If the at least one living being occurs predominantly in the swarm, it is generally not possible to record all living beings forming the swarm individually, since inevitably a covering of the living beings occurs on the side of the swarm facing away from the device. On the basis of the learned rules and / or data, however, the data processing device can, in a preferred manner, reliably determine or at least estimate the size of the swarm, in particular the number of living beings present in the swarm.

Stellt die Datenverarbeitungseinrichtung fest, dass, abhängig von der Ausrichtung der Sonareinrichtung und/oder der Kameraeinrichtung zum erfassten maritimen Lebewesen, d.h. z.B. aus unterschiedlichen Blickwinkeln, beispielsweise unterschiedliche Größen des Lebewesens ermittelt werden, können Sonar-und/oder Kameradaten anhand entsprechender maschinell erlernter Regeln und/oder Daten auch entsprechend unter Berücksichtigung des Winkels zwischen der Sonar- und/oder Kameraeinrichtung und dem erfassten Lebewesen korrigiert werden.If the data processing device determines that, depending on the orientation of the sonar device and / or the camera device relative to the detected marine life, i.e. e.g. From different points of view, for example different sizes of the living being are determined, sonar and / or camera data can also be corrected accordingly using corresponding machine-learned rules and / or data, taking into account the angle between the sonar and / or camera device and the detected living being.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten und die Kameradaten zur Klassifizierung der erfassten maritimen Lebewesen miteinander zu fusionieren. Dadurch kann z.B. die Erfassungszuverlässigkeit im kombinierten Erfassungsbereich erhöht werden. Zudem kann dadurch auch die Zuverlässigkeit bzw. Präzision der Klassifizierung weiter erhöht werden. Z.B. können aufgrund der Sensordatenfusion Mehrdeutigkeiten aufgelöst werden.In a further preferred embodiment, the data processing device is set up to merge the sonar data and the camera data to classify the recorded marine life. This can e.g. the detection reliability in the combined detection area can be increased. In addition, the reliability or precision of the classification can be further increased as a result. E.g. ambiguities can be resolved due to the sensor data fusion.

Die Datenverarbeitungseinrichtung kann die Sonar- und Kameradaten dabei insbesondere im Rahmen einer zumindest teilweise komplementären Sensordatenfusion miteinander kombinieren, z.B. um den in den fusionierten Sonar- und Kameradaten enthaltenen Informationsgehalt zu erhöhen. Insbesondere kann dadurch der Informationsgehalt der Sonardaten um den Informationsgehalt der Kameradaten oder andersherum ergänzt werden.The data processing device can combine the sonar and camera data with one another, in particular as part of an at least partially complementary sensor data fusion, e.g. to increase the information content contained in the merged sonar and camera data. In particular, the information content of the sonar data can thereby be supplemented by the information content of the camera data or vice versa.

Alternativ oder zusätzlich kann die Datenverarbeitungseinrichtung die Sonar-und Kameradaten auch im Rahmen einer zumindest teilweise konkurrierenden Sensordatenfusion miteinander kombinieren, z.B. um die Genauigkeit der Erfassung im kombinierten Erfassungsbereich zu erhöhen. Es ist denkbar, bei der konkurrierenden Sensordatenfusion eine Gewichtung der Sonar- und/oder Kameradaten vorzunehmen, um eine besonders zuverlässige Klassifizierung der erfassten maritimen Lebewesen zu erreichen.Alternatively or additionally, the data processing device can also combine the sonar and camera data with one another in the context of an at least partially competing sensor data fusion, e.g. to increase the accuracy of the detection in the combined detection area. It is conceivable to weight the sonar and / or camera data in the competing sensor data fusion in order to achieve a particularly reliable classification of the recorded marine life.

Dabei können die Sonar- und Kameradaten gemäß einer sog. Datenfusion, bei der die Rohdaten vorzugsweise aneinander angepasst, z.B. in das gleiche Format gebracht, und zusammengeführt werden, so dass Lücken in den Sonar-und/oder Kameradaten jeweils durch die Kamera- bzw. Sonardaten gefüllt werden, insbesondere bevor weitere Datenverarbeitungsschritte wie etwa eine Merkmalserkennung durchgeführt werden. Alternativ können die Sonar-und Kameradaten auch gemäß einer sog. Merkmalsfusion, bei der aus den Sonar- und Kameradaten extrahierte Merkmale, beispielsweise einzelne identifizierte Fische und deren Eigenschaften wie Abmessung, Trajektorie und/oder dergleichen, miteinander verschmolzen werden.The sonar and camera data can be merged according to a so-called data fusion, in which the raw data are preferably matched to one another, e.g. brought into the same format and merged so that gaps in the sonar and / or camera data are filled by the camera or sonar data, in particular before further data processing steps such as feature recognition are carried out. Alternatively, the sonar and camera data can also be merged according to a so-called feature fusion, in which features extracted from the sonar and camera data, for example individually identified fish and their properties such as dimensions, trajectory and / or the like, are fused together.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten und/oder die Kameradaten, insbesondere vor der Fusionierung, aufzubereiten. Vorzugsweise wird die Aufbereitung der Sonar- und/oder Kameradaten dabei im Hinblick auf die Verarbeitung gemäß der durch maschinelles Lernen gewonnenen Regeln und/oder Daten, z.B. durch ein künstliches neuronales Netz, durchgeführt. Beispielsweise können die Sonar- und/oder Kameradaten in ein entsprechendes Format bzw. eine entsprechende Abbildung, welche die Sonar- und/oder Kameradaten bzw. das wenigstens eine erfasste maritime Lebewesen charakterisiert, transformiert werden. Dadurch kann sichergestellt werden, dass die Sonar- und/oder Kameradaten von der Datenverarbeitungseinrichtung, insbesondere unter Berücksichtigung der durch maschinelles Lernen gewonnenen Regeln und/oder Daten, störungsfrei verarbeitet werden können.In a further preferred embodiment, the data processing device is set up to prepare the sonar data and / or the camera data, in particular before the fusion. The processing of the sonar and / or camera data is preferably carried out with regard to the processing in accordance with the rules and / or data obtained by machine learning, e.g. through an artificial neural network. For example, the sonar and / or camera data can be transformed into a corresponding format or a corresponding image which characterizes the sonar and / or camera data or the at least one recorded marine life. This can ensure that the sonar and / or camera data can be processed without interference by the data processing device, in particular taking into account the rules and / or data obtained by machine learning.

Es ist beispielsweise denkbar, aus den Sonar- und/oder Kameradaten eine graphische Abbildung, insbesondere ein wenigstens zweidimensionales Bild, zu bilden, das durch die Datenverarbeitungseinrichtung, insbesondere das künstliche neuronale Netz, verarbeitet bzw. analysiert werden kann. Durch eine derartige Aufbereitung der Sonar- und/oder Kameradaten kann die Datenverarbeitungseinrichtung anhand der maschinell erlernten Regeln und/oder Daten besonders zuverlässig Muster in den Sonar- und Kameradaten erkennen, die zur Klassifizierung des wenigstens einen erfassten maritimen Lebewesens genutzt werden können.For example, it is conceivable to use the sonar and / or camera data to form a graphic image, in particular an at least two-dimensional image, which can be processed or analyzed by the data processing device, in particular the artificial neural network. By processing the sonar and / or camera data in this way, the data processing device can use the machine-learned rules and / or data to recognize patterns in the sonar and camera data that can be used to classify the at least one recorded marine life in a particularly reliable manner.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die Sonardaten (i) zu filtern, (ii) zu segmentieren, und/oder (iii) zu binarisieren. Dadurch können die Sonardaten zuverlässig und eindeutig mit dem Kameradaten fusioniert und/oder durch die Datenverarbeitungseinrichtung unter Berücksichtigung der maschinell erlernten Regeln und/oder Daten weiterverarbeitet bzw. klassifiziert werden.In a further preferred embodiment, the data processing device is set up to filter the sonar data (i), (ii) to segment, and / or (iii) to binarize. As a result, the sonar data can be reliably and clearly merged with the camera data and / or through the Data processing device can be further processed or classified taking into account the machine-learned rules and / or data.

Die Sonardaten können beispielsweise in Form von Bildpunkten (Pixeln) einer Abbildung von der Sonareinrichtung bereitgestellt werden, wobei die Lage der Bildpunkte relativ zueinander vorzugsweise durch Polarkoordinaten angegeben ist. Insbesondere können die Sonardaten in Form wenigstens einer sonographischen Darstellung, insbesondere eines zweidimensionalen Bilds, dargestellt werden. Vorzugsweise bilden die Sonardaten einen Bildstrom aus aufeinanderfolgenden sonographischen Darstellungen bzw. Bildern. In bevorzugter Weise werden die Sonardaten, insbesondere sonographische Darstellungen, mithilfe von digitalen Filtern gefiltert, wobei das durch Unterwassergeräusche wie Windrauschen, Muschel- bzw. Fischgeräusche, Schiffslärm und/oder Bohrlärm erzeugte Rauschen in den Sonardaten bzw. Darstellungen herausgefiltert wird. Gegebenenfalls kann auf diese Weise auch thermisches Rauschen aus den Sonardaten bzw. sonographischen Darstellungen herausgefiltert werden.The sonar data can be provided by the sonar device, for example in the form of pixels (pixels) of an image, the position of the pixels relative to one another being preferably indicated by polar coordinates. In particular, the sonar data can be represented in the form of at least one sonographic representation, in particular a two-dimensional image. The sonar data preferably form an image stream from successive sonographic representations or images. The sonar data, in particular sonographic representations, are preferably filtered with the aid of digital filters, the noise generated by underwater noises such as wind noise, shell or fish noises, ship noise and / or drilling noise being filtered out in the sonar data or representations. If necessary, thermal noise can also be filtered out of the sonar data or sonographic representations in this way.

Zur Segmentierung der Sonardaten wird in bevorzugter Weise ein Nachhall in den Sonardaten geschätzt, beispielsweise durch Mittelung mehrerer zeitlich aufeinander folgender, d.h. aufeinanderfolgend aufgenommener, sonographischen Darstellungen, insbesondere aus dem Bildstrom. Beispielsweise können zwischen 2 und 30, vorzugsweise zwischen 3 und 20, insbesondere zwischen 5 und 10, sonographische Darstellung bzw. Bilder zum Schätzen des Nachhalls gemittelt werden. Die sonographischen Darstellungen können dann z.B. durch Subtraktion des ermittelten Nachhalls von jeder sonographischen Darstellung segmentiert werden. Dadurch treten durch erfasste maritime Lebewesen erzeugte Bildmerkmale in den sonographischen Darstellungen deutlicher hervor.For the segmentation of the sonar data, a reverberation in the sonar data is preferably estimated, for example by averaging a number of successive, i.e. successively recorded sonographic representations, especially from the image stream. For example, between 2 and 30, preferably between 3 and 20, in particular between 5 and 10, sonographic representation or images for estimating the reverberation can be averaged. The sonographic representations can then e.g. by subtracting the determined reverberation from each sonographic representation. As a result, image features generated by recorded marine life appear more clearly in the sonographic representations.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, aus erzeugten Sonardaten, insbesondere mehreren sonographischen Darstellungen, z.B. aus einem Bildstrom, einen Sonardatenmittelwert zu bilden und beim Segmentieren der Sonardaten, insbesondere der sonographischen Darstellungen, einen adaptiven Schwellenwert auf Grundlage von dem gebildeten Sonardatenmittelwert und den erzeugten Sonardaten, insbesondere sonographischen Darstellungen, zu ermitteln und die Sonardaten, insbesondere wenigstens eine sonographische Darstellung, anhand des adaptiven Schwellenwerts zu binarisieren. Dadurch kann unabhängig von der, beispielsweise durch äußere Umweltbedingungen beeinflussten, Aufnahmequalität eine zuverlässige Weiterverarbeitung der Sonardaten, insbesondere durch ein künstliches neuronales Netz bzw. auf Grundlage der maschinell erlernten Regeln und/oder Daten, sichergestellt werden.In a further preferred embodiment, the data processing device is set up to generate generated sonar data, in particular a plurality of sonographic representations, e.g. to form an average sonar data value from an image stream and, when segmenting the sonar data, in particular the sonographic representations, to determine an adaptive threshold value on the basis of the sonar data mean formed and the generated sonar data, in particular sonographic representations, and to use the sonar data, in particular at least one sonographic representation binarize the adaptive threshold. As a result, reliable further processing of the sonar data, in particular by means of an artificial neural network or on the basis of the machine-learned rules and / or data, can be ensured independently of the recording quality, for example influenced by external environmental conditions.

Der adaptive Schwellenwert ergibt sich insbesondere durch Subtraktion der Sonardaten vom Sonardatenmittelwert. Beispielsweise kann eine sonographische Darstellung aus einem Bildstrom von einer gemittelten sonographischen Darstellung abgezogen werden, wobei die adaptive Schwellenwert ein Maß für die Differenz zwischen der sonographischen Darstellung und der gemittelten sonographischen Darstellung ist.The adaptive threshold value results in particular from subtraction of the sonar data from the sonar data mean. For example, a sonographic representation can be subtracted from an image stream from an averaged sonographic representation, the adaptive threshold being a measure of the difference between the sonographic representation and the averaged sonographic representation.

Werden die Sonardaten beispielsweise durch ein zweidimensionales Bild dargestellt und von einem gemittelten Bild abgezogen, kann der adaptive Schwellenwert die Summe aller Differenzen zwischen den miteinander korrespondierenden Bildpunkten des zweidimensionalen Bildes und des gemittelten Bildes sein. Da sich diese Summe von Bild zu Bild ändert, passt sich der Schwellenwert z.B. automatisch an Qualität des jeweiligen Bilds an.If the sonar data is represented, for example, by a two-dimensional image and subtracted from an averaged image, the adaptive threshold value can be the sum of all differences between the corresponding pixels of the two-dimensional image and the averaged image. Since this sum changes from picture to picture, the threshold value adjusts e.g. automatically to the quality of the respective image.

Zur Binarisierung können dann z.B. alle Bildpunkte, die einen unterhalb des adaptiven Schwellenwerts liegenden Wert aufweisen, auf Null gesetzt werden. Alle Bildpunkte, die einen oberhalb des adaptieren Schwellenwerts oder dem adaptieren schwellenwertenden Wert aufweisen, können auf eins gesetzt werden. Dadurch werden erfasste maritime Lebewesen in den entsprechend vor verarbeiteten Sonardaten zuverlässig und besonders deutlich abgebildet.For binarization, e.g. all pixels that have a value below the adaptive threshold are set to zero. All pixels which have a value above the adapted threshold value or the adapted threshold value can be set to one. As a result, recorded marine life is reliably and particularly clearly shown in the correspondingly processed sonar data.

In einer weiteren bevorzugten Ausführungsform ist eine Steuerungseinrichtung vorgesehen, die dazu eingerichtet ist, die Sonareinrichtung und die Kameraeinrichtung in verschiedenen Erfassungsbetriebsmodi zu steuern. Dadurch können maritime Lebewesen flexibel, z.B. auf unterschiedliche Weise, erfasst werden. Insbesondere können maritime Lebewesen situationsabhängig erfasst werden. Es ist beispielsweise denkbar, die Sonareinrichtung und/oder die Kameraeinrichtung in Abhängigkeit von Umweltbedingungen, beispielsweise der Wassertrübung, des Planktongehalts im Wasser und/oder dergleichen zu steuern. Beispielsweise kann in Abhängigkeit der Umweltbedingungen die Leistung bzw. Intensität der von der Sonareinrichtung ausgesandten Schallwellen oder eine Empfindlichkeit der Kameraeinrichtung eingestellt werden. Dies erlaubt eine durchgehend hohe Qualität der erzeugten Sonar- und Kameradaten.In a further preferred embodiment, a control device is provided, which is set up to control the sonar device and the camera device in different detection operating modes. This allows maritime organisms to be flexible, e.g. in different ways. In particular, maritime organisms can be recorded depending on the situation. For example, it is conceivable to control the sonar device and / or the camera device as a function of environmental conditions, for example the water turbidity, the plankton content in the water and / or the like. For example, depending on the environmental conditions, the power or intensity of the sound waves emitted by the sonar device or a sensitivity of the camera device can be set. This allows a consistently high quality of the sonar and camera data generated.

Es gilt als verstanden, dass die Verwendung der Begriffe Steuerung, Steuerungssignale bzw. Steuerungseinrichtung und dergleichen bezogen auf die Erfindung auch zeitlich abhängige Vorgänge wie Regelungen und Folgeregelungen umfassen.It is understood that the use of the terms control, control signals or control device and the like in relation to the invention also include time-dependent processes such as controls and follow-up controls.

Dabei kann die Steuerungseinrichtung dazu eingerichtet sein, einen der verschiedenen Erfassungsbetriebsmodi auf Grundlage der Sonar- und/oder Kameradaten, insbesondere der erfolgten Klassifikation des wenigstens einen erfassten maritimen Lebewesens, auszuwählen. Beispielsweise kann ein Erfassungsbetriebsmodus, in dem das wenigstens eine maritime Lebewesen nur von der Kameraeinrichtung erfasst wird, ausgewählt werden, wenn eine Entfernung zwischen dem erfassten Lebewesen und der Kamera- und/oder Sonareinrichtung einen vorgegebenen ersten Erfassungsschwellenwert erreicht oder unterschreitet, insbesondere, wenn das Lebewesen im Nahfeldbereich der Sonareinrichtung erfasst wird. Entsprechend kann ein anderer Erfassungsbetriebsmodus, in dem das wenigstens eine maritime Lebewesen nur von der Sonareinrichtung erfasst wird, ausgewählt werden, wenn eine Entfernung zwischen dem erfassten Lebewesen und der Kamera- und/oder Sonareinrichtung einen zweiten vorgegebenen Erfassungsschwellenwert erreicht oder überschreitet, insbesondere, wenn das Lebewesen im Fernfeldbereich der Kameraeinrichtung erfasst wird. Der erste und zweite Erfassungsschwellenwert können, müssen aber nicht gleich sein. In this case, the control device can be set up to select one of the various acquisition operating modes on the basis of the sonar and / or camera data, in particular the classification of the at least one acquired marine life. For example, a detection operating mode in which the at least one marine being is only detected by the camera device can be selected if a distance between the detected living being and the camera and / or sonar device reaches or falls below a predetermined first detection threshold value, in particular if the living being is detected in the near field area of the sonar device. Accordingly, another detection operating mode, in which the at least one marine being is only detected by the sonar device, can be selected if a distance between the detected living being and the camera and / or sonar device reaches or exceeds a second predetermined detection threshold value, in particular if that Living being in the far field area of the camera device is detected. The first and second detection thresholds may or may not be the same.

In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, (i) die Sonareinrichtung und die Kameraeinrichtung in einem ersten Erfassungsbetriebsmodus im Wesentlichen kontinuierlich zu betreiben, (ii) in einem zweiten Erfassungsbetriebsmodus die Sonareinrichtung im Wesentlichen kontinuierlich zu betreiben und die Kameraeinrichtung nur dann zu betreiben, wenn die Sonareinrichtung ein maritimes Lebewesen erfasst, und/oder (iii) die Sonareinrichtung und die Kameraeinrichtung in einem dritten Erfassungsbetriebsmodus im Wesentlichen zyklisch zu betreiben. Mit anderen Worten kann die Steuerungseinrichtung die Sonareinrichtung und die Kameraeinrichtung (i) in einem sog. Explorationsmodus, in dem, zumindest für eine vorgegebene Zeitdauer, alle maritimen Lebewesen möglichst umfassend erfasst werden, (ii) in einem sog. Trigger-Modus bzw. ereignisbasierten Modus, in dem auf Grundlage der Sensordaten eine Aktivierung wenigstens der Kameraeinrichtung ausgelöst wird, und/oder (iii) in einem sog. Sampling-Modus bzw. einem Frequenzbasierten Modus, in dem maritime Lebewesen mit vordefinierten oder zufälligen Frequenzen für eine vorgegebene Zeitdauer umfassend erfasst werden, betreiben. Dadurch kann eine auf Grundlage der Klassifikation der maritimen Lebewesen erzeugte Statistik verbessert, Energie gespart und/oder Speicherplatz eingespart werden.In a further preferred embodiment, the control device is set up to (i) operate the sonar device and the camera device essentially continuously in a first detection operating mode, (ii) operate the sonar device essentially continuously in a second detection operating mode and only then operate the camera device , if the sonar device detects a marine life, and / or (iii) to operate the sonar device and the camera device in a third detection operating mode substantially cyclically. In other words, the control device, the sonar device and the camera device (i) in a so-called exploration mode in which, at least for a predetermined period of time, all maritime organisms are recorded as comprehensively as possible, (ii) in a so-called trigger mode or event-based Mode in which an activation of at least the camera device is triggered on the basis of the sensor data, and / or (iii) in a so-called sampling mode or a frequency-based mode in which maritime beings with predefined or random frequencies are comprehensively recorded for a predetermined period of time will operate. Statistics generated on the basis of the classification of maritime organisms can thereby be improved, energy saved and / or storage space saved.

Durch das Betreiben der Sonar- und Kameraeinrichtung im ersten Erfassungsbetriebsmodus kann insbesondere die Datenverarbeitungseinrichtung trainiert, d.h. Regeln und/oder Daten zur Klassifikation der erfassten maritimen Lebewesen maschinell erlernt werden. Alternativ oder zusätzlich können die anhand der maschinell erlernten Regeln und/oder Daten erhaltenden Klassifikationen überprüft und gegebenenfalls Fehler korrigiert, z.B. die erlernten Regeln und/oder Daten angepasst, werden.By operating the sonar and camera device in the first acquisition operating mode, the data processing device in particular can be trained, i.e. Rules and / or data for the classification of the recorded marine life can be learned by machine. Alternatively or additionally, the classifications obtained on the basis of the machine-learned rules and / or data can be checked and errors corrected if necessary, e.g. the learned rules and / or data are adjusted.

Das Betreiben der Sonar- und Kameraeinrichtung im ersten Betriebsmodus ist besonders bevorzugt, wenn die Vorrichtung etwa über eine Antriebseinrichtung verfügt und mobil betrieben wird, z.B. automatisch und/oder autark in einem Antriebsbetriebsmodus fortbewegt wird, da in dieser Weise maritime Lebewesen und/oder Hindernisse zuverlässig erfasst und bei der Steuerung der Antriebseinrichtung berücksichtigt werden können.Operating the sonar and camera device in the first operating mode is particularly preferred if the device has a drive device and is operated in a mobile manner, e.g. is moved automatically and / or independently in a drive operating mode, since in this way maritime organisms and / or obstacles can be reliably detected and taken into account in the control of the drive device.

Durch das Betreiben der Sonar- und Kameraeinrichtung im zweiten Erfassungsbetriebsmodus kann aufgrund der Energieersparnis insbesondere die Einsatzbereitschaft der Vorrichtung vorteilhaft verlängert werden, insbesondere wenn die Vorrichtung stationär und/oder autark operiert. Z.B. kann die Vorrichtung als eine Art „Fotofalle“ betrieben werden, wenn die Vorrichtung auf dem Meeresboden abgestützt oder an einem Unterwasserbauwerk wie einem Brückenpfeiler, einer Spundwand, einer Boje, einem Leuchtturm und/oder dergleichen angebracht ist.By operating the sonar and camera device in the second detection operating mode, the readiness for use of the device can in particular be advantageously extended due to the energy saving, in particular if the device operates in a stationary and / or self-sufficient manner. E.g. the device can be operated as a kind of “photo trap” if the device is supported on the seabed or attached to an underwater structure such as a bridge pier, a sheet pile, a buoy, a lighthouse and / or the like.

Durch Betreiben der Sonar- und Kameraeinrichtung im dritten Erfassungsbetriebsmodus wird von der Steuerungseinrichtung in bevorzugter Weise an mit der Unterwasserfauna in Verbindung stehende zyklische Abläufe, beispielsweise zyklische Fischwanderungen, Laichzyklen, Gezeiten und/oder dergleichen, angepasst. Im dritten Erfassungsbetriebsmodus kann der Betrieb von Sonar- und Kameraeinrichtung daher selektiv an äußere Umweltbedingungen angepasst werden. Dies ist z.B. vorteilhaft, wenn die Vorrichtung Laichgebiete mithilfe einer Antriebseinrichtung zyklisch anfährt bzw. ansteuert und nur die in den Laichgebieten erfassten maritimen Lebewesen klassifizieren soll.By operating the sonar and camera device in the third detection operating mode, the control device preferably adapts to cyclical processes associated with the underwater fauna, for example cyclical fish migration, spawning cycles, tides and / or the like. In the third acquisition operating mode, the operation of the sonar and camera device can therefore be selectively adapted to external environmental conditions. This is e.g. It is advantageous if the device cyclically approaches or controls spawning areas with the aid of a drive device and is only intended to classify the marine organisms recorded in the spawning areas.

In einer weiteren bevorzugten Ausführungsform ist eine Sensoreinrichtung vorgesehen, die dazu eingerichtet ist, Umgebungsbedingungen zu erfassen und entsprechende Umgebungsdaten zu erzeugen, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, die Umgebungsdaten bei der Klassifizierung zu berücksichtigen. Die Sensoreinrichtung kann beispielsweise dazu eingerichtet sein, die Wassertrübung, die Neigung der Vorrichtung, vorgegebene abiotische Umweltfaktoren und/oder vorgegebene biotische Umweltfaktoren der Umgebung zu erfassen. Zu diesem Zweck kann die Sensoreinrichtung beispielsweise einen etwa auf Lichtstreuung oder -schwächung basierenden Trübheitssensor, eine CTD-Rosette zur Messung der Leitfähigkeit (conductance), Temperatur (temperature) und Tiefe (depth), insbesondere mit Sensoren zur Erfassung von Temperatur, Leitfähigkeit, Wasserdruck, Sauerstoffgehalt und/oder Strömung, und/oder einen Chlorophyll-a-Sensor aufweisen. Die in den Umgebungsdaten enthaltene Information erlaubt eine besonders vielschichtige bzw. differenzierte Klassifikation der erfassten Lebewesen.In a further preferred embodiment, a sensor device is provided which is set up to record environmental conditions and to generate corresponding environmental data, the data processing device being set up to take the environmental data into account in the classification. The sensor device can, for example, be set up to detect the water turbidity, the inclination of the device, predetermined abiotic environmental factors and / or predetermined biotic environmental factors of the environment. For this purpose, the sensor device can, for example, a turbidity sensor based, for example, on light scattering or weakening, a CTD rosette for measuring the conductivity (conductance), temperature (temperature) and depth (depth), in particular with sensors for detection of temperature, conductivity, water pressure, oxygen content and / or flow, and / or have a chlorophyll-a sensor. The information contained in the environmental data allows a particularly complex or differentiated classification of the recorded living beings.

Die Sensoreinrichtung kann z.B. einen Transceiver aufweisen, der dazu eingerichtet ist, elektromagnetische Abfragesignale auszusenden und entsprechende elektromagnetische Antwortsignale zu empfangen. So ist es beispielsweise denkbar, mit entsprechenden Transpondern, z.B. RFID-Tags, markierte maritime Lebewesen mittels der Sensoreinrichtung zu erfassen und die von den Transpondern zurückgesendeten elektromagnetischen Antwortsignale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten bei der Klassifizierung dieser Lebewesen zu berücksichtigen.The sensor device can e.g. have a transceiver which is set up to send out electromagnetic interrogation signals and to receive corresponding electromagnetic response signals. For example, it is conceivable to use appropriate transponders, e.g. To detect RFID tags, marked maritime beings by means of the sensor device and to take into account the electromagnetic response signals sent back by the transponders or the environmental data generated accordingly by the transceiver when classifying these beings.

Alternativ oder zusätzlich ist es auch denkbar, solche zurückgesendeten elektromagnetischen Antwortsignale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten bei der Auswahl des Erfassungsbetriebsmodus zu berücksichtigen. Beispielsweise kann der zweite Erfassungsbetriebsmodus ausgewählt werden, insbesondere die Kameraeinrichtung aktiviert werden, wenn ein solches Antwortsignal empfangen wird.As an alternative or in addition, it is also conceivable to take such returned electromagnetic response signals or the environmental data correspondingly generated by the transceiver into account when selecting the detection operating mode. For example, the second detection operating mode can be selected, in particular the camera device can be activated when such a response signal is received.

Mit dem Sensor zum Erfassen biotischer Umweltfaktoren, etwa dem Chlorophyll-a-Sensor, kann die Klassifikation auch in Bezug auf die Trophieebene (engl. trophic level) durchgeführt werden. Mittels dieses Sensors kann beispielsweise der Phytoplanktongehalt im Wasser überwacht und mit den erfassten maritimen Lebewesen in Beziehung gesetzt werden. Dies kann vorteilhaft ergänzt werden durch Erfassen des Zooplanktongehalts mittels der Sensoreinrichtung.With the sensor for detecting biotic environmental factors, such as the chlorophyll-a sensor, the classification can also be carried out in relation to the trophic level. This sensor can be used, for example, to monitor the phytoplankton content in the water and to relate it to the detected marine life. This can advantageously be supplemented by detecting the zooplankton content using the sensor device.

Insgesamt erlaubt die Sensoreinrichtung bzw. die von ihr erzeugten Umgebungsdaten damit die Klassifikation der erfassten maritimen Lebewesen in Bezug auf das gesamte Unterwasser-Ökosystem, da z.B. gleichzeitig die Fischabundanz, vorzugsweise klassifiziert nach Spezies und Größe der Fische, Chlorophyllgehalt, Zooplankton, Fischlarven, Quallen, Wassertrübung und/oder andere relevante abiotische Prozesse erfasst werden.Overall, the sensor device or the environmental data generated by it thus allows the classification of the recorded marine life in relation to the entire underwater ecosystem, since e.g. At the same time, fish abundance, preferably classified according to the species and size of the fish, chlorophyll content, zooplankton, fish larvae, jellyfish, water turbidity and / or other relevant abiotic processes are recorded.

In einer bevorzugten Ausführungsform ist eine Antriebseinrichtung vorgesehen, die dazu eingerichtet ist, die Vorrichtung unter Wasser fortzubewegen. Zudem ist eine Steuerungseinrichtung vorgesehen, die dazu eingerichtet ist, die Antriebseinrichtung in verschiedenen Antriebsbetriebsmodi zu steuern. Dabei ist die Antriebseinrichtung, etwa ein Propellerantrieb oder ein Jetantrieb, in bevorzugter Weise mit der Trägereinrichtung verbunden, um die Sonareinrichtung, die Kameraeinrichtung und die Datenverarbeitungseinrichtung zuverlässig und kontrolliert gemeinsam unter Wasser fortzubewegen. Durch die Steuerungseinrichtung kann die Antriebseinrichtung insbesondere situationsabhängig gesteuert und die Vorrichtung somit situationsabhängig fortbewegt werden.In a preferred embodiment, a drive device is provided, which is set up to move the device under water. In addition, a control device is provided, which is set up to control the drive device in different drive operating modes. The drive device, for example a propeller drive or a jet drive, is preferably connected to the carrier device in order to move the sonar device, the camera device and the data processing device reliably and in a controlled manner under water. The control device allows the drive device to be controlled, in particular depending on the situation, and the device can thus be moved depending on the situation.

Dabei kann in einem System zur Datenanalyse gegebenenfalls nur ein Teil der Vorrichtungen, z.B. nur eine Vorrichtung, jeweils eine Antriebseinrichtung aufweisen, während der restliche Teil des Systems von stationär eingesetzten Vorrichtungen gebildet wird.Only a part of the devices, e.g. only one device, each having a drive device, while the rest of the system is formed by stationary devices.

Vorzugsweise ist die Steuerungseinrichtung in wenigstens einem Antriebsbetriebsmodus zur automatischen, d.h. zur autarken, Steuerung der Antriebseinrichtung eingerichtet. Mit anderen Worten kann die Steuerungseinrichtung selbstständig eine Fortbewegung der Vorrichtung veranlassen, ohne dass Steuerungssignale zur Steuerung der Antriebseinrichtung extern vorgegeben werden. Dadurch kann die Vorrichtung über einen längeren Zeitraum, insbesondere unabhängig von Umweltbedingungen wie etwa einem Sturm, die eine manuelle Fortbewegung der Vorrichtung etwa mittels eines Schleppseils unmöglich machen oder zumindest behindern, zur Erzeugung von statistischen Daten unter Wasser eingesetzt werden.Preferably, the control device is in at least one drive operating mode for automatic, i.e. set up for self-sufficient, control of the drive device. In other words, the control device can independently cause the device to move without control signals for controlling the drive device being specified externally. As a result, the device can be used for generating statistical data under water over a longer period of time, in particular regardless of environmental conditions such as a storm, which make manual movement of the device impossible, for example by means of a tow rope, or at least hinder it.

Vorzugsweise ist die Steuerungseinrichtung in wenigstens einem Antriebsbetriebsmodus dazu eingerichtet, Steuerungssignale zur Steuerung der Antriebseinrichtung zu empfangen, z.B. über ein Funknetz, ein Datenkabel und/oder dergleichen. Dadurch kann die Antriebseinrichtung ferngesteuert werden.In at least one drive operating mode, the control device is preferably set up to receive control signals for controlling the drive device, e.g. via a radio network, a data cable and / or the like. This allows the drive device to be controlled remotely.

Die Steuerungseinrichtung ist in bevorzugter Weise dazu eingerichtet, in jedem der Antriebsbetriebsmodi auf Grundlage der Sonar- und/oder Kameradaten Hindernissen, etwa erfassten maritimen Lebewesen oder Unterwasserbauwerken, auszuweichen. Dadurch können Kollisionen zuverlässig vermieden werden.The control device is preferably set up to avoid obstacles, such as detected marine life or underwater structures, in each of the drive operating modes on the basis of the sonar and / or camera data. Collisions can thus be reliably avoided.

In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, die Antriebseinrichtung in einem ersten Antriebsbetriebsmodus auf Grundlage von bereitgestellten Steuerungsdaten in der Weise zu steuern, dass die Vorrichtung im Wesentlichen entlang eines durch die Steuerungsdaten charakterisierten Pfads fortbewegt wird. Dadurch ist es möglich, in verschiedenen, räumlich voneinander getrennten Regionen statistischen Daten zu erzeugen und in dieser Weise z.B. einen noch breiteren, insbesondere zuverlässigeren, Überblick über die Unterwasserfauna zu erhalten.In a further preferred embodiment, the control device is set up to control the drive device in a first drive operating mode on the basis of provided control data in such a way that the device is essentially moved along a path characterized by the control data. This makes it possible to generate statistical data in different, spatially separated regions and in this way e.g. to get an even broader, especially more reliable, overview of the underwater fauna.

Dabei können die Steuerungsdaten beispielsweise aus einem Speicher geladen werden. Solche, in einem Speicher gespeicherten Steuerungsdaten erlauben es in bevorzugter Weise, gegebenenfalls zyklisch vorgegebene Regionen, etwa Laichgebiete, anzusteuern und dort die statistischen Daten zu erzeugen. Durch das Vorsehen der Steuerungsdaten in dem Speicher ist dabei ein autarker Betrieb der Vorrichtung möglich. Die Vorrichtung kann somit insbesondere über einen längeren Zeitraum ohne äußere Einflussnahme zur Überwachung der vorgegebenen Regionen, etwa Laichgebieten, eingesetzt werden. The control data can be loaded from a memory, for example. Such control data, which are stored in a memory, make it possible, in a preferred manner, to control cyclically predetermined regions, such as spawning areas, and to generate the statistical data there. Providing the control data in the memory enables the device to operate independently. The device can thus be used in particular over a longer period of time without external influence to monitor the predetermined regions, such as spawning areas.

Alternativ oder zusätzlich können die Steuerungsdaten über eine Kommunikationsverbindung, insb. mit einem Kontrollzentrum auf dem Festland, empfangen werden, wobei die Kommunikationsverbindung etwa als Datenkabel oder eine drahtlose Verbindung ausgebildet sein kann. Somit ist ein zumindest teilweise ferngesteuerter Betrieb der Vorrichtung möglich. Dies ist besonders vorteilhaft, wenn bestimmte Regionen situationsabhängig angesteuert werden sollen, z. B. wenn die Auswertung der erzeugten statistischen Daten ergibt, dass eine Region bevorzugt näher untersucht werden sollte, oder wenn sich äußere Randbedingungen, etwa durch Fischfang, ändern.As an alternative or in addition, the control data can be received via a communication link, in particular with a control center on the mainland, wherein the communication link can be designed as a data cable or a wireless connection. An at least partially remote-controlled operation of the device is thus possible. This is particularly advantageous if certain regions are to be controlled depending on the situation, e.g. B. if the evaluation of the generated statistical data shows that a region should preferably be examined more closely, or if external boundary conditions, for example due to fishing, change.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, auf Grundlage der Sonardaten und der Kameradaten eine Bewegung wenigstens eines erfassten maritimen Lebewesens zu ermitteln, und die Steuerungseinrichtung ist dazu eingerichtet, die Antriebseinrichtung in einem zweiten Antriebsbetriebsmodus auf Grundlage der ermittelten Bewegung des wenigstens einen erfassten maritimen Lebewesens zu steuern. Dadurch kann eine Störung der Unterwasserfauna durch die Vorrichtung verringert werden. Zudem können maritime Lebewesen, insbesondere Schwärme von maritimen Lebewesen, über einen längeren Zeitraum und daher besonders zuverlässig überwacht werden.In a further preferred embodiment, the data processing device is set up to determine a movement of at least one detected marine life on the basis of the sonar data and the camera data, and the control device is set up to set the drive device in a second drive operating mode based on the determined movement of the at least one to control maritime life. This can reduce interference with the underwater fauna by the device. In addition, maritime organisms, in particular swarms of maritime organisms, can be monitored over a longer period of time and therefore particularly reliably.

Die Datenverarbeitungseinrichtung kann zu diesem Zweck dazu eingerichtet sein, die Bewegung maritimer Lebewesen nachzuverfolgen (engl. tracken), d.h. z.B. eine oder mehrere Trajektorien eines oder mehrerer maritimen Lebewesen aus den Kamera- und Sonardaten zu ermitteln, so dass die Steuerungseinrichtung die Antriebseinrichtung im zweiten Antriebsbetriebsmodus auf Grundlage der einen oder mehreren ermittelten Trajektorien steuern kann. Die Antriebseinrichtung kann insbesondere in der Weise gesteuert werden, dass die Vorrichtung in Abhängigkeit der ermittelten Bewegung des wenigstens einen erfassten maritimen Lebewesens fortbewegt wird, z.B. dem erfassten maritimen Lebewesen folgt und/oder die Fortbewegung der Vorrichtung an die ermittelte Bewegung des maritimen Lebewesens angepasst wird. Beispielsweise ist es denkbar, dass die Steuerungseinrichtung dazu eingerichtet ist, die Antriebseinrichtung im zweiten Antriebsbetriebsmodus in der Weise zu steuern, dass die ermittelte Bewegung des erfassten maritimen Lebewesens nachgeahmt bzw. imitiert wird. Dadurch kann beispielsweise zuverlässig verhindert werden, dass das wenigstens eine erfasste maritime Lebewesen bei Annäherung der Vorrichtung flüchtet. Zudem kann sichergestellt werden, dass umfassende statistischen Daten bezüglich des wenigstens einen erfassten maritimen Lebewesens, insbesondere wenn es Teil eines Schwarms ist, erzeugt werden können, indem die Vorrichtung dem erfassten Lebewesen bzw. seinem Schwarm zumindest für eine vorgegebene Zeitdauer folgt. Außerdem können durch das Nachverfolgen des wenigstens einen erfassten maritimen Lebewesens Fehler in den erzeugten statistischen Daten, beispielsweise durch Abschattung wenigstens eines weiteren maritimen Lebewesens durch das wenigstens eine erfasste maritimen Lebewesen, vermieden oder zumindest reduziert werden.For this purpose, the data processing device can be set up to track the movement of maritime beings, i.e. e.g. determine one or more trajectories of one or more maritime beings from the camera and sonar data, so that the control device can control the drive device in the second drive operating mode on the basis of the one or more determined trajectories. The drive device can in particular be controlled in such a way that the device is moved depending on the determined movement of the at least one detected marine life, e.g. follows the detected marine life and / or the movement of the device is adapted to the determined movement of the marine life. For example, it is conceivable that the control device is set up to control the drive device in the second drive operating mode in such a way that the determined movement of the detected marine life is imitated or imitated. This can reliably prevent, for example, the at least one detected marine life from escaping when the device approaches. In addition, it can be ensured that comprehensive statistical data relating to the at least one recorded marine life, in particular if it is part of a swarm, can be generated by the device following the recorded life or its swarm at least for a predetermined period of time. In addition, by tracking the at least one recorded marine life, errors in the generated statistical data, for example by shading at least one further marine life by the at least one recorded marine life, can be avoided or at least reduced.

Im zweiten Antriebsbetriebsmodus ist vorzugsweise eine Fortbewegungsgeschwindigkeit der Vorrichtung bzw. der Antriebseinrichtung reduziert bzw. gedrosselt, um erfasste maritime Lebewesen nicht aufzuscheuchen.In the second drive operating mode, a speed of movement of the device or the drive device is preferably reduced or throttled in order not to frighten off detected marine life.

Die Steuerungseinrichtung kann dabei dazu eingerichtet sein, die Antriebseinrichtung im zweiten Antriebsbetriebsmodus zusätzlich in Abhängigkeit einer Klassifikation, insbesondere einer Identifikation, des erfassten maritimen Lebewesens zu steuern. Z.B. kann die Fortbewegung der Vorrichtung an die Bewegung einer Fischart angepasst werden, die charakteristisch für diese Fischart ist. Die Klassifikation, insbesondere die Identifikation, des erfassten maritimen Lebewesens, d.h. Zuordnung des Lebewesens zu einer bestimmten Spezies oder Familie, wird dabei vorzugsweise von der Datenverarbeitungseinrichtung auf Grundlage der Kamera- und Sensordaten durchgeführt.The control device can be configured to additionally control the drive device in the second drive operating mode depending on a classification, in particular an identification, of the detected marine life. E.g. the movement of the device can be adapted to the movement of a fish species which is characteristic of this fish species. The classification, in particular the identification, of the recorded marine life, i.e. Assignment of the living being to a specific species or family is preferably carried out by the data processing device on the basis of the camera and sensor data.

Vorzugsweise ist die Datenverarbeitungseinrichtung dazu eingerichtet, eine Relativbewegung zwischen dem wenigstens einen erfassten maritimen Lebewesen und der Vorrichtung zu ermitteln, und die Steuerungseinrichtung ist in bevorzugter Weise dazu eingerichtet, die Antriebseinrichtung auf Grundlage der ermittelten Relativbewegung zu steuern. Dies ermöglicht eine besonders präzise Nachahmung der Bewegung des erfassten Lebewesens bzw. ein besonders zuverlässiges Folgen des erfassten Lebewesens.The data processing device is preferably set up to determine a relative movement between the at least one detected marine life and the device, and the control device is preferably set up to control the drive device on the basis of the determined relative movement. This enables a particularly precise imitation of the movement of the detected living being or a particularly reliable follow-up of the detected living being.

Mit anderen Worten kann der zweite Antriebsbetriebsmodus einem Fluchtvermeidungsmodus und/oder einem Verfolgermodus entsprechen, indem die Vorrichtung mittels der Antriebseinrichtung derart fortbewegt wird, dass kein Fluchtreflex des wenigstens einen erfassten maritimen Lebewesens ausgelöst bzw. dem wenigstens einen erfassten maritimen Lebewesens gefolgt wird.In other words, the second drive operating mode can correspond to an escape avoidance mode and / or a tracker mode, in that the device is moved by means of the drive device in such a way that no escape reflex of the at least one detected marine life is triggered or the at least one detected marine life is followed.

Dabei kann die Steuerungseinrichtung auch dazu eingerichtet sein, die Antriebseinrichtung zu Stoppen. Insbesondere wenn ein maritimes Lebewesen im Nahfeldbereich der Sonareinrichtung erfasst wird, kann die Antriebseinrichtung gestoppt werden, z.B. um eine zuverlässige Erfassung des Lebewesens durch die Kameraeinrichtung zu ermöglichen.The control device can also be set up to stop the drive device. In particular, if a marine life is detected in the near field area of the sonar device, the drive device can be stopped, e.g. to enable reliable detection of the living being by the camera device.

In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, durch maschinelles Lernen in den in den erzeugten statistischen Daten Muster zu erkennen und die Antriebseinrichtung in einem dritten Antriebsbetriebsmodus auf Grundlage der erkannten Muster zu steuern. Zu diesem Zweck kann die Steuerungseinrichtung z.B. ein künstliches neuronales Netz aufweisen oder als künstliches neuronales Netz ausgebildet sein. Dies ist besonders vorteilhaft, wenn die Vorrichtung autark, d.h. ohne externe Einflussnahme/Steuerung, betrieben wird, da die Steuerung der Antriebseinrichtung dann in Abhängigkeit der erzeugten statistischen Daten erfolgen kann. In a further preferred embodiment, the control device is set up to recognize patterns by machine learning in the statistical data generated and to control the drive device in a third drive operating mode on the basis of the recognized patterns. For this purpose the control device can e.g. have an artificial neural network or be designed as an artificial neural network. This is particularly advantageous if the device is self-sufficient, i.e. is operated without external influence / control, since the drive device can then be controlled as a function of the statistical data generated.

Beispielsweise kann die Steuerungseinrichtung dazu eingerichtet sein, durch fortlaufende Analyse der erzeugten statistischen Daten auf maschinelle Weise, etwa durch deep-learning-Verfahren, Regeln und/oder Daten erlernen, welche mit Mustern in den statistischen Daten korrespondieren. Auf Grundlage dieser maschinell erlernten Regeln und/oder Daten kann die Antriebseinrichtung entsprechend gesteuert werden.For example, the control device can be set up to learn by continuous analysis of the statistical data generated in a mechanical manner, for example by deep learning methods, rules and / or data which correspond to patterns in the statistical data. The drive device can be controlled accordingly on the basis of these machine-learned rules and / or data.

Durch die zum maschinellen Lernen eingerichtete Steuerungseinrichtung können z.B. Habitate der erfassten maritimen Lebewesen ermittelt werden. Alternativ oder zusätzlich können zyklische Abläufe der Unterwasserfauna, z.B. Wanderbewegungen von Fischen, Laichzyklen und/oder dergleichen ermittelt werden. Eine Steuerung der Antriebseinrichtung im dritten Antriebsbetriebsmodus auf Grundlage dieser erkannten Muster erlaubt z.B. ein entsprechendes wiederholtes, insbesondere zyklisches, Ansteuern bzw. Anfahren der ermittelten Habitate und/oder Wanderrouten.The control device set up for machine learning can e.g. Habitats of the recorded marine life can be determined. Alternatively or additionally, cyclical processes of the underwater fauna, e.g. Migratory movements of fish, spawning cycles and / or the like can be determined. Controlling the drive device in the third drive operating mode on the basis of these recognized patterns allows e.g. a corresponding repeated, in particular cyclical, activation or approach of the determined habitats and / or hiking routes.

Dabei kann die Steuerungseinrichtung bzw. das künstliche neuronale Netz dazu eingerichtet sein, die Muster in den statistischen Daten während des Einsatzes der Vorrichtung unter Wasser, d.h. beim Erfassen maritimer Lebewesen unter Wasser, maschinell zu lernen bzw. sich entsprechend zu trainieren. Dies erlaubt einen besonders flexiblen Einsatz der Vorrichtung und kann die Menge der insgesamt erzeugten statistischen Daten und damit auch deren Zuverlässigkeit signifikant erhöhen.The control device or the artificial neural network can be set up to record the patterns in the statistical data during use of the device under water, i.e. when acquiring marine life under water, to learn by machine or to train accordingly. This allows a particularly flexible use of the device and can significantly increase the amount of statistical data generated overall and thus also its reliability.

Alternativ oder zusätzlich ist es aber auch denkbar, dass die, insbesondere derart ausgebildete, Steuerungseinrichtung bereits vor dem Einsatz der Vorrichtung unter Wasser, d.h. vor dem Erfassen maritimer Lebewesen unter Wasser, mit präparierten, insbesondere bezüglich zu erkennender Muster klassifizierten, statistischen Daten zumindest teilweise trainiert ist bzw. wird, um im Einsatz unter Wasser für eine entsprechende Mustererkennung vorbereitet zu sein. Bei solchen präparierten statistischen Daten kann es sich beispielsweise um künstlich erzeugte, etwa simulierte, oder um anderweitig, etwa durch Auswertung von Statistiken von Fischereiflotten oder stichprobenartig, ermittelte statistische Daten handeln. Dadurch können, insbesondere weitere, Muster in den statistischen Daten während des Einsatzes der Vorrichtung zuverlässiger erlernt und/oder erkannt werden.As an alternative or in addition, it is also conceivable that the control device, which is designed in this way in particular, is already under water, i.e. prior to the detection of marine life under water, is or is at least partially trained with prepared statistical data, in particular classified with regard to patterns to be recognized, in order to be prepared for a corresponding pattern recognition in use under water. Such prepared statistical data can be, for example, artificially generated, for example simulated, or otherwise determined, for example by evaluating statistics of fishing fleets or randomly. As a result, in particular further patterns in the statistical data can be learned and / or recognized more reliably during use of the device.

In einer weiteren bevorzugten Ausführungsform ist die Steuerungseinrichtung dazu eingerichtet, einen der Antriebsbetriebsmodi auf Grundlage der Sonardaten und/oder Kameradaten, insb. der statistische Daten, auszuwählen. Dies erlaubt einen besonders flexiblen, insbesondere autarken, Einsatz der Vorrichtung.In a further preferred embodiment, the control device is set up to select one of the drive operating modes on the basis of the sonar data and / or camera data, in particular the statistical data. This allows a particularly flexible, in particular self-sufficient, use of the device.

Beispielsweise kann die Steuerungseinrichtung den ersten Antriebsbetriebsmodus, in dem die Antriebseinrichtung auf Grundlage von vorgegebenen Steuerungsdaten gesteuert wird, auswählen, wenn, zumindest für eine vorgegebene Zeitdauer von beispielsweise mindestens 1 Stunde, vorzugsweise mindestens 2 Stunden, insbesondere mindestens 5 Stunden, kein maritimes Lebewesen erfasst wird. Dadurch kann sichergestellt werden, dass die Unterwasserfauna möglichst umfassend statistisch erfasst wird.For example, the control device can select the first drive operating mode, in which the drive device is controlled on the basis of predetermined control data, if, at least for a predetermined time period of, for example, at least 1 hour, preferably at least 2 hours, in particular at least 5 hours, no marine life is detected . This can ensure that the underwater fauna is recorded as comprehensively as possible.

Alternativ oder zusätzlich ist es denkbar, dass die Steuerungseinrichtung den zweiten Antriebsbetriebsmodus, in dem die Antriebseinrichtung auf Grundlage einer ermittelten Bewegung wenigstens eines erfassten maritimen Lebewesens gesteuert wird, auswählt, wenn eine Entfernung bzw. ein Abstand zwischen dem wenigstens einen erfassten maritimen Lebewesen und der Vorrichtung einen vorgegebenen Abstandsschwellenwert erreicht oder unterschreitet. Der Abstand zwischen dem wenigstens einen erfassten maritimen Lebewesen unter Vorrichtung kann beispielsweise von der Datenverarbeitungseinrichtung auf Grundlage der Sonardaten ermittelt und der Steuerungseinrichtung bereitgestellt werden, so dass die Steuerungseinrichtung prüfen kann, ob der vorgegebenen Abstandsschwellenwert erreicht oder unterschritten wird. Dadurch kann zuverlässig vermieden werden, dass die Vorrichtung beim Antreffen maritimer Lebewesen, insbesondere während sich die Vorrichtung auf einem vorgegebenen Pfad bewegt, die angetroffenen und erfassten Lebewesen in die Flucht schlägt.Alternatively or additionally, it is conceivable that the control device selects the second drive operating mode, in which the drive device is controlled on the basis of a determined movement of at least one detected marine life, if a distance or a distance between the at least one detected sea life and the device reaches or falls below a predetermined distance threshold. The distance between the at least one detected marine life under the device can be determined, for example, by the data processing device on the basis of the sonar data and made available to the control device, so that the control device can check whether the predetermined distance threshold value is reached or undershot. This can reliably avoid that the device when encountering maritime beings, in particular while the device is moving on a predetermined path, drives the encountered and detected creatures into flight.

Alternativ oder zusätzlich kann die Steuerungseinrichtung den dritten Antriebsbetriebsmodus, in dem die Antriebseinrichtung auf Grundlage des erkannten Musters in den statistischen Daten gesteuert wird, auswählen, wenn ein Zuverlässigkeitskriterium durch die statistischen Daten erfüllt ist, beispielsweise wenn ein Zuverlässigkeitsmaß wie etwa das Inverse einer Standardabweichung einen vorgegebenen Zuverlässigkeitsschwellenwert erreicht oder überschreitet. Das Zuverlässigkeitsmaß wird dabei in bevorzugter Weise von der Datenverarbeitungseinrichtung beim Erzeugen der statistischen Daten ermittelt. Dadurch kann sichergestellt werden, dass eine Steuerung der Antriebseinrichtung erst erfolgt, wenn ausreichend statistischen Daten gesammelt wurden und diesen vertraut werden kann.Alternatively or additionally, the control device can select the third drive operating mode, in which the drive device is controlled on the basis of the recognized pattern in the statistical data, if a reliability criterion is met by the statistical data, for example if a reliability measure, such as the inverse of a standard deviation, meets a predetermined value Reliability threshold reached or exceeded. The reliability measure is preferably determined by the data processing device when generating the statistical data. This can ensure that the drive device is not controlled until sufficient statistical data has been collected and can be trusted.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, auf Grundlage der Sonardaten und der Kameradaten eine Bewegung des erfassten maritimen Lebewesens relativ zur Vorrichtung zu ermitteln und die Sonardaten und Kameradaten auf Grundlage der ermittelten Relativbewegung zu korrigieren. Beispielsweise kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die Bewegung des wenigstens einen erfassten maritimen Lebewesens nachzuverfolgen (engl. tracken), z.B. seine Trajektorie zu ermitteln, und vorzugsweise mit der, z.B. durch die entsprechende Steuerung der Antriebseinrichtung durch die Steuerungseinrichtung bekannte, Eigenbewegung der Vorrichtung zu vergleichen. Dadurch können die miteinander korrespondierenden Sonardaten und Kameradaten beispielsweise aneinander angepasst bzw. aufeinander abgestimmt werden. Somit kann die Qualität der erzeugten statistischen Daten signifikant verbessert werden.In a further preferred embodiment, the data processing device is set up to determine a movement of the detected marine life relative to the device on the basis of the sonar data and the camera data and to correct the sonar data and camera data on the basis of the determined relative movement. For example, the data processing device can be set up to track the movement of the at least one recorded marine life, e.g. determine its trajectory, and preferably with the, e.g. to compare known, own movement of the device by the corresponding control of the drive device by the control device. As a result, the sonar data and camera data corresponding to one another can be matched to one another or matched to one another, for example. The quality of the statistical data generated can thus be significantly improved.

Beispielsweise ist es denkbar, anhand der ermittelten Relativbewegung den, insbesondere in den Sonardaten enthaltenen, Dopplereffekt ausgleichen, insbesondere herausrechnen. Dadurch kann, insbesondere aus einer Kombination der derart korrigierten Sonardaten und Kameradaten, der Abstand des erfassten maritimen Lebewesens zu Vorrichtung besonders zuverlässig ermittelt und z.B. die Antriebseinrichtung auf Grundlage des Abstands zweiten Antriebsbetriebsmodus besonders zuverlässig gesteuert werden.For example, it is conceivable to compensate for the Doppler effect, in particular contained in the sonar data, on the basis of the determined relative movement, in particular to calculate it out. As a result, in particular from a combination of the sonar data and camera data corrected in this way, the distance of the detected marine life to the device can be determined particularly reliably and e.g. the drive device can be controlled particularly reliably on the basis of the distance between the second drive operating mode.

In einer weiteren bevorzugten Ausführungsform ist eine Sensoreinrichtung vorgesehen, die dazu eingerichtet ist, Umgebungsbedingungen zu erfassen und entsprechende Umgebungsdaten zu erzeugen, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, die statistischen Daten unter Berücksichtigung der Umgebungsdaten zu ermitteln. Die Sensoreinrichtung kann beispielsweise dazu eingerichtet sein, die Wassertrübung, die Neigung der Vorrichtung, vorgegebene abiotische Umweltfaktoren und/oder vorgegebene biotische Umweltfaktoren der Umgebung zu erfassen. Zu diesem Zweck kann die Sensoreinrichtung beispielsweise einen etwa auf Lichtstreuung oder -schwächung basierenden Trübheitssensor, eine CTD-Rosette zur Messung der Leitfähigkeit (conductance), Temperatur (temperature) und Tiefe (depth), insbesondere mit Sensoren zur Erfassung von Temperatur, Leitfähigkeit, Wasserdruck, Sauerstoffgehalt und/oder Strömung, und/oder einen Chlorophyll-a-Sensor aufweisen. Die in den Umgebungsdaten enthaltene Information erlaubt die Erzeugung besonders vielschichtiger bzw. differenzierter Statistiken.In a further preferred embodiment, a sensor device is provided which is set up to record environmental conditions and to generate corresponding environmental data, the data processing device being set up to determine the statistical data taking into account the environmental data. The sensor device can, for example, be set up to detect the water turbidity, the inclination of the device, predetermined abiotic environmental factors and / or predetermined biotic environmental factors of the environment. For this purpose, the sensor device can, for example, be a turbidity sensor based, for example, on light scattering or attenuation, a CTD rosette for measuring the conductivity (conductance), temperature (temperature) and depth (depth), in particular with sensors for recording temperature, conductivity, water pressure , Oxygen content and / or flow, and / or have a chlorophyll-a sensor. The information contained in the environmental data enables the generation of particularly complex or differentiated statistics.

Zudem ist es auch denkbar, dass die Steuerungseinrichtung dazu eingerichtet ist, die Antriebseinrichtung auf Grundlage der Umgebungsdaten, insbesondere unabhängig von einem der verschiedenen Abtriebsbetriebsmodi, zu steuern. Die Sensoreinrichtung kann beispielsweise einen Signalempfänger zum Empfangen von elektromagnetischen Signalen, beispielsweise RFID-Signalen, aufweisen, so dass, z.B. durch die Steuerungseinrichtung, solche elektromagnetische Signale aussendende Hindernisse wie etwa Schiffe, Offshorebauwerke und/oder dergleichen bei der Fortbewegung der Vorrichtung berücksichtigt werden können. Dabei kann der Signalempfänger Teil eines Transceivers sein, der dazu eingerichtet ist, elektromagnetische Abfragesignale auszusenden und entsprechende elektromagnetische Antwortsignale zu empfangen. So ist es beispielsweise denkbar, bestimmte Hindernisse wie Offshorebauwerke oder Riffe durch Anordnen von Transpondern, z.B. RFID-Tags, zu markieren, um eine Kollision der Vorrichtung mit diesen Hindernissen zuverlässig zu vermeiden. Alternativ oder zusätzlich können solche von den Transponder zurückgesendeten elektromagnetische Signale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten auch dazu verwendet werden, die statistischen Daten in Bezug auf Attraktionseffekte z.B. durch Riffe zu korrigieren, da im Bereich solcher Hindernisse die Abundanz maritimer Lebewesen üblicherweise ungewöhnlich hoch ist.In addition, it is also conceivable that the control device is set up to control the drive device on the basis of the environmental data, in particular independently of one of the different output operating modes. The sensor device can, for example, have a signal receiver for receiving electromagnetic signals, for example RFID signals, so that, e.g. obstacles emitting such electromagnetic signals, such as ships, offshore structures and / or the like, can be taken into account by the control device when moving the device. The signal receiver can be part of a transceiver which is set up to send out electromagnetic interrogation signals and to receive corresponding electromagnetic response signals. For example, it is conceivable to remove certain obstacles such as offshore structures or reefs by arranging transponders, e.g. Tag RFID tags to reliably avoid collision of the device with these obstacles. As an alternative or in addition, such electromagnetic signals sent back by the transponder or the environmental data correspondingly generated by the transceiver can also be used to compare the statistical data with respect to attraction effects, e.g. corrected by reefs, since the abundance of marine life is usually unusually high in the area of such obstacles.

Gegebenenfalls kann der Empfang solcher elektromagnetischer Signale aber auch genutzt werden, um mit entsprechenden Transpondern markierte maritime Lebewesen, insbesondere größere Lebewesen wie z.B. Robben oder Wale, zu erfassen und die empfangene elektromagnetischen Signale bzw. die vom Transceiver entsprechend erzeugten Umgebungsdaten bei der Erzeugung der statistischen Daten zu berücksichtigen.If necessary, the reception of such electromagnetic signals can also be used to identify maritime organisms marked with appropriate transponders, in particular larger organisms such as e.g. Seals or whales, and to take into account the received electromagnetic signals or the environmental data generated by the transceiver when generating the statistical data.

Bei der Steuerung der Antriebseinrichtung kann insbesondere auch die mittels des Neigungssensors erfasste Neigung bzw. Ausrichtung der Vorrichtung berücksichtigt werden. Insbesondere kann die Steuerungseinrichtung dazu eingerichtet sein, die Steuerung der Antriebseinrichtung in einem der Antreibsbetriebsmodi auf Grundlage der erfasste Neigung bzw. Ausrichtung der Vorrichtung zu korrigieren. When controlling the drive device, the inclination or orientation of the device detected by means of the inclination sensor can also be taken into account. In particular, the control device can be set up to correct the control of the drive device in one of the drive operating modes on the basis of the detected inclination or orientation of the device.

Mit dem Sensor zum erfassen biotischer Umweltfaktoren, etwa dem Chlorophyll-a-Sensor, können die statistischen Daten auch in Bezug auf die Nahrungskette erzeugt werden. Mittels dieses Sensors kann beispielsweise der Phytoplanktongehalt im Wasser überwacht werden und mit den erfassten maritimen Lebewesen in Beziehung gesetzt werden. Dies kann vorteilhaft ergänzt werden durch Erfassen des Zooplanktongehalts mittels der Sensoreinrichtung.With the sensor for recording biotic environmental factors, such as the chlorophyll-a sensor, the statistical data can also be generated in relation to the food chain. This sensor can be used, for example, to monitor the phytoplankton content in the water and to relate it to the detected marine life. This can advantageously be supplemented by detecting the zooplankton content using the sensor device.

Insgesamt erlaubt die Sensoreinrichtung bzw. die von ihr erzeugten Umgebungsdaten damit die Erzeugung statistischen Daten in Bezug auf das gesamte Unterwasser-Ökosystem, da gleichzeitig die Fischabundanz, vorzugsweise klassifiziert nach Spezies und Größe der Fische, Chlorophyllgehalt, Zooplankton, Fischlarven, Quallen, Wassertrübung und/oder andere relevante abiotische Prozesse erfasst werden.Overall, the sensor device or the environmental data generated by it thus enable the generation of statistical data relating to the entire underwater ecosystem, since at the same time the fish abundance, preferably classified according to the species and size of the fish, chlorophyll content, zooplankton, fish larvae, jellyfish, water turbidity and / or other relevant abiotic processes are recorded.

Dabei ist es denkbar, dass in einem System zur Datenerfassung nur ein Teil der Vorrichtungen mit einer Sensoreinrichtung ausgestattet ist. Dadurch kann z.B. die Größe bzw. das Gewicht einzelner Vorrichtungen gegenüber den mit einer Sensoreinrichtung ausgestatteten Vorrichtungen reduziert werden, so dass eine Montage an Unterwasserbauwerke möglich ist. Zumindest wird die Montage dadurch erleichtert.It is conceivable that in a system for data acquisition only part of the devices is equipped with a sensor device. This can e.g. the size or the weight of individual devices are reduced compared to the devices equipped with a sensor device, so that an installation on underwater structures is possible. At least the assembly is made easier.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, die erfassten maritimen Lebewesen auf Grundlage der Sonardaten und der Kameradaten zu Klassifizieren und die statistischen Daten, insbesondere separat, für jede ermittelte Klasse zu erzeugen. Beispielsweise kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die erfassten maritimen Lebewesen nach Spezies, Familie, Größe, Anzahl, Schwarmverhalten oder -form und/oder dergleichen einzuteilen. Dies ermöglicht das erzeugen einer besonders detaillierten und differenzierten Statistik bezüglich der Unterwasserfauna.In a further preferred embodiment, the data processing device is set up to classify the detected marine organisms on the basis of the sonar data and the camera data and to generate the statistical data, in particular separately, for each determined class. For example, the data processing device can be set up to divide the recorded marine life by species, family, size, number, swarm behavior or shape and / or the like. This enables the generation of particularly detailed and differentiated statistics regarding the underwater fauna.

Datenverarbeitungseinrichtung ist dabei vorzugsweise dazu eingerichtet, die erfassten maritimen Lebewesen auf Grundlage von durch maschinelles Lernen gewonnenen Regeln und/oder Daten zu klassifizieren. Die Datenverarbeitungseinrichtung kann zu diesem Zweck beispielsweise Weise als künstliches neuronales Netz, z.B. als ein faltendes neuronales Netz (convolutional neural network, CNN) eingerichtet sein oder ein solches aufweisen, das z.B. durch ein deep-learning-Verfahren trainiert ist oder wird.The data processing device is preferably set up to classify the detected marine life on the basis of rules and / or data obtained by machine learning. For this purpose, the data processing device can, for example, be an artificial neural network, e.g. be set up as a convolutional neural network (CNN) or have one that e.g. is or will be trained through a deep learning process.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Zusammenhang mit den Figuren. Es zeigen:

1 ein beispielhaftes Blockschaltbild einer Vorrichtung zur Datenanalyse; und
2 ein Beispiel für Verfahren zur Datenanalyse.

Further advantages, features and possible uses of the present invention result from the following description in connection with the figures. Show it:

1 an exemplary block diagram of a device for data analysis; and
2nd an example of methods for data analysis.

1 zeigt ein beispielhaftes Blockschaltbild einer Vorrichtung 1 zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen 2, mit einer Sonareinrichtung 3, einer Kameraeinrichtung 4 und einer Sensoreinrichtung 8. Sämtliche Daten, die beim Erfassen wenigstens eines maritimen Lebewesens 2 erzeugt werden, werden von einer Datenverarbeitungseinrichtung 5 verarbeitet und bevorzugt in standardisierter Form gespeichert und/oder über eine Kommunikationseinrichtung 11, z.B. an ein Kontrollzentrum, übermittelt. Eine Trägereinrichtung 6 nimmt sämtliche Bauteile der Vorrichtung 1 auf. Im gezeigten Beispiel verfügt sie über eine Antriebseinrichtung 9 und eine Steuerungseinrichtung 7, die mit der Datenverarbeitungseinrichtung 5 und der Kommunikationseinrichtung 11 koppelbar ist. 1 shows an exemplary block diagram of a device 1 for data analysis, especially for the determination of stocks of marine life 2nd , with a sonar device 3rd , a camera device 4th and a sensor device 8th . All data that is required when recording at least one marine life 2nd are generated by a data processing device 5 processed and preferably stored in a standardized form and / or via a communication device 11 , for example to a control center. A carrier device 6 takes all the components of the device 1 on. In the example shown, it has a drive device 9 and a control device 7 with the data processing device 5 and the communication device 11 can be coupled.

2 zeigt beispielhaft Verfahrensschritte S1 bis S3 für mögliche Abläufe in einem Verfahren 100 zur Datenanalyse, insbesondere zur Ermittlung von Beständen maritimer Lebewesen. 2nd shows exemplary process steps S1 to S3 for possible processes in one process 100 for data analysis, especially for the determination of stocks of marine life.

BezugszeichenlisteReference list

11: Vorrichtungcontraption
22nd: maritime Lebewesenmaritime beings
33rd: SonareinrichtungSonar equipment
44th: KameraeinrichtungCamera setup
55: DatenverarbeitungseinrichtungData processing device
66: TrägereinrichtungCarrier device
77: SteuerungseinrichtungControl device
88th: SensoreinrichtungSensor device
99: Antriebseinrichtung Drive device
100100: Verfahren method
S1-S3S1-S3: VerfahrensschritteProcedural steps

Claims

Device (1) for data analysis, in particular for determining stocks of marine life (2), with a sonar device (3) which is set up to acoustically detect marine life underwater in a sonar detection area and to generate corresponding sonar data, a camera device (4), which is set up to optically detect marine life under water in a camera detection area and to generate corresponding camera data, a data processing device (5), which is set up to automatically detect maritime beings in a combined detection area, which contains at least the sonar detection area and the camera detection area, on the basis of rules and / or data obtained by machine learning and corresponding sonar data and camera data classify, and a carrier device (6) which is set up to carry the sonar device, the camera device and the data processing device when the device is moving underwater and / or to support it on the seabed and / or on an underwater structure.

Device after Claim 1 , wherein the data processing device is set up to classify the detected marine organisms with respect to at least one of the following features: species, in particular family; -Number; -Dimension; -Distance; Trajectory; and / or dynamics.

Device according to one of the Claims 1 or 2nd , wherein the data processing device is set up to correct the sonar data and the camera data on the basis of the rules and / or data obtained by machine learning.

Device according to one of the preceding claims, wherein the data processing device is set up to fuse the sonar data and the camera data to classify the detected marine organisms.

Device according to one of the preceding claims, wherein the data processing device is set up to prepare the sonar data and / or the camera data, in particular before the fusion.

Device after Claim 5 , wherein the data processing device is set up to filter, sonarize and / or binarize the sonar data.

Device after Claim 6 , wherein the data processing device is set up to form a sonar data mean value from generated sonar data and to determine an adaptive threshold value based on the formed sonar data mean value and the generated sonar data when segmenting the sonar data and to binarize the sonar data on the basis of the adaptive threshold value.

Device according to one of the preceding claims with a control device (7), which is set up to control the sonar device and camera device in different detection operating modes.

Device after Claim 8 , wherein the control device is set up to operate the sonar device and the camera device essentially continuously in a first detection operating mode, to operate the sonar device essentially continuously in a second detection operating mode and to operate the camera device only when the sonar device is a marine being and, or / to operate the sonar device and the camera device in a third detection operating mode essentially cyclically.

Device according to one of the preceding claims with a sensor device (8) which is set up to record ambient conditions and to generate corresponding ambient data, the data processing device being set up to take the ambient data into account in the classification.

Method (100) for data analysis, in particular for determining stocks of maritime organisms (2), with the steps -acoustic detection (S1) of marine organisms under water by means of a sonar device (3) in a sonar detection area and generation of corresponding sonar data, -optical detection ( S2) of marine life under water by means of a camera device (4) in a camera detection area and generation of corresponding camera data, and automatic classification (S3) of the marine life detected in a combined detection area, which contains at least the sonar detection area and the camera detection area, on the basis of: machine learning obtained rules and / or data as well as corresponding sonar data and camera data.