-
Die Erfindung betrifft ein System zur automatischen Erfassung und Bestimmung von sich bewegenden Objekten.
-
Es sind Bildaufnahmeeinrichtungen bekannt, die automatisch auslösen und damit einen selektiven Datenerfassungsprozess starten, wenn sich ein Objekt wie beispielsweise ein Wirbeltier im Aufnahmebereich einer Kamera befindet wie beispielsweise Kamerafallen. Die Datenerfassung ist dabei nicht auf Bilddaten beschränkt und kann um beliebige Daten erweitert werden, wie beispielsweise die Temperatur, die Uhrzeit und das Datum sowie die Luftfeuchtigkeit.
-
Für größere Objekte werden hierfür häufig Bewegungsmelder eingesetzt, welche nur in Gegenwart einer deutlich erkennbaren Bewegung des Objekts auslösen, da dies einer flächenmäßig signifikanten Änderung im Aufnahmebereich der Kamera entspricht. Konventionelle Bildaufnahmeeinrichtungen nutzen typischerweise einen Infrarot-Bewegungssensor, um Objekte im Sichtfeld der Kamera zu erfassen. Dieser auf dynamische Änderungen basierende Mechanismus eignet sich jedoch nicht für kleinere Objekten wie Insekten oder kleinere Wirbeltiere. Viele Insekten sind sehr klein und die von ihnen verursachte Dynamik im Aufnahmebereich reicht für eine zuverlässige Detektion nicht aus, da die verwendeten Bewegungsmelder nicht sehr empfindlich sind und ein schlechtes Signal-Rausch-Verhältnis aufweisen. Zudem kann nicht nur durch kleine Objekte wie beispielsweise Insekten eine Dynamik im Aufnahmebereich verursacht werden, sondern auch durch jegliche andere, nicht relevante Hintergrundbewegung wie windinduzierte Pflanzenbewegungen. Es wird daher zwischen einer objektinduzierten Dynamik und einer Hintergrunddynamik bei einer Aufnahmeszene unterschieden.
-
Konventionelle Kamerafallen sind daher nicht zur visuellen Erfassung von Insekten geeignet, da Bewegungsmelder kleine Objekte wie Insekten nicht zuverlässig detektieren können. Außerdem können derartige Detektoren Tierbewegungen nicht von durch Wind verursachte Pflanzenbewegungen unterscheiden. Dies ist jedoch für Bildaufnahmeeinrichtungen für Insekten wichtig, da Insekten von Pflanzen ihre Nährstoffe beziehen und daher Bildaufnahmeeinrichtungen in der Nähe von Pflanzen wie beispielsweise Blütenstauden platziert werden.
-
Ein automatischer und selektiver Auslösemechanismus ist jedoch insbesondere für das Erfassen von kleinen Tieren erforderlich, um unnötig große Datenmengen zu vermeiden und eine explizite Sichtung der im allgemeinen seltenen Besuchsereignisse im Vergleich zu den reinen Hintergrundaufnahmen ohne Besucher zu verhindern.
-
Des Weiteren kann die Eintrittsgeschwindigkeit eines Insekts in den Aufnahmebereich der Kamera sowohl sehr langsam, wie beispielsweise bei einer Schnecke, oder auch sehr schnell, wie bei Fliegen mit Geschwindigkeiten von bis zu 25km/h, erfolgen, so dass konventionelle Bewegungsmelder diese Dynamik entweder nicht als Bewegung wahrnehmen oder übersehen. Auch können Insekten über längere Zeit unbewegt im Bild verweilen wie beispielsweise zur Nahrungsaufnahme, sodass Auslösesysteme, welche nur dynamische Veränderungen berücksichtigen, keine lückenlose Erfassung ermöglichen.
-
Im Unterschied zu großen Wirbeltieren gibt es daher derzeit für Insekten keine spezifischen Bildaufnahmevorrichtungen. Insektenpopulationen werden deshalb auf andere Art erfasst. Die am häufigsten benutzte, jedoch zeitintensive Methode ist das aktive Fangen von Insekten, insbesondere mit einem Netz, und das anschließende Sichten des Inhalts. Des Weiteren sind Klebefallen, Malaisfallen und Lichtfallen bekannt. Die in solchen Todfallen gefangenen Insekten werden anschließend in der Regel manuell ausgewertet. Eine weitere Methode ist der Einsatz von wetterfesten Aktionskameras (engl.: action camera) vor zuvor präparierten Pflanzen, die kontinuierlich gefilmt werden. Anschließend wird das Filmmaterial ausgewertet und die Bilder mit Insekten werden identifiziert.
-
Dabei muss analog zu Kamerafallen für größere Objekte der automatische Auslösemechanismus sowohl für verschiedene Beleuchtungssituationen wie Tag und Nacht als auch für unterschiedliche Witterungsbedingungen einsetzbar sein.
-
Davon ausgehend ist es die Aufgabe der Erfindung, ein System zur Verfügung zu stellen, mit dem eine zuverlässige und effiziente Erfassung von sich autonom bewegenden Objekten, insbesondere von Insekten, in einem Aufnahmebereich möglich ist.
-
Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 gelöst. Bevorzugte Weiterbildungen finden sich in den Unteransprüchen.
-
Die Erfindung betrifft ein System zur automatischen Erfassung und Bestimmung von sich bewegenden Objekten, wobei sich wenigstens ein Objekt ganz oder teilweise in dem Aufnahmebereich befindet. Das System umfasst eine Beleuchtungseinrichtung zur wenigstens teilweisen Beleuchtung des Aufnahmebereiches, wobei eine kontinuierliche oder zeitlich limitierte oder gepulste Beleuchtung vorgesehen ist. Des Weiteren ist eine Sensoreinrichtung zur Erfassung von akustischen Signalen und/oder Vibrationssignalen und/oder chemischen Signalen und/oder elektrischen Signalen in dem Aufnahmebereich vorgesehen. Außerdem umfasst das System eine optische Aufnahmeeinrichtung zur Erfassung von Bildern und/oder optischen Signalen in dem Aufnahmebereich. Des Weiteren ist eine Bewegungserfassungseinrichtung zur Detektion von Bewegungen des Objekts in dem Aufnahmebereich vorgesehen. Das System umfasst zudem einen Prozessor mit einer zugeordneten Speichereinrichtung zur Steuerung der Beleuchtungseinrichtung, der Sensoreinrichtung, der optischen Aufnahmeeinrichtung und der Bewegungserfassungseinrichtung und zum Speichern der Daten der von der Beleuchtungseinrichtung, der Sensoreinrichtung, der optischen Aufnahmeeinrichtung und der Bewegungserfassungseinrichtung erfassten und gemessenen Messsignale und Bilder. Eine Softwareapplikation ist vorgesehen zur Bearbeitung der erfassten und/oder gespeicherten Daten, wobei die Softwareapplikation ausgebildet ist, die erfassten Daten zu analysieren und zu erkennen, ob sich das Objekt ganz oder teilweise in dem Aufnahmebereich befindet.
-
In einer vorteilhaften Weiterentwicklung handelt es sich bei dem sich autonom bewegenden Objekt um ein Insekt.
-
Mit der vorliegenden Erfindung ist automatische Erfassung von Insekten in ihrer natürlichen Umgebung sowie eine automatische Artenerkennung der jeweiligen Insektenart sowie eine Vorsortierung der aufgenommenen Insektenbilder möglich, wobei die Insekten lebend detektiert werden. Es ist eine selektive Bilderfassung und Bildspeicherung möglich, wenn sich ein Insekt im Sichtfeld der optischen Aufnahmeeinrichtung befindet. Bilder, die kein Insekt enthalten, werden nicht aufgenommen und/oder nicht gespeichert. Durch eine verbesserte Datenverarbeitung ist zudem eine höhere Bildqualität und damit verbesserte Datenanalyse ermöglicht. Hierdurch kann die Datenlage verbessert werden, wodurch die Möglichkeit geschaffen ist, insbesondere dem Insektensterben besser entgegenwirken zu können. Ein zentrales Einsatzgebiet der automatisierten Erfassung ist die in Echtzeit erfolgende Benachrichtigung beispielsweise von Landwirten, um den Einsatz beispielsweise von Insektenvernichtungsmitteln gezielt zu ermöglichen. Denkbar ist eine Softwareapplikation, auf die beispielsweise ein Landwirt mittels eines mobilen Kommunikationsgerätes zugreifen kann und über die er über die Insektenpopulationen auf seinen Feldern informiert wird. Auch eröffnen sich hierdurch neue Forschungsmöglichkeiten für Studien zum Insektenverhalten. Ferner hilft die quantitative Erfassung von Insektenpopulationen in der Lebensmittelproduktion wie beispielsweise bei bestäubungsabhängigen Pflanzen wie Apfelbäume und beim Einsatz von Nutzinsekten wie beispielsweise in der Honigproduktion. Da zudem verschiedene Krankheiten von Insekten übertragen werden können, wie beispielsweise Malaria, kann die vorliegende Erfindung auch für Präventionsmaßnahmen eingesetzt werden. Ein anderes Einsatzgebiet sind Insektenplagen wie beispielsweise durch Heuschrecken, die in einigen Gebieten immer wieder vorkommen. Hier ist ein kontinuierliches Monitoring erforderlich, um eine Insektenausbreitung frühzeitig vorhersagen zu können. Allgemein kann die vorliegende Erfindung für Fragestellungen in der Epidemiologie hilfreich sein.
-
Vorteilhafterweise ist ein autonomes Energieversorgungssystem für die Beleuchtungseinrichtung, die Sensoreinrichtung, die optische Aufnahmeeinrichtung und die Bewegungserfassungseinrichtung sowie den Prozessor vorgesehen.
-
Insbesondere umfasst die Beleuchtungseinrichtung Beleuchtungsmittel im sichtbaren Bereich, im ultravioletten Bereich und im infraroten Bereich, die ausgebildet sind, Licht als Lichtpuls und/oder kontinuierliche Beleuchtung mit unterschiedlichen Lichtintensitäten abzugeben und den Aufnahmebereich homogen oder selektiv auszuleuchten. Auch kann der gezielte Einsatz von Polarisationseigenschaften des Lichtes bei der Erkennung von Insekten helfen, beispielsweise mittels einer linear polarisierten oder minimal polarisierten Beleuchtung.
-
In einer bevorzugten Ausgestaltung umfasst die Sensoreinrichtung zur Erfassung von akustischen Signalen und/oder Vibrationssignalen zumindest ein Richtmikrophon und/oder zumindest einen Ultraschallsensor und/oder einen Vibrationssensor, insbesondere in einem Frequenzband von 1 Hz bis 8000 Hz.
-
In einer weiteren Ausgestaltung umfasst die optische Aufnahmeeinrichtung eine RGB-Kamera im sichtbaren Bereich und/oder eine UV-Kamera im ultravioletten Bereich und/oder eine IR-Kamera im infraroten Bereich und/oder eine Polarisationskamera und/oder eine Tiefenkamera mit geeigneter Tiefenschärfe.
-
Vorteilhafterweise umfasst die Bewegungserfassungseinrichtung zumindest einen dynamischen Bildsensor und/oder einen Detektor zur Erfassung des optischen Flusses und/oder Bewegungsmelder und/oder eine Analyseeinrichtung zur Analyse einer Bildaufnahmeserie der optische Aufnahmeeinrichtung.
-
In einer weiteren Ausgestaltung werden die erfassten und verarbeiteten Daten und Bilder an ein User-Interface und/oder an eine zentrale Datenverarbeitungseinrichtung und/oder an ein Cloud-Computingsystem weitergegeben zur weiteren Datenspeicherung und Datenanalyse.
-
Insbesondere weist das User-Interface eine GPS-Verbindung und/oder einer Mobilfunkverbindung auf. Hierdurch ist eine geographische Standortbestimmung sowie eine Echtzeitübertragungsmöglichkeit von Informationen möglich, um automatisch Statusmeldungen und/oder Benachrichtigungen über spezifische Ereignisse vorzunehmen, beispielsweise bei einem Schädlingsbefall.
-
In einer Weiterentwicklung der Erfindung ist vorgesehen, dass die Softwareappliaktion einen Klassifikator aufweist, der Merkmale m1, m2, ..., mN des Objekts enthält.
-
Insbesondere ist vorgesehen, dass die Softwarenapplikation die erfassten Daten mittels Algorithmen der künstlichen Intelligenz bearbeitet, um die erfassten Objekte zu selektieren und zu klassifizieren.
-
In einer weiteren Ausgestaltung verwendet die Softwareapplikation Algorithmen aus dem Bereich des Maschinenlernens, vorzugsweise Deep Learning mit beispielsweise konvolutionalen neuronalen Netzwerken (convolutional neural networks).
-
Insbesondere ist die Aufnahmefrequenz der optischen Aufnahmeeinrichtung an die Bewegungs- und Besuchsgeschwindigkeit des Objekts in dem Aufnahmebereich angepasst.
-
In einer weiteren Ausgestaltung ist vorgesehen, dass wenigstens einer der folgenden Parameter für die Steuerung der Sensoren und Erfassungseinrichtungen verwendet wird: Windgeschwindigkeit, Helligkeit, Temperatur, Luftdruck und Luftfeuchtigkeit sowie geographische Koordinaten (GPS).
-
Nachfolgend wir die Erfindung anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen weiter im Detail erläutert.
-
Figurenliste
-
- 1 schematisch ein Ausführungsbeispiel eines erfindungsgemäßen Systems zur Bestimmung und Erfassung von autonom sich bewegenden Objekten.
-
In 1 ist schematisch ein System 100 zur Erfassung und Bestimmung von sich autonom bewegenden Objekten 10 in einem dreidimensionalen Aufnahmebereich 20 dargestellt. Bei den Objekten 10 handelt es sich vorzugsweise um Insekten, die die artenreichste Klasse der Tiere darstellen. Es kann sich aber auch um Spinnentiere oder kleine Wirbeltiere wie Mäuse handeln. Die Größe der Insekten variiert sehr stark und liegt bei den meisten Arten zwischen einem und 20 Millimetern. Allen Insekten gemeinsam ist ein Exoskelett aus dem verfestigenden Strukturprotein Sklerotin und dem Polysaccharid Chitin sowie die anatomisch meist deutlich sichtbare Gliederung in die drei Abschnitte Kopf, Brust (Thorax) und Hinterleib sowie das Vorhandensein von genau drei Beinpaaren. Alle Körperteile bestehen aus einzelnen Segmenten, die eine Rückenplatte, eine Bauchplatte sowie Seitenplatten aufweisen. Der Thorax trägt die sechs Beine (drei Paare). Das Exoskelett bildet verschiedene Oberflächenstrukturen aus, zu denen Warzen, Domen, Haare, Borsten, Schuppen und Höcker gehören. Durch die Einlagerung von Farbstoffen (Pigmentfarben) oder aufgrund spezieller lichtbrechender Oberflächen können die Außenschicht des Insekts oder einzelne Körperteile gefärbt sein. Als Sinnesorgane dienen vor allem Haarsensillen, die über den Körper verteilt sind. Diese reagieren auf Erschütterungen und Schwingungen, können jedoch auch Gerüche, Feuchtigkeit oder Temperaturen wahrnehmen. Als optische Sinnesorgane dienen die Facettenaugen.
-
Bei dem Aufnahmebereich 20 handelt es sich vorzugsweise um eine natürliche oder auch präparierte Umgebung der Insekten vorzugsweise im Außenbereich wie beispielsweise eine Obstwiese. Das erfindungsgemäße System 100 umfasst eine Beleuchtungseinrichtung 30 zur wenigstens teilweisen Beleuchtung des Aufnahmebereiches 20. Die Beleuchtung kann kontinuierlich oder zeitlich limitiert oder gepulst erfolgen, auch in Abhängigkeit von den Witterungsbedingungen in dem Aufnahmebereich 20. Die Beleuchtungseinrichtung 30 umfasst Beleuchtungsmittel im sichtbaren Bereich 31, im ultravioletten Bereich 33 und im infraroten Bereich 35, die jeweils ausgebildet sind, Licht als Lichtpuls und/oder eine kontinuierliche Beleuchtung mit unterschiedlichen Lichtintensitäten abzugeben und den Aufnahmebereich 20 homogen oder selektiv auszuleuchten. Da Insekten wie beispielsweise Bienen ultraviolettes Licht wahrnehmen können, ist das Beleuchtungsmittel 33 im ultravioletten Wellenlängenbereich vorgesehen. Durch das UV-Licht können Insekten angelockt werden, was insbesondere für nachtaktive Insekten interessant ist. Für die Aufnahme von nachtaktiven Insekten 10 sind zudem spezifische Infrarot-Makroring-Blitze im Nahbereich erforderlich, da durch schattenreduzierende Beleuchtungstechniken mit integrierten Infrarotbeleuchtungen nachtaktive Insekten 10 erfasst werden können.
-
Um akustische Signale und/oder Vibrationssignale und/oder chemische Signale und/oder elektrische Signale eines oder mehrerer Insekten 10 oder von Umgebungsobjekten in dem Aufnahmebereich 20 zu erfassen, ist des Weiteren eine Sensoreinrichtung 40 vorgesehen. Diese Sensoreinrichtung 40 zur Erfassung von akustischen Signalen und/oder Vibrationssignalen umfasst vorteilhaftweise zumindest ein Richtmikrophon 41 und/oder zumindest einen Ultraschallsensor 43 und/oder einen Vibrationssensor 45, insbesondere in einem Frequenzband von 1 Hz bis 8000 Hz. Durch das Richtmikrophon 41 können zusätzliche akustische Daten erfasst werden, welche sowohl bei der Artbestimmung als für das automatische Auslösen einer Kamera bedeutsam sind. So können durch das Richtmikrophon 41 die für Insekten charakteristischen hochfrequenten Fluggeräusche aufgenommen werden. Darüber hinaus können Verfahren der differentiellen Signalverarbeitung verwendet werden, um Hintergrundgeräusche gezielt auszublenden. Dabei können auch zusätzliche Mikrophone eingesetzt werden, die Signale zum Auslöschen oder Vermindern der Hintergrundgeräusche abstrahlen.
-
Eine optische Aufnahmeeinrichtung 50 erfasst Bilder und/oder optischen Signalen in dem Aufnahmebereich 20. Die optische Aufnahmeeinrichtung 50 umfasst eine RGB-Kamera 51 im sichtbaren Bereich und/oder eine UV-Kamera 53 im ultravioletten Bereich und/oder eine IR-Kamera 55 im infraroten Bereich und/oder eine Polarisationskamera 57 und/oder eine Tiefenkamera 59 mit einer hohen Tiefenschärfe. Die sich durch ihr Aufnahmespektrum unterscheidenden Kameras 51, 53, 55, 57 können somit die unterschiedlichen Beleuchtungssituationen des Aufnahmeraums 20 durch die verschiedenen Lichtquellen, die ultraviolettes, infrarotes und polarisiertes Licht aussenden, abbilden. Insekten 10 können aufgrund ihres Facettenauges ultraviolettes Licht wahrnehmen und UV-Licht als auch polarisiertes Licht wird von Insekten daher anders als beispielsweise von Wirbeltieren reflektiert. Dies gilt insbesondere für Pigmenteinlagerungen an ihrer Oberfläche. Daher können insbesondere Aufnahmen im UV-Bereich des Lichtspektrums zu einer Erkennung von Insekten 10 auf einem Bild beitragen, so dass die Selektion der relevanten Bilder verbessert werden kann. Zudem wird auch die Klassifizierung erleichtert, da Eigenschaften von Insekten 10, die nur auf einem Bild im UV-Bereich erkennbar sind, die Zuordnung zu einer bestimmten Insektenart erleichtern können.
-
Die Aufnahmefrequenz der optischen Aufnahmeeinrichtung 50 bzw. der verschiedenen Komponenten 51, 53, 55, 57, ist dabei an die Bewegungs- und Besuchsgeschwindigkeit der Insekten 10 in dem Aufnahmebereich 20 angepasst, da diese Geschwindigkeiten in der Regel deutlich höher sind als beispielsweise bei Wirbeltieren. Aufgrund der schnellen Flugbewegungen von Insekten 10 ist die optische Aufnahmeeinrichtung 50 daher ausgebildet, Bilder mit einer hohen Bildaufnahmefrequenz aufzunehmen.
-
Da die optische Erfassung von kleinsten Insekten 10 spezifische Aufnahmetechniken erfordert, sind die Kameras 51, 53, 55, 57 derart ausgebildet, dass sie die Bilder im Makrofokus-Modus aufnehmen. Konventionelle Kameras sind für die Bildaufnahme von Insekten 10 nicht geeignet, da in der Regel der Fokus dieser Kameras auf den Unendlichkeitsbereich eingestellt ist. Zur Detektion und Bildaufnahme von Insekten 10 wird jedoch ein Makrofokus benötigen, dessen Tiefenschärfe allerdings einschränkt ist.
-
Um die Tiefenschärfe der Makrofokus-Aufnahmen weiter zu optimieren, kann die Brenizer Methode eingesetzt werden. Hierbei werden mehrere Bildaufnahmen mit einer variierenden Tiefenschärfe, welche mit einer hohen Bildaufnahmefrequenz aufgenommen werden, zusammengeführt. Dies führt zu einer Verbreiterung und damit Verbesserung der Tiefenschärfe. Hierdurch kann dann auch eine ungefähre Tiefenbestimmung durchgeführt werden. Zudem ist eine hohe Bildaufnahmefrequenz erforderlich für eine eindeutige Erfassung von Insekten 10, da durch deren Bewegung Artefakte entstehen können, die hierdurch ausgeschlossen werden können.
-
Die optische Aufnahmeeinrichtung 50 bzw. ihre Komponenten 51, 53, 55, 57 ist somit mit einer Optik versehen, die bei einer kleinen Brennweite gleichzeitig eine hohe Tiefenschärfe aufweist, so dass sie für die Erfassung von Kleinstlebewesen wie kleinen Insekten 10 besonders gut geeignet ist. Insbesondere können mit der optischen Aufnahmeeinrichtung 50 beispielsweise eine Bildserie mit 40 Bildern jeweils mit einer variierenden Tiefenschärfeneinstellung aufgenommen werden, um eine durch eine Makrofokus-Optik eingeschränkte Tiefenschärfe zu kompensieren.
-
Außerdem ist eine Bewegungserfassungseinrichtung 60 zur Detektion von Bewegungen der Insekten 10 in dem Aufnahmebereich 20 vorgesehen. Die Bewegungserfassungseinrichtung 60 umfasst zumindest einen dynamischen Bildsensor 61 und/oder einen Detektor 63 zur Erfassung des optischen Flusses und/oder einen Bewegungsmelder 65 und/oder eine Analyseeinrichtung 67 zur Analyse einer Bildaufnahmeserie der optische Aufnahmeeinrichtung.
-
Für die Steuerung der Sensoren und der Erfassungseinrichtungen 40, 50, 60 aber auch die Bildanalyse sind insbesondere die Windgeschwindigkeit, die Helligkeit, die Temperatur, der Luftdruck und die Luftfeuchtigkeit im Aufnahmebereich 20 von Bedeutung. Diese Parameter werden mit weiteren Sensoren 140 erfasst und von dem Prozessor 70 verarbeitet.
-
Die Betriebszeit des erfindungsgemäßen Systems 100 ist vorteilhafterweise für eine lange Zeitdauer ausgelegt, um das Verhalten der Insekten 10 über einen längeren Zeitraum unter gleichen Bedingungen beobachten zu können. Des Weiteren ist das System 100 für den Außeneinsatz geeignet und die Beleuchtungseinrichtung 30, die Sensoreinrichtung 40, die Bewegungserfassungseinrichtung 60 sind entsprechend mit Schutzmaterial gegen Temperaturschwankungen und Feuchtigkeit ausgestattet.
-
Ein Prozessor 70 mit einer zugeordneten Speichereinrichtung 80 ist für die Steuerung der Beleuchtungseinrichtung 30, der Sensoreinrichtung 40, der optischen Aufnahmeeinrichtung 50 und der Bewegungserfassungseinrichtung 60 und zum Speichern der Daten der von der Beleuchtungseinrichtung 30, der Sensoreinrichtung 40, der optischen Aufnahmeeinrichtung 50 und der Bewegungserfassungseinrichtung 60 erfassten und gemessenen Messsignale und Bilder ausgebildet. Des Weiteren ist eine Softwareapplikation 90 zur Bearbeitung der erfassten und/oder gespeicherten Daten vorgesehen. Die Softwareapplikation 90 ist ausgebildet, die erfassten Daten zu analysieren und zu erkennen, ob sich ein Insekt 10 ganz oder teilweise in dem Aufnahmebereich 20 befindet. Die erfassten und verarbeiteten Daten und Bilder werden entweder auf einem User-Interface 150, das als Display mit einer Tastatur ausgebildet sein kann, und/oder an eine zentrale Datenverarbeitungseinrichtung und/oder an ein Cloud-Computingsystem weitergegeben zur weiteren Datenspeicherung und Datenanalyse. Das User-Interface 150 kann eine GPS-Verbindung aufweisen, um den geographischen Standort zu ermitteln. Des Weiteren kann eine Mobilfunkverbindung vorgesehen sein, um die Daten sowie Bilder mobil an externe Geräte weiterzugeben. Insbesondere ist hierdurch eine Echtzeitkommunikation mit Nutzern möglich, die sich entfernt von dem Aufnahmebereich aufhalten, aber an Informationen über Insektenbewegungen in dem Aufnahmebereich interessiert sind.
-
Des Weiteren weist das System 100 ein autonomes Energieversorgungssystem 120 für die Beleuchtungseinrichtung 30, die Sensoreinrichtung 40, die optische Aufnahmeeinrichtung 50 und die Bewegungserfassungseinrichtung 60 sowie den Prozessor 70 auf, damit das erfindungsgemäße System 100 für einen möglichst langen Feldeinsatz geeignet ist. Insbesondere werden Hochleistungsbatterien und Sonnenkollektoren für die Energieerzeugung verwendet.
-
Die Softwareapplikation 90 weist vorzugsweise einen Klassifikator 91 auf, der Merkmale ml, m2, ..., mN von Insekten 10 enthält. Damit ist eine Klassifizierung der erfassten Lebewesen 10 und eine Zuordnung zu den jeweiligen Tierarten bzw. Tiergattungen möglich. Dabei kann die Insektenklassifizierung wiederum die Selektion von nicht benötigten Bildern, auf denen entweder kein Insekt oder kein passendes Lebewesen abgebildet ist, vereinfachen. Bei den Merkmalen m1, m2, ..., mN kann es sich beispielsweise um akustische und visuelle Informationen handeln. So erzeugen fliegende Insekten spezifische akustische Signale, die häufig im hochfrequenten Bereich liegen. Zudem weisen visuelle Informationen in Bezug auf Farbe, Form und Textur bei vielen Insekten ein charakteristisches Muster auf.
-
Insbesondere bearbeitet die Softwarenapplikation 90 die erfassten Daten mittels Algorithmen der künstlichen Intelligenz und der maschinellen Bildanalyse, um die erfassten Insekten 10 zu selektieren und zu klassifizieren. Für die Insektenartenklassifikation können dabei verschiedene Bildanalysealgorithmen eingesetzt werden. Vorteilhaftweise verwendet die Softwareapplikation 90 Algorithmen aus dem Bereich des Maschinenlernens, vorzugsweise Deep Learning mit beispielsweise konvolutionalen neuronalen Netzwerken (engl.: convolutional neural networks) zur Analyse der erfassten Daten und zur Bildanalyse, um insbesondere eine Klassifizierung der erfassten Insekten vorzunehmen.
-
Die vorliegende Erfindung beruht somit auf einer Kombination von Hardwarekomponenten und Software. Dabei werden Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und maschinellen Bildanalyse verwendet. Die erfassten Sensordaten werden in Echtzeit mittels KI ausgewertet und ermöglichen hierdurch eine Selektion der erfassten Sensordaten. Der KI-Ansatz basiert auf dem Klassifikator 91, der mit Insektenbildern und Merkmalen m1, m2, ..., mN vortrainiert wird. Durch das Training kann der Klassifikator 91 die Anwesenheit eines Insekts 10 im Sichtfeld der optischen Aufnahmeeinrichtung 50 bzw. einer Kamera 51, 53, 55, 57 zuverlässig bestimmen. Um dies in Echtzeit zu ermöglichen, wird insbesondere für den Prozessor 70 eine KI-Hardwarebeschleunigung wie das Google Coral Dev Board verwendet, welches einen Mikrocomputer mit einer Tensorverarbeitungseinheit (engl.: tensor processing unit (TPU)) verbindet. Mittels der Tensorverarbeitungseinheit kann der vortrainierte Klassifikator 91 von bis zu 70 Bilder pro Sekunde auswerten.
-
Mit der vorliegenden Erfindung ist somit die automatische Erfassung von Insekten 10 in ihrer natürlichen Umgebung, eine automatische Artenerkennung der jeweiligen Insektenart sowie eine Vorsortierung der aufgenommenen Insektenbilder möglich. Durch eine Softwareapplikation, die einen Klassifikator 91 enthält, ist eine selektive Bilderfassung und Bildspeicherung möglich, wenn sich ein Insekt 10 im Sichtfeld der optischen Aufnahmeeinrichtung 50 befindet. Bilder, die kein Insekt 10 enthalten, werden nicht aufgenommen und/oder nicht gespeichert.
-
Erfindungsgemäß besteht zwischen der Bilddatenselektion und den Artenklassifizierung ein Zusammenhang, da ein hoher Wert bei einer Artenklassifizierung einer hohen Wahrscheinlichkeit für die Präsenz eines Insekts 10 auf einem Bild entspricht. Hierdurch können falsch-positive Bilder, auf denen kein Insekt 10 abgebildet ist, besser aussortiert werden.
-
Zudem kann eine grobe Einordnung der Insekten 10 in Klassen wie ein Fluginsekt und ein Nicht-Fluginsekt durch die aufgenommenen akustischen Signale vorgenommen werden, was die Klassifizierung insgesamt erleichtert.
-
Des Weiteren ist eine Kalibrierungsroutine vorgesehen, um das erfindungsgemäße System 100 bei einem Einsatz jeweils an eine spezifische Umgebung anzupassen. So kann der Aufnahmebereich 20 ohne ein Objekt 10 aufgenommen werden, um diesen für die weitere Bildverarbeitung festzulegen.
-
Durch das erfindungsgemäße System 100 zur Erfassung und Bestimmung von kleinen Objekten 10 werden in einem Aufnahmebereich 20, der eine komplexe Szene darstellen kann, zeitliche Veränderungen (Dynamik), akustische Signale und visuelle Informationen bei verschiedenen Wellenlängen, insbesondere im infraroten und ultravioletten Bereich, erfasst. Dieses multimodale Informationsspektrum wird erfindungsgemäß in Echtzeit ausgewertet, um eine zeitlich synchronisierte Erfassung von Objekten 10 im Aufnahmebereich 20 zu ermöglichen. Ferner deckt der selektive Auslösemechanismus des Systems 100 ein möglichst breites Spektrum von Objekten 10 ab, da Insekten die artenreichste Tierklasse darstellen. Durch die vorliegende Erfindung ist somit sowohl eine visuelle als auch eine akustische Datenerfassung sowie eine schnelle Auswertung mittels Verfahren der künstlichen Intelligenz ermöglicht. Dabei können auch seltene Ereignisse sowie Anomalien erkannt werden.
-
Hierdurch ist eine automatische Erfassung von Insekten 10 und von Umgebungsparameter wie der Temperatur, der Feuchtigkeit, der Helligkeit, der Windgeschwindigkeit, etc. möglich. Dabei werden die Insekten lebend detektiert, was einen großen Vorteil gegenüber konventionellen Insektenfallen darstellt. Durch eine schnelle und präzise Datenverarbeitung ist eine hohe Bildqualität und damit verbesserte Datenanalyse ermöglicht. Hierdurch kann die Datenlage über Insekten hinsichtlich ihrer Population und Anzahl gesteigert werden. Auch eröffnen sich hierdurch neue Forschungsmöglichkeiten für Studien zum Insektenverhalten.
-
Durch die vorliegende Erfindung können somit Insekten 10 in ihrer natürlichen Umgebung und bei verschiedenen Umweltbedingungen automatisch erfasst werden. Dies ermöglicht eine flächendeckende Analyse des Insektenbestandes, die bisher schwierig zu erstellen war, aber für viele Fragestellungen eine hohe Bedeutung hat. Neben der automatischen Bilderfassung ist zudem eine Artenklassifizierung der Insekten möglich. Hierdurch kann die vorliegende Erfindung für die Bestimmung von Insektenpopulationsgrößen, die Bestimmung von spezifischen Insekten wie beispielsweise von Stechmücken, die Überwachung von Bestäubungsvorgängen, die Überwachung und Detektion von möglichem Schädlingsbefall bei Nutzpflanzen und die Erkennung von relevanten Verhaltensparametern von Insekten eingesetzt werden. Diese Erkenntnisse sind für eine Vielzahl von Branchen und Forschungsprojekten von Relevanz, beispielsweise für die Landwirtschaft, die Pharmaindustrie, die Medizin, den Tier- und Umweltschutz sowie biologische und ökologische Fragestellungen. Insbesondere im Rahmen der beobachteten Reduzierung des Insektenbestandes sind diese Daten von hohem Interesse. Da wiederum der Rückgang der Artenvielfalt und der Populationsgrößen auch mit dem Einsatz von Pestiziden in der Landwirtschaft zusammenhängt, kann durch eine frühzeitige Erkennung von schädlichen Insekten eine bedarfsorientierte Verwendung von Pestiziden erreicht werden, die sich an der tatsächlichen Situation orientiert. Bei Lebensmitteln wie Obst, die von der Bestäubung abhängig sind, kann die Ernte genauer vorhergesagt werden, da die Bestäubungseffizienz bekannt ist.
-
Die dieser Patentanmeldung zu Grunde liegende Erfindung entstand in einem Projekt, welches unter dem Förderkennzeichen 03EGSNW589 vom BMBF gefördert wurde.
-
Bezugszeichenliste
-
- 10
- Objekt, Insekt
- 20
- Aufnahmebereich
- 30
- Beleuchtungseinrichtung
- 31
- Beleuchtungsmittel im sichtbaren Bereich
- 33
- UV-Beleuchtungsmittel
- 35
- IR-Beleuchtungsmittel
- 40
- Sensoreinrichtung
- 41
- Richtmikrophon
- 43
- Ultraschallsensor
- 45
- Vibrationssensor
- 50
- optische Aufnahmeeinrichtung
- 51
- RGB-Kamera
- 53
- UV-Kamera
- 55
- IR-Kamera
- 57
- Polarisationskamera
- 60
- Bewegungserfassungseinrichtung
- 61
- Bildsensor
- 63
- Detektor für den optischen Fluss
- 65
- Bewegungsmelder
- 67
- Analyseeinrichtung
- 70
- Prozessor
- 80
- Speichereinrichtung
- 90
- Softwareapplikation
- 100
- System zur Erfassung und Bestimmung von Objekten
- 120
- Energieversorgungssystem
- 140
- Sensoren
- 150
- User-Interface
