DE102016225806A1

DE102016225806A1 - Verfahren zur Erfassung und Klassifizierung von Objekten

Info

Publication number: DE102016225806A1
Application number: DE102016225806.0A
Authority: DE
Inventors: Clemens Arth
Original assignee: Henkel AG and Co KGaA
Current assignee: Henkel AG and Co KGaA
Priority date: 2016-12-21
Filing date: 2016-12-21
Publication date: 2018-06-21
Also published as: US20180247162A1

Abstract

Es wird insbesondere ein Verfahren offenbart, das Verfahren umfassend:- erstes Erfassen von Informationen, wobei die ersten erfassten Informationen indikativ für ein zu überwachendes Areal sind;- Auswerten der ersten erfassten Informationen, wobei die ersten erfassten Informationen auf das Vorhandensein eines Objektes hin ausgewertet werden;- Spezifizieren von mindestens einem Parameter basierend auf dem Auswerten, wobei der mindestens eine spezifizierte Parameter indikativ für ein Erfassen des Objektes ist;- zweites Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter, wobei die zweiten erfassten Informationen indikativ für das Objekt sind; und- Ermitteln von mindestens einer Klassifizierungsinformation basierend auf den zweiten erfassten Informationen, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Objekts ist.

Description

Gebiet der Erfindung
Die Erfindung betrifft Verfahren und Vorrichtungen, mit welchen über ein erstes Erfassen von Informationen, welche indikativ für ein zu überwachendes Areal sind, das Vorhandensein eines Objekts detektiert werden kann. Ferner kann auf Basis mindestens eines spezifizierten Parameters ein zweites Erfassen von Informationen indikativ für das Objekt erfolgen und eine Klassifizierungsinformation ermittelt werden, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Objekts ist.
Hintergrund der Erfindung
Es ist bekannt, Informationen beispielsweise mittels einer Kamera zu erfassen und auf das Vorhandensein von Objekten hin zu untersuchen. Dies ist beispielsweise aus dem technischen Gebiet der Überwachungstechnik bekannt. Beispielsweise kann in den erfassten Informationen das Vorhandensein einer Person und/oder eines Objektes detektiert werden.
Ein Detektieren von kleineren Objekten, wie beispielsweise das Detektieren von Schädlingen, wird üblicherweise durch das menschliche Auge vorgenommen, indem beispielsweise eine Person in einem Areal einen Schädling erkennt und zum Beispiel eine entsprechende Maßnahme, wie eine Schädlingsbekämpfung veranlasst und/oder durchführt.
Ferner ist es bekannt, Systeme zur zumindest teilautomatischen Veranlassung von Schädlingsbekämpfungsmaßnahmen einzusetzen, die beispielsweise automatisch in regelmäßigen Zeitabständen eine vorbestimmte Menge einer Chemikalie innerhalb eines Areals freisetzen, wobei die Chemikalie zur Bekämpfung von Schädlingen bestimmt ist. Zudem können weitere Sensoren vorgesehen sein, die beispielsweise die bereits in dem Areal freigesetzte Menge der Chemikalie erfassen können und entsprechend eine weitere Freisetzung der Chemikalie zur Erzielung einer vorgegebenen Dosierung steuert.
Problematisch ist hierbei jedoch, dass derartige Systeme in der Regel nur auf eine bestimmte Schädlingsart abgestimmt sind, die im Vorfeld bekannt sein muss. Sind zum Beispiel zu einem späteren Zeitpunkt weitere Schädlingsarten in dem Areal vorhanden, die nicht mit der Chemikalie des Systems bekämpft werden können, müssen derartige Systeme mitunter aufwändig hinsichtlich der weiteren Schädlingsart umgebaut und/oder eingerichtet werden. Ferner ist es problematisch, dass die Schädlingsart mitunter nur schwer zu bestimmen ist, da zum einen zumindest ein Schädling in der Regel nur durch das menschliche Auge gesichtet werden muss und zum anderen anschließend die Schädlingsart bestimmt werden muss.
Zur effizienten und schnellen Bekämpfung von Schädlingen ist insbesondere eine sichere und schnelle Erkennung und Klassifizierung des Schädlings notwendig.
Allgemeine Beschreibung einiger beispielhafter Ausführungsformen der Erfindung
Vor dem Hintergrund des Standes der Technik ist es somit Aufgabe der Erfindung, die beschriebenen Probleme zumindest teilweise zu verringern oder zu vermeiden, und insbesondere zumindest teilautomatisch eine sichere und schnelle Erkennung und Klassifizierung eines Objektes zu ermöglichen.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren beschrieben, das Verfahren, umfassend:

- erstes Erfassen von Informationen, wobei die ersten erfassten Informationen indikativ für ein zu überwachendes Areal sind;
- Auswerten der ersten erfassten Informationen, wobei die erfassten Informationen auf das Vorhandensein eines Objektes hin ausgewertet werden;
- Spezifizieren von mindestens einem Parameter basierend auf dem Auswerten, wobei der mindestens eine spezifizierte Parameter indikativ für ein Erfassen des Objektes ist;
- zweites Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter, wobei die zweiten erfassten Informationen indikativ für das Objekt sind; und
- Ermitteln von mindestens einer Klassifizierungsinformation basierend auf den zweiten erfassten Informationen, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Objekts ist.

Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung beschrieben, welche dazu eingerichtet ist oder entsprechende Mittel umfasst, ein Verfahren nach dem ersten Aspekt durchzuführen und/oder zu steuern. Vorrichtungen des Verfahrens gemäß dem ersten Aspekt sind oder umfassen insbesondere eine oder mehrere Vorrichtungen gemäß dem zweiten Aspekt.
Es erfolgt ein erstes Erfassen von Informationen, wobei die ersten erfassten Informationen indikativ für ein zu überwachendes Areal sind. Ein zu überwachendes Areal kann beispielsweise ein Gebiet, eine Fläche oder ein Raum sein, wobei das Gebiet, die Fläche oder der Raum überwacht werden soll. Hierzu werden erste Informationen erfasst, wobei diese ersten erfassten Informationen beispielsweise charakteristische Information hinsichtlich des Areals umfassen können. Charakteristische Informationen hinsichtlich des Areals können beispielsweise die Umwelt des Areals, in dem Areal befindliche Objekte oder dergleichen repräsentieren.
Ferner erfolgt ein Auswerten der ersten erfassten Informationen, wobei die ersten erfassten Informationen auf das Vorhandensein eines Objekts hin ausgewertet werden. Beispielsweise können die ersten erfassten Informationen dahingehend ausgewertet werden, ob ein Objekt in dem zu überwachenden Areal vorhanden ist, welches beispielsweise zu einem vorherigen Zeitpunkt nicht in dem zu überwachenden Areal vorhanden war. Beispielsweise kann das zu überwachende Areal hierzu anhand von erfassten Informationen in einem Modell abgebildet werden. Die ersten erfassten Informationen können zum Beispiel mit diesem Modell verglichen werden, wobei beispielsweise Unterschiede zwischen den ersten erfassten Informationen und dem zu einem vorherigen Zeitpunkt auf Basis von erfassten Informationen abgebildeten Modell erfasst werden können. Diese Unterschiede können auf das Vorhandensein eines Objektes hindeuten. Signifikante Unterschiede können beispielsweise insbesondere durch die Bewegung einer Person oder eines Objektes hervorgerufen werden.
Basierend auf dem Auswerten der ersten erfassten Informationen kann ein Spezifizieren von mindestens einem Parameter erfolgen. Der spezifizierte Parameter kann indikativ für ein Erfassen des Objektes sein. Beispielsweise können die spezifizierten Informationen einen Bereich innerhalb des zu überwachenden Areals umfassen, in welchem das Objekt vorhanden ist. Dementsprechend ist es möglich, ein weiteres Erfassen von Informationen durchzuführen. Die Erfassung dieser weiteren Informationen beschränkt sich auf den Bereich innerhalb des zu überwachenden Areals beschränkt. Dementsprechend können beispielsweise weitere Informationen erfasst werden, die hinsichtlich des in dem zu überwachenden Areal vorhandenen Objekts in einem höheren Detailgrad im Vergleich zu den ersten erfassten Informationen, welche indikativ für das zu überwachende Areal sind, erfasst werden. Aufgrund der Beschränkung auf einen Bereich innerhalb des Areals können beispielsweise mit der gleichen Menge an erfassten Informationen mehr Details, als bei der ersten Erfassung von Informationen, welche indikativ für das zu überwachende Areal sind, erfasst werden. Der mindestens eine spezifizierte Parameter kann beispielsweise eine Ortsangabe umfassen, wobei die Ortsangabe indikativ für den Bereich innerhalb des zu überwachenden Areals ist, und/oder Angaben, die ein Erfassen von Informationen auf Basis des mindestens einen spezifizierten Parameters derart ermöglichen, dass ein zweites Erfassen von Informationen, die indikativ für das Objekt sind, möglich ist.
Es kann ein zweites Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter erfolgen, wobei die zweiten erfassten Informationen indikativ für das Objekt sind. Durch das Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter kann sichergestellt werden, dass eine Erfassung von Informationen erfolgt, wobei diese erfassten Informationen indikativ für das Objekt sind. Beispielsweise können derart mehr Details hinsichtlich des Objekts erfasst werden, da durch das Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter beispielsweise eine Erfassung eines Bereichs und/oder Teilbereichs innerhalb des zu überwachenden Areal durchgeführt werden kann, in welchem im Rahmen des Auswertens der ersten erfassten Informationen beispielsweise das Vorhandensein des Objekts detektiert und/oder ausgewertet wurde. Die zweiten erfassten Informationen können daher beispielsweise einen höheren Detailgrad hinsichtlich des Objekts umfassen, als die ersten erfassten Informationen.
Ferner erfolgt ein Ermitteln von mindestens einer Klassifizierungsinformation basierend auf den zweiten erfassten Informationen, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Objekts ist. Die zweiten erfassten Informationen, welche indikativ für das Objekt sind, können klassifiziert werden, wobei eine Klassifizierungsinformation ermittelt wird. Die Klassifizierungsinformation ist indikativ für eine Klassifizierung des Objekts. Beispielsweise kann die Klassifizierungsinformation indikativ für einen Objekttyp, eine Objektgattung und/oder eine Objektart sein, so dass eine entsprechende Information ermittelt werden kann. Entsprechend kann beispielsweise bei der Ermittlung eines Objekttyps ermittelt werden, um was für ein Objekt es sich handelt, beispielsweise um eine Person, oder um ein Tier oder dergleichen. Bei der Ermittlung einer Objektgattung kann beispielsweise ermittelt werden, um welche Gattung des Objektes es sich handelt, beispielsweise ob es sich um ein Insekt, oder ein Säugetier handelt. Ferner kann auch eine dahingehende Klassifizierung erfolgen, wobei die Bedeutung des Objekts für das zu überwachende Areal berücksichtigt wird. Beispielsweise kann ermittelt werden, dass es sich bei dem Objekt um einen Schädling handelt, welcher zum Beispiel für das Areal und/oder für innerhalb des Areals befindliche Güter schädlich ist. Ferner kann ein Objekt für ein zu überwachendes Areal als Schädling klassifiziert werden, für ein anderes zu überwachendes Areal jedoch als Nicht-Schädling klassifiziert werden. Bei der Ermittlung einer Objektart kann beispielsweise die genaue Art des Objekts ermittelt werden, zum Beispiel ob es sich bei dem Objekt um ein Tier, genauer um ein Insekt handelt, und/oder es kann beispielsweise die Gattung des Objekts, wie zum Beispiel die Insektengattung ermittelt werden. Das Objekt kann entsprechend klassifiziert und eine entsprechende Klassifizierungsinformation kann ermittelt werden.
In einer beispielhaften Ausgestaltung der Erfindung ist vorgesehen, dass das Objekt ein Schädling ist und die mindestens eine Klassifizierungsinformation indikativ für eine Schädlingsart ist. Es können beispielsweise Informationen bei dem ersten Erfassen von Informationen erfasst werden, die indikativ für ein zu überwachendes Areal sind. Beispielsweise kann gemäß dem Verfahren nach Aspekten der Erfindung das Areal hinsichtlich vorhandener Schädlinge überwacht werden, oder hinsichtlich Schädlingen, die Schädlinge im Laufe der Überwachung in das zu überwachende Areal eindringen, überwacht werden. Es erfolgt ein Auswerten der ersten erfassten Informationen, wobei die ersten erfassten Informationen auf das Vorhandensein eines Schädlings hin ausgewertet werden. Im Rahmen des Auswertens kann beispielsweise das Vorhandensein eines Schädlings detektiert bzw. ausgewertet werden, indem eine Bewegung des Schädlings innerhalb des Areals durch das Auswerten der ersten erfassten Informationen ausgewertet wird.
Wurde das Vorhandensein eines Schädlings im Rahmen des Auswertens der ersten erfassten Informationen ausgewertet, kann ein Spezifizieren von mindestens einem Parameter basierend auf dem Auswerten erfolgen, wobei der mindestens eine spezifizierte Parameter indikativ für ein Erfassen des Schädlings ist. Beispielsweise kann der mindestens eine Parameter dahingehend spezifiziert werden, dass auf Basis des mindestens einen spezifizierten Parameters ein Erfassen von Informationen indikativ für den Schädling möglich ist. Dies umfasst beispielsweise ein Erfassen von Informationen, die indikativ für den Schädling sind, beispielsweise indem die erfassten Informationen detaillierte Informationen hinsichtlich des Schädlings umfassen. Beispielsweise können die erfassten Informationen eine detaillierte Abbildung des Schädlings umfassen, so dass das äußere Erscheinungsbild des Schädlings mit einer im Vergleich zu einer Abbildung des gesamten zu überwachenden Areals relativ hohen Anzahl an Details erfasst wird. Erste erfasste Informationen, die indikativ für das zu überwachende Areal sind, können beispielsweise ebenfalls Informationen hinsichtlich des äußeren Erscheinungsbildes des Schädlings umfassen, da jedoch beispielsweise die Größe des Schädlings, der sich innerhalb des zu überwachenden Areals befindet, im Verhältnis zu dem Areal sehr klein ist, sind mitunter weniger Details des Schädlings erfassbar.
Entsprechend kann ein zweites Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter erfolgen, wobei die zweiten erfassten Informationen indikativ für den Schädling sind. Basierend auf den zweiten erfassten Informationen kann mindestens eine Klassifizierungsinformation ermittelt werden, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Schädlings ist.
Die Klassifizierung des Schädlings kann beispielsweise anhand der äußeren Erscheinungsform des Schädlings bestimmt werden, so dass beispielsweise ein Ermitteln des Schädlingstyps, der Schädlingsgattung und/oder der Schädlingsart möglich ist. Ferner kann das ermitteln von mindestens einer Klassifizierungsinformation basierend auf den zweiten erfassten Informationen erfolgen, indem beispielsweise ein Bewegungsmuster des Schädlings ausgewertet wird. Ein Bewegungsmuster kann beispielsweise die Art und Weise sein, welche Pfade ein Schädling abschreitet. Dieser Pfad kann indikativ für einen spezifischen Schädling sein, so dass eine Klassifizierung des Schädlings auf Basis des Bewegungsmusters durchführbar ist und mindestens eine Klassifizierungsinformation ermittelt werden kann.
Derart ist es folglich möglich, die Anwesenheit eines Schädlings innerhalb eines zu überwachenden Areals zu detektieren, dessen Bewegung innerhalb des Areals nachzuverfolgen und den Schädling zu klassifizieren.
Nach einer beispielhaften Ausgestaltung nach Aspekten der Erfindung erfolgt das Ermitteln von mindestens einer Klassifizierungsinformation mittels eines neuronalen Netzes, wobei die zweiten erfassten Informationen als Eingabeparameter des neuronalen Netzes verwendet werden, und von dem neuronalen Netz mindestens eine Klassifizierungsinformation ausgegeben wird.
Das neuronale Netz kann beispielsweise in einer Initialphase angelernt werden, so dass das Ermitteln von mindestens einer Klassifizierungsinformation möglich ist. Ferner kann das neuronale Netz im laufenden Betrieb weiter lernen, um die Wahrscheinlichkeit der Ausgabe von mindestens einer zutreffenden Klassifizierungsinformation zu erhöhen und somit im Vergleich zu einer nicht weiterlernenden Klassifizierung, beispielsweise einem statischen Algorithmus, ein besseres, da zutreffenderes Ergebnis der Klassifizierung in Form einer Klassifizierungsinformation zu liefern.
Das Ermitteln von mindestens einer Klassifizierungsinformation mittels des neuronalen Netzes kann beispielsweise mittels eines sogenannten CNN (CNN: Convolutional Neural Network), Support Vektor Maschinen (SVM) oder Self-Organizing Maps (SOM) erfolgen. Bevorzugt erfolgt das Ermitteln von mindestens einer Klassifizierungsinformation mittels Convolutional Neural Network (CNN), ganz besonders bevorzugt mittels eines sogenannten Deep-CNN. Ein Deep-CNN umfasst ein oder mehrere Verarbeitungsschichten, die jeweils von den Informationen als Eingabeparameter des neuronalen Netzes durchlaufen werden. Die jeweiligen Verarbeitungsschichten führen ein oder mehrere lineare und/oder nicht-lineare Transformationen der als Eingabeparameter verwendeten Informationen durch, so dass das neuronale Netz mindestens eine Klassifizierungsinformation, beispielsweise eines Schädlings, der durch Informationen repräsentiert ist und welche als Eingabeparameter des neuronalen Netzes verwendet werden, als Ergebnis ausgibt. Die eine oder mehreren Verarbeitungsschichten des neuronalen Netzes können beispielsweise eine Eingabeschicht, eine oder mehrere versteckte Schichten, und eine Ausgabeschicht umfassen, die jeweils ein oder mehrere Operationen, wie beispielsweise lineare und/oder nicht-lineare Transformationen als Operationen der Informationen durchführen. Die Operationen des neuronalen Netzes können beispielsweise von einem Prozessor durchgeführt und/oder gesteuert werden. Alternativ kann beispielsweise eine sogenannte Computational Engine und/oder Linked Computational Engine das neuronale Netz realisieren und/oder die Operationen des neuronalen Netzes durchführen und/oder steuern.
Alternativ oder ergänzend erfolgt das Ermitteln von mindestens einer Klassifizierungsinformation mittels Klassifizierungsinformation mittels des neuronalen Netzes, nämlich beispielsweise mittels sogenannten Support Vektor Maschinen (SVM) oder Self-Organizing Maps (SOM).
Eine beispielhafte Ausgestaltung nach Aspekten der Erfindung sieht vor, dass die Schritte zweites Erfassen von Informationen und Ermitteln von mindestens einer Klassifizierungsinformation zumindest zweimal durchgeführt werden, zur Erlangung von zumindest zwei Klassifizierungsinformationen. Entsprechend kann beispielsweise das zweite Erfassen von Informationen zu unterschiedlichen Zeitpunkten erfolgen, so dass beispielsweise das Objekt oder der Schädling nachverfolgt werden kann, beispielsweise im Rahmen eines sogenannten Trackings. Zudem können zumindest zwei Klassifizierungsinformationen ermittelt werden. Die zumindest zwei Klassifizierungsinformationen können die gleiche Klassifizierung des zu klassifizierenden Objekts und/oder des zu klassifizierenden Schädlings umfassen, so dass die Klassifizierung mit sehr hoher Wahrscheinlichkeit zutreffend ist. Sollten sich die ermittelten zumindest zwei Klassifizierungsinformationen voneinander unterscheiden, können beispielsweise die Schritte zweites Erfassen von Informationen und Ermitteln von mindestens einer Klassifizierungsinformation ein weiteres Mal durchgeführt werden, um eine weitere Klassifizierungsinformation zu ermitteln.
Ferner können die Klassifizierungsinformationen gewichtet werden, beispielsweise indem eine Wahrscheinlichkeit der Klassifizierungsinformation zugeordnet wird, so dass ein Rückschluss hinsichtlich einer zutreffenden Klassifizierung des Objekts und/oder des Schädlings möglich ist. Derart kann beim Vorliegen von mindestens zwei Klassifizierungsinformationen diejenige Klassifizierungsinformation ermittelt werden, die das zu klassifizierende Objekt mit höherer Wahrscheinlichkeit zutreffend klassifiziert.
In einer beispielhaften Ausgestaltung nach Aspekten der Erfindung ist ein Verfahren vorgesehen, ferner umfassend:

- Ermitteln einer Ergebnisinformation auf Basis der zumindest zwei Klassifizierungsinformationen, wobei die Ergebnisinformation indikativ für die wahrscheinlichste Klassifizierung des Objekts ist.

Die Ergebnisinformation kann zum Beispiel eine Klassifizierungsinformation aus zumindest zwei ermittelten Klassifizierungsinformationen bestimmen. Hierzu kann beispielsweise die wahrscheinlichste zutreffende Klassifizierung des Objekts und/oder des Schädlings als Ergebnisinformation bestimmt werden. Ferner kann die Ergebnisinformation derart ermittelt werden, indem diejenige Klassifizierungsinformation als Ergebnisinformation ermittelt wird, die am häufigsten ermittelt wurde.
Eine Ausgestaltung nach Aspekten der Erfindung sieht ein Verfahren vor, ferner umfassend:

- Ausgeben und/oder Auslösen einer vordefinierten Aktion in Abhängigkeit der Ergebnisinformation, wobei die vordefinierte Aktion indikativ für eine Empfehlung einer Maßnahme basierend auf der mindestens einen ermittelten Klassifizierungsinformation und/oder Ergebnisinformation ist.

Die vordefinierte Aktion kann ausgegeben und/oder dessen Ausgabe kann veranlasst werden und/oder die vordefinierte Aktion kann ausgelöst und/oder dessen Auslösung kann veranlasst werden. Beispielsweise kann eine vordefinierte Aktion einem Benutzer auf einer Anzeigevorrichtung angezeigt werden, so dass der Benutzer beispielsweise eine Empfehlung einer geeigneten bzw. optimalen Maßnahme hinsichtlich des Schädlings durchführen und/oder veranlassen kann. Die Anzeige auf der Anzeigevorrichtung kann insbesondere visuell und/oder akustisch erfolgen. Zudem kann beispielsweise eine Benachrichtigung einer Kontaktperson und/oder des Benutzers erfolgen, beispielsweise indem über eine Kommunikationsschnittstelle eine Nachricht an die Kontaktperson und/oder den Benutzer versendet wird. Denkbar ist beispielsweise das Versenden einer Nachricht über das Internet, welche die Kontaktperson und/oder der Benutzer zum Beispiel als E-Mail empfangen kann. Ferner ist zusätzlich oder alternativ das Versenden einer Benachrichtigung an die Kontaktperson und/oder den Benutzer über ein Mobilfunknetz denkbar.
Ferner kann als vordefinierte Aktion zumindest teilweise automatisch eine Schädlingsbekämpfungsmaßnahme durchgeführt und/oder dessen Durchführung veranlasst werden, beispielsweise indem ein Schädlingsbekämpfungsmittel und/oder ein geeignetes Insektizid versprüht wird. Als vordefinierte Aktion kann beispielsweise der mindestens eine Parameter zur Steuerung eines optischen Sensorelements spezifiziert werden, so dass der Schädling beispielsweise verfolgt werden kann, wenn der Schädling seine Position innerhalb des zu überwachenden Areals verändert. Ferner könnte auch ein Ignorieren des Schädlings als vordefinierte Aktion durchgeführt werden, sofern dies als geeignete Maßnahme erscheint. Beispielsweise kann ein Ignorieren auf der Basis von mindestens einem weiteren Parameter erfolgen, wobei der mindestens eine weitere Parameter den Schädling als unkritisch für das zu überwachende Areal einstuft. Ferner kann beispielsweise ein Algorithmus zur Anwendung und/oder Verwendung kommen, mit welchem ein Gewichten und/oder Votieren von zumindest zwei Klassifizierungsinformationen erfolgen kann, um eine geeignete Maßnahme zu bestimmen, die beispielsweise als vordefinierte Aktion ausgegeben und/oder ausgelöst werden kann. Eine oder mehrere geeignete Maßnahmen können beispielsweise in einer Datenbank erfasst sein, auf die beispielsweise ein Prozessor zur Verarbeitung der in der Datenbank hinterlegten Daten zugreifen kann.
In einer beispielhaften Ausgestaltung nach Aspekten der Erfindung erfolgt das erste Erfassen von Informationen und/oder das zweite Erfassen von Informationen mittels eines optischen Sensorelementes. Das optische Sensorelement kann beispielsweise eine Kamera, insbesondere eine sogenannte PTZ-Kamera (PTZ: Pan-Tilt-Zoom), eine Infrarotkamera, eine Wärmebildkamera und/oder ein Photomischdetektor sein. Ferner kann das optische Sensorelement einen Bildsensor umfassen, insbesondere einen digitalen Bildsensor. Ferner könnte ein monochromer Sensor Anwendung finden, der ohne Farbauflösung Informationen erfasst. Zudem können optische Sensorelemente verwendet werden, welche auf bestimmte Wellenlängenbereiche beschränkt sind, beispielsweise basierend auf mindestens einer Photodiode und/oder mindestens einem LED-Element. Eine mögliche Ausgestaltung stellt eine Infrarotkamera und/oder Wärmebildkamera dar. Mittels einer Infrarotkamera und/oder einer Wärmebildkamera kann ein Auswerten der erfassten Informationen erfolgen, indem beispielsweise auf Basis der erfassten Infrarotstrahlung das Vorhandensein eines Schädlings ausgewertet wird. Eine erhöhte Temperatur in einem Bereich des zu überwachenden Areals kann zum Beispiel indikativ für das Vorhandensein eines Schädlings sein. Ein Photomischdetektor ist ein optisches Sensorelement, welches auf einem Lichtlaufzeitverfahren basiert, wobei Lichtimpulse ausgegeben werden und deren Signallaufzeiten gemessen werden. Derart kann beispielsweise ein dreidimensionales Modell der derart erfassten Informationen bestimmt werden.
Eine beispielhafte Ausgestaltung nach Aspekten der Erfindung sieht vor, dass das optische Sensorelement auf Basis des mindestens einen spezifizierten Parameters steuerbar und/oder regelbar ist. Beispielsweise kann eine PTZ-Kamera auf Basis des mindestens einen spezifizierten Parameters gesteuert und/oder geregelt werden, so dass die erfassten Informationen der PTZ-Kamera anstatt des zu überwachenden Areals eine Detailaufnahme des in dem zu überwachenden Areal vorhandenen Schädlings erfassen. Die PTZ-Kamera kann dazu gedreht, verschwenkt und gezoomt werden. Beispielsweise können Steuerungsservos einer PTZ-Kamera verwendet werden, um die von der PTZ-Kamera erfassten Informationen entsprechend des mindestens einen spezifizierten Parameters zu bestimmen, beispielsweise um eine detaillierte Erfassung von Informationen eines Bereichs innerhalb des zu überwachenden Areals zu ermöglichen. Bei der Verwendung eines Photomischdetektor kann dieser auf Basis des mindestens einen spezifizierten Parameters gesteuert und/oder geregelt werden, so dass dieser Lichtimpulse gerichtet auf den Schädling ausgibt, so dass Informationen, die eine Detailaufnahme des Schädlings repräsentieren können, von dem Photomischdetektor erfasst werden.
Nach einer beispielhaften Ausgestaltung nach Aspekten der Erfindung erfolgt das Auswerten der erfassten Informationen mittels eines Evolved-Computer-Vision Algorithmus, insbesondere mittels eines Background-Substraction Algorithmus. Ein Evolved-Computer-Vision Algorithmus und/oder Background-Substraction Algorithmus kann beispielsweise einfach hardware- und/oder softwaremäßig implementiert werden. Es können effektiv Veränderungen in erfassten Informationen ausgewertet werden, wobei die erfassten Informationen insbesondere ein oder mehrere aufgenommene Bilder repräsentieren. Ein beispielhafter Background-Substraction Algorithmus basiert auf einem sogenannten Gaussian Mixture Model, welches zur Erkennung von einer Bewegung eingesetzt werden kann.
Zum Beispiel können die erfassten Informationen eine Videoaufnahme des zu überwachenden Areals repräsentieren. Für den Fall, dass die erfassten Informationen von einem optischen Sensorelement erfasst werden, wobei das optische Sensorelement statisch angeordnet ist, so dass die erfassten Informationen indikativ für ein sich nicht änderndes Areal sind, kann zunächst aus den erfassten Informationen beispielsweise ein Modell des Areals in einem Bildraum erstellt werden. Ferner können aus den erfassten Informationen mehrere aufeinander folgende Modelle des Areals in einem Bildraum erstellt werden, so dass ein Vergleich zwischen diesen Modellen durchgeführt werden kann. Durch den Vergleich können Bereiche abgeschätzt werden, die sich von den anderen erstellten Modellen unterscheiden. Diese Bereiche, in denen Unterschiede festgestellt werden können, können Gegenstand von näheren Untersuchungen sein, indem beispielsweise der Bereich durch mindestens einen Parameter spezifiziert werden kann, so dass ein zweites Erfassen von Informationen, die beispielsweise eine detaillierte Abbildung des Bereichs repräsentieren, erfolgen kann.
Werden die aufeinanderfolgenden Modelle auf Basis der ersten erfassten Informationen bzw. auf Basis der zweiten erfassten Informationen innerhalb eines relativ kurzen zeitlichen Abstands, beispielsweise innerhalb eines definierten Zeitintervalls, erfasst, kann ein vorstehend ausgeführter Vergleich im Rahmen eines Auswerten von erfassten Informationen indikativ für das Vorhandensein eines Schädlings auch bei einer nicht-statischen Erfassung von Informationen erfolgen. Die Erfassung von Informationen kann zum Beispiel derart erfolgen, indem das optische Sensorelement zur Erfassung von Informationen auf einer Luftdrohne oder auf einer entlang eines Bodens verfahrbaren Vorrichtung angeordnet ist. Erfolgt das erste Erfassen von Informationen in relativ kurzen zeitlichen Abständen, können aufeinanderfolgende Modelle auch dann miteinander verglichen werden, wenn eine nicht-statische Erfassung von Informationen erfolgt. Zum Beispiel muss der Zeitabstand zwischen erfassten Informationen, deren abgebildete Modelle miteinander zu vergleichen sind, derart kurz sein, dass sich die abgebildeten Modelle im Wesentlichen einander gleichen.
Ferner können die erfassten Informationen hinsichtlich Diskontinuitäten ausgewertet werden, um das Vorhandensein eines Schädlings zu detektieren. Unter einer Diskontinuität wird beispielsweise folgender Fall verstanden: das zu überwachende Areal ist zum Beispiel eine flache Oberfläche. Entsprechend können die erfassten Informationen hinsichtlich einer Unebenheit in dieser ansonsten flachen Oberfläche ausgewertet werden. Diese Unebenheit kann beispielsweise eine Diskontinuität sein, welche indikativ für das Vorhandensein eines Schädlings innerhalb des zu überwachenden Areals sein kann.
Als eine von möglichen Anwendungen und/oder Verwendungen einer der beispielhaften Ausgestaltungen nach Aspekten der Erfindung könnte beispielsweise eine Detektion und Klassifizierung von Ungeziefer und/oder Schädlingen oder eine Erkennung von Ungeziefer und/oder Schädlingen durchgeführt werden.
In einer weiteren Ausgestaltung der Erfindung ist mindestens eine der Vorrichtungen zur Durchführung des Verfahrens ein elektronisches Gerät. Insbesondere kann eine Kommunikation über ein Kommunikationssystem zwischen einem mobilen Gerät, beispielsweise einem Smartphone, Laptop, Laptop, Tablet, Wearable, Computational Engine, Linked Computational Engine und mindestens einer weiteren Vorrichtung, beispielsweise einem Server, oder einer Kamera vorgenommen werden. Gemäß einer beispielhaften Ausgestaltung umfasst die Vorrichtung nach allen Aspekten der Erfindung eine Kommunikationsschnittstelle. Beispielsweise ist die Kommunikationsschnittstelle für eine drahtgebundene oder drahtlose Kommunikation eingerichtet. Beispielsweise ist die Kommunikationsschnittstelle eine Netzwerkschnittstelle. Die Kommunikationsschnittstelle ist beispielsweise dazu eingerichtet mit einem Kommunikationssystem zu kommunizieren. Beispiele für ein Kommunikationssystem sind ein lokales Netzwerk (LAN), ein großräumiges Netzwerk (WAN), ein drahtloses Netzwerk (beispielsweise gemäß dem IEEE-802.11-Standard, dem Bluetooth (LE)-Standard und/oder dem NFC-Standard), ein drahtgebundenes Netzwerk, ein Mobilfunknetz, ein Telefonnetzwerk und/oder das Internet. Ein Kommunikationssystem kann die Kommunikation mit einem externen Computer umfassen, beispielsweise über eine Internetverbindung.
Gemäß einem beispielhaften Aspekt der Erfindung wird eine alternative Vorrichtung beschrieben, umfassend zumindest einen Prozessor und zumindest einen Speicher mit Computerprogrammcode, wobei der zumindest eine Speicher und der Computerprogrammcode dazu eingerichtet sind, mit dem zumindest einen Prozessor zumindest ein Verfahren nach den Aspekten der Erfindung auszuführen und/oder zu steuern. Unter einem Prozessor soll zum Beispiel eine Kontrolleinheit, ein Mikroprozessor, eine Mikrokontrolleinheit wie ein Mikrocontroller, ein digitaler Signalprozessor (DSP), eine Graphics Processing Unit (PGU), eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein Field Programable Gate Array (FPGA) verstanden werden.
Zum Beispiel umfasst eine beispielhafte Vorrichtung ferner Mittel zum Speichern von Informationen wie einen Programmspeicher und/oder einen Hauptspeicher. Zum Beispiel umfasst eine beispielhafte Vorrichtung nach Aspekten der Erfindung ferner jeweils Mittel zum Empfangen und/oder Senden von Informationen über ein Netzwerk wie eine Netzwerkschnittstelle. Zum Beispiel sind beispielhafte Vorrichtungen nach Aspekten der Erfindung über ein oder mehrere Netzwerke miteinander verbunden und/oder verbindbar.
Eine beispielhafte Vorrichtung gemäß Aspekten der Erfindung ist oder umfasst etwa eine Datenverarbeitungsanlage, die softwaremäßig und/oder hardwaremäßig eingerichtet ist, um die jeweiligen Schritte eines beispielhaften Verfahrens gemäß den Aspekten der Erfindung ausführten zu können. Beispiele für eine Datenverarbeitungsanlage sind ein Computer, ein Desktop-Computer, ein Server, ein Thinclient, eine Computational Engine, eine Linked Computational Engine und/oder ein tragbarer Computer (Mobilgerät), wie etwa ein Laptop-Computer, ein Tablet-Computer, ein Wearable, ein persönlicher digitaler Assistent oder ein Smartphone.
Gemäß einer beispielhaften Ausgestaltung der Erfindung wird auch ein Computerprogramm beschrieben, das Programmanweisungen umfasst, die einen Prozessor zur Ausführung und/oder Steuerung eines beispielhaften Verfahrens gemäß Aspekten der Erfindung veranlassen, wenn das Computerprogramm auf dem Prozessor läuft. Ein beispielhaftes Programm gemäß Aspekten der Erfindung kann in oder auf einem computerlesbaren Speichermedium gespeichert sein, welches eines oder mehrere Programme enthält.
Gemäß einer beispielhaften Ausgestaltung nach Aspekten der Erfindung wird auch ein computerlesbares Speichermedium beschrieben, welches ein Computerprogramm nach den Aspekten der Erfindung enthält. Ein computerlesbares Speichermedium kann zum Beispiel als magnetisches, elektrisches, elektro-magnetisches, optisches und/oder andersartiges Speichermedium ausgebildet sein. Ein solches computerlesbares Speichermedium ist vorzugsweise gegenständlich (also „berührbar“), zum Beispiel ist es als Datenträgervorrichtung ausgebildet. Eine solche Datenträgervorrichtung ist beispielsweise tragbar oder in einer Vorrichtung fest installiert. Beispiele für eine solche Datenträgervorrichtung sind flüchtige oder nicht-flüchtige Speicher mit wahlfreiem-Zugriff (RAM) wie zum Beispiel NOR-Flash-Speicher oder mit sequentiellen-Zugriff wie NAND-Flash-Speicher und/oder Speicher mit Nur-Lese-Zugriff (ROM) oder Schreib-Lese-Zugriff. Computerlesbar soll zum Beispiel so verstanden werden, dass das Speichermedium von einem Computer bzw. einer Datenverarbeitungsanlage (aus)gelesen und/oder beschrieben werden kann, beispielsweise von einem Prozessor.
Gemäß einem weiteren Aspekt der Erfindung wird ein System beschrieben, umfassend mehrere Vorrichtungen, insbesondere ein elektronisches Gerät und eine Vorrichtung zur Erfassung von Informationen, welche insbesondere Mittel zur Erfassung von Informationen aufweist und wobei die Vorrichtungen zusammen ein Verfahren nach den Aspekten der Erfindung durchführen können.
Ein beispielhaftes System nach den Aspekten der Erfindung umfasst eine beispielhafte Vorrichtung zur Erfassung von Informationen und zusätzlich eine weitere Vorrichtung, beispielsweise ein elektronisches Gerät oder einen Server zur Durchführung eines beispielhaften Verfahrens nach Aspekten der Erfindung.
Beispielsweise kann eine Vorrichtung zur Erfassung von Informationen ein optisches Sensorelement umfassen, mit welchem Informationen zweidimensional und/oder dreidimensional erfassbar sind. Ferner kann das optische Sensorelement eine festinstallierte Kamera, zum Beispiel eine PTZ-Kamera sein. Alternativ kann das optische Sensorelement zum Beispiel an einer Luftdrohne, oder an einer am Boden verfahrbaren Vorrichtung angeordnet sein. Zudem ist denkbar, dass beispielsweise die Luftdrohne und/oder die am Boden verfahrbare Vorrichtung auf Basis des erfindungsgemäß mindestens einen spezifizierten Parameters steuerbar und/oder regelbar ist/sind. Für den Fall der Luftdrohne kann diese auf Basis des mindestens einen spezifizierten Parameters zu einer von der aktuellen Position abweichenden Position bewegt werden. Für die entlang des Bodens verfahrbare Vorrichtung gilt gleiches. Derart kann ebenfalls durch ein Bewegen der Luftdrohne bzw. der entlang des Bodens verfahrbaren Vorrichtung auf einen Schädling zu beispielsweise ein zweites Erfassen von Informationen, welche indikativ für ein Erfassen und/oder detailliertes Erfassen eines Schädlings sind, erfolgen. Ferner kann sowohl an der Luftdrohne als auch an der am Boden verfahrbaren Vorrichtung insbesondere eine PTZ-Kamera und/oder ein Photomischdetektor angeordnet werden, um spezifizierte Informationen liefern zu können
Die zuvor in dieser Beschreibung beschriebenen beispielhaften Ausgestaltungen der vorliegenden Erfindung sollen auch in allen Kombinationen miteinander offenbart verstanden werden. Insbesondere sollen beispielhafte Ausgestaltungen in Bezug auf die unterschiedlichen Aspekte offenbart verstanden werden.
Insbesondere sollen durch die vorherige oder folgende Beschreibung von Verfahrensschritten gemäß bevorzugter Ausführungsformen eines Verfahrens auch entsprechende Mittel zur Durchführung der Verfahrensschritte durch beispielhafte Ausführungsformen einer Vorrichtung nach den Aspekten der Erfindung offenbart sein. Ebenfalls soll durch die Offenbarung von Mitteln einer Vorrichtung zur Durchführung eines Verfahrensschrittes auch der entsprechende Verfahrensschritt offenbart sein.
Weitere beispielhafte Ausgestaltungen der Erfindung sind der folgenden detaillierten Beschreibung einiger beispielhafter Ausführungsformen der vorliegenden Erfindung, insbesondere in Verbindung mit den Figuren zu entnehmen. Die Figuren sollen jedoch nur dem Zwecke der Verdeutlichung, nicht aber zur Bestimmung des Schutzbereiches der Erfindung dienen. Die Figuren sind nicht maßstabsgetreu und sollen lediglich das allgemeine Konzept der vorliegenden Erfindung beispielhaft widerspiegeln. Insbesondere sollen Merkmale, die in den Figuren enthalten sind, keineswegs als notwendiger Bestandteil der vorliegenden Erfindung erachtet werden.
Figurenliste
In den Zeichnungen zeigt

1 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens;
2 eine schematische Darstellung eines Ausführungsbeispiels einer ersten Ausgestaltung;
3 eine schematische Darstellung eines Ausführungsbeispiels einer zweiten Ausgestaltung;
4 eine schematische Darstellung eines Ausführungsbeispiels einer dritten Ausgestaltung;
5 eine schematische Darstellung einer Ausgestaltung eines Deep-CNN;
6 ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung; und
7 ein Blockdiagramm eines Ausführungsbeispiels eines Systems.

Detaillierte Beschreibung einiger beispielhafter Ausführungsformen der Erfindung
1 zeigt ein Flussdiagramm 100 eines Ausführungsbeispiels eines Verfahrens nach einem ersten Aspekt der vorliegenden Erfindung. Das Flussdiagramm 100 kann beispielsweise von einer Vorrichtung, zum Beispiel von einer Computational Engine 720 der 7, ausgeführt und/oder gesteuert werden.
In einem ersten Schritt 101 erfolgt ein erstes Erfassen von Informationen, wobei die ersten erfassten Informationen indikativ für ein zu überwachendes Areal sind.
Ein zweiter Schritt 102 sieht ein Auswerten der ersten erfassten Informationen vor, wobei die ersten erfassten Informationen auf das Vorhandensein eines Objektes hin ausgewertet werden. Beispielsweise können die ersten erfassten Informationen dahingehend ausgewertet werden, ob ein Objekt in dem überwachenden Areal vorhanden ist, wobei das Objekt beispielsweise zu einem vorherigen Zeitpunkt nicht in dem zu überwachenden Areal vorhanden war. Dies kann beispielsweise nach der vorstehend beschriebenen Art und Weise eines Auswerten eines Unterschiedes in den ersten erfassten Informationen erfolgen. Signifikante Unterschiede können beispielsweise insbesondere durch die Bewegung einer Person oder eines Objektes hervorgerufen werden.
In einem dritten Schritt 103 erfolgt ein Spezifizieren von mindestens einem Parameter basierend auf dem Auswerten, wobei der mindestens eine spezifizierte Parameter indikativ für ein Erfassen des Objektes ist. Beispielsweise können die spezifizierten Informationen einen Bereich innerhalb des zu überwachenden Areals umfassen, in welchem das Objekt vorhanden ist. Dementsprechend ist es möglich, ein weiteres Erfassen von Informationen durchzuführen, wobei sich die Erfassung dieser weiteren Informationen auf den Bereich innerhalb des zu überwachenden Areals beschränkt.
Gemäß Schritt 104 erfolgt ein zweites Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter, wobei die zweiten erfassten Informationen indikativ für das Objekt sind. Durch das Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter kann sichergestellt werden, dass eine Erfassung von Informationen erfolgt, wobei diese erfassten Informationen indikativ für das Objekt sind. Beispielsweise können derart mehr Details hinsichtlich des Objekts erfasst werden, da durch das Erfassen von Informationen basierend auf dem mindestens einen spezifizierten Parameter beispielsweise eine Erfassung eines Bereichs und/oder Teilbereichs innerhalb des zu überwachenden Areal durchgeführt werden kann.
Ein fünfter Schritt 105 sieht ein Ermitteln von mindestens einer Klassifizierungsinformation basierend auf den zweiten erfassten Informationen vor, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Objekts ist.
Das beispielhafte Flussdiagramm 100 kann zudem ein oder mehrere weitere Merkmale und/oder Aspekte umfassen, die vorstehend im Zusammenhang mit der Beschreibung der vorliegenden Erfindung beschrieben sind. Zum Beispiel kann das Objekt ein Schädling sein und die mindestens eine Klassifizierungsinformation kann ferner indikativ für eine Schädlingsart sein.
Ferner können die Schritte 104 und 105 zumindest ein oder mehrere Male wiederholt werden, so dass beispielsweise ein oder mehrere weitere Klassifizierungsinformationen ermittelt werden können, wobei beispielsweise die in Schritt 104 zweiten erfassten Informationen in zeitlicher Abfolge, beispielsweise in einem Abstand von einem vordefinierten Zeitintervall erfasst werden können.
2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer ersten Ausgestaltung der Erfindung. Vorliegend wird eine Vorrichtung zur Erfassung von Informationen, zum Beispiel eine an einer Decke montierbare PTZ-Kamera 201, beispielsweise gemäß einer Vorrichtung 710 nach 7, eingesetzt. Die PTZ-Kamera 201 weist eine Kommunikationsverbindung 202 zu einer weiteren Vorrichtung 203, beispielsweise zu einer Vorrichtung 720 nach 7 auf. Vorrichtung 203 kann beispielsweise eine Computational Engine sein, welche zumindest eine Überwachung auf das Vorhandensein eines Objektes hin, beispielsweise eines Schädlings, zum Beispiel nach Schritt 102 der 1 durchführt. Die Überwachung kann beispielsweise auf Basis von ersten erfassten Informationen, zum Beispiel Videoinformationen, die von der PTZ-Kamera 201 erfasst und zum Beispiel gemäß Schritt 101 der 1 erfasst werden können, durchgeführt werden. Ferner kann die Vorrichtung 203 eine Steuerung und/oder Regelung der PTZ-Kamera, beispielsweise auf Basis mindestens eines spezifizierten Parameters, zum Beispiel gemäß Schritt 103 nach 1, veranlassen und/oder durchführen. Durch die Steuerung und/oder Regelung der PTZ-Kamera kann beispielsweise ein zweites Erfassen von Informationen, zum Beispiel gemäß Schritt 104 der 1, basierend auf dem mindestens einen spezifizierten Parameter ermöglichen, wobei die zweiten erfassten Informationen indikativ für das Objekt, beispielsweise den Schädling, sind.
Beispielsweise können die zweiten erfassten Informationen eine Nah- und/oder Groß- und/oder Detailaufnahme des Objekts, beispielsweise ein Schädling, repräsentieren. Ferner kann die Vorrichtung 203 ein Ermitteln von mindestens einer Klassifizierungsinformation, zum Beispiel gemäß Schritt 105 nach 1 durchführen. Ferner kann zum Beispiel durch das Verwenden eines künstlichen neuronalen Netzes, zum Beispiel ein Deep-CNN 500 gemäß 5 durchgeführt werden, und optional eine Aktion basierend auf der ermittelten mindestens einen Klassifizierungsinformation von der Vorrichtung 203 durchgeführt bzw. deren Durchführung veranlasst werden.
3 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer zweiten Ausgestaltung der Erfindung. Im Gegensatz zu dem in 2 dargestellten Ausführungsbeispiel einer ersten Ausgestaltung der Erfindung umfasst die Ausgestaltung eine am Boden verfahrbare Vorrichtung 301, welche eine Vorrichtung zur Erfassung von Informationen 302, zum Beispiel Vorrichtung 710 nach 7, umfasst.
Vorliegend umfasst die Vorrichtung zur Erfassung von Informationen 302 einen 3D-Sensor, zum Beispiel einen Photomischdetektor. Ferner ist die Kommunikationsverbindung 303 zwischen einer weiteren Vorrichtung 304, zum Beispiel Vorrichtung 720 nach 7, als drahtlose Kommunikationsverbindung ausgebildet. Die Vorrichtung 304 kann beispielsweise die Bewegung der am Boden verfahrbaren Vorrichtung 301 steuern und/oder regeln. Diese Steuerung und/oder Regelung kann beispielsweise auf Basis eines bestimmten Unterschiedes, welcher zum Beispiel im Rahmen des Auswertens von ersten erfassten Informationen gemäß Schritt 102 nach 1 ausgewertet wurde. Zum Beispiel kann hierzu ein Vergleich zwischen einem aktuellen erfassten zu überwachenden Areal und einem zuvor bestimmten Modell und/oder einer Abbildung des zu überwachenden Areals, erfolgen. Wurde das Vorhandensein eines Objekts, beispielsweise wie vorliegend eines Schädlings, im Rahmen des Auswertens der ersten erfassten Informationen ausgewertet, kann Vorrichtung 304 mindestens einen Parameter spezifizieren, zum Beispiel gemäß Schritt 103 der 1, so dass die am Boden verfahrbare Vorrichtung 301 ein zweites Erfassen von Informationen durchführen kann, wobei die zweiten erfassten Informationen beispielsweise eine Nah- und/oder Groß- und/oder Detailaufnahme des Objekts, beispielsweise des Schädlings, repräsentieren können. Die Vorrichtung 301 kann für die zweite Aufnahme Bewegungen vollziehen und muss nicht statisch verharren, um diese Aufnahme zu erreichen. Ferner kann die Vorrichtung 304 ein Ermitteln von mindestens einer Klassifizierungsinformation, zum Beispiel gemäß Schritt 105 nach 1 durchführen, zum Beispiel durch das Verwenden eines künstlichen neuronalen Netzes, zum Beispiel ein Deep-CNN 500 gemäß 5, und optional eine Aktion basierend auf der ermittelten mindestens einen Klassifizierungsinformation durchführen bzw. deren Durchführung veranlassen.
4 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer dritten Ausgestaltung. Im Gegensatz zu dem in 3 dargestellten Ausführungsbeispiel einer zweiten Ausgestaltung umfasst die Ausgestaltung eine Luftdrohne 401, welche eine Vorrichtung zur Erfassung von Informationen 402, zum Beispiel Vorrichtung 710 nach 7, umfasst.
Vorliegend umfasst die Vorrichtung zur Erfassung von Informationen 402 eine Kamera. Ferner ist die Kommunikationsverbindung 403 zwischen einer weiteren Vorrichtung 404, zum Beispiel Vorrichtung 720 nach 7, als drahtlose Kommunikationsverbindung ausgebildet. Die Vorrichtung 304 kann beispielsweise die Bewegung der Luftdrohne 401 steuern und/oder regeln. Diese Steuerung und/oder Regelung kann beispielsweise auf Basis eines bestimmten Unterschiedes zwischen einer flachen Oberfläche eines Bodens und dem aktuellen erfassten zu überwachenden Area erfolgen, wobei der Unterschied zum Beispiel im Rahmen des Auswertens von ersten erfassten Informationen gemäß Schritt 102 nach 1 ausgewertet wurde. Wurde das Vorhandensein eines Objekts, beispielsweise wie vorliegend eines Schädlings, im Rahmen des Auswertens der ersten erfassten Informationen ausgewertet, kann Vorrichtung 304 mindestens einen Parameter spezifizieren, zum Beispiel gemäß Schritt 103 der 1, so dass die Luftdrohne 401 ein zweites Erfassen von Informationen durchführen kann, wobei die zweiten erfassten Informationen beispielsweise eine Nah- und/oder Groß- und/oder Detailaufnahme des Objekts, beispielsweise des Schädlings, repräsentieren können.. Die Luftdrohne 401 kann für die zweite Aufnahme Bewegungen vollziehen und muss nicht statisch verharren, um diese Aufnahme zu erreichen. Ferner kann die Vorrichtung 404 ein Ermitteln von mindestens einer Klassifizierungsinformation, zum Beispiel gemäß Schritt 105 nach 1 durchführen, zum Beispiel durch das Verwenden eines künstlichen neuronalen Netzes, zum Beispiel ein Deep-CNN 500 gemäß 5, und optional eine Aktion basierend auf der ermittelten mindestens einen Klassifizierungsinformation durchführen bzw. deren Durchführung veranlassen.
5 zeigt eine schematische Darstellung einer Ausgestaltung eines künstlichen neuronalen Netzes 500, vorliegend ein Deep-CNN. Das Deep-CNN wird vorliegend anhand von erfassten Informationen, zum Beispiel zweite erfassten Informationen gemäß Schritt 104 der 1, welche beispielsweise von einem optischen Sensorelement, zum Beispiel eine Kamera oder ein 3D Sensor 712 der 7, erfasst wurden und Bildinformationen repräsentieren können, als eine beispielhafte Ausgestaltung erläutert. Zum Beispiel können die erfassten Informationen, welche beispielsweise die individuellen Pixel eines Bildes repräsentieren, als Eingabeparameter des Deep-CNN Netzes 500 verwendet werden. In einer ersten Schicht, Layer 1, des Deep-CNN 500 wird eine Operation, vorliegend eine Summationsfunktion mittels der eingegebenen Informationen durchgeführt. Das/die Ergebnisse, die aus den eingegebenen Informationen nach Durchlaufen der ersten Schicht vorliegen, werden in eine zweite Schicht, Layer 2, gegeben, in der eine nicht-lineare Aktivatorfunktion, zum Beispiel eine sogenannte Soft-Max-Funktion, als Operation durchgeführt wird. Die Ausgabeparameter nach Durchführung der nicht-linearen Aktivatorfunktion werden in ein vollständig verbundenes Netz gegeben, welches Ausgabeparameter als Eingabeparameter wiederrum weiteren Summationsknoten übergibt. Die Summationsknoten führen eine entsprechende Summationsfunktion durch. Anschließend werden die erhaltenen Ergebnisse als Eingabeparameter in eine dritte Schicht, Layer 3, des Deep-CNN gegeben, welche zunächst eine nicht-lineare Aktivatorfunktion und nach Verknüpfung und Durchlaufen eines vollständig verbundenen Netzes in weitere Summationsknoten gegeben werden. Dessen Ergebnisse nach dem Durchführen der entsprechenden Operation werden als Eingabeparameter in eine vierte Schicht, Layer 4, des Deep-CNN gegeben, welches zunächst beispielsweise eine nicht-lineare Aktivatorfunktion durchführen kann und über ein vollständig verbundenes Netz die Ergebnisse jeweils einem Summationsknoten zuführt. Anschließend kann das künstliche neuronale Netz 500 mindestens eine Klassifizierungsinformation ausgeben.
Das neuronale Netz 500 kann beispielsweise in einer Initialphase angelernt werden, so dass das Ermitteln von mindestens einer Klassifizierungsinformation möglich ist. Ferner kann das neuronale Netz im laufenden Betrieb weiter lernen, um die Wahrscheinlichkeit der Ausgabe von mindestens einer zutreffenden Klassifizierungsinformation zu erhöhen und somit im Vergleich zu einer nicht weiterlernenden Klassifizierung, beispielsweise einem statischen Algorithmus, bessere, da zutreffendere Ergebnisse der Klassifizierung in Form einer Klassifizierungsinformation zu liefern. Hierzu können beispielsweise die einzelnen Verbindungen eines vollständig verbundenen Netzes dynamisch, d.h. im laufenden Betrieb und stetig, neu gewichtet werden, wobei beispielsweise eine zugeordnete Gewichtungsinformation in ihrem Wert erhöht wird, wenn eine zutreffende Zuordnung über die Verbindung erfolgt ist.
6 zeigt ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung 600, welche insbesondere ein beispielhaftes Verfahren gemäß dem ersten Aspekt der Erfindung ausführen kann. Die Vorrichtung 600 ist beispielsweise eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung oder ein System gemäß dem dritten Aspekt der Erfindung.
Die Vorrichtung 600 kann insofern beispielsweise ein Computer, ein Desktop-Computer, ein Server, eine Server-Cloud, ein Thinclient, eine Compuational Engine, eine Linked Computational Engine oder ein tragbarer Computer (Mobilgerät), wie etwa ein Laptop-Computer, ein Tablet-Computer, ein persönlicher digitaler Assistent (PDA) oder ein Smartphone sein.
Prozessor 610 der Vorrichtung 600 ist insbesondere als Mikroprozessor, Mikrokontrolleinheit, Mikrocontroller, digitaler Signalprozessor (DSP), eine Graphic Processor Unit (GPU), Anwendungsspezifische Integrierte Schaltung (ASIC) oder Field Programable Gate Array (FPGA) ausgebildet.
Prozessor 610 kann Programmanweisungen ausführen, die in Programmspeicher 612 gespeichert sein können, und kann beispielsweise Zwischenergebnisse oder ähnliches in Hauptspeicher 611 (auch als Arbeitsspeicher bezeichnet) speichern. Zum Beispiel ist Programmspeicher 612 ein nicht-flüchtiger Speicher wie ein Flash-Speicher, ein Magnetspeicher, ein EEPROM-Speicher (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und/oder ein optischer Speicher. Hauptspeicher 611 ist zum Beispiel ein flüchtiger oder nicht-flüchtiger Speicher, insbesondere ein Speicher mit wahlfreiem-Zugriff (RAM) wie ein statischer RAM-Speicher (SRAM), ein dynamischer RAM-Speicher (DRAM), ein ferroelektrischer RAM-Speicher (FeRAM) und/oder ein magnetischer RAM-Speicher (MRAM).
Programmspeicher 612 ist vorzugsweise ein lokaler mit der Vorrichtung 600 fest verbundener Datenträger. Mit der Vorrichtung 600 fest verbundene Datenträger sind beispielsweise Festplatten, die in die Vorrichtung 600 eingebaut sind. Alternativ kann der Datenträger beispielsweise auch ein mit der Vorrichtung 600 trennbar verbindbarer Datenträger sein, wie ein Speicher-Stick, ein Wechseldatenträger, eine tragbare Festplatte, eine CD, eine DVD und/oder eine Diskette. Programmspeicher 612 kann beispielsweise das Betriebssystem und/oder die Firmware von der Vorrichtung 600, das/die beim Starten der Vorrichtung 600 zumindest teilweise in Hauptspeicher 611 geladen und vom Prozessor 610 ausgeführt wird. Insbesondere wird beim Starten von Vorrichtung 600 zumindest ein Teil des Kerns des Betriebssystems und/oder der Firmware in den Hauptspeicher 611 geladen und von Prozessor 610 ausgeführt. Das Betriebssystem von Vorrichtung 600 kann beispielsweise ein Windows-, UNIX-, Linux-, Android-, Apple iOS- und/oder MAC-Betriebssystem sein.
Das Betriebssystem ermöglicht insbesondere die Verwendung der Vorrichtung 600 zur Datenverarbeitung. Es verwaltet beispielsweise Betriebsmittel wie Hauptspeicher 611 und Programmspeicher 612, Kommunikationsschnittstelle(n) 613, optionales Ein- und Ausgabegerät 614, stellt unter anderem auch Programmierschnittstellen anderen Programmen für grundlegende Funktionen zur Verfügung und steuert die Ausführung von Programmen.
Prozessor 610 kann die Kommunikationsschnittstelle(n) 613 steuern, welche beispielsweise eine Netzwerkschnittstelle sein kann und als Netzwerkkarte, Netzwerkmodul und/oder Modem ausgebildet sein kann. Kommunikationsschnittstelle(n) 613 ist insbesondere dazu eingerichtet, eine Verbindung der Vorrichtung 600 mit anderen Vorrichtungen, insbesondere über ein (drahtloses) Kommunikationssystem, beispielsweise ein Netzwerk, herzustellen (über das Kommunikationssystem) empfangen und (über das Kommunikationssystem) senden. Beispiele für ein Kommunikationssystem sind ein lokales Netzwerk (LAN), ein großräumiges Netzwerk (WAN), ein drahtloses Netzwerk (beispielsweise gemäß dem IEEE-802.11-Standard, dem Bluetooth (LE)-Standard und/oder dem NFC-Standard), ein drahtgebundenes Netzwerk, ein Mobilfunknetzwerk, ein Telefonnetzwerk und/oder das Internet.
Des Weiteren kann Prozessor 610 zumindest ein optionales Ein- und Ausgabegerät 613 steuern. Ein- und Ausgabegerät 614 ist beispielsweise eine Tastatur, eine Maus, eine Anzeigeeinheit, ein Mikrofon, eine berührungsempfindliche Anzeigeeinheit, ein Lautsprecher, ein Lesegerät, ein Laufwerk und/oder eine Kamera zur Erfassung von Informationen. Ein- und Ausgabegerät 614 kann beispielsweise Eingaben eines Benutzers aufnehmen und an Prozessor 610 weiterleiten und/oder Informationen für den Benutzer von Prozessor 610 empfangen und/oder ausgeben.
7 zeigt ein schematisches Blockdiagramm eines Systems 700 nach einem beispielhaften Aspekt der vorliegenden Erfindung. Das System 700 umfasst eine Vorrichtung 710 zur Erfassung von Informationen, welche insbesondere Mittel zur Erfassung von Informationen aufweist, zum Beispiel eine Luftdrohne (Drone) und/oder ein Gehäuse umfassend eine PTZ-Kamera (PTZ-Case). Ferner umfasst das System 700 eine weitere Vorrichtung 720, zum Beispiel eine Computational Engine, welche zum Beispiel eine Vorrichtung 600 der 6 sein kann.
Beispielsweise kann die Vorrichtung 710 eine Kamera und/oder einen 3D-Sensor 712 zur Erfassung von Informationen aufweisen, optional kann die Vorrichtung 710 Bewegungs- und/oder PTZ-Aktuatoren, wobei zum Beispiel im Falle einer Luftdrohne und/oder einer am Boden verfahrbaren Vorrichtung als beispielhafte Ausgestaltung einer Vorrichtung 710 diese auf Basis mindestens eines spezifizierten Parameters steuerbar und/oder regelbar ist, wobei der mindestens eine spezifizierte Parameter einer dem mindestens einen spezifizierten Parameter entsprechende Aktion des Aktuators hervorruft und/oder ausführt. Ferner kann mittels mindestens eines spezifizierten Parameters die Kamera und/oder der 3D-Sensor 712 regelbar und/oder steuerbar sein, beispielsweise in dem ein entsprechender Aktuator 711 eine Bewegung der Kamera und/oder des 3D-Sensors hervorruft. Als ein Aktuator sowohl hinsichtlich einer Bewegung einer Luftdrohne und/oder einer am Boden verfahrbaren Vorrichtung als auch zur Bewegung einer Kamera und/oder eines 3D-Sensors kann beispielsweise ein oder mehrere Servos verwendet werden.
Ferner kann beispielsweise die Vorrichtung 720 einen Bewegungs- und/oder PTZ-Controller 721, ein Schädlings-Erkennungsmodul 722, einen CNN Klassifizierer 723 und optional ein Aktionsmodul 724 umfassen.
Der Bewegungs- und/oder PTZ-Controller 721 spezifiziert beispielsweise mindestens einen Parameter, beispielsweise in Schritt 103 der 1, und übergibt diesen spezifizierten Parameter in Schritt S701 der Vorrichtung zur Erfassung von Informationen 710, welche basierend auf dem mindestens einen spezifizierten Parameter ein zweites Erfassen von Informationen durchführen kann, wobei die zweiten erfassten Informationen beispielsweise indikativ für einen Schädling sind, welcher zum Beispiel von einem Schädlings-Erkennungsmodul 722 erkannt/detektiert bzw. im Rahmen eines Auswertens von ersten erfassten Informationen ausgewertet wurde. Das Schädlings-Erkennungsmodul 722 kann zum Beispiel einen Evolved-Computer-Vision Algorithmus zum Auswerten auf das Vorhandensein eines Schädlings, wobei zum Beispiel erste erfasste Informationen ausgewertet werden. Die ersten erfassten Informationen können beispielsweise von der Vorrichtung 710 erfasst werden, und dem Schädlings-Erkennungsmodul in Schritt S702 übermittelt werden. Die ersten erfassten Informationen der Vorrichtung 710 können zum Beispiel indikativ für ein zu überwachendes Areal sein. Das Schädlings-Erkennungsmodul kann zum Beispiel in der oben beschrieben Art und Weise Schädlinge erkennen, indem die ersten erfassten Informationen auf das Vorhandensein eines Schädlings hin ausgewertet werden.
Sind die übermittelten Informationen im Schritt S702 zweite erfasste Informationen basierend auf dem mindestens einen spezifizierten Parameter, zum Beispiel repräsentieren die zweiten erfassten Informationen eine Detailaufnahme eines Schädlings, kann mindestens eine Klassifizierungsinformation basierend auf den zweiten erfassten Informationen, zum Beispiel mittels des CNN Klassifizierers 723 ermittelt werden, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung beispielsweise eines Schädlings ist.
Optional kann auf Basis der ermittelten Klassifizierungsinformation ein Aktionsmodul 724 zumindest eine Aktion, beispielsweise eine Maßnahme zur Bekämpfung des Schädlings und/oder das Übermitteln einer Benachrichtigung an einen vorbestimmten Benutzer veranlassen und/oder die Veranlassung der Maßnahme bewirken.
Die in dieser Spezifikation beschriebenen Ausführungsbeispiele der vorliegenden Erfindung und die diesbezüglich jeweils angeführten optionalen Merkmale und Eigenschaften sollen auch in allen Kombinationen miteinander offenbart verstanden werden. Insbesondere soll auch die Beschreibung eines von einem Ausführungsbeispiel umfassten Merkmals - sofern nicht explizit gegenteilig erklärt - vorliegend nicht so verstanden werden, dass das Merkmal für die Funktion des Ausführungsbeispiels unerlässlich oder wesentlich ist. Die Abfolge der in dieser Spezifikation geschilderten Verfahrensschritte in den einzelnen Ablaufdiagrammen ist nicht zwingend, alternative Abfolgen der Verfahrensschritte sind denkbar. Die Verfahrensschritte können auf verschiedene Art und Weise implementiert werden. So ist eine Implementierung in Software (durch Programmanweisungen), Hardware oder eine Kombination von beidem zur Implementierung der Verfahrensschritte denkbar.
In den Patentansprüchen verwendete Begriffe wie „umfassen“, „aufweisen“, „beinhalten“, „enthalten“ und/oder dergleichen schließen weitere Elemente oder Schritte nicht aus. Unter die Formulierung „zumindest teilweise“ fallen sowohl der Fall „teilweise“ als auch der Fall „vollständig“. Die Formulierung „und/oder“ soll dahingehend verstanden werden, dass sowohl die Alternative als auch die Kombination offenbart sein soll, also „A und/oder B“ bedeutet „(A) oder (B) oder (A und B)“. Die Verwendung des unbestimmten Artikels schließt eine Mehrzahl nicht aus. Eine einzelne Vorrichtung kann die Funktionen mehrerer in den Patentansprüchen genannten Einheiten bzw. Vorrichtungen ausführen. In den Patentansprüchen angegebene Bezugszeichen sind nicht als Beschränkungen der eingesetzten Mittel und Schritte anzusehen.

Claims

Verfahren, umfassend: - erstes Erfassen von Informationen (101), wobei die ersten erfassten Informationen indikativ für ein zu überwachendes Areal sind; - Auswerten der ersten erfassten Informationen (102), wobei die ersten erfassten Informationen auf das Vorhandensein eines Objektes hin ausgewertet werden; - Spezifizieren von mindestens einem Parameter (103) basierend auf dem Auswerten, wobei der mindestens eine spezifizierte Parameter indikativ für ein Erfassen des Objektes ist; - zweites Erfassen von Informationen (104) basierend auf dem mindestens einen spezifizierten Parameter, wobei die zweiten erfassten Informationen indikativ für das Objekt sind; und - Ermitteln von mindestens einer Klassifizierungsinformation (105) basierend auf den zweiten erfassten Informationen, wobei die Klassifizierungsinformation indikativ für eine Klassifizierung des Objekts ist.
Verfahren nach Anspruch 1, wobei das Objekt ein Schädling ist und die mindestens eine Klassifizierungsinformation indikativ für eine Schädlingsart ist.
Verfahren nach Anspruch1 oder Anspruch 2, wobei das Ermitteln von mindestens einer Klassifizierungsinformation (105) mittels eines neuronalen Netzes insbesondere mittelsConvolutional Neural Network (CNN), Support Vektor Maschinen (SVM) oder Self-Organizing Maps (SOM), bevorzugt mittels Convolutional Neural Network (CNN) erfolgt, wobei die zweiten erfassten Informationen als Eingabeparameter des neuronalen Netzes verwendet werden, und von dem neuronalen Netz mindestens eine Klassifizierungsinformation ausgegeben wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die Schritte zweites Erfassen von Informationen (104) und Ermitteln von mindestens einer Klassifizierungsinformation (105) zumindest zweimal durchgeführt werden, zur Erlangung von zumindest zwei Klassifizierungsinformationen.
Verfahren nach Anspruch 4, ferner umfassend: - Ermitteln einer Ergebnisinformation auf Basis der zumindest zwei Klassifizierungsinformationen, wobei die Ergebnisinformation indikativ für die wahrscheinlichste Klassifizierung des Objekts ist.
Verfahren nach einem der Ansprüche 2 bis 5, ferner umfassend: - Ausgeben und/oder Auslösen einer vordefinierten Aktion in Abhängigkeit der Ergebnisinformation, wobei die vordefinierte Aktion indikativ für eine Empfehlung einer Maßnahme basierend auf der mindestens einen ermittelten Klassifizierungsinformation und/oder Ergebnisinformation ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste Erfassen von Informationen (101) und/oder das zweite Erfassen von Informationen (104) mittels eines optischen Sensorelementes erfolgt.
Verfahren nach Anspruch 7, wobei das optische Sensorelement auf Basis des mindestens einen spezifizierten Parameters steuerbar und/oder regelbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Auswerten der ersten erfassten Informationen (102) mittels eines Evolved-Computer-Vision Algorithmus erfolgt, insbesondere mittels eines Background-Substraction Algorithmus.
Vorrichtung, welche dazu eingerichtet ist oder entsprechende Mittel umfasst, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen und/oder zu steuern.
Vorrichtung, umfassend zumindest einen Prozessor (610) und zumindest einen Speicher (612) mit Computerprogrammcode, wobei der zumindest eine Speicher (612) und der Computerprogrammcode dazu eingerichtet sind, mit dem zumindest einen Prozessor (610), zumindest ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen und/oder zu steuern.
Computerprogramm, das Programmanweisungen umfasst, die einen Prozessor (610) zur Ausführung und/oder Steuerung eines Verfahrens nach einem der Ansprüche 1 bis 9 veranlassen, wenn das Computerprogramm auf dem Prozessor (610) ausgeführt wird.
Computerlesbares Speichermedium, welches ein Computerprogramm gemäß Anspruch 12 enthält.
System, umfassend: - zumindest eine Vorrichtung (203, 304, 404, 600, 700) nach Anspruch 10 oder Anspruch 11; und - zumindest eine Vorrichtung zur Erfassung von Informationen (201, 302, 402, 710), welche insbesondere Mittel zur Erfassung von Informationen aufweist; wobei die Vorrichtungen ausgebildet und/oder eingerichtet sind, zusammen ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.