-
Technisches Gebiet
-
Die vorliegende Beschreibung betrifft eine Objekterkennungseinheit und einen Systemverbund umfassend Sensoren, eine Objekterkennungseinheit und mindestens einen Effektor. Die Objekterkennungseinheit verwendet ein künstliches neuronales Netzwerk, um Objekte in einem beobachteten Gebiet mit einer höheren Zuverlässigkeit zu erkennen.
-
Technischer Hintergrund
-
Systeme der elektronischen Aufklärung (engl. Electronic Intelligence, ELINT) werden häufig im militärischen Umfeld verwendet, um in einem zugewiesenen oder zu überwachenden Gebiet Aufklärung zu betreiben und Objekte zu erkennen, indem die Objekte klassifiziert und identifiziert werden. ELINT kommt oftmals zum Einsatz bei der Aufklärung und Beobachtung von Einheiten von gegnerischen Streitkräften, insbesondere von gegnerischen Waffen- oder Aufklärungsanlagen. Beispielsweise kann ELINT verwendet werden, um die gegnerische Luftverteidigung aufzuklären. Die Luftverteidigung nutzt sowohl eigene aktive Aufklärungssysteme wie Radaranlagen als auch Waffensysteme.
-
Für die Aufklärung von gegnerischen Streitkräfteeinheiten können verschiedene Sensoren verwendet werden. Solche Sensoren sind beispielsweise Bilderfassungssysteme, welche eine Bildaufnahme von einem Gebiet erfassen und diese Bildaufnahme der Auswertung durch eine Maschine oder menschliche Bediener (mit oder ohne maschinelle Unterstützung) zuführen. Ebenfalls ein Aufklärungssensor im allgemeinen Sinne ist eine Radaranlage, welche elektromagnetische Wellen emittiert und die von einem Objekt reflektierten elektromagnetischen Wellen erfasst und daraus Rückschlüsse auf Position und Struktur des Objektes erlaubt.
-
Um der Erkennung durch die Aufklärung des Gegners zu entgehen, werden die Einheiten der eigenen Streitkräfte getarnt. Eine solche Tarnung kann verschiedene Zielsetzungen und Ausgestaltungen haben. Eine mögliche Tarnung gegen die Erkennung auf optischen Bildaufnahmen kann die optische Tarnung sein. Gegen die Aufklärung mit Radaranlagen kann der sog. Radarquerschnitt (auch als Rückstrahlfläche oder effektive Reflexionsfläche bezeichnet) reduziert werden, um eingehende elektromagnetische Wellen im Radar-Spektrum zu streuen und einen möglichst geringen Anteil zurück zu der Quelle zu reflektieren.
-
Asvadi, A., et al, Multimodal vehicle detection: fusing 3D-LIDAR and color camera data. In: Pattern Recognition Letter, 2018, 115. Jg. S. 20-29 beschreibt ein Verfahren für das Zusammenführen von optischen Bilddaten und Lidar-Daten, um damit die optischen Bilddaten mit weiteren Informationen anzureichern.
-
Kokar, M.; Kim, K.H., Review of multisensory data fusion architectures and techniques. In: Proceedings of 8th IEEE International Symposium on Intelligent Control. IEEE, 1993, S. 261-266, enthält einen Überblick über verschiedene Verfahren, wie Daten aus einer Mehrzahl von Sensoren oder Datenquellen zusammengefügt werden können, um einen Gesamtüberblick über ein Lagebild zu erhalten.
-
Farahnakian, F., et al, Object detection based on multi-sensor proposal fusion in maritime environment. In: 2018 17th IEEE International Conference on Machine learning and Applications (ICMLA). IEEE, 2018, S. 971-976, beschreibt ein Verfahren zum Zusammensetzen von Informationen basierend auf unterschiedlichen Quellsensoren, wie beispielsweise Wärmebildkameras, optischen Kameras, Radar und Lidar.
-
Darstellung der Erfindung
-
Es kann als Aufgabe betrachtet werden, die Zuverlässigkeit der Aufklärung von Objekten in einem zu überwachenden Gebiet zu verbessern.
-
Diese Aufgabe wird gelöst durch den Gegenstand des unabhängigen Anspruchs. Weitere Ausführungsformen ergeben sich aus den abhängigen Ansprüchen sowie aus der folgenden Beschreibung.
-
Gemäß einem ersten Aspekt ist eine Objekterkennungseinheit zum Klassifizieren und Identifizieren von Objekten angegeben. Die Objekterkennungseinheit weist ein künstliches neuronales Netzwerk, KNN, mit einer Eingabeschicht und einer Ausgabeschicht auf, wobei das KNN ausgestaltet ist, Objekte basierend auf Eingaben an die Eingabeschicht zu Klassifizieren und zu Identifizieren. Die Eingabeschicht weist eine Mehrzahl von Eingabeneuronen auf. Die Eingabeschicht ist ausgeführt, einen Eingabevektor zu erhalten, wobei der Eingabevektor eine Positionsinformation zu einem Objekt und mehrere Objekterkennungsinformationen betreffend dasselbe Objekt von einer Mehrzahl von Sensoren enthält. Mindestens zwei Eingabeneuronen sind ausgeführt, Objekterkennungsinformationen von der Mehrzahl von Sensoren in verschiedenen Spektralbereichen zu erhalten und zu verarbeiten, wobei die Objekterkennungsinformationen von der Mehrzahl von Sensoren ein Ergebnis einer von jedem Sensor eigenständig ausgeführten Objekterkennung darstellen, und das KNN ist ausgeführt, basierend auf den Objekterkennungsinformationen von der Mehrzahl von Sensoren und der Positionsinformation ein Objekt zu klassifizieren und zu identifizieren. Das KNN ist ausgestaltet, mit räumlich getrennten Sensoren aus der Mehrzahl von Sensoren über eine Datenverbindung verbunden zu werden. Die Mehrzahl von Sensoren ist unterschiedlichen mobilen oder stationären Trägereinheiten zugeordnet. Die mobilen oder stationären Trägereinheiten sind voneinander räumlich getrennt oder voneinander beabstandet.
-
Die Objekterkennungseinheit enthält ein künstliches neuronales Netzwerk, KNN, und das KNN erhält Objekterkennungsinformationen von verschiedenen Sensoren, wobei die Objekterkennungsinformationen in verschiedenen Spektralbereichen erfasst und an das KNN bereitgestellt werden. In anderen Worten erfassen die Sensoren Informationen zu demselben Objekt an derselben Position in verschiedenen Spektralbereichen, z.B. im Infrarotbereich, im optisch sichtbaren Bereich, mittels Radarwellen, einer elektronischen Signatur von (insbesondere aktiven) elektronischen Unterstützungsmaßnahmen (z.B. Signaturen von militärischen Aufklärungs- oder Waffenanlagen im elektromagnetischen Spektrum, dies können Warngeräte sein, die Signaturen im Infrarot-, Laser oder Radarspektrum detektieren und davor warnen), oder einer elektronischen Signatur eines elektromagnetischen Emitters, und geben diese Informationen an das KNN, um sie einer Datenfusion zuzuführen.
-
Die Objekterkennungsinformationen ermöglichen eine Klassifizierung und Identifizierung eines Objekts. Jeder Sensor führt eigenständig eine Objekterkennung (d.h. Klassifizierung und/oder Identifizierung eines Objekts) aus und liefert ein Ergebnis dieses Vorgangs an das KNN, also jeder Sensor liefert eine Ausgabe über ein erkanntes Objekt. Es kann auch sein, dass ein Sensor kein Objekt erkennt, dann ist die Ausgabe dieses Sensors eine leere Menge. Das KNN erhält also die Ausgabe einer Mehrzahl von verschiedenen und verschiedenartigen Sensoren, wobei die Gesamtheit der Ausgaben der Sensoren den Eingabevektor bilden, und fusioniert diese Informationen, um die Zuverlässigkeit der Objekterkennung zu erhöhen.
-
Dahinter verbirgt sich der Gedanke, dass ein Objekt ggf. in einem Spektralbereich getarnt bzw. nicht erkennbar ist, wohingegen dasselbe Objekt in einem anderen Spektralbereich erkannt werden kann. Diese Objektinformationen aus verschiedenen Spektralbereichen werden dem KNN zugeführt und dann von dem KNN genutzt, um das Objekt zu klassifizieren und zu identifizieren.
-
Lebewesen wie Menschen oder Tiere sind von Radaranlagen in der Regel nicht zu erkennen, allerdings sind Lebewesen auf optischen Bildaufnahmen und in Infrarotaufnahmen zu erkennen, weil sie sich sowohl in optischen Bildaufnahmen als auch in Wärmebildaufnahmen von ihrer Umgebung unterscheiden bzw. hervorheben. Trägt eine Person hingegen einen Gegenstand von hinreichender Größe, welcher elektromagnetische Wellen reflektiert (z.B. eine Waffe), erzeugt diese Person auch eine Radarsignatur. Diese beiden Fälle (Mensch mit/ohne Waffe oder allgemein mit einem Gegenstand, welcher eine Radarsignatur hat) sind dann voneinander unterscheidbar. Dieser Gedanke kann für verschiedene Arten von Sensoren fortgesetzt werden: ein Lebewesen emittiert von sich aus keine elektromagnetischen Wellen. Werden hingegen elektromagnetische Wellen erfasst, die an einer bestimmten Position emittiert werden, lässt dies entsprechende Rückschlüsse auf das dort befindliche Objekt zu.
-
Das KNN wird zunächst mit Eingabedaten von verschiedenen Objekten, die das KNN erkennen und voneinander unterscheiden soll, trainiert, wobei zu den Eingabedaten Informationen zu einem Objekt aus verschiedenen Spektralbereichen gehören. Sodann kann das KNN nach der Trainingsphase ein Objekt klassifizieren und identifizieren, selbst wenn einer der Sensoren keine Objektinformation zu dem Objekt liefert, z.B. weil das Objekt im optisch sichtbaren Bereich nicht zu erkennen ist. In dem Fall ist das Objekt möglicherweise anhand seiner Radarsignatur oder im Infrarotbereich erkennbar. Das KNN wird dann gemäß seiner Konfiguration in der Lage sein, das Objekt zu identifizieren und zu klassifizieren, auch wenn ein Sensor keine Objekterkennungsinformation liefert, weil z.B. der Sensor in dem Spektralbereich, in welchem er Informationen erfasst, keine Signale detektiert oder das Objekt gegen ein Erkennen in diesem Spektralbereich getarnt ist.
-
Ein Gedanke, welcher der Objekterkennungseinheit zu Grunde liegt, ist die Datenfusion aus verschiedenartigen Quellen (also verschiedenartigen Sensoren) in einem KNN unter Zuhilfenahme der Position des zu erkennenden Objekts, um die Zuverlässigkeit des Objekterkennungsvorgangs zu erhöhen.
-
Für die Position des zu erkennenden Objekts können Werte in einem Koordinatensystem verwendet werden, z.B. absolute Positionsdaten in einem Positionsangabesystem wie den geografischen Koordinaten auf der Erdoberfläche. Die Positionsinformation kann auch als Orts-Zeit-Angabe übertragen werden. Damit kann auch ein bewegtes Objekt in den Objekterkennungsdaten von mehreren Sensoren eindeutig erkannt und einander zugeordnet werden.
-
Grundsätzlich ist das KNN aus einer Eingabeschicht, einer oder mehreren Zwischenschichten, und einer Ausgabeschicht aufgebaut. Jede Schicht enthält eine Mehrzahl von Neuronen, wobei jedes Neuron einer Schicht mit allen Neuronen der nächsten Schicht verbunden ist. Ein KNN kann mit einer Vielzahl von Eingabedaten trainiert werden und so konfiguriert sein, dass es einmal gelernte Objekte wiedererkennt und einen entsprechenden Ausgabewert liefert. Das KNN kann insbesondere so trainiert werden, dass es Objekte auch dann erkennt, wenn ein Objekt in einem Spektralbereich eines Sensors (oder mehrerer Sensoren) nicht erkennbar ist.
-
Das künstliche neuronale Netzwerk kann auf einem Rechner ausgeführt werden, wobei der Rechner das KNN in verschiedenen Konfigurationen ausführen kann. Beispielsweise kann das KNN auf einem Computer, einem programmierbaren Logikgatter (FPGA) oder einem Prozessor ausgeführt werden. Wenn das KNN in verschiedenen Konfigurationen ausgeführt wird, ändert dies nicht zwingend etwas an der Hardware, auf der das KNN ausgeführt wird. Vielmehr ändert sich beispielsweise die Konfiguration der einzelnen Neuronen und/oder die Gewichtung der Informationsübertragung zwischen Neuronen verschiedener Schichten.
-
Gemäß einer Ausführungsform ist das KNN ausgestaltet, eine Mehrzahl verschiedener Konfigurationen einzunehmen, wobei jede Konfiguration des KNN einem bestimmten Objekttyp entspricht und wobei das KNN einen bestimmten Eingabevektor mehreren Konfigurationen aus der Mehrzahl verschiedener Konfigurationen zuführt.
-
Jede Konfiguration des KNN entspricht einem Objekttyp und ist darauf ausgelegt, dass das KNN diesen Objekttyp wiedererkennt, und zwar unter verschiedenen Eingabevektoren, wenn z.B. das Objekt für einen oder mehrere der Sensoren aus was für Gründen auch immer nicht erkennbar ist. Eine Konfiguration des KNN kann z.B. ausgestaltet sein, elektronische Aufklärungsanlagen (z.B. Radaranlagen), bestimmte Fahrzeuge (Panzer, Personentransportfahrzeuge, etc.), bewaffnete oder unbewaffnete Personen oder Waffenanlagen zu erkennen.
-
Ein Eingabevektor entspricht der Menge der Informationen, die von verschiedenen Sensoren betreffend eine bestimmte Position erfasst werden. Jeder Sensor führt zunächst eine Objekterkennung aus und führt das Ergebnis dem KNN zu. Die Objekterkennung der Mehrzahl von Sensoren betreffend eine bestimmte Position wird als Eingabevektor bezeichnet und dem KNN zugeführt. Das KNN führt eine Datenfusion des Eingabevektors durch, indem der Eingabevektor einem Objekterkennungsvorgang durch das KNN in mehreren oder sogar jeder der Mehrzahl von Konfigurationen zugeführt wird.
-
Beispielsweise wird ein Eingabevektor dem KNN in der Konfiguration zum Erkennen von Kampfflugzeugen, bewaffneten Personen, bewaffneten Kampffahrzeugen, etc. zugeführt. Typischerweise liefert eine Konfiguration des KNN auf Grund des Trainings des KNN einen Ausgabewert, welcher dem erkannten Objekt an der angegebenen Position entspricht.
-
Wenn ein Sensor oder eine Gruppe von mehreren Sensoren an einer Position ein Kampfflugzeug erkennt, dann wird das KNN in der Konfiguration für bewaffnete Personen aus dem Eingabevektor mit dem Kampfflugzeug eine leere Menge ausgeben bzw. ausgeben, dass es sich nicht um eine bewaffnete Person handelt. In der Konfiguration zum Erkennen von Kampfflugzeugen wird das KNN mit demselben Eingabevektor hingegen einen Ausgabewert liefern, welcher besagt, dass ein Kampfflugzeug erkannt wurde, soweit dieses Ergebnis mit den erkannten Objekten der anderen Sensoren vereinbar ist und dem Training des KNN entspricht.
-
Das KNN kann beispielsweise sequenziell bzw. nacheinander verschiedene Konfigurationen einnehmen und der Eingabevektor wird dem KNN in seinen verschiedenen Konfigurationen zugeführt. Erkennt das KNN in einer seiner Konfigurationen ein Objekt in dem Eingabevektor, wird es eine entsprechende Ausgabe erzeugen.
-
Erfindungsgemäß ist das KNN ausgestaltet, mit räumlich getrennten Sensoren aus der Mehrzahl von Sensoren über eine Datenverbindung verbunden zu werden.
-
Das KNN fusioniert Daten von mehreren räumlich getrennten Sensoren. Die Objekterkennung wird zentral durch das KNN ausgeführt und die der Objekterkennung zu Grunde liegenden Daten werden von räumlich getrennten Sensoren geliefert. Dies entspricht einer zentralen Fusion und Auswertung von dezentral erfassten Daten, wobei die Daten durch die Sensoren bevorzugt in unterschiedlichen Spektralbereichen erfasst werden.
-
Die Datenverbindung kann als digitale Datenverbindung ausgestaltet sein und kann in einer Variante eine gesicherte digitale Datenverbindung sein, um eine gesicherte Verbindung zwischen KNN und Sensoren zu ermöglichen.
-
Gemäß einer weiteren Ausführungsform weist die Objekterkennungseinheit eine Auswertungseinheit auf, welche mit dem KNN verbunden ist, wobei das KNN ausgestaltet ist, ein erkanntes Objekt an die Auswertungseinheit zu übermitteln.
-
Die Auswertungseinheit ist typischerweise ausgestaltet, um das erkannte Objekt einer weitergehenden Analyse zuzuführen oder das erkannte Objekt an eine Wirkeinheit (oder Effektor) oder eine andere Datensenke zu übertragen. Die weitergehende Analyse kann sowohl maschinell und automatisiert erfolgen als auch eine Interaktion mit einem menschlichen Benutzer involvieren. Für die Interaktion mit dem menschlichen Benutzer kann die Auswertungseinheit mit einer geeigneten Eingabe- und Ausgabeschnittstelle ausgestattet sein.
-
Gemäß einer weiteren Ausführungsform ist die Auswertungseinheit mit mindestens einem Effektor verbunden und ist ausgestaltet, Informationen über ein erkanntes Objekt an den mindestens einen Effektor zu übertragen.
-
Bei dem Effektor kann es sich beispielsweise um eine Waffenanlage handeln. An den Effektor werden die fusionierten Informationen über ein Objekt übertragen. Hierzu gehört insbesondere die Position des erkannten Objekts. Es wird weiter insbesondere auch eine Information über die Klassifizierung und/oder Identifizierung des Objekts übertragen und der Effektor kann basierend auf diesen Informationen eine geeignete Art für eine Aktion oder Gegenmaßnahme wählen.
-
Die Informationen betreffend ein Objekt können an einen oder mehrere Effektoren übermittelt werden. Die Verbindung zwischen der Auswertungseinheit und den Effektoren kann ebenfalls eine gesicherte digitale Datenverbindung sein.
-
Gemäß einer weiteren Ausführungsform ist die Auswertungseinheit ausgestaltet, mit mindestens einem Sensor von der Mehrzahl von Sensoren verbunden zu werden und eine aktualisierte Position eines Objekts an den mindestens einen Sensor zu übertragen.
-
Wenn ein Sensor die Position eines Objekts vorübergehend verliert, erhält dieser Sensor die Position des Objekts jedenfalls von der Auswertungseinheit und kann einen Erfassungsbereich basierend auf der erhaltenen Position nachführen. Dies ermöglicht es, eine Mehrzahl von Sensoren auf ein zu beobachtendes Gebiet zu richten und in verschiedenen Spektralbereichen zu beobachten.
-
Gemäß einem weiteren Aspekt ist ein Systemverbund angegeben, welcher eine Objekterkennungseinheit wie hierin beschrieben, eine Mehrzahl von räumlich voneinander getrennten oder beabstandeten Sensoreinheiten, eine Mehrzahl von Sensoren, und mindestens einen Effektor umfasst. Die Mehrzahl von Sensoreinheiten sind mit dem KNN der Objekterkennungseinheit über eine Datenverbindung verbunden. Die Mehrzahl von Sensoren ist der Mehrzahl von Sensoreinheiten zugeordnet. Der Effektor ist mit der Objekterkennungseinheit verbunden. Die Mehrzahl von Sensoreinheiten ist ausgeführt, eine Positionsinformation zu einem Objekt und Objekterkennungsinformationen betreffend dasselbe Objekt an die Objekterkennungseinheit zu übertragen. Jede Sensoreinheit der Mehrzahl von Sensoreinheiten ist ausgeführt, eigenständig eine Objekterkennung auszuführen und das Ergebnis der Objekterkennung sowie die Positionsinformation an die Objekterkennungseinheit zu liefern. Die Objekterkennungseinheit ist ausgeführt, die Objekterkennungsinformationen zu fusionieren und Informationen über das erkannte Objekt an den mindestens einen Effektor zu übertragen.
-
In diesem Systemverbund ist die hierin beschriebene Objekterkennungseinheit in einen größeren Zusammenhang eingebunden und agiert beispielsweise als zentrales Verbindungsglied zwischen mehreren verschiedenartigen und räumlich voneinander getrennten Sensoren und einem oder mehreren Effektoren oder Datensenken. Ein Effektor oder eine Datensenke kann eine Waffenanlage oder eine Informationsverarbeitungsanlage sein, welche Informationen über das erkannte Objekt erhält und basierend darauf eine Aktion vornimmt, z.B. die Informationen in einem Speicher hinterlegt, einer weiteren Verarbeitung zuführt, eine Warnung vor dem Objekt an andere Einheiten ausgibt, Gegenmaßnahmen einleitet, um das Objekt zu bekämpfen oder in seiner Funktion zu stören, etc.
-
Gemäß einer Ausführungsform weist eine Sensoreinheit eine Trägereinheit und einen Sensor aus der Mehrzahl von Sensoren auf, wobei jeweils ein Sensor einer Trägereinheit zugeordnet ist und wobei die Sensoreinheiten räumlich voneinander getrennt sind.
-
Die Objekterkennungseinheit ist also als zentrale Einheit ausgestaltet, welche Objekterkennungsinformationen von mehreren räumlich getrennten und voneinander beabstandeten Sensoren über dasselbe Objekt (oder über mehrere Objekte, wobei die mehreren Objekte durch die Positions- und/oder Zeitangaben voneinander unterschieden werden können) erhält.
-
Somit werden der Objekterkennungseinheit Daten über ein zu erkennendes Objekt übermittelt, welche aus verschiedenen Positionen erfasst wurden, nämlich durch die räumlich voneinander getrennten oder beabstandeten Sensoreinheiten.
-
Gemäß einer weiteren Ausführungsform weist eine Sensoreinheit eine mobile oder stationäre Trägereinheit auf.
-
Die Sensoren können beispielsweise an einem Land-, Wasser- oder Luftfahrzeug (diese können als mobile Trägereinheit bezeichnet werden) angeordnet sein. Alternativ können die Sensoren an stationären Trägereinheiten, welche beispielsweise fest mit dem Erdboden oder allgemein der Erde verankert sind, angeordnet sein.
-
In dem Systemverbund können Objekterkennungsinformationen von verschiedenen Quellen verwendet werden, um ein Objekt zu klassifizieren und zu identifizieren. Indem beispielsweise eine Vielzahl sowie verschiedenartige Sensoren, die beispielsweise an mehreren Flugzeugen angeordnet sind, ihre Daten an die Objekterkennungseinheit liefern, kann die Erkennungsrate der Objekte und die Zuverlässigkeit des Vorgangs der Objekterkennung erhöht werden, auch wenn ein einzelner Sensor keine Objektinformation oder ein fehlerhaft erkanntes Objekt liefert. Das KNN der Objekterkennungseinheit ist durch das Training darauf vorbereitet, mit solchen teilweise fehlenden oder falschen Informationen umzugehen.
-
Gemäß einer weiteren Ausführungsform ist der Sensor jeder Sensoreinheit ausgewählt aus der Gruppe umfassend die folgenden Sensoren: Infrarotsensor, Radaranlage, optischer Sensor, Sensor zum Erfassen von elektronischen Unterstützungsmaßnahmen, Sensor zum Lokalisieren von elektromagnetischen Emittern.
-
Bevorzugt sind mindestens zwei Sensoren aus mindestens zwei verschiedenen oder sogar jedem der genannten Sensortypen vorhanden, um in verschiedenen Spektralbereichen eine Objektinformation zu einer bestimmten Position in einem zu überwachenden Gebiet zu liefern. In anderen Worten wird also ein zu überwachendes Gebiet in verschiedenen Spektralbereichen beobachtet und erfasst und diese Informationen werden an die Objekterkennungseinheit und das zugehörige KNN geliefert, so dass das KNN die Informationen aus verschiedenen Spektralbereichen fusioniert und eine Information über das Objekt an der bestimmten erfassten Position liefert.
-
Ein Infrarotsensor (oder auch Wärmebildkamera) erfasst das zu überwachende Gebiet im Infrarotbereich, um eine Wärmesignatur an der überwachten Position zu erfassen.
-
Eine Radaranlage sendet elektromagnetische Wellen aus und erfasst die reflektierten Wellen, was Rückschlüsse auf Position und Struktur eines Objekts an der überwachten Position erlaubt.
-
Ein optischer Sensor kann beispielsweise eine Kamera sein, welche Einzelbilder bzw. Standbilder oder bewegte Bilder erfasst.
-
Ein Sensor zum Erfassen von elektronischen Unterstützungsmaßnahmen (auch: ESM, engl.: Electronic Support Measures) erfasst elektromagnetische Ausstrahlungen von Objekten, wertet diese aus und lokalisiert den Ursprung der elektromagnetischen Ausstrahlungen. Ein Sensor für ESM ist also ein passiver Sensor, welcher solche elektromagnetischen Ausstrahlungen erfasst, die von einem Objekt emittiert werden. Beispielsweise werden hier die charakteristischen elektromagnetischen Signaturen von verschiedenen Objekten erfasst.
-
Ein Sensor zum Lokalisieren von elektromagnetischen Emittern erfasst elektromagnetische Wellen und detektiert deren Ursprung.
-
Zusätzlich oder alternativ zu diesen Sensoren können auch andere Sensoren verwendet werden, welche in der Lage sind, Signale von der Umwelt zu erfassen und mittels dieser Signale Rückschüsse auf ein Objekt erlauben. So können beispielsweise akustische Sensoren (wie Mikrofone) verwendet werden, um ein Geräusch zu erfassen und/oder die Position eines Geräusches zu bestimmen.
-
Für sämtliche hierin beschriebenen Sensoren können diverse bekannte Techniken zum Einsatz kommen.
-
Es ist ein Gedanke des hierin beschriebenen Systemverbunds, eine Position in einem zu überwachenden Gebiet mittels einiger der hierin beschriebenen unterschiedlichen Arten von Sensoren in verschiedenen Spektralbereichen zu beobachten und zu erfassen. Die Ergebnisse der Sensoren werden einem künstlichen neuronalen Netzwerk, KNN, zugeführt und das KNN bestimmt ausgehend von den in einer Lernphase erlernten Objekten, welches Objekt sich an der beobachteten und erfassten Position befindet. Das KNN kann basierend auf der Lernphase ein Objekt auch dann erkennen, wenn dieses Objekt in einem von einem Sensor erfassten Spektralbereich nicht erfasst wird. Das Objekt wird dann nämlich in Zusammenschau der Ergebnisse der anderen Sensoren erkannt. Dieser Ansatz hat den Vorteil, dass die Beobachtung eines Ortes mit mehreren verschiedenen Sensoren in verschiedenen Spektralbereichen und die Auswertung der Beobachtungsergebnisse mittels eines KNN eine hohe Zuverlässigkeit und Erkennungsrate liefert.
-
Figurenliste
-
Nachfolgend wird anhand der beigefügten Zeichnungen näher auf Ausführungsbeispiele eingegangen. Die Darstellungen sind schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen beziehen sich auf gleiche oder ähnliche Elemente. Es zeigen:
- 1 eine schematische Darstellung einer Objekterkennungseinheit zum Erkennen von Objekten.
- 2 eine schematische Darstellung eines künstlichen neuronalen Netzwerks einer Objekterkennungseinheit.
- 3 eine schematische Darstellung eines Systemverbunds zum Erkennen von Objekten.
-
Detaillierte Beschreibung von Ausführungsbeispielen
-
1 zeigt eine Objekterkennungseinheit 1, welche ein künstliches neuronales Netzwerk, KNN, 100 enthält. Das KNN 100 ist mit fünf Sensoren 10, 20, 30, 40, 50 verbunden, so dass Objekterkennungsinformationen, die die Sensoren basierend auf Erkennungsdaten bestimmen, an das KNN übertragen werden können. Das KNN 100 erhält von mehreren oder allen Sensoren Objekterkennungsinformationen. Die Daten der Mehrzahl von Sensoren werden von dem KNN 100 fusioniert und das KNN gibt basierend auf einer Trainingsphase einen Ausgabewert aus. Bei dem Ausgabewert handelt es sich um das fusionierte Ergebnis der Objekterkennung basierend auf den Daten von der Mehrzahl von Sensoren.
-
Das KNN 100 liefert den Ausgabewert an eine Auswertungseinheit 200. Bei der Auswertungseinheit 200 kann es sich um eine Datensenke handeln, welche den Ausgabewert von dem KNN 100 weiter verarbeitet und/oder verteilt.
-
Indem die Objekterkennungsinformationen von mehreren Sensoren dem KNN 100 zugeführt werden, wird eine schnellere und bessere Erkennung von Objekten an einer überwachten Position ermöglicht.
-
Bevorzugt handelt es sich bei den Sensoren 10 bis 50 um verschiedenartige (d. h. in verschiedenen Spektralbereichen arbeitende bzw. erfassende) und voneinander räumlich getrennte Sensoren. Dadurch ergibt sich durch die Datenfusion in dem KNN ein besseres Gesamtbild, weil die Sensorinformationen durch das KNN zusammengeführt werden.
-
Die Sensoren 10 bis 50 erfassen jeweils Eigenschaften, welche ein Objekt in einem bestimmten Spektralbereich charakterisieren, z.B. durch optische Bildaufnahmen, Wärmebildaufnahmen (Infrarotsensoren), Radaranlagen, Sensoren zum Erfassen von elektronischen Unterstützungsmaßnahmen, Sensoren zum Lokalisieren von elektromagnetischen Emittern, etc.
-
Die Klassifizierung und Identifizierung von Objekten wird in dem KNN 100 zentralisiert, vereinfacht und beschleunigt sowie die Zuverlässigkeit der Objekterkennung verbessert.
-
Die Sensoren können Teil einer mobilen Sensoreinheit sein, z.B. können die Sensoren an einem Flugzeug angebracht sein. Verschiedene Sensoren können an unterschiedlichen Flugzeugen angebracht sein. Manche Sensoreinheiten können einen oder mehrere Sensoren enthalten, wobei die Sensoren einer Sensoreinheit im gleichen oder in einem unterschiedlichen Spektralbereich arbeiten. Im Gegensatz zu lediglich einer separaten Objekterkennung, die von einem Sensor isoliert und individuell durchgeführt wird, ist vorgesehen, dass eine weitergehende Objekterkennung basierend auf den Erkennungsdaten von mehreren Sensoren zentral in dem KNN 100 durchgeführt wird.
-
Die von dem KNN 100 erkannten Objekte können in einem Systemverbund kommuniziert werden. Somit ist es möglich, dass eine Komponente des Systemverbunds, z.B. ein Flugkörper bzw. ein Luftfahrzeug, Informationen über ein Objekt erhält, wenn sich das Objekt noch gar nicht in der Reichweite der Sensoren dieser Komponente befindet.
-
2 zeigt eine detaillierte Darstellung des KNN 100. Das KNN 100 weist eine Eingabeschicht 110 mit mehreren Eingabeneuronen 111 bis 116 auf. Beispielsweise enthält die Eingabeschicht 110 eine Anzahl von Eingabeneuronen, die der Anzahl der zu verbindenden Sensoren entspricht. Das KNN enthält mindestens eine Zwischenschicht 120. Die Anzahl der Zwischenschichten kann variieren, gezeigt ist in 2 schematisch lediglich eine Zwischenschicht. Weiterhin enthält das KNN 100 eine Ausgabeschicht 130 mit Ausgabeneuronen 131 bis 136.
-
Es ist ein Kennzeichen des KNN, dass jedes Neuron einer Schicht mit allen Neuronen der nachfolgenden (in der Darstellung der 2 weiter rechts befindlichen) Schichten verbunden ist. In einer Trainingsphase werden der Eingabeschicht des KNN Objekterkennungsdaten von mehreren Sensoren zugeführt und das KNN wird darauf trainiert, um die zugeführten Objekterkennungsdaten zu erkennen. Basierend auf diesem Training werden die Neuronen so vernetzt, dass sie ein einmal gelerntes Objekt auch in anderen Objekterkennungsdaten erkennen und an der Ausgabeschicht 130 einen entsprechenden Ausgabewert liefern.
-
In dem Beispiel der 2 werden an die Eingabeschicht Informationen an das zweite Neuron 112 und an das sechste Neuron 116 geliefert. Das zweite Neuron 112 erhält Objekterkennungsdaten von einem Sensor und das sechste Neuron 116 erhält Positionsdaten, die zu den Objekterkennungsdaten gehören. Mit diesen Daten liefert die Ausgabeschicht basierend auf der Konfiguration des KNN einen Ausgabewert an dem dritten Neuron 133 der Ausgabeschicht. Diese Ausgabe entspricht einem bestimmten Objekttyp an der besagten Position.
-
In anderen Worten erhalten die Neuronen der Eingabeschicht kodierte Sensorinformationen, die nach Durchlaufen des Netzwerks ein fest zugeordnetes neuronales Ausgangsmuster ergeben, womit einer bestimmten Position ein definierter Objekttyp zugeordnet werden kann. Stimmt das erfasste Eingangsmuster mit irgendeinem memorierten neuronalen Trainingsmuster eines künstlichen neuronalen Netzwerks überein, so gilt der Objekttyp als identifiziert. Kann der betreffende Sensor kein Ergebnis liefern, weil das Objekt durch einen Störer verdeckt oder anderweitig nicht zu erkennen ist, ist es immer noch möglich, dass ein anderer Sensor der eigenen oder einer anderen Sensoreinheit, der dieselbe Position beobachtet, eine Klassifizierung des Objektes liefern kann.
-
Das KNN 100 kann Objekterkennungsdaten von einem oder mehreren Sensoren (entsprechend den Eingangsneuronen) erhalten. In 2 ist beispielhaft ein Szenario gezeigt, in welchem Daten lediglich an das zweite Neuron 112 und das sechste Neuron 116 geliefert werden. Diese Daten können als Eingangsvektor bezeichnet werden und betreffen in der Regel Objekterkennungsdaten zu derselben Position in einem beobachteten Gebiet. Jedenfalls kann der Eingangsvektor Daten in verschiedenen Kombinationen enthalten, die vorliegend nicht alle gezeigt sind. Insgesamt kann das hier gezeigte KNN mit fünf Eingangsneuronen 111 bis 115 für die Objekterkennungsdaten und einem Eingangsneuron 116 für die Positionsdaten 31 verschiedene Eingangsmuster erkennen.
-
3 zeigt einen Systemverbund 300, welcher eine Zentrale 350 (kann z.B. ein Gefechtsstand sein), mehrere Sensoreinheiten 310, 320, 330, und mehrere Effektoren 360 enthält.
-
Die Zentrale 350 weist ein KNN 100 und eine Auswertungseinheit 200 auf. Die Sensoreinheiten sind mit der Zentrale 350 und dem KNN 100 verbunden, um Objekterkennungsdaten an das KNN 100 zu liefern, wie weiter oben beschrieben. Das KNN 100 führt eine Objekterkennung aus und liefert die erhaltenen Informationen an die Auswertungseinheit 200, welche wiederum die Daten an die Effektoren 360 liefert. Die Auswertungseinheit 200 kann aber auch mit den Sensoreinheiten 310, 320, 330 verbunden sein (beispielhaft ist eine Verbindung zwischen der Auswertungseinheit 200 und der dritten Sensoreinheit 330 mit einer gestrichelten Linie gezeigt), um Informationen über ein erkanntes Objekt an die Sensoreinheiten zu kommunizieren.
-
Eine Sensoreinheit 310, 320, 330 weist eine Trägereinheit und einen Sensor auf. Beispielsweise kann die Trägereinheit 311 der Sensoreinheit 310 ein Flugzeug sein, welches mindestens einen Sensor 10 aufweist. Die Trägereinheit 321 der Sensoreinheit 320 kann ein Wasserfahrzeug sein, welches mindestens einen Sensor 20 aufweist. Die Trägereinheit 331 der Sensoreinheit 330 kann ein stationäres Bauwerk sein und mindestens einen Sensor 30 aufweisen. Somit werden Objekterkennungsinformationen von mehreren räumlich getrennten Sensoren an die Zentrale 350 und das KNN 100 geliefert, um das Erstellen eines fusionierten Lagebildes zu ermöglichen.
-
In einem Beispiel kann die Zentrale 350 die Positionsdaten jedes einzelnen identifizierten Objekts an alle Entitäten (Sensoreinheiten, Effektoren) des Systemverbunds 300 verteilen, so dass jene Sensoren, welche die Position des Objekts vorübergehend verloren haben, dennoch Informationen über das besagte Objekt haben. So können alle Sensoren das Objekt im Bedarfsfall rasch wieder erfassen oder zumindest die Position des Objekts beobachten.
-
Gegenmaßnahmen eines beobachteten Objekts sind nun wenig hilfreich, weil Gegenmaßnahmen in der Regel nur in begrenzten Spektralbereichen erfolgen. Für jede beobachtete Position und/oder jedes beobachtete Objekt wird ein eigenes KNN mit einem Eingangsvektor versorgt.
-
Basierend auf den erkannten Objekten können nun von der Auswertungseinheit 200 Vorschläge für Gegenmaßnahmen bestimmt werden. Zu diesen Gegenmaßnahmen können Maßnahmen in Bezug auf Angriff oder Verteidigung, die Priorisierung der Bekämpfung von Bedrohungen, die Wahl einer angemessenen Vorrichtung für eine Gegenmaßnahme, Weitergabe von Informationen, und Verhalten im Anschluss an die Objekterkennung und/oder Bekämpfung gehören. Die Auswertungseinheit kann auch die Erfolgsaussichten gegebenenfalls einzuleitender Maßnahmen sowie eine Risikoabschätzung ermitteln.
-
Der Systemverbund 300 kann ohne menschlichen Eingriff auskommen und die Entitäten des Systemverbunds mit Informationen über den Standort, die Bewegung, den Einsatz und die Aktivitäten der eigenen Entitäten (Sensoren und Effektoren) versorgen und zugleich Informationen über beobachtete Objekte an einige oder alle Entitäten des Systemverbunds teilen.
-
Ergänzend ist darauf hinzuweisen, dass „umfassend“ oder „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
-
Bezugszeichenliste
-
- 1
- Objekterkennungseinheit
- 10
- erster Sensor
- 20
- zweiter Sensor
- 30
- dritter Sensor
- 40
- vierter Sensor
- 50
- fünfter Sensor
- 100
- künstliches neuronales Netzwerk
- 110
- Eingabeschicht
- 111
- erstes Neuron
- 112
- zweites Neuron
- 113
- drittes Neuron
- 114
- viertes Neuron
- 115
- fünftes Neuron
- 116
- sechstes Neuron
- 120
- Zwischenschicht
- 130
- Ausgabeschicht
- 131-136
- Ausgabeneuronen
- 200
- Auswertungseinheit
- 300
- Systemverbund
- 310
- Sensoreinheit
- 311
- Trägereinheit
- 320
- Sensoreinheit
- 321
- Trägereinheit
- 330
- Sensoreinheit
- 331
- Trägereinheit
- 350
- Zentrale, Gefechtsstand
- 360
- Effektor
