-
Die Erfindung betrifft eine visuelle adaptive Tarnung von Landfahrzeugen oder - einrichtungen.
-
Visuelle adaptive Tarnungen sind bereits bekannt. Aus der Gebrauchsmusterschrift
DE 20 2012 011 986 U1 ist eine Anordnung zur aktiven visuellen und thermografieneutralen Tarnung von Fahrzeugen und Objekten bestehend aus mehreren Tarnplatten dadurch gekennzeichnet, dass mehrere Tarnplatten die farbiges, biegsames elektronisches Papier enthalten an der sichtbaren Oberfläche des Fahrzeugs oder Objekts angebracht sind und die Umgebung auf der gegenüberliegenden Seite des Fahrzeugs abbilden, welche an die Tarnplatten mittels Kameras und einer Aufbereitungssoftware übertragen wird.
-
Der Nachteil dieser Anordnung besteht insbesondere darin, dass die auf dem biegsamen elektronischen Papier abgebildete gegenüberliegende Seite des Fahrzeugs nur von einem Standpunkt des Beobachters die optimale Ansicht bietet. Ändert sich der Blickwinkel des Beobachters wird die Tarnung durch die Verzerrung des Erscheinungsbilds verändert. Ein derart veränderter optischer Eindruck wird vom menschlichen Auge sehr sensibel erfasst und die Tarnwirkung ist damit nicht mehr vorhanden.
-
Weiter ist aus der internationalen Offenlegungsschrift
WO 2014/040786 A1 ist ein Verfahren zum visuellen adaptiven Tarnen von Objekten bekannt, dadurch gekennzeichnet, dass der Hintergrund und/oder die Umgebung vor welchem oder in welcher sich das Objekt befindet mittels Kamera oder einem Sensor-Array erfasst und zu einem Blockmuster verrechnet wird und auf einer Einrichtung zur Tarnung des Objektes mindestens in Bezug auf Intensität und Farbe wiedergegeben wird.
-
Der Nachteil dieses Verfahrens liegt insbesondere darin, dass eine dominierende Farbe, die jedoch nicht im gesamten Bereich der adaptiven Tarnung auftaucht, über die gesamte Fläche als dominierend erfasst wird. Beispielsweise kann ein hoher Anteil von blauem Himmel für eine Fahrzeugtarnung nachteilig sein, wenn am Boden keine Blauanteile auftauchen und so die Horizontlinie durchbrochen wird. Darüber hinaus bietet das Verfahren keine Möglichkeit runde Konturen, so wie sie natürlicherweise vorkommen darzustellen. Beide Merkmale heben sich aber für das menschliche Auge stark vom Hintergrund ab, so dass nur ein geringer Tarneffekt entsteht.
-
Aufgabe der Erfindung ist es daher ein Verfahren zur visuellen adaptiven Tarnung vorzustellen, welches die Hintergrundumgebung erfasst und durch einen Algorithmus ein elektronisch generiertes Tarnmuster darstellt welches bezüglich Hintergrundstruktur, Farbe, Intensität und optional Signaleigenschaften optimiert ist.
-
Diese Aufgabe wird durch die kennzeichnenden Merkmale des Hauptanspruchs gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen beschrieben.
-
Das ideale generalisierte Zielszenario der adaptiven visuellen Fahrzeugtarnung weist folgenden Ablauf auf: Die aktuelle Umgebung/Hintergrund wird mit einer oder mehreren Farbkameras zu jeder Seite eines Fahrzeuges erfasst. Zudem werden die jeweiligen Entfernungswerte zum Hintergrund entweder durch Stereoskopie oder durch LIDAR ermittelt. Des Weiteren wird mit einem oder mehreren Helligkeitssensoren die aktuelle Umgebungshelligkeit am Fahrzeug gemessen. Anschließend werden die Kamerabilder von einem zentralen Steuerungsrechner in Echtzeit analysiert. Die Analyse erfolgt durch eine statistische Analyse der Farbanteile in den jeweiligen Kamerabildern, indem die dominanten Farben im Kamerabild identifiziert werden. Vor der statistischen Analyse der Farben werden die Kamerabilder durch Segmentierungsalgorithmen von Schatten und Himmel herausmaskiert, so dass Himmel und Schatten nicht in die statistische Analyse einbezogen werden. Anschließend wird anhand des Bildes analysiert, ob es sich bei dem Hintergrund um einen natürlichen Farbhintergrund handelt oder ob es sich um einen künstlichen Hintergrund handelt. Bei einem künstlichen Hintergrund wird ein digitales Tarnmuster mit den gefundenen dominanten Farben erzeugt, bei natürlichen Hintergründen ein Flecktarnmuster. Anhand der Entfernung zum Hintergrund wird die Größe der Flecken bzw. der digitalen Rechtecke automatisch eingestellt. Ist die Entfernung größer, sind die Flecken/Rechtecke kleiner. Ist der Hintergrund näher am Fahrzeug sind die Flecken/Rechtecke im Tarnmuster größer.
-
Das erzeugte Tarnmuster wird dann auf ein Anzeigesystem (z.B. LED Panel, MEMS-Displays oder OLED) was am Fahrzeug befestigt ist angezeigt. Optional können über das Tarnmuster noch Graphiken oder Texte eingeblendet werden. Die Helligkeit der Anzeige wird über den Helligkeitssensor automatisch eingestellt. Das angezeigte Tarnmuster wird nur dann geändert, wenn das Fahrzeug an einem Ort stehen geblieben ist (keine Fahrzeugbewegung) und wenn sich das Kamerabild signifikant bei Fahrzeugstillstand von den Farbwerten ändert. Die Erkennung der Bewegung erfolgt durch Analyse des Bildes (z.B. durch den optischen Fluss) oder durch ein Signal vom Steuerungsrechner des Fahrzeuges (z.B. aktuelle Geschwindigkeit des Fahrzeuges, Reifenumdrehungsmesser). Idealerweise wird durch die adaptive Änderung der visuellen Tarnung die Entdeckungswahrscheinlichkeit durch eine feindliche Aufklärung erheblich verringert.
-
Ein besonderer Vorteil der Erfindung besteht darin, dass zur Ermittlung der dominanten Farben das Farbbild analysiert wird. Im Farbbild wird oftmals der Himmel mit aufgenommen. Der überwiegende Blauanteil des Himmels würde dann als eine dominante Farbe gefunden werden und im Tarnmuster entsprechend auftauchen. Dies würde für die Fahrzeugtarnung jedoch nachteilig sein, da am Boden meist kein Blauanteil vorhanden ist. Deshalb ist vor der Ermittlung der dominanten Farben ein Vorverarbeitungsschritt notwendig. Dieser hat das Ziel, den Himmel und optional die Schatten automatisch herauszusegmentieren.
-
Zur Segmentierung des Himmels wird das RGB-Bild zunächst in ein Grauwertbild umgewandelt und mit einem 3x3 Gauß-Filter geglättet, um feine Störungen im Bild zu unterdrücken. Anschließend wird ein Canny-Kantendetektionsfilter auf das Grauwertbild angewendet. Dieser erzeugt letztendlich ein Kantenbild aus dem Originalbild, siehe . Das Kantenbild wird mit Hilfe des Watershed-Segmentierungsalgorithmus in viele kleine Segmente unterteilt, siehe . Wichtig hierbei ist, dass eine Übersegmentierung stattfindet, da im späteren Schritt die Segmente nur komplett in Himmel bzw. nicht-Himmel klassifiziert werden. Anschließend wird jedes einzelne Segment in den HSV-Farbraum transformiert und überprüft, ob der Farbmittelwert eines Segmentes innerhalb eines bestimmten Farbschwellwertes liegt. Die Farbschwellwerte für den Himmel ergeben sich aus experimentell gefunden Werten. Optional kann ein Schwellwert für den Schatten definiert werden, welcher dunkle Farbwerte maskiert. Entspricht der mittlere Farbwert eines Segmentes einem Himmel oder einem Schatten, wird das entsprechende Segment im Originalbild maskiert. Zur Unterdrückung kleinerer Störungen an den Maskierungsrändern wird die Maske mit einem 3x3 Dilatationskernel vergrößert. Zum Schluss wird die Maske mit dem Originalbild bitweise verknüpft.
-
Für unterschiedliche Hintergründe gibt es für die klassischen statischen Tarndrucke optimal angepasste Tarnmuster. Bei natürlichen Hintergründen (wie Wald, Dschungel) ist ein Flecktarnmuster, optimal geeignet. Dieses besitzt als Hauptmerkmal rundliche Flecken. Im Gegensatz dazu existiert das digitale Tarnmuster, welches u.a. von der US Army benutzt wird. Das Hauptmerkmal beim digitalen Tarnmuster ist die Verwischung der Konturen durch kleine Rechtecke. Das digitale Tarnmuster wirkt u.a. optimal für künstliche Hintergründe (wie z.B. urbane Umgebungen). Damit für die adaptive visuelle Tarnung jeweils das optimale Tarnmuster generiert wird, muss eine automatische Klassifizierung in natürlichen und künstlichen Hintergrund erfolgen. Die Klassifizierung ist ein weiterer Vorteil des erfindungsgemäßen Verfahrens.
-
Die erfindungsgemäße Klassifizierung des Hintergrundes basiert auf einer Strukturanalyse des aufgenommen Farbbildes aus der aktuellen Umgebung. Wenn man sich künstliche Hintergründe näher betrachtet, sind die Strukturen meist geradlinig im Gegensatz zu natürlichen Hintergründen, die meist eine chaotische Struktur besitzen. Um die Struktur des Bildes zu analysieren wird das RGB-Bild zunächst mit Hilfe der zweidimensionalen diskreten Fourier-Transformation (DFT) in das Leistungsspektrum transformiert. Anschließend werden im DFT-Leistungsspektrum die niedrigen Frequenzen gefiltert, um homogene Flächenanteile zu unterdrücken. Dazu wird ein Kreis in die Mitte des DFT-Leistungsspektrums mit einer Gesamtausdehnung von der Hälfte der RGB-Bildgröße eingeblendet. Anschließend wird das Bild mit einem 3x3 großen Gauß-Filter geglättet und binarisiert. Zur Linienerkennung wird eine Hough-Transformation auf das binarisierte DFT-Leistungsspektrum angewendet. Erkennt der Algorithmus mehr als zwei Linien, wird der Hintergrund als künstlicher Hintergrund klassifiziert, andernfalls als natürlicher Hintergrund.
-
Ein weiterer Vorteil der Erfindung besteht in der Auswahl der dominaten Farben. Zur optimalen Einfärbung des generierten Tarnmusters werden die dominanten Farben im RGB-Bild gesucht. Dazu wird als erstes der Himmel und optional der Schatten im RGB-Bild maskiert und auf die Hälfte der Größe verkleinert, um die weitere Berechnung zu beschleunigen. Anschließend kann optional das Bild in vier Quadranten unterteilt werden. Dies hat zur Folge, dass auch die Position der Farbhäufigkeit bei der Tarnmustergenerierung miteinbezogen werden kann. Die weiteren Berechnungen der dominanten Farben erfolgen dann jeweils mit den vier einzelnen Quadranten oder alternativ mit dem vollständigen maskierten RGB-Bild. Das maskierte RGB-Bild wird anschließend in den L*a*b*-Farbraum transformiert, da in diesem Farbraum gleiche Farben näher beieinander liegen. Anschließend wird ein iterativer k-means Algorithmus auf die Transformation angewendet. Dieser klassifiziert die Farben im Bild in k verschiedene Cluster. Der Parameter k gibt an, wie viele Cluster und somit auch wie viele dominante Farben im Bild gefunden werden. In der Praxis hat sich ein Wert von fünf als sinnvoll erwiesen. Als Abstandsmaß für die Klassenzugehörigkeit wird der euklidische Abstand benutzt. Nach 1000 Iterationen oder wenn der Gesamtabstand kleiner als 0.001 ist, terminiert der k-means Algorithmus. Dem Mittelwert der gefundenen Cluster entsprechen genau die dominanten Farben im Bild. Zusätzlich gibt die Größe des Clusters die Farbhäufigkeit der jeweiligen Farbe an.
-
Ein weiterer Vorteil der Erfindung liegt in der Generierung der Tarnmuster. Welches Tarnmuster erzeugt wird (Flecktarnmuster oder ein digitales Tarnmuster), wird anhand der Klassifizierung des Hintergrundes bestimmt. Grundsätzlich wird zunächst ein Binary-Space-Partitioning Algorithmus in der Größe des anzuzeigenden Tarnmusters aufgebaut. Dieser unterteilt iterativ das Bild in immer kleinere Polygone bis der Umfang des Polygons kleiner als ein bestimmter Parameterwert wird. Die Unterteilung erfolgt zufällig. Die erzeugten Polygone geben zunächst die erste grobe Tarnmusterform der Farbflächen an.
-
Im nächsten Schritt werden die Polygone mit den ermittelten fünf dominanten Farben eingefärbt. Dazu wird der Mittelpunkt des Polygons berechnet. An dieser Ortsposition wird die entsprechend erzeugte Farbhäufigkeit gesucht und durch eine diskrete Verteilungsfunktion abgebildet. Die Farbe des Polygons wird dann entsprechend der Verteilungsfunktion ausgewählt. Ist ein natürlicher Hintergrund erkannt worden, werden im nächsten Schritt zufällig über das gesamte Tarnmuster Ellipsen mit verschiedenen Größen verteilt. Dabei wird die Ellipsenfarbe durch die unterliegende Polygonfarbe bestimmt. Wurde ein künstlicher Hintergrund erkannt, werden anstatt Ellipsen unterschiedlich große Rechtecke zufällig über das gesamte Bild verteilt. Dabei wird die Rechteckfarbe wieder durch die unterliegende Polygonfarbe bestimmt.
-
Die Anzahl der zufällig verteilten Rechtecke und Ellipsen richtet sich nach der Größe des Tarnmusters. Je größer das Tarnmuster ist, umso mehr Ellipsen und Rechtecke werden verteilt.
-
Anschließend kann optional über das Tarnmuster eine Graphik eingeblendet werden. Diese kann situationsabhängig ausgeblendet oder vor Missionsbeginn für jedes Fahrzeug fest eingestellt werden, beispielsweise die Einblendung eines Eisernen Kreuzes, roten Kreuzes und/oder eines Warnhinweises „Abstand halten“, auch mit verschiedenen Schriftzeichen.
-
Eine vorteilhafte Ausgestaltung der Erfindung ist in Unteranspruch 5 beschrieben. Eine Funktionalität des erfindungsgemäßen Verfahrens ist die automatische Anpassung der Größe der Rechtecke und Ellipsen in Abhängigkeit des Abstands zum Hintergrund. Bei weit entfernten Hintergründen werden die Rechtecke und Ellipsen kleiner und bei nahen Hintergründen entsprechend größer dargestellt.
-
Eine beispielhafte Ausgestaltungsform der Erfindung ist in den 1 und 2 beschrieben.
-
Es zeigt 1 ein Ablaufschema des erfindungsgemäßen Verfahrens.
-
Die aktuelle Umgebung/Hintergrund wird mit einer oder mehreren Farbkameras zu jeder Seite eines Fahrzeuges erfasst und die jeweiligen Entfernungswerte zum Hintergrund werden ermittelt 1. Vor der statistischen Analyse der Farben werden die Kamerabilder durch Segmentierungsalgorithmen von Schatten und Himmel herausmaskiert 2, so dass Himmel und Schatten nicht in die statistische Analyse einbezogen werden. Die Kamerabilder werden von einem zentralen Steuerungsrechner in Echtzeit analysiert. Die Analyse erfolgt durch eine statistische Analyse der Farbanteile in den jeweiligen Kamerabildern, indem die dominanten Farben im Kamerabild identifiziert werden 3. Anschließend wird anhand des Bildes analysiert, ob es sich bei dem Hintergrund um einen natürlichen Farbhintergrund handelt oder ob es sich um einen künstlichen Hintergrund handelt 4. Bei einem künstlichen Hintergrund wird ein digitales Tarnmuster mit den gefundenen dominanten Farben erzeugt 5, bei natürlichen Hintergründen ein Flecktarnmuster 6. Danach wird entschieden, ob Graphiken oder Texte über das Tarnmuster eingeblendet werden 7. Das erzeugte Tarnmuster wird dann auf ein starres oder flexibles Anzeigesystem (z.B. LED Panel, MEMS- Displays oder OLED), was am Fahrzeug befestigt ist, angezeigt 8. Das angezeigte Tarnmuster wird nur dann geändert, wenn das Fahrzeug an einem Ort stehen geblieben ist 9 (keine Fahrzeugbewegung) und wenn sich das Kamerabild signifikant bei Fahrzeugstillstand von den Farbwerten ändert 10. Die Erkennung der Bewegung erfolgt durch Analyse des Bildes (z.B. durch den optischen Fluss) oder durch ein Signal vom Steuerungsrechner des Fahrzeuges (z.B. aktuelle Geschwindigkeit des Fahrzeuges, Reifenumdrehungsmesser). Idealerweise wird durch die adaptive Änderung der visuellen Tarnung die Entdeckungswahrscheinlichkeit durch eine feindliche Aufklärung erheblich verringert.
-
2 zeigt den schematischen Aufbau der erfindungsgemäßen Vorrichtung.
-
Als Anzeigegerät für die Tarnmuster wurde eine LED-Videoleinwand 11 „InnScreen 16“ der Fa. Innlight verwendet. Der Pixel-Pitch Abstand beträgt 6,67 mm und hat eine Leuchtdichte von 4500 cd/m2. Der Betrachtungswinkel liegt bei 140°. Ein LED-Modul hat eine Pixelauflösung von 96x96px und besitzt ein Außenmaß von 640x640x88mm bei einem Gewicht von 14,5kg. Angesteuert wird die LED-Videoleinwand 11 über einen Videoprozessor 12 mit einem Steuerungsrechner 13. Dabei virtualisiert der Videoprozessor 12 einen zweiten Monitor. Im Steuerungsrechner 13 wird dann ein Anzeigebereich definiert, welcher auf die LED-Videoleinwand 11 projiziert wird. Des Weiteren ist am Videoprozessor 12 ein Helligkeitssensor 14 angeschlossen. Mit Dessen Hilfe kann die Leuchtdichte anhand der aktuellen Umgebungshelligkeit automatisch eingestellt werden. Zur leichteren Verlegbarkeit der LED-Videoleinwand 11 wurden insgesamt 8 LED-Module (zwei Reihen mit jeweils vier Modulen) auf einem Anhänger montiert. Dadurch besitzt die LED-Videoleinwand 10 eine maximale Pixelauflösung von 384x192px bei einem Gesamtaußenmaß von 2,56m x 1,28m x 0,088m.
-
Durch den geringen Pixel-Pitch Abstand von 6,67mm sieht ein Mensch ab einer Entfernung von ca. 6m keine einzelnen LEDs mehr und die Darstellungsfläche der Videoleinwand verschwimmt zu einer homogenen Fläche. Dieser Mindestabstand kann mittels diffuser Makrolonscheiben bis auf wenige Meter reduziert werden.
-
Die Helligkeit der LED-Videoleinwand 11 wird über einen Helligkeitssensor 14 automatisch gesteuert. Bei 65.500lx Umgebungshelligkeit geht der Helligkeitssensor in die Sättigung. Es wurde eine lineare Abbildung von 655lx (min.) und 65.500lx (max.) Umgebungshelligkeit auf 1% (min) und 100% (max) der maximalen Leuchtdichte der LED-Videoleinwand eingestellt.
-
Als Steuerungsrechner 13 wurde ein handelsüblicher 4-Kern Computer mit 3,5 GHz und 8GB Arbeitsspeicher verwendet. Als stationäre Farbkamera 15 diente eine Full-HD Logitech Webcam C920 und als mobile Webcam die integrierte fünf Megapixel Webcam des Tablets „SolidPad LR7“ der Fa. Roda. Die mobile Webcam wurde mit dem Steuerungsrechner 13 über WLAN verbunden, um mehr Flexibilität bei den Testaufnahmen zu erhalten.
