-
Die Erfindung betrifft ein Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera sowie einen modifizierten Entrauschungsfilter zum Bearbeiten von mindestens einem fahrzeugintern ermittelten Bildsignal, aufweisend eine auf nicht-lokalen Mittelwerten basierende Einheit zum Entrauschen von Bilddateien mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen Bildsignals.
-
In vielen Bereichen des täglichen Lebens kommen Kameras zur Objekterkennung zum Einsatz. Insbesondere im Bereich von Fahrzeugen, werden häufig Kameras zur Erkennung möglicher Hindernisse im Umfeld des Fahrzeugs verwendet. Neben Automobilen stellen Schienenfahrzeuge einen wichtigen Einsatzbereich für Objekterkennung durch Kameras dar. Für Schienenfahrzeuge sind aufgrund hoher Geschwindigkeiten, der beförderten Personenanzahl und der Masse von Schienenfahrzeugen sowie langer Bremswege besondere Vorkehrungen zu treffen.
-
Immer wieder kommt es vor, dass Personen bewusst oder unbewusst Schienenstrecken aufsuchen oder sich Objekte auf den Gleisen befinden, die schlimmsten Falls zu einer Entgleisung führen können. Bisher eingesetzte visuell-optischen Kameras können nur tagsüber eingesetzt werden und sind stark abhängig von den vorliegenden Lichtverhältnissen. Im Gegensatz zu visuell- optischen Kamerasystemen benötigen Thermografiekameras kein Umgebungslicht oder eine aktive Beleuchtung durch die Scheinwerfer des eigenen Fahrzeugs. Damit sind sie für eine Hinderniserkennung im Nah- und Fernfeld auch bei Nacht geeignet.
-
Insbesondere ungekühlte Thermografiekameras weisen aufgrund Ihres Messprinzips eine sehr schlechte Bildqualität durch ein starkes Rauschen auf. Des Weiteren kann eine stetige Erhitzung des Infrarotsensors, eine hohe Unschärfe und eine sehr geringe Auslösung von Thermografiekameras die Objekt- oder Personenerkennung im Umfeld des Fahrzeugs stark einschränken.
-
Aufgabe der Erfindung ist es ein Verfahren und einen Filter vorzuschlagen, welche eine zuverlässige Erkennung von Hindernissen im Umgebungsbereich eines Fahrzeugs ermöglichen
-
Gelöst wird die Aufgabe durch den Gegenstand des unabhängigen Patentanspruchs 1 und des unabhängigen Patentanspruchs 8. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera bereitgestellt. In einem Schritt wird ein Umgebungsbereich des Fahrzeugs durch die Thermografiekamera erfasst und in mindestens ein Bildsignal umgewandelt. Das mindestens eine Bildsignal kann dabei analog oder digital sein. Das Bildsignal kann beispielsweise Informationen von einem oder von mehreren statischen oder bewegten Bildern aufweisen.
-
Das mindestens eine Bildsignal wird durch einen ersten Filter und durch mindestens einen zweiten Filter bearbeitet. Anschließend wird das mindestens eine bearbeitete Bildsignal zur Objekterkennung durch einen Fahrer angezeigt oder durch eine Verarbeitungseinheit analysiert, wobei als erster Filter ein modifizierter non-local-means Entrauschungsfilter zum Bearbeiten des mindestens einen Bildsignals angewandt wird.
-
Durch das Verfahren kann eine Bildverbesserung von durch Thermografiekameras aufgezeichneten Bildsignalen für den Einsatz der Hinderniserkennung im Bereich von Fahrzeugen erzielt werden. Dabei können hauptsächlich weniger leistungsfähige Thermografiekameras mit einem hohen Rauschen durch die Nachbearbeitung mit dem ersten Filter und dem mindestens einen zweiten Filter dahingehend aufgearbeitet werden, dass mit dem aufgezeichneten Bilddaten eine Erkennung von Hindernissen durch automatisierte Verarbeitungseinheiten oder durch den Fahrer des Fahrzeugs ermöglicht werden.
-
Die Erkennungsrate von Hindernissen kann durch den Vorverarbeitungsschritt mit mindestens einem Entrauschungsverfahren gesteigert werden.
-
Der non-local-means(NLM) Entrauschungsfilter kann bevorzugterweise dahingehend modifiziert sein, dass eine Gewichtung bzw. eine Begrenzung des Wirkbereichs innerhalb mindestens einen Bildsignals nicht statisch durch einen definierten Radius, sondern durch einen Gewichtungsfaktor eines bilateralen Entrauschungsfilters verwendet wird.
-
Ein bilateraler Entrauschungsfilter kann abhängig von einer Bildwiederholrate eine hohe Anforderung an die Rechenleistung aufweisen. Durch den Einsatz der Gewichtung des bilateralen Filters in einem NLM Filter kann eine hohe Leistung bei der Entrauschung eines Bildsignals mit einer höheren Verarbeitungsgeschwindigkeit kombiniert werden.
-
Gemäß einem Ausführungsbeispiel des Verfahrens wird als der mindestens eine zweite Filter ein Entrauschungsfilter für Schrotrauschen, eine Schärfefilter und/oder einen Farbkorrekturfilter zum Bearbeiten des mindestens einen Bildsignals angewandt. Beispielsweise kann ein Medianfilter als ein zweiter Filter eingesetzt werden.
-
Der Medianfilter gehört zur Klasse der Rangordnungsfilter und ist nichtlinear, das heißt, er lässt sich nicht durch eine Faltungsoperation beschreiben. Der Medianfilter kann bevorzugterweise zum Kompensieren von Schrotrauschen eingesetzt werden. Die Details von Kanten eines Bildes können dabei vor einer Weichzeichnung während der Entrauschung aufrechterhalten werden.
-
Bei als natürliche Bilder ausgestalteten Bildsignalen einer Fahrzeugumgebung können zueinander benachbarte Pixel eines Bildes oft ähnliche Farb- bzw. Helligkeitswerte aufweisen. Als Schrotrauschen werden zufällige, starke Ausreißer bezeichnet. Beispielsweise können Schmutzpartikel auf einer Linse der Thermografiekamera Schrotrauschen in den Bildsignalen verursachen.
-
Der mindestens eine zweite Filter kann darüber hinaus als ein Schärfefilter zum Entgegenwirken einer Weichzeichnung durch Entrauschungsfilter oder als ein Farbfilter zum Anpassen von Belichtungen und zum Erhöhen eines Kontrasts ausgestaltet sein. Hier
-
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird der erste Filter vor oder nach dem mindestens einen zweiten Filter zum Bearbeiten des mindestens einen Bildsignals eingesetzt. Die als zweite Filter einsetzbaren Verarbeitungsprozesse der Bildsignale korrelieren nicht mit dem ersten Filter, wodurch die Bildverarbeitung in einer beliebigen Reihenfolge durchgeführt werden kann.
-
Im Falle eines Medianfilters als zweiten Filter, ist dieser zwar für Schrotrauschen effizient einsetzbar, jedoch weist der Medianfilter eine geringe Effizienz bei weißem Rauschen auf. Hierdurch kann der für weißes Rauschen vorgesehene modifizierte NLM Filter unabhängig vom Medianfilter auf die Bildsignale angewandt werden.
-
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird eine Kalibrierung eines Infrarotsensors der Thermografiekamera anhand mindestens eines Rauschmodells durchgeführt. Für das System kann ein Rauschmodell anhand von definierten Testkörpern im Vorfeld bestimmt werden. Dieses Rauschmodell kann vorzugsweise abhängig von Umgebungsbedingungen ausgestaltet sein.
-
Die Umgebungsbedingungen können dabei eine Temperatur, Witterungsverhältnisse, eine Tageszeit, Umgebungslichtverhältnisse und dergleichen umfassen. Das Rauschmodell kann zusätzlich Störeinflüsse im Amplitudenbereich pro Pixel oder Pixelgruppe des Sensors der Thermografiekamera sowie geometrische Verzerrungen des Sensors oder einer Optik der Thermografiekamera aufweisen.
-
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zum Durchführen der Kalibrierung mindesten ein lokales Rauschmodell für mindestens einen Bereich des Infrarotsensors angewandt. Es können somit für jeden Bereich des Infrarotsensors lokale Rauschmodelle definiert und in einer Steuereinheit oder der Verarbeitungseinheit hinterlegt werden.
-
Über eine zeitliche Beobachtung der Testkörper kann auch ein lokaler Sensordrift des Infrarotsensors ermittelt werden. Mithilfe der lokalen Rauschmodelle kann anschließend eine angepasste Rauschreduzierung vorgenommen werden. Durch die Verwendung von Rauschmodellen können insbesondere Sensorbereiche mit einer hohen Rauschneigung oder einem hohen Sensordrift stärker durch den Einsatz der Filter entrauscht werden. Mithilfe des global und lokal bestimmten Sensordrifts können die Amplitudenwerte der einzelnen Sensorpixel skaliert und damit der Einfluss der Sensordrifts des Infrarotsensors optimal ausgeglichen werden.
-
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird das mindestens eine Rauschmodell anhand von erkannten Objekten und/oder Umgebungsbedingungen adaptiert. Hierdurch kann das Rauschmodell zusätzlich in mindestens einer Einsatzsituation anhand von erkannten realen Objekten, wie beispielsweise Personen, adaptiert werden. Somit kann eine situationsabhängige Wahl eines Rauschmodells mit einer entsprechend angepassten Kopplung des ersten und des mindestens einen zweiten Filters vorgenommen werden.
-
Das Verfahren kann dadurch an eine hohe Variation von Hindernissen und Umgebungsbedingungen adaptiert bzw. ausgerichtet werden. Hierbei können abhängig von der Ausführung der Verarbeitungseinheit weitergehende Aktionen initiiert werden, welche einen Einfluss auf das Fahrzeug haben. Dabei kann die Reaktion des Fahrers auf eine Aktion der Verarbeitungseinheit berücksichtigt werden.
-
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird basierend auf einem Ergebnis der Objekterkennung eine Warnung an einen Fahrer des Fahrzeugs erzeugt oder eine Aktion des Fahrzeugs eingeleitet. Die Verarbeitungseinheit kann eine automatisierte Analyse der bearbeiteten Bildsignale durchführen und selbstständig entscheiden, ob eine reale Gefahr, beispielsweise durch eine Person auf der Straße oder den Gleisen oder durch gefährliche Gegenstände in der Trajektorie des Fahrzeugs, vorliegt.
-
Wenn die Verarbeitungseinheit eine entsprechende gefährliche Situation feststellen konnte, kann abhängig von einer Fahrzeuggeschwindigkeit, einem Abstand zur Gefahr und der Art der Gefahr ein Warnsignal, ein Ausweichmanöver oder ein Bremsmanöver eingeleitet werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein modifizierter Entrauschungsfilter zum Bearbeiten von mindestens einem fahrzeugintern ermittelten Bildsignal bereitgestellt. Der Entrauschungsfilter weist eine auf nicht-lokalen Mittelwerten basierende Einheit zum Entrauschen von Bildsignalen mit einem begrenzbaren Wirkbereich innerhalb des mindestens einen Bildsignals auf, wobei der begrenzbare Wirkbereich als ein Gewichtungsfaktor eines bilateralen Entrauschungsfilters ausgestaltet ist.
-
Die auf nicht-lokalen Mittelwerten basierende Einheit kann vorzugsweise ein sogenannter „Non-Local-Means“ (NLM) Entrauschalgorithmus sein. Derartige NLM Filter weisen eine effektive Unterdrückung von weißem Rauschens bei gleichzeitigem Erhalt von Kanten und feinen Strukturen auf. Anders als bei einer gaußschen Entrauschung werden Mittelwerte zum „glätten“ der Pixel in den Bildsignalen nicht lokal gebildet, sondern beispielsweise in einer gesamten Bilddatei bzw. innerhalb des gesamten Bildsignals gesucht und verwendet. Dabei können Pixel mit einer ähnlichen Farbe oder einer ähnlichen Helligkeit zum Durchführen einer Mittelung gesucht.
-
Im Gegensatz zum NLM Filter wirkt ein bilateraler Entrauschungsfilter nur in einer lokalen Umgebung eines Pixels. Mit dem NLM Filter gemein ist dabei die Idee, ähnliche Pixel miteinander zu mitteln. Dazu wertet der bilaterale Entrauschungsfilter eine geographische sowie eine photometrische Ähnlichkeit aus. Die photometrische Ähnlichkeit kann dabei auf Farben oder Helligkeiten basieren. Die Implementierung kann dabei, genauso wie der Gaußsche Mittelwertfilter, den Abstand der miteinander zu vergleichenden Pixel berücksichtigen, indem ein zu entrauschendes Pixel mit einem größeren geographischen Abstand zu einem benachbarten Pixel, ein geringeres Gewicht zugewiesen bekommt als eines mit einem geringeren geographischen Abstand.
-
Der erfindungsgemäße Entrauschungsfilter kann die Eigenschaften des NLM Fiters und die des bilateralen Entrauschungsfilters miteinander kombinieren. In natürlichen Szenen bzw. Fahrzeugumgebungen, welche von der Thermografiekamera aufgezeichnet werden, kann angenommen werden, dass Grauwerte weit voneinander entfernter Pixel wenig miteinander korrelieren.
-
Aus diesem Grund wird der Grundansatz des theoretischen NLM Filters, ähnliche Pixel in dem gesamten Bildsignal zu suchen, nicht berücksichtigt. In einer realen Implementierung des NLM Filters kann durch eine Beschränkung des Suchfensters diese Fragestellung umgangen werden. Die Beschränkung des Suchfensters bzw. des Wirkbereichs weist jedoch eindeutige Grenzen, wie beispielsweise einen definierten Radius um ein zu entrauschendes Pixel des Bildsignals, auf.
-
Der bilaterale Entrauschungsfilter weist im Hinblick auf den Wirkbereich dahingehend Vorteile auf, als dass weiter entfernte Pixel eine geringere Gewichtung erhalten als näher gelegene Pixel des mindestens einen Bildsignals. Hierdurch kann somit eine optimierte Entrauschung von Bildsignalen durchgeführt werden, welche die Vorzüge eines NLM Filters mit den Vorzügen eines bilateralen Filters kombiniert.
-
Nach einem Ausführungsbeispiel des Entrauschungsfilters ist der Gewichtungsfaktor des bilateralen Entrauschungsfilters eine Multiplikation aus einem geographischen Gewicht und einem photometrischen Gewicht. Es können somit sogenannte weiche Wirkbereiche zum Anwenden einer Entrauschung realisiert werden. Scharfe Kanten und Linien können aufgrund der photometrischen Gewichtung vor einer Entrauschung geschützt werden, sodass essentielle Details eines Bildsignals trotz der Anwendung des Entrauschungsfilters erhalten bleiben.
-
Gemäß einem weiteren Ausführungsbeispiel des Entrauschungsfilters ist der modifizierte Entrauschungsfilter basierend auf dem Algorithmus:
mit einer Normalisierungskonstante Z
i
zum Reduzieren eines Bildrauschens des mindestens einen Bildsignals betreibbar. Dabei entspricht v(j) dem Bildsignal bzw. den Pixeln des Bildsignals, welche entrauscht werden soll. Die Variable w(i,j) der Gewichtungsfaktor, welcher als eine Multiplikation der photometrischen Gewichtung und der geografischen Gewichtung ausgestaltet ist. G
θ (|i-j|) entspricht dem gaußschen Kernel bzw. der gaußschen Normalverteilungsfunktion.
-
Nach einem weiteren Ausführungsbeispiel des Entrauschungsfilters ist der Entrauschungsfilter ein eigenständiger Hardwarefilter oder ein in ein Steuergerät eines Fahrzeugs integrierter Filter. Hierdurch kann der Entrauschungsfilter sowohl in bestehende softwaregesteuerte oder hardwaregesteuerte Steuereinheiten integriert werden oder als eine eigenständige Erweiterung eines Systems oder einer Vorrichtung ausgestaltet sein. Insbesondere kann der Entrauschungsfilter seriell in einer Bildverarbeitungsschaltung angeordnet sein.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterung der folgenden stark vereinfachten schematischen Darstellungen bevorzugter Ausführungsbeispiele. Hierbei zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs zum Ausführen eines Verfahrens gemäß einer Ausführungsform der Erfindung und
- 2 ein schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung.
-
In den Figuren weisen dieselben konstruktiven Elemente jeweils dieselben Bezugsziffern auf.
-
Die 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 zum Ausführen eines Verfahrens 2 gemäß einer Ausführungsform der Erfindung.
-
Das Fahrzeug 1 ist hier als ein Schienenfahrzeug ausgestaltet und weist eine in Fahrtrichtung ausgerichtete Thermografiekamera 4 auf. Mit Hilfe der Thermografiekamera 4 kann eine Fahrzeugumgebung unabhängig von äußeren Lichtverhältnissen überwacht werden.
-
Die Thermografiekamera 4 mit einer Verarbeitungseinheit 6 bzw. einem Steuergerät 6 gekoppelt. Die von der Thermografiekamera 4 erzeugten Bilder können somit als analoge oder digitale Bildsignale von der Verarbeitungseinheit 6 empfangen werden. Die Bildsignale können einzelne Bilder oder bewegte Bilder, wie beispielsweise Echtzeitaufnahmen einer Fahrzeugumgebung sein.
-
Die Bildsignale werden zuvor von einem modifizierten Entrauschungsfilter 8 bearbeitet. Der Entrauschungsfilter 8 ist als ein Hardwarefilter ausgeführt und seriell zwischen der Thermografiekamera 4 und der Verarbeitungseinheit 6 geschaltet.
-
Die Verarbeitungseinheit 6 kann die vorverarbeiteten Bildsignale analysieren und insbesondere eine Objekterkennung durchführen.
-
In der 2 ist ein schematisches Ablaufdiagramm des Verfahrens 2 gemäß einer Ausführungsform der Erfindung veranschaulicht.
-
In einem ersten Schritt 10 wird eine Fahrzeugumgebung von der Thermografiekamera 4 erfasst.
-
Anschließend werden die Daten der Thermografiekamera 4 in Form von digitalen Bildsignalen an einen ersten Filter 8 übertragen 12. Der erste Filter 8 ist ein modifizierter Entrauschungsfilter 8, welcher ein non-local-median Entrauschungsfilter mit Gewichtungsfaktoren eines bilateralen Entrauschungsfilters ist.
-
Der erste Filter 8 kann dabei weißes Rauschen der Bildsignale kompensieren 14. Anschließend erfolgt eine Weiterleitung der gefilterten Bildsignale an die Verarbeitungseinheit 6. In der Verarbeitungseinheit 6 ist als erste Instanz ein zweiter Filter angeordnet. Der zweite Filter ist ein Softwarefilter, welcher in der Verarbeitungseinheit als ein Modul ausgestaltet ist. Gemäß dem Ausführungsbeispiel ist der zweite Filter ein Medianfilter zum Entfernen von Schrotrauschen.
-
Die durch die beiden Filter bearbeiteten Bildsignale werden anschließend dem Fahrer des Fahrzeugs 1 dargestellt 16, sodass der Fahrer selbst über die Fahrzeugumgebung überblicken kann.
-
Alternativ oder zusätzlich können die bearbeiteten Bildsignale von der Verarbeitungseinheit 6 analysiert 18 und auf Hindernisse oder Gefahren hin geprüft werden.
-
Sollte die Verarbeitungseinheit 6 beispielsweise eine erfolgreiche Personenerkennung während der Analyse durchgeführt haben, so kann eine Rückmeldung 20 an den Fahrer oder eine Fahrzeugaktion 22 durchgeführt werden. Die Fahrzeugaktion 22 kann beispielsweise ein Bremsvorgang sein.
