-
Stand der Technik
-
Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Die
DE 103 04 703 A1 beschreibt ein Verfahren und eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass ein fusioniertes Kamerabild entsteht, in dem Objekte und Personen in dunklen, in hellen und auch in staubigen hellen Szenen weiterhin sehr gut erkennbar sind. Zur Unterscheidung von hellen und staubigen hellen Szenen wird hierbei vorteilhafterweise ein Differenzierungsfaktor verwendet.
-
Es wird ein Verfahren zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung vorgestellt. Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Bestimmens und einen Schritt des Fusionierens auf. Im Schritt des Einlesens werden ein eine Szene abbildendes erstes Kamerabild mit einer Vielzahl von ersten Pixeln von einer ersten Kamera und ein die Szene abbildendes zweites Kamerabild mit einer Vielzahl von den ersten Pixeln jeweils zugeordneten zweiten Pixeln von einer zweiten Kamera eingelesen. Im Schritt des Bestimmens wird ein erster morphologischer Gradient für das erste Kamerabild unter Verwendung von ersten Pixelwerten der ersten Pixel und/oder ein zweiter morphologischer Gradient für das zweite Kamerabild unter Verwendung von zweiten Pixelwerten der zweiten Pixel bestimmt. Im Schritt des Fusionierens werden die ersten Pixelwerte der ersten Pixel mit den zweiten Pixelwerten der jeweils zugeordneten zweiten Pixel fusioniert, um das fusionierte Kamerabild zu erzeugen, wobei im Schritt des Fusionierens ein erster Gewichtungsparameter auf die ersten Pixelwerte und/oder ein zweiter Gewichtungsparameter auf die zweiten Pixelwerte in Abhängigkeit von einem Faktor angewandt wird, der durch Verknüpfen, insbesondere Dividieren, einer Summe der Pixelwerte des ersten morphologischen Gradienten und einer Summe der Pixelwerte des zweiten morphologischen Gradienten ermittelt wurde.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Bei dem ersten Kamerabild kann es sich um ein RGB-Bild, also ein optisches Bild, von einer RGB-Kamera, die auch als „optische Kamera“ bezeichnet werden kann, handeln. Bei dem zweiten Kamerabild kann es sich um ein Wärmebild, also ein Infrarotbild, von einer als Wärmebildkamera ausgeformten zweiten Kamera handeln. Die Pixelwerte der Pixel können Intensitäten, also Helligkeiten, der Pixel repräsentieren. Als ein morphologischer Gradient ist ein Wert zu verstehen, der eine Anzahl und/oder Intensität von Konturen wie Umrissen, Kanten und/oder Kontrasten in einem Kamerabild repräsentiert. Dieser morphologische Gradient ist durch Erkennen von Intensitätsdifferenzen zwischen jeweils benachbarten Pixeln und/oder durch Erkennen von Variationen von Intensitätswerten sowie deren Anzahl in dem Kamerabild bestimmbar. Der morphologische Gradient repräsentiert in der Bildverarbeitung eine Differenz aus der Dilatation des Kamerabildes und der Erosion des Kamerabildes. Im Schritt des Bestimmens können der erste Gradient als ein erstes Gradientenbild ermittelt und/oder der zweite Gradient als ein zweites Gradientenbild ermittelt werden. Entsprechend kann im Schritt des Fusionierens der erste Gewichtungsparameter auf die ersten Pixelwerte und/oder der zweite Gewichtungsparameter auf die zweiten Pixelwerte in Abhängigkeit von dem Faktor angewandt werden, der durch Verknüpfen, insbesondere Dividieren, einer Summe der Pixelwerte des ersten morphologischen Gradientenbilds und einer Summe der Pixelwerte des zweiten morphologischen Gradientenbilds ermittelt wurde. Durch den Gradienten/das Gradientenbild werden die Intensitäten der Konturen „sichtbar“. Der Unterscheidungsfaktor, welcher Gewichtungsparameter oder welche Fusionsvariante verwendet wird, kann der Vergleich der Summen der morphologischen Gradienten-Pixel des ersten Kamerabilds mit der Summe der morphologischen Gradienten-Pixel zweiten Kamerabilds sein. Hierbei werden die Pixelwerte beider Bilder aufsummiert und verglichen. Hat das RGB-Bild stärkere Konturen/Kontraste, so entstehen durch den morphologischen Gradienten Konturen mit höheren Pixelwerten wie beim Infrarotbild. Dadurch steigt die Summe der Pixel im Bild und das jeweilige Fusionsverfahren wird verwendet. Ein hoher morphologischer Gradient bedeutet hierbei, dass das Kamerabild eine hohe Intensität der Kontur/en aufweist, also kontrastreich ist, und ein niedriger morphologischer Gradient, dass das Kamerabild eine niedrige Intensität der Kontur/en aufweist, also wenig kontrastreich ist. In einem Vergleich zweier Kamerabilder, welche dieselbe Szene abbilden, ist davon auszugehen, dass jenes mit dem höheren morphologischen Gradienten mehr Informationsgehalt aufweist und somit bei der Fusion höher zu gewichten ist. Insbesondere kann ein geringer oder im Vergleich geringerer morphologischer Gradient in dem ersten Kamerabild darauf hinweisen, dass sie Szene in dem ersten Kamerabild staubig ist. Ein Wärmebild hingegen wird weniger von Staub in der Szene beeinflusst. Das Verfahren ermöglicht somit vorteilhafterweise dank einer Gewichtung anhand von morphologischen Gradienten, eine gute Objekterkennung oder Personenerkennung bei optisch schwierig auszuwertenden Bedingungen wie Staub.
-
Ein solcher Faktor, welcher ein Verhältnis der morphologischen Gradienten zueinander repräsentiert, kann eine staubige Szene erkennen lassen. Beispielsweise kann die staubige Szene erkannt werden, wenn die morphologischen Gradienten um mehr als einen vorbestimmten Differenzbereich voneinander abweichen, beispielsweise stark voneinander abweichen. So kann in Abhängigkeit von der Differenz der Summer der Pixelwerte der morphologischen Gradientetenbilder entschieden werden, welches Auswerteverfahren verwendet wird.
-
Gemäß einer Ausführungsform kann im Schritt des Fusionierens der erste Gewichtungsparameter als geringer als der zweite Gewichtungsparameter ermittelt werden, wenn der erste morphologische Gradient kleiner ist, als der zweite morphologische Gradient. Wenn der erste morphologische Gradient kleiner ist, als der zweite morphologische Gradient handelt es sich sehr wahrscheinlich um eine staubige Szene, weshalb der Informationsgehalt in dem ersten Kamerabild geringer ist, als in dem zweiten Kamerabild. Folglich können in einer Ausführungsform beispielsweise alle oder eine Mehrzahl der ersten Pixelwerte in das fusionierte Kamerabild weniger gewichtet einfließen, als alle oder eine Mehrzahl der zweiten Pixelwerte. In einem solchen Fall wird im Folgenden auch von einem Vorgehen als „Staubabhängige Gewichtung“ gesprochen.
-
Im Schritt des Fusionierens können aber auch erste Einzelgewichtungsparameter für die einzelnen ersten Pixelwerte und/oder zweite Einzelgewichtungsparameter für die einzelnen zweiten Pixelwerte unter Verwendung einer Zuordnungsvorschrift mit Helligkeitswerten angewandt werden, wenn der erste morphologische Gradient und zweite morphologische Gradient um nicht mehr als einen vorbestimmten Differenzbereich voneinander abweichen. Bei gleichen oder ähnlichen morphologischen Gradienten kann davon ausgegangen werden, dass die Szene nicht staubig ist, und daher eine Einzelgewichtung pro Pixel abhängig von deren Helligkeitswerten angewandt werden. In einem solchen Fall wird im Folgenden auch von einem Vorgehen als „Lichtabhängige Gewichtung“ gesprochen.
-
Hierbei kann im Schritt des Fusionierens zumindest ein Einzelgewichtungsparameter für einen zweiten Pixelwert umso höher gewichtet werden, je weiter ein erster Helligkeitswert des zugeordneten ersten Pixels von einem Mittelwert abweicht. Der Mittelwert kann beispielsweise einen relativen Helligkeitswert zwischen 40 Prozent und 60 Prozent repräsentierten, beispielsweise 50 Prozent. Der Helligkeitswert gibt somit an, wie hell das Bild bzw. an den Pixel erfasste Helligkeit in Bezug zu einer maximal erfassbaren Helligkeit ist. Wenn das erste Pixel den Mittelwert aufweist und somit nicht sehr hell und nicht sehr dunkel ist, so ist sein Informationsgehalt gewünscht und kann in den fusionierten Pixelwert für das fusionierte Bild stark einfließen, wohingegen der zweite Pixelwert weniger stark einfließen kann. Je heller oder dunkler der Helligkeitswert des ersten Pixels jedoch ist, desto weniger Informationsgehalt in Bezug auf eine sich möglicherweise im Umfeld befindende Person weist es auf und kann somit weniger stark in den fusionierten Pixelwert für das fusionierte Kamerabild einfließen, wohingegen der zweite Pixelwert stärker einfließen kann. Entsprechend kann für alle ersten Pixel einzeln und/oder zweiten Pixel vorgegangen werden. So kann eine effektive lichtabhängige Gewichtung pro Pixel durchgeführt werden, um einen besonders hohen Informationsgehalt in dem fusionierten Kamerabild zu erhalten.
-
Im Schritt des Fusionierens können die ersten Einzelgewichtungsparameter und/oder zweiten Einzelgewichtungsparameter unter Verwendung der Zuordnungsvorschrift angewandt werden, die ein Gewichtungsverhältnis in einer Gaußkurve repräsentiert. So kann eine einfache und schnelle Zuordnung realisiert werden, bei der sehr helle und sehr niedrige Helligkeitswerte der ersten Pixel gering gewertet werden.
-
Es ist weiterhin von Vorteil, wenn das Verfahren einen Schritt des Erkennens aufweist, in dem ein Gesamthelligkeitswert des ersten Kamerabilds unter Verwendung der ersten Pixelwerte erkannt wird, wobei im Schritt des Fusionierens der erste Gewichtungsparameter und/oder zweite Gewichtungsparameter in Abhängigkeit von dem ersten morphologischen Gradienten und/oder dem zweiten morphologischen Gradienten angewandt wird, wenn der Gesamthelligkeitswert einen definierten Schwellenwert überschreitet. Der Schritt des Erkennens kann vor dem Schritt des Fusionierens durchgeführt werden. Mittels des Schritts des Erkennens kann vorab sichergestellt werden, dass das erste Kamerabild nicht zu dunkel ist für eine Stauberkennung. So kann vorab ausgeschlossen werden, dass ein niedriger morphologischer Gradient in dem ersten Kamerabild lediglich aufgrund von Dunkelheit, nicht aber aufgrund von Staub entsteht.
-
Im Schritt des Fusionierens kann der erste Gewichtungsparameter geringer als der zweite Gewichtungsparameter ermittelt werden, wenn der Gesamthelligkeitswert den definierten Schwellenwert erreicht oder unterschreitet. Wenn der Gesamthelligkeitswert den definierten Schwellenwert erreicht oder unterschreitet und das erste Kamerabild somit insgesamt dunkel ist, ist davon auszugehen, dass der Informationsgehalt des ersten Kamerabilds niedrig ist und somit können die zweiten Pixelwerte in dem fusionierten Kamerabild höher gewichtet werden, unabhängig von einem ersten morphologischen Gradienten und/oder zweiten morphologischen Gradienten, da eine Stauberkennung aufgrund des ohnehin zu dunklen ersten Kamerabilds nun nicht mehr nötig ist. Gemäß einer Ausführungsform wird auf den Schritt des Bestimmens verzichtet, wenn im Schritt des Erkennens der Gesamthelligkeitswert den Schwellenwert erreicht oder unterschreitet, und im Schritt des Fusionierens der erste Gewichtungsparameter geringer als der zweite Gewichtungsparameter ermittelt.
-
Im Schritt des Erkennens kann der Gesamthelligkeitswert unter Verwendung einer erzeugten lab-Farbskala aller ersten Pixelwerte, insbesondere als ein Mittelwert aller I-Farbwerte aller ersten Pixelwerte der lab-Farbskala, erkannt werden. Die I-Werte der lab-Farbskala geben eine Helligkeit an, wobei „I“ für englisch „lightness“, also „Helligkeit“, steht. So kann eine schnelle automatisiert durchführbare Helligkeitserkennung für das gesamte erste Kamerabild realisiert werden.
-
Im Schritt des Fusionierens können die zweiten Pixelwerte von den ersten Pixelwerten subtrahiert werden, insbesondere wenn zumindest einer der zweiten Pixelwerte einen Grenzwert erreicht oder überschreitet, um ein subtrahiertes Bild mit einer Wärmesignatur zu erhalten, wenn der erste morphologische Gradient kleiner ist, als der zweite morphologische Gradient, und wobei das zweite Kamerabild invertiert und mit dem subtrahiertes Bild verknüpft, insbesondere addiert, wird, um das fusionierte Kamerabild zu erzeugen. Hohe zweite Pixelwerte deuten auf eine Person im zweiten Kamerabild hin, was für die vorgesehene Personenerkennung besonders beachtenswert ist. Wenn die zweiten Pixelwerte den Grenzwert also erreichen oder überschreiten und somit sehr wahrscheinlich eine Person auf dem zweiten Kamerabild abgebildet ist, ist es vorteilhaft, in dem ersten Kamerabild die ersten Pixelwerte, die diesem Personenbereich im zweiten Kamerabild zugeordnet sind, trotz insgesamt geringerer Gewichtung des ersten Kamerabilds dennoch zu beachten, da sie möglicherweise wichtige Informationen wie Farbinformationen oder einen hohen Kontrast in dem zugeordneten Personenbereich aufweisen, die zur Personenerkennung hilfreich sein können. So kann eine effektvolle staubbasierte Gewichtung durchgeführt werden, bei der trotz höherer Gewichtung des zweiten Kamerabilds dennoch wichtige Informationen wie Farbinformationen, aus dem ersten Kamerabild erhalten bleiben. Also wenn die Staubabhängige Gewichtung angewandt wird, dann liegt eine helle staubige Szene vor, in der es stark problematisch ist, die Person im ersten Kamerabild/RGB-Bild zu detektieren. Um dennoch einen starken Kontrast der Person zur Umgebung zu erzeugen und Farbinformationen, beispielsweise durch eine Warnweste, nicht zu verlieren, wird das Wärmebild vom RGB-Bild subtrahiert, wodurch die Werte der Pixel im Bild verringert werden, bei denen die Wärmebildkamera Informationen erfasst hat. Das wird für das komplette Bild durchgeführt, damit Farbinformationen nicht verändert werden, diese verlieren nur an Intensität. Da bekannt ist, dass es sich um eine helle Szene handelt, wird das Wärmebild invertiert. Dadurch wird eine zu detektierende Person dunkler im Bild visualisiert. Dann wird das das dunkle Bild mit dem RGB-Bild addiert und erzeugen somit einen starken Kontrast und es können mögliche Farbinformationen visualisiert werden.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
- 1 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung;
- 2 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
- 3 eine schematische Darstellung einer Zuordnungsvorschrift zur Verwendung für eine Vorrichtung gemäß einem Ausführungsbeispiel;
- 4 eine schematische Darstellung eines beispielhaften Ablaufs einer Pixelgewichtung unter Verwendung einer Zuordnungsvorschrift 170 bei einer lichtabhängigen Gewichtung gemäß einem Ausführungsbeispiel;
- 5 eine schematische Darstellung eines beispielhaften Ablaufs bei einer staubabhängigen Gewichtung gemäß einem Ausführungsbeispiel;
- 6 eine schematische Darstellung von morphologischen Gradienten für Kamerabilder zur Verwendung für eine Vorrichtung gemäß einem Ausführungsbeispiel; und
- 7 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung einer Vorrichtung 100 gemäß einem Ausführungsbeispiel zum Erzeugen eines fusionierten Kamerabilds 105 für eine Fahrzeugkameraeinrichtung 110.
-
Die Vorrichtung 100 weist eine Einleseeinrichtung 115, eine Bestimmungseinrichtung 120 und eine Fusionseinrichtung 125 auf. Die Einleseeinrichtung 115 ist dazu ausgebildet, um ein eine Szene abbildendes erstes Kamerabild 130 mit einer Vielzahl von ersten Pixeln von einer ersten Kamera 135 und ein die Szene abbildendes zweites Kamerabild 140 mit einer Vielzahl von den ersten Pixeln jeweils zugeordneten zweiten Pixeln von einer zweiten Kamera 145 eingelesen. Die Bestimmungseinrichtung 120 ist dazu ausgebildet, um einen ersten morphologischen Gradienten 150 für das erste Kamerabild 130 unter Verwendung von ersten Pixelwerten der ersten Pixel und/oder einen zweiten morphologischen Gradienten 155 für das zweite Kamerabild 140 unter Verwendung von zweiten Pixelwerten der zweiten Pixel zu bestimmen. Die Fusionseinrichtung 125 ist dazu ausgebildet, um die ersten Pixelwerte der ersten Pixel mit den zweiten Pixelwerten der jeweils zugeordneten zweiten Pixel zu fusionieren, um das fusionierte Kamerabild 105 zu erzeugen, wobei die Fusionseinrichtung 125 dazu ausgebildet ist, um beim Fusionieren einen ersten Gewichtungsparameter 160 auf die ersten Pixelwerte und/oder einen zweiten Gewichtungsparameter 165 auf die zweiten Pixelwerte in Abhängigkeit von einem Faktor anzuwenden, der durch Verknüpfen, insbesondere Dividieren, einer Summe der Pixelwerte des ersten morphologischen Gradienten (150) und einer Summe der Pixelwerte des zweiten morphologischen Gradienten (155) ermittelt wurde.
-
Bei dem ersten Kamerabild 130 handelt es sich gemäß diesem Ausführungsbeispiel beispielhaft um ein RGB-Bild, also ein optisches Bild, von einer RGB-Kamera der Fahrzeugkameraeinrichtung 110. Bei dem zweiten Kamerabild 140 handelt es sich gemäß diesem Ausführungsbeispiel beispielhaft um ein Wärmebild, also ein Infrarotbild, von einer Wärmebildkamera der Fahrzeugkameraeinrichtung 110. Die Pixelwerte der Pixel repräsentieren gemäß diesem Ausführungsbeispiel Intensitäten, also Helligkeiten, der Pixel. Die morphologischen Gradienten 150, 155 werden gemäß diesem Ausführungsbeispiel durch Erkennen von Intensitätsdifferenzen zwischen jeweils benachbarten Pixeln und/oder durch Erkennen von Variationen von Intensitätswerten sowie deren Anzahl in den Kamerabildern 130, 140 bestimmt. Ein hoher morphologischer Gradient 150, 155 bedeutet gemäß diesem Ausführungsbeispiel, dass das Kamerabild 130, 140 eine hohe Intensität der Kontur/en aufweist, also kontrastreich ist, und ein niedriger morphologischer Gradient 150, 155, dass das Kamerabild 130, 140 eine niedrige Intensität der Kontur/en aufweist, also wenig kontrastreich ist.
-
Die Fusionseinrichtung 125 ist ferner gemäß einem Ausführungsbeispiel dazu ausgebildet, um beim Fusionieren den ersten Gewichtungsparameter 160 als geringer als den zweiten Gewichtungsparameter 165 zu ermitteln, wenn der erste morphologische Gradient 150 kleiner ist, als der zweite morphologische Gradient 155. Wenn der erste morphologische Gradient 150 kleiner ist, als der zweite morphologische Gradient 155 handelt es sich sehr wahrscheinlich um eine staubige Szene, weshalb der Informationsgehalt in dem ersten Kamerabild 130 geringer ist, als in dem zweiten Kamerabild 140. Folglich fließen gemäß einem Ausführungsbeispiel beispielsweise alle oder eine Mehrzahl der ersten Pixelwerte in das fusionierte Kamerabild 105 weniger gewichtet ein, als alle oder eine Mehrzahl der zweiten Pixelwerte. Dieses Vorgehen kann auch als „Staubabhängige Gewichtung“ bezeichnet werden.
-
Die Fusionseinrichtung 125 ist gemäß einem Ausführungsbeispiel ferner dazu ausgebildet, um beim Fusionieren erste Einzelgewichtungsparameter für die einzelnen ersten Pixelwerte und/oder zweite Einzelgewichtungsparameter für die einzelnen zweiten Pixelwerte unter Verwendung einer Zuordnungsvorschrift 170 mit Helligkeitswerten anzuwenden, wenn der erste morphologische Gradient 150 und zweite morphologische Gradient 155 um nicht mehr als einen vorbestimmten Differenzbereich voneinander abweichen. Bei gleichen oder ähnlichen morphologischen Gradienten 150, 155 kann davon ausgegangen werden, dass die Szene nicht staubig ist, und es wird gemäß einem Ausführungsbeispiel von der Fusionseinrichtung 125 eine Einzelgewichtung pro Pixel abhängig von deren Helligkeitswerten angewandt. Dieses Vorgehen kann auch als „Lichtabhängige Gewichtung“ bezeichnet werden.
-
Bei der lichtabhängigen Gewichtung ist die Fusionseinrichtung 125 gemäß einem Ausführungsbeispiel dazu ausgebildet, um beim Fusionieren zumindest einen Einzelgewichtungsparameter für einen zweiten Pixelwert umso höher zu gewichten, je weiter ein erster Helligkeitswert des zugeordneten ersten Pixels von einem, bevorzugt vorgegebenen und/oder vorgebbaren, Mittelwert abweicht. Der Mittelwert repräsentiert gemäß einem Ausführungsbeispiel beispielsweise einen Helligkeitswert zwischen 40 und 60, beispielsweise 50. Entsprechend fusioniert die Fusionseinrichtung 125 gemäß einem Ausführungsbeispiel alle ersten Pixelwerte und zweiten Pixelwerte einzeln pixelweise abhängig von den Helligkeitswerten der einzelnen ersten Pixel. Bei der lichtabhängigen Gewichtung ist die Fusionseinrichtung 125 gemäß einem Ausführungsbeispiel dazu ausgebildet, um beim Fusionieren die ersten Einzelgewichtungsparameter und/oder zweiten Einzelgewichtungsparameter unter Verwendung der Zuordnungsvorschrift 170 anzuwenden, die ein Gewichtungsverhältnis in einer Gaußkurve repräsentiert, die in den 3 und 4 gezeigt und näher erläutert wird.
-
Die Vorrichtung 100 weist ferner gemäß einem Ausführungsbeispiel lediglich optional eine Erkenneinrichtung 175 auf, die dazu ausgebildet ist, um einen Gesamthelligkeitswert des ersten Kamerabilds 130 unter Verwendung der ersten Pixelwerte zu erkennen, wobei die Fusionseinrichtung 125 dazu ausgebildet, um in Abhängigkeit von dem ersten morphologischen Gradienten 150 den ersten Gewichtungsparameter 160 und/oder in Abhängigkeit von dem zweiten morphologischen Gradienten 155 den zweite Gewichtungsparameter 165 anzuwenden, wenn der Gesamthelligkeitswert einen definierten Schwellenwert überschreitet. Mittels der Erkenneinrichtung 175 ist feststellbar, ob das erste Kamerabild 130 nicht zu dunkel ist, bevor die Bestimmungseinrichtung 120 aktiv wird. Wenn der Gesamthelligkeitswert den definierten Schwellenwert erreicht oder unterschreitet, wendet die Fusionseinrichtung 125 gemäß einem Ausführungsbeispiel beim Fusionieren den ersten Gewichtungsparameter 160 an, der geringer als der zweite Gewichtungsparameter 165 ermittelt wurde. Wenn der Gesamthelligkeitswert den definierten Schwellenwert erreicht oder unterschreitet und das erste Kamerabild 130 somit insgesamt dunkel ist, ist davon auszugehen, dass der Informationsgehalt des ersten Kamerabilds niedrig ist und somit werden die zweiten Pixelwerte in dem fusionierten Kamerabild 105 höher gewichtet, unabhängig von morphologischen Gradienten 150, 155, da eine Stauberkennung aufgrund des ohnehin zu dunklen ersten Kamerabilds 130 nun nicht mehr nötig ist. Gemäß einem Ausführungsbeispiel bleibt die Bestimmungseinrichtung 120 inaktiv, wenn die Erkenneinrichtung 175 den Gesamthelligkeitswert erkennt, der den Schwellenwert erreicht oder unterschreitet, und die Fusionseinrichtung 125 ermittelt für die Fusion direkt den ersten Gewichtungsparameter 160 geringer als den zweiten Gewichtungsparameter 165, beispielsweise unter Verwendung der lichtabhängigen Gewichtung.
-
Die Erkenneinrichtung 175 ist gemäß einem Ausführungsbeispiel dazu ausgebildet, um den Gesamthelligkeitswert unter Verwendung einer erzeugten lab-Farbskala aller ersten Pixelwerte, gemäß einem Ausführungsbeispiel als ein Mittelwert aller I-Farbwerte aller ersten Pixelwerte der lab-Farbskala, zu erkennen.
-
Bei der staubabhängigen Gewichtung, also wenn der erste morphologische Gradient 150 kleiner ist, als der zweite morphologische Gradient 155, subtrahiert die Fusionseinrichtung 125 gemäß einem Ausführungsbeispiel die zweiten Pixelwerte von den ersten Pixelwerten, insbesondere wenn zumindest einer der zweiten Pixelwerte einen Grenzwert erreicht oder überschreitet, um ein subtrahiertes Bild mit einer Wärmesignatur zu erhalten, und invertiert das zweite Kamerabild 140 und verknüpft es mit dem subtrahierten Bild, insbesondere addiert das zweite Kamerabild 140 mit dem subtrahierten Bild, um das fusionierte Kamerabild 105 zu erzeugen. So werden trotz der höheren Gewichtung des zweiten Kamerabilds 140 dennoch wichtige Informationen wie Farbinformationen oder ein hoher Kontrast aus dem ersten Kamerabild 130 in dem fusionierten Kamerabild 105 erhalten. Die staubabhängige Gewichtung wird in 5 noch einmal näher beschrieben.
-
Gemäß diesem Ausführungsbeispiel weist die Vorrichtung 100 ferner eine Bereitstellungseinrichtung 180 auf, die ausgebildet ist, um das fusionierte Kamerabild 105 in Form eines Bildsignals 185 an eine extern von der Vorrichtung 100 angeordnete Einrichtung, beispielsweise eine Objekterkennungseinrichtung, bereitzustellen. Gemäß einem alternativen Ausführungsbeispiel ist die Vorrichtung 100 selbst ausgebildet, um unter Verwendung des fusionierten Kamerabilds 105 eine Objekterkennung, insbesondere Personenerkennung, durchzuführen.
-
Die hier vorgestellte Vorrichtung 100 realisiert einen Fusionsalgorithmus für gemäß diesem Ausführungsbeispiel Infrarot- und RGB-Bilder. Eine Bildfusion, engl. „image fusion“, ist eine Verknüpfung von Bildern und/oder anderen Eingangsgrößen, aus unterschiedlichen Quellen, hier die Verknüpfung der beiden Kamerabilder 130, 140 von unterschiedlichen Kameras 135, 140. In dem fusionierten Kamerabild 105 werden gemäß einem Ausführungsbeispiel zumindest eines oder mehrere oder alle der folgenden Ziele der Bildfusion realisiert:
- • Verringerung einer Unsicherheit und höhere Zuverlässigkeit: Wenn Sensoren dieselbe Szene erfassen und dabei die identischen Eigenschaften auslesen, werden gemäß einem Ausführungsbeispiel redundante Informationen ausgelesen, beispielsweise erfolgt so gemäß einem Ausführungsbeispiel eine Rauschunterdrückung durch eine Überlagerung mehrerer Bilder.
- • Höherdimensionaler Merkmalsvektor: Durch Fusion zweier Sensoren unterschiedlicher Erfassungseigenschaften werden gemäß einem Ausführungsbeispiel neue Informationen gewonnen, beispielsweise multispektrale Bilder, Infrarot/RGB-Kamera
- • Schnelle Informationsgewinnung: Durch eine simultane Kameraerfassung werden gemäß einem Ausführungsbeispiel Messdaten schneller ausgewertet, beispielsweise Kamera-Arrays
- • Kostengünstige Informationsgewinnung: Durch die Fusion mehrerer kostengünstigerer Sensoren, kann auf einen teuren Sensor verzichtet werden.
-
Der Einsatz von Wärmebildkameras sowie die Fusion mit RGB-Bildern findet aufgrund der sinkenden Preise für Wärmebildkameras immer mehr Verbreitung. So werden diese auch schon im Bereich der Umfeld-Sensorik eingesetzt. Wärmebildkameras liefern hierbei den großen Vorteil, dass sie auch bei Dunkelheit, Rauch oder Staub Personen visualisieren. Diesen Effekt nutzt beispielsweise die Feuerwehr, um Personen in brennenden Häusern zu finden, wenn diese Häuser verraucht sind.
-
Durch die Fusion von RGB-Kamera und Wärmebildkamera wird gemäß einem Ausführungsbeispiel versucht, die Schwachstellen dieser beiden Systeme auszugleichen und so viel Informationen wie möglich in dem fusionierten Kamerabild 105, das auch als „Fusionsbild“ bezeichnet werden kann, zu generieren.
-
Für den Offroad-Nutzfahrzeug-Bereich hat diese Sensorkombination viele Vorteile. Der Offroad-Nutzfahrzeug-Bereich ist geprägt durch große Fahrzeuge, die in schwierig zu Überblickenden Situationen mit direktem Kontakt mit Menschen, gesteuert werden sollen. So sind staubige Umgebungen und viele Tonnen schwere Fahrzeuge keine Seltenheit. Des Weiteren arbeiten diese Maschinen häufig auch bei Nacht was eine sichere Kontrolle fast unmöglich macht.
-
Für die Absicherung des Arbeitsumfeldes dieser Arbeitsmaschinen eignet sich daher eine Kamerabasierte Personendetektion wie die Fahrzeugkamera 110, um Personen zu detektieren, die sich im Gefahrenbereich der Maschine aufhalten. Diese Personendetektion läuft gemäß einem Ausführungsbeispiel über ein DeepLearning-Ansatz ab oder über einen Maschine-Learning-Ansatz.
-
Herausforderungen der Fusion einer Wärmebildkamera sowie einer RGB-Kamera sind:
- • Das Fusionsbild enthält ein Maximum an Information der Umgebungssituation
- • Der Algorithmus soll für verschiedene Umfeldszenarien geeignet sein
- • Der Hintergrund beider Kamerasysteme ändert sich ständig, was eine Fusion mittels einer „Background segmentation“ ausschließt
-
Vorteilhafterweise ist durch die hier beschriebene Fusion lediglich eine geringe Rechenleistung erforderlich, um Personen in Echtzeit zu detektieren. Würde man die Kamerabilder 130, 140 nicht fusionieren, müsste man zwei Personendetektionen laufen lassen, eine mit dem RGB-Bild und eine mit dem Infrarotbild. Die Fusion ist hierbei wesentlich schneller zu verarbeiten, als die Detektion durch ein neuronales Netz.
-
Da Bildfusionsalgorithmen sehr Usecase-spezifisch sind, gibt eine Vielzahl von Fusionsalgorithmen, auf die in diesem Rahmen nicht alle eingegangen werden kann. Am Bespiel des Alpha-Level-Blending-Fusionsalgorithmus wird die Funktionsweise eines Fusionsalgorithmus exemplarisch erklärt. Für den Alpha-Level-Blending-Fusionsalgorithmus wird für jedes Pixel geschaut wie hoch die Intensität dieses Pixels ist. Die Intensität des Pixels wird dabei von 0 bis 255 skaliert. Am Ende gehen dann beide Gewichtungen, Wärmebild und RGB, jeweils zu 50% in das Fusionsbild mit ein. Viele Fusionsalgorithmen verwenden unabhängig von dem Szenenbild das gleiche Fusionsverfahren. Anders als die hier vorgestellte Vorrichtung 100 unterscheiden sie nicht, ob es sich beispielsweise um eine staubige Situation handelt, oder um ein Dämmerungsszenario. Sie werten das Bild immer nach dem gleichen Verfahren aus.
-
Ähnliche oder gleiche Gewichtungsverhältnisse sind jedoch nicht immer zielführend, da in beispielsweise einer staubigen Szene eine höhere Wärmebildgewichtung informationsreicher ist. Anders ist es bei einer staubfreien Szene. Hier ist ein höherer Anteil der RGB-Informationen der ersten Pixel informationsreicher, da das zweite Kamerabild 140, also das Wärmebild, keine zusätzlichen Informationen liefert, um Person oder andere Objekte zu detektieren. Bei einer Aufnahme bei Nacht besitzen die RGB-Pixel in dem ersten Kamerabild 130 eine sehr geringe Intensität, da es dunkel ist. Das Wärmebild ist jedoch Licht-unabhängig wodurch die Pixelintensität sowie die Genauigkeit, mit der Objekte erkannt werden können, nicht beeinträchtigt wird. Ein Ziel des Fusionsalgorithmus der Vorrichtung 100 ist es, diese Intensität und Informationen zu erhalten. Bei einer Nachtaufnahme, bei der ein Fusionsbild mittels der Alpha-Level-Blending-Fusion erzeugt wurde, ist die Intensität der Pixel im Fusionsbild wesentlich geringer, da das gewichtete Wärmebild und das gewichtete RGB-Bild nur zu jeweils 50% in das Fusionsbild eingehen. Dadurch verlieren die im Wärmebild stark vorhandenen Konturen im Fusionsbild an Intensität.
-
Zusammenfassen lassen sich die vorliegenden Herausforderungen also in der Gewichtung der Kamerabilder 130, 140 anhand der Pixelintensitäten sowie der unabhängigen Gewichtung der Kamerabilder 130, 140 zueinander.
-
Eine Aufgabe des von der Vorrichtung 100 realisierten Fusionsalgorithmus ist die verbesserte Objekterkennung, insbesondere die Personenerkennung in der Umgebung von Arbeitsmaschinen bei optisch schwierig auszuwertenden Bedingungen. Ein Vorteil dieses Fusionsalgorithmus ist die Verwendung verschiedener Fusionsverfahren, die staubabhängige Gewichtung oder die lichtabhängige Gewichtung, um in optisch schwierigen Situationen Personen deutlicher erkennen zu können. Dabei findet die Gewichtung der Kamerabilder 130, 140 vorteilhafterweise nicht nur nach Pixelintensitäten statt und Pixelintensitäten bleiben je nach Informationsgehalt erhalten.
-
Wie zuvor bereits beschrieben, gibt es Herausforderungen bei der Gewichtung einer staubigen hellen Szene und einer optisch einflussfreien hellen Szene. Da für eine staubige helle Szene ein anderes Fusionsverfahren verwendet werden soll als für eine lichtbedingt schwierige Situation, benötigt es einen Differenzierungsfaktor. Dieser Differenzierungsfaktor ist der morphologische Gradient 150, 155 beider Kamerabilder 130, 140. Der morphologische Gradient 150, 155 eines Bildes zeigt die Konturen wie Umrisse, Kanten des Bildes und gibt diese je nach Intensität der Kontur weiter.
-
Der morphologische Gradient 150, 155 ist in 5 anhand einer Beispielszene gezeigt, die sowohl als erstes Kamerabild 130 als auch als zweites Kamerabild 140 vorliegt. Je stärker eine Kontur im Originalbild zu erkennen ist, desto höher ist später die Pixelintensität des morphologischen Gradienten 150, 155.
-
Summiert man nun gemäß einem Ausführungsbeispiel alle Pixelwerte dieses Bildes auf, erhält man einen Wert, der etwas über die Anzahl und die Intensität der erkannten Konturen im Bild aussagt. Das hat den Vorteil, dass bei beispielsweise staubigen Szenen die RGB-Kamera sehr wenige und sehr schwache Konturen erkennt, wodurch das RGB-Bild gemäß einem Ausführungsbeispiel einen geringen Wert aufweist. Die Wärmebildkamera erkennt in diesem Fall mehr Konturen, wodurch der Wert gemäß einem Ausführungsbeispiel wesentlich höher ist, als im RGB-Bild. Dividiert man gemäß einem Ausführungsbeispiel die Summen der Morphologischen-Gradienten-Bilder, erhält man einen Differenzierungsfaktor über den staubige Situationen erkennbar sind.
-
Da bei Dunkelheit die Wärmebildkamera wesentlich mehr Konturen erkennt, als die RGB-Kamera, man aber trotzdem eine lichtbedingte Fusion durchführen möchte, ist hier ein weiterer Differenzierungsfaktor notwendig. Dieser Differenzierungsfaktor beschreibt die Gesamthelligkeit des Bildes. Dafür wird gemäß einem Ausführungsbeispiel das RGB-Bild in eine lab-Farbskala umgewandelt. Dies hat den Vorteil, dass der I-Wert der lab-Farbskala die Helligkeit des ersten Pixels angibt. Daher wird gemäß einem Ausführungsbeispiel der Mittelwert aller I-Werte der ersten Pixel gebildet. Ist dieser Wert unter einem bestimmten Schwellwert, handelt es sich um eine dunkle Szene, wodurch der Wärmebildanteil bei einer Fusion überwiegen wird und das RGB-Bild ob staubig oder nicht, geringer Gewichtet wird.
-
2 zeigt eine schematische Darstellung einer Vorrichtung 100 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 1 beschriebene Vorrichtung 100 handeln. Gezeigt ist ein schematischer Ablauf einer Differenzierung der Vorrichtung 100 zwischen der staubabhängigen Gewichtung 200 und der lichtabhängigen Gewichtung 205. Wenn die Erkenneinrichtung 175 erkennt, dass der Gesamthelligkeitswert den definierten Schwellenwert erreicht oder unterschreitet, wird gemäß diesem Ausführungsbeispiel die lichtabhängige Gewichtung 205 ausgewählt. Die lichtabhängigen Gewichtung 205 wird ferner gemäß diesem Ausführungsbeispiel ausgewählt, wenn der erste morphologische Gradient und zweite morphologische Gradient um nicht mehr als einen vorbestimmten Differenzbereich voneinander abweichen. Die staubabhängige Gewichtung 200 wird gemäß diesem Ausführungsbeispiel ausgewählt, wenn der erste morphologische Gradient kleiner ist, als der zweite morphologische Gradient und/oder wenn der erste morphologische Gradient und zweite morphologische Gradient um mehr als der vorbestimmte Differenzbereich voneinander abweichen.
-
3 zeigt eine schematische Darstellung einer Zuordnungsvorschrift 170 zur Verwendung für eine Vorrichtung gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 1 beschriebene Zuordnungsvorschrift 170 und die in 1 oder 2 beschriebene Vorrichtung handeln.
-
Die Zuordnungsvorschrift 170 wird gemäß einem Ausführungsbeispiel bei der lichtabhängigen Gewichtung für lichtbedingt optisch schwierige Situationen verwendet. Das können Blendeffekte, Hell-Dunkel-Unterschiede oder Dunkelheit sein. Bei der lichtabhängigen Gewichtung wird gemäß einem Ausführungsbeispiel eine Pixelbasierte Fusion angewendet. Das bedeutet, dass jedes Pixel entsprechend der Zuordnungsvorschrift 170 einzeln gewichtet wird. Dies hat den Vorteil, dass in Situationen, in denen es helle und dunkle Bereiche gibt, diese dementsprechend passend gewichtet werden, beispielsweise bei Tunnelfahrten. Unter Gewichtung versteht man die Anteile, mit denen das RGB-Bild und das Wärmebild in das fusionierte Kamerabild eingehen. Für die Bestimmung der Gewichtungsverhältnisse wird gemäß diesem Ausführungsbeispiel eine Art Gaußkurve verwendet.
-
Gezeigt ist in 3 demnach eine Gewichtungskurve für die lichtbedingte Fusion, die zuvor als „lichtabhängige Gewichtung“ bezeichnet wurde. Die X-Achse ist dabei der I-Wert, also der Helligkeitswert. Die Gewichtung von RGB- und Wärmebildwerten wird hierbei von der Helligkeit des Pixels bestimmt. Hat der Pixel einen mittleren Helligkeitswert, enthalten die RBG-Werte einen hohen Informationsgehalt. Dieser Informationsgehalt besteht aus allem, was eine spätere Detektion der Person verbessert wie Farbwerten, Konturen. Die Wärmebildinformationen liefert in diesem Fall keine zusätzlichen Informationen und wird daher nur zu einem sehr geringen Anteil weitergegeben. Würde hier ein hoher Wärmebildanteil weitergegeben werden, würde das Konturen und Farbinformationen abschwächen und somit eine Detektion erschweren. Daher eignet sich für die Gewichtung eine gaußkurven-ähnliche Verteilung. Bei sehr hohen und sehr geringen Helligkeitswerten besitzen die RGB-Werte nur einen geringen Informationsgehalt und die Wärmebildinformationen erhöhen den Informationsgehalt des Fusionsbildes.
-
4 zeigt eine schematische Darstellung eines beispielhaften Ablaufs einer Pixelgewichtung unter Verwendung einer Zuordnungsvorschrift 170 bei einer lichtabhängigen Gewichtung 205 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 3 beschriebene Zuordnungsvorschrift 170 zur Durchführung der lichtabhängigen Gewichtung 205 handeln, die von der in einer der vorangegangenen Figuren beschriebenen Vorrichtungen anwendbar ist.
-
In dem ersten Kamerabild 130 befindet sich ein gestrichelt dargestellter erster Punkt gemäß diesem Ausführungsbeispiel in einem hellen Bereich der Szene mit einem I-Wert von beispielhaften 62,14. Ein schwarzer zweiter Punkt befindet sich gemäß diesem Ausführungsbeispiel in dem ersten Kamerabild 130 schon im Schatten und besitzt dementsprechend einen geringeren I-Wert von hier beispielhaften 20,14. Die Gewichtungskurve der Zuordnungsvorschrift 170 gibt gemäß diesem Ausführungsbeispiel bei einem I-Wert von 62,14 einen RGB-Anteil von 91,96 % an, hier auf der linken Bildseite als gestrichelter Pfeil dargestellt. Bei einem I-Wert von 20,14 gibt die Gewichtungskurve der Zuordnungsvorschrift 170 gemäß diesem Ausführungsbeispiel einen RGB-Anteil von 60,94% an, hier auf der rechten Bildseite als durchgezogener Pfeil dargestellt. Mit diesen Anteilen werden die RGB-Werte gemäß diesem Ausführungsbeispiel multipliziert. Die zu vervollständigen Prozent werden danach mit den Wärmebildwerten multipliziert und mit den gewichteten RGB-Werten aufsummiert. Somit besitzen die Pixel im schattigen Bereich einen wesentlich höheren Wärmebildanteil, wodurch sie wesentlich besser zu sehen sind. Durch dieses Vorgehen gibt es nur ein Minimum an irrelevanten Informationen im Fusionsbild, wodurch die Informationsdichte erhöht wird. Ein weiterer Vorteil dieses Vorgehens ist ein höherer Farbgehalt des fusionierten Kamerabildes 105.
-
Bei dem fusionierten Kamerabild 105, welches wie beschrieben unter Verwendung der Gewichtungskurve der Zuordnungsvorschrift 170 fusioniert wurde, deren Verwendung auch als „AlphaGauß-Fusion“ bezeichnet werden kann, ist zu sehen, dass die Farbintensität in dem fusionierten Kamerabild 105 hoch ist. Dies hat den Grund, dass bei dem hier vorgestellten AlphaGauß-Algorithmus vorteilhafterweise die Gewichtungen der Kamerabilder 130, 140 in Abhängigkeit zueinander berechnet werden, wodurch die Farbinformationen und Wärmebildinformationen deutlicher im Fusionsbild zu erkennen sind.
-
5 zeigt eine schematische Darstellung eines beispielhaften Ablaufs bei einer staubabhängigen Gewichtung 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 1 oder 2 beschriebene staubabhängige Gewichtung 200 handeln, die von der in einer der vorangegangenen Figuren beschriebenen Vorrichtung anwendbar ist.
-
Handelt es sich um eine helle staubige Szene, wird von der Vorrichtung ein staubabhängiges Gewichtungsverfahren verwendet. Die Wärmebildkamera liefert bei staubigen überbelichteten Szenen ein informationsreicheres zweites Kamerabild 140 als die RGB-Kamera. Um dennoch wichtige RGB-Informationen nicht zu verwerfen wie Farbinformationen durch eine Warnweste, wird nicht das alleinige Wärmebild verwendet. Befindet sich nun eine Person in der Staubsituation, erscheint die Wärmesignatur im zweiten Kamerabild 140 im Vergleich zur Umgebung stärker und besitzt somit einen hohen Pixelwert. Als ein erster Schritt werden bei der staubabhängigen Gewichtung 200 gemäß einem Ausführungsbeispiel die Pixelwerte des zweiten Kamerabilds 140 in Form des Wärmebildes von den Pixelwerten des ersten Kamerabildes 130 in Form des RGB-Bildes subtrahiert, um ein subtrahiertes Bild 500 zu erhalten. Dadurch werden die Stellen im RGB-Bild frei, an denen das Wärmebild eine Wärmesignatur erkennt. Je wärmer ein Bereich ist, desto stärker wird dieser Bereich gemäß einem Ausführungsbeispiel freigestellt. Farbverhältnisse bleiben im RGB-Bild erhalten, da das Wärmebild gemäß einem Ausführungsbeispiel den gleichen Wert von jedem Farbkanal subtrahiert. Dadurch bleiben mögliche Farbinformationen abgeschwächt erhalten. Nun wird das Wärmebild gemäß einem Ausführungsbeispiel invertiert, um ein invertiertes Bild 505 zu erhalten und gemäß einem Ausführungsbeispiel mit dem subtrahierten Bild 500 addiert, um das fusionierte Kamerabild 105 zu erhalten. Dadurch ergibt sich ein höherer Kontrast zu der hellen staubigen Szene. Der Vorteil dieses Vorgehens ist der weiterhin hohe RGB-Anteil im fusionierten Kamerabild 105, der möglicherweise mehr Informationen enthält, als das Wärmebild. Dennoch wird durch die Subtraktion des RGB-Bildes mit dem Wärmebild, das Wärmebild höher priorisiert, da es in der staubigen Situation verlässlicher Personen präsentiert.
-
Im fusionierten Kamerabild 105, sind immer noch Farbinformationen der Warnweste zu sehen, wodurch die Wahrscheinlichkeit steigt, eine Person zu detektieren.
-
Die hier vorgestellte Vorrichtung ist für den Off-Road Bereich z. B. auf Baumaschinen, Landmaschinen einsetzbar.
-
Zusammengefasst wird dank der Vorrichtung eine effiziente Erkennung von Personen, beispielsweise in der Umgebung eines Arbeitsgerätes ermöglicht, indem Bilder von einer optischen (RGB-) Kamera mit Bildern einer Wärmebildkamera fusioniert werden. Hierbei wird zur optimalen Gewichtung der Bilder eine Erkennung der Helligkeitswerte von mehreren Pixeln vorgenommen und abhängig von dieser Helligkeit oder einer Differenz der Helligkeitswerte von benachbarten Pixeln erkannt, ob in einer Situation eine ausreichend genaue Erkennung von Personen möglich ist. Die Pixel der optischen Kamera werden dann in Abhängigkeit von den Helligkeitswerten gewichtet und ein zugeordnetes Pixel aus dem Wärmebild mit einem weiteren Gewichtungsanteil gewichtet. Ferner wird auch noch ein morphologischer Gradient in jedem der Bilder erkannt und ebenfalls zur Gewichtung der Pixel des Bildes der optischen Kamera und der Wärmebildkamera verwendet. Es wird hierbei eine Helligkeit als Maß für die Gewichtung, speziell unter Verwendung der in 3 und 4 beschriebenen Kurve und/oder die Berücksichtigung von morphologischen Gradienten zur Erkennung einer staubigen Situation verwendet.
-
6 zeigt eine schematische Darstellung von morphologischen Gradienten 150, 155 für Kamerabilder 130, 140 zur Verwendung für eine Vorrichtung gemäß einem Ausführungsbeispiel. Der erste morphologische Gradient 150 ist gemäß diesem Ausführungsbeispiel größer als der zweite morphologische Gradient 155, was auf eine staubfreie Szene schließen lässt.
-
7 zeigt ein Ablaufdiagramm eines Verfahrens 700 gemäß einem Ausführungsbeispiel zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung. Dabei kann es sich um ein Verfahren 700 handeln, das von einer der anhand der vorangegangenen Figuren beschriebenen Vorrichtungen ansteuerbar und/oder ausführbar ist.
-
Das Verfahren 700 weist einen Schritt 705 des Einlesens, einen Schritt 710 des Bestimmens und einen Schritt 715 des Fusionierens auf. Im Schritt 705 des Einlesens werden ein eine Szene abbildendes erstes Kamerabild mit einer Vielzahl von ersten Pixeln von einer ersten Kamera und ein die Szene abbildendes zweites Kamerabild mit einer Vielzahl von den ersten Pixeln jeweils zugeordneten zweiten Pixeln von einer zweiten Kamera eingelesen. Im Schritt 710 des Bestimmens wird ein erster morphologischer Gradient für das erste Kamerabild unter Verwendung von ersten Pixelwerten der ersten Pixel und/oder ein zweiter morphologischer Gradient für das zweite Kamerabild unter Verwendung von zweiten Pixelwerten der zweiten Pixel bestimmt. Im Schritt 715 des Fusionierens werden die ersten Pixelwerte der ersten Pixel mit den zweiten Pixelwerten der jeweils zugeordneten zweiten Pixel fusioniert, um das fusionierte Kamerabild zu erzeugen, wobei im Schritt des Fusionierens ein erster Gewichtungsparameter auf die ersten Pixelwerte und/oder ein zweiter Gewichtungsparameter auf die zweiten Pixelwerte in Abhängigkeit von einem Faktor angewandt wird, der durch Verknüpfen, insbesondere Dividieren, einer Summe der Pixelwerte des ersten morphologischen Gradienten und einer Summe der Pixelwerte des zweiten morphologischen Gradienten ermittelt wurde.
-
Das Verfahren 700 weist optional ferner einen Schritt 720 des Erkennens auf, in dem ein Gesamthelligkeitswert des ersten Kamerabilds unter Verwendung der ersten Pixelwerte erkannt wird, wobei im Schritt 715 des Fusionierens der erste Gewichtungsparameter in Abhängigkeit von dem ersten morphologischen Gradienten und/oder der zweite Gewichtungsparameter in Abhängigkeit von dem zweiten morphologischen Gradienten angewandt wird, wenn der Gesamthelligkeitswert einen definierten Schwellenwert überschreitet.
-
Das Verfahren 700 weist optional ferner einen Schritt 725 des Verwendens auf, in dem das fusionierte Kamerabild für eine Objekterkennung, insbesondere Personenerkennung, verwendet wird.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
