DE102021006300A1

DE102021006300A1 - Verfahren zur Erzeugung eines Ausgangsbilds

Info

Publication number: DE102021006300A1
Application number: DE102021006300.7A
Authority: DE
Inventors: Florian Gagel; Felix Weiner
Original assignee: Diehl Defence GmbH and Co KG
Current assignee: Diehl Defence GmbH and Co KG
Priority date: 2021-12-22
Filing date: 2021-12-22
Publication date: 2023-06-22

Abstract

Verfahren zur Erzeugung eines Ausgangsbilds (13) aus wenigstens zwei Eingangsbildern (5, 6) unterschiedlicher Quellen, insbesondere zwei Einzelbilder aus unterschiedlichen spektralen Kanälen, wobei das Ausgangsbild (13) durch Fusion der wenigstens zwei Eingangsbilder (5, 6) erzeugt wird, wobei das Ausgangsbild (13) basierend auf Gradientenbildern (9, 10) der Eingangsbilder (5, 6) erzeugt wird.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung eines Ausgangsbilds aus wenigstens zwei Eingangsbildern unterschiedlicher Quellen, insbesondere zwei Einzelbilder aus unterschiedlichen spektralen Kanälen, wobei das Ausgangsbild durch Fusion der wenigstens zwei Eingangsbilder erzeugt wird.
Verfahren zur Erzeugung von Ausgangsbildern aus zwei oder mehreren Eingangsbildern, die aus unterschiedlichen Quellen, zum Beispiel unterschiedlichen Bildaufnahmeeinrichtungen, stammen, sind grundsätzlich aus dem Stand der Technik bekannt. Die Eingangsbilder können beispielsweise von einer RGB-Kamera und einer IR-Kamera stammen und die gleiche Szene aufnehmen. Aufgrund der unterschiedlichen spektralen Kanäle werden unterschiedliche Informationsgehalte in den Eingangsbildern erfasst bzw. festgehalten. Durch die Fusion der Eingangsbilder zu dem Ausgangsbild, kann das Ausgangsbild mehr Informationen erhalten als die beiden Eingangsbilder, jeweils für sich genommen.
Hierbei stellt die Fusion der beiden Eingangsbilder zu dem Ausgangsbild eine Herausforderung dar, da zum einen gewünscht ist, möglichst viele Informationen aus den einzelnen Bildern in das Ausgangsbild zu transportieren, ohne Einzelheiten aus den Eingangsbildern zu verwerfen bzw. Informationen in einem Bild durch Informationen aus einem anderen Bild zu „überdecken“. Mit anderen Worten stellt die Auswahl oder die Entscheidung darüber, welcher Bereich des Ausgangsbilds durch welches Eingangsbild geprägt werden soll, eine Herausforderung dar. Beispielsweise wird im Stand der Technik vorgeschlagen, lokale Filter zu verwenden, um Informationen aus verschiedenen spektralen Kanälen zusammenzuführen. Oftmals ist das fusionierte Ausgangsbild nicht auf die menschliche Wahrnehmung hin optimiert, sodass die grundsätzliche Qualität des fusionierten Ausgangsbilds beispielsweise in Bezug auf die Wahrnehmbarkeit durch einen Betrachter verbesserungswürdig ist.
Der Erfindung liegt die Aufgabe zugrunde ein demgegenüber verbessertes Verfahren zur Erzeugung eines Ausgangsbilds anzugeben.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Wie beschrieben, betrifft die Erfindung ein Verfahren zur Erzeugung eines Ausgangsbilds aus wenigstens zwei Eingangsbildern unterschiedlicher Quellen. Die unterschiedlichen Quellen können dabei verschiedene spektrale Kanäle aufweisen bzw. Informationen aus verschiedenen spektralen Kanälen erfassen. Hierbei können zwei oder mehr Eingangsbilder miteinander fusioniert werden, je nachdem, wie viele Bilderaufnahmeeinrichtungen bzw. Quellen zur Verfügung stehen. Lediglich beispielhaft kann ein erstes Eingangsbild einer IR-Kamera mit einem zweiten Eingangsbild einer RGB-Kamera fusioniert werden, um ein Ausgangsbild zu erhalten, das die Informationen des IR-Kanals mit den Informationen aus dem RGB-Kanal kombiniert oder ergänzt.
Die Erfindung beruht auf der Erkenntnis, dass das Ausgangsbild basierend auf Gradientenbildern der Eingangsbilder erzeugt wird. Statt das Ausgangsbild durch lokale Filterung der Eingangsbilder zu erzeugen, schlägt die Erfindung vor, Gradientenbilder der Eingangsbilder zu verwenden und das Ausgangsbild basierend auf den Gradientenbildern zu erzeugen. Die Verwendung der Gradientenbilder als Grundlage für die Erzeugung des Ausgangsbilds liefert eine Fusion, die besonders in Bezug auf die menschliche Wahrnehmung optimiert ist. Ein menschlicher Betrachter entnimmt Kontrasten in einer bildlichen Darstellung eine Vielzahl an Informationen bzw. verbessert eine kontrastreiche Darstellung die Wahrnehmbarkeit von Details und Informationen für einen menschlichen Betrachter. Da die Wahrnehmung des menschlichen Betrachters letztlich auf Kontrasten basiert bzw. Kontraste bei der Wahrnehmung von Informationen sehr hilfreich sind, erlauben die Gradientenbilder als Basis für die Erzeugung des Ausgangsbilds sowohl eine Verbesserung der Qualität des Ausgangsbilds in Bezug auf eine Betrachtung seitens des menschlichen Benutzers als auch auf die Auswahl, welche Bereiche des Ausgangsbilds durch welche Bereiche der einzelnen Einzelbilder gebildet werden sollen.
Das Verfahren folgt somit dem Ansatz, die Gradientenbilder der Eingangsbilder zu verwenden, die letztlich dem Kontrast entsprechen bzw. sich wie der Kontrast verhalten. Aus den verschiedenen spektralen Kanälen kann somit jeweils lokal derjenige Anteil übernommen werden, der den größten Kontrast aufweist. Dies erlaubt einem menschlichen Betrachter aus dem fusionierten Ausgangsbild komfortabel möglichst viele Informationen zu entnehmen, ohne durch aufwendige lokale Filterung das Verwerfen bzw. Verlorengehen von Informationen aus den Eingangsbildern zu riskieren. Als weitere Kanäle im Rahmen dieser Anmeldung können insbesondere verschiedene Eingänge oder Kanäle von Bildaufnahmeeinrichtungen, allgemein Quellen, verstanden werden. Die spektralen Kanäle können sich insbesondere in Bezug auf eine verwendete Wellenlänge unterscheiden. Die Quellen können insbesondere für verschiedene Wellenlängen oder Wellenlängenbereiche empfindlich sein. Lediglich beispielhaft können Kanäle auf einzelne Wellenlängen oder Wellenlängenbereiche beschränkt sein oder ein breiteres Spektrum an Wellenlängen abdecken. Hierbei können mehr als zwei Eingangsbilder bzw. mehr als zwei Quellen verwendet werden.
Bei den beschriebenen Verfahren kann vorgesehen sein, dass zu jedem Eingangsbild das Gradientenbild bestimmt wird und, insbesondere pixelweise, ein fusioniertes Gradientenbild aus den lokal maximalen Gradienten der bestimmten Gradienten der Eingangsbilder bestimmt wird. In einem ersten Schritt des beschriebenen Verfahrens kann somit ein Gradientenbild zu jedem der Eingangsbilder bestimmt werden. Das Gradientenbild kann zum Beispiel den Kontrast der Eingangsbilder, insbesondere pixelweise, darstellen. Um das fusionierte Gradientenbild zu erhalten, wird, beispielsweise pixelweise, eine Auswahl der Gradienten in den Eingangsbildern bestimmt. Insbesondere kann in jedem Eintrag oder Pixel jeweils der maximale Gradient der Eingangsbilder in demselben Pixel verwendet werden, um den entsprechenden Eintrag in dem fusionierten Gradientenbild zu bilden.
Mit anderen Worten können zwei oder mehr Rohbilder als Eingangsbilder verwendet werden. Aus jedem der Rohbilder wird das Gradientenbild bestimmt. Die bestimmten Gradienten der Eingangsbilder, also die Einträge der Gradientenbilder, bilden die Grundlage für das fusionierte Gradientenbild. Für jeden Eintrag in dem fusionierten Gradientenbild, beispielsweise jedes Pixel des fusionierten Gradientenbilds, wird betrachtet, welcher Gradient in den aus den Eingangsbildern bestimmten Gradientenbildern am größten ist. Bei der Verwendung von zwei Eingangsbildern besteht die Bestimmung der Einträge des fusionierten Gradientenbilds letztlich in einem pixelweisen Vergleich der Werte der aus den Eingangsbildern bestimmten Gradientenbilder.
Aus den Eingangsbildern, die auch als „Rohbilder“ bezeichnet oder erachtet werden können und letztlich Skalarbilder darstellen, kann durch die Bildung der Gradienten bzw. der Bestimmung der Gradientenbilder zu den Einzelbildern jeweils ein Vektorbild erzeugt werden. Beispielsweise entsprechen die einzelnen Einträge bzw. Pixelwerte Intensitäten/Grauwerten, die zum Beispiel als Gleitkommazahl codiert werden können. Für die Pixelwerte gilt beispielsweise: I(x, y) ∈ [0,1].
Die Einträge der Gradientenbilder entsprechen, insbesondere pixelweise, den Ableitungen der Einträge der Eingangsbilder. Für jeden Eintrag eines Einzelbilds kann somit das Gradientenbild einen diskreten Gradienten als Eintrag enthalten. Der diskrete Gradient ist durch einen zweidimensionalen Vektor g(x,y) gekennzeichnet. Jeder Eintrag bzw. jeder Gradient bildet somit einen Vektor und besitzt eine „Stärke“ und eine „Orientierung“. Die Einträge der wenigstens zwei Gradientenbilder, die sich aus den wenigstens zwei Eingangsbildern bilden, werden entsprechend folgenden Gleichungen ermittelt: $g_{x} (x, y) = l (x + 1, y) - l (x, y)$
$g_{y} (x, y) = l (x, y + 1) - l (x, y)$
Zu jedem der Eingangsbilder, beispielsweise zwei Eingangsbilder I₁ und I₂ erhält man ein Gradientenbild g₁(x,y) und g₂(x,y). Die Auswahl des größten Eintrags bzw. des größten Gradienten, der auch als lokaler maximaler Gradient bezeichnet werden kann, basiert insbesondere auf dem Betrag des Gradienten. Es werden also die Beträge der einzelnen Einträge der Gradientenbilder der wenigstens zwei Eingangsbilder betrachtet und stets der lokal maximale Gradient als Eintrag in dem fusionierten Gradientenbild verwendet. Werden mehr als zwei Eingangsbilder verwendet, wird der Gradient verwendet, der lokal maximal ist, also derjenige der in den korrespondierenden Einträgen der einzelnen bestimmten Gradientenbildern am größten ist. Bei genau zwei Eingangsbildern wird jeweils der größere Eintrag der beiden bestimmten Gradientenbildern bzw. pixelweise der größere Gradient verwendet. Allgemein bestimmt sich das fusionierte Gradientenbild g_f somit aus den einzelnen bestimmten Gradientenbildern, beispielsweise bei zwei Eingangsbildern und den daraus zwei bestimmten Gradientenbildern das fusionierte Gradientenbild g_f über folgende Vorschrift: $g_{ƒ} (x, y) = {\begin{matrix} g_{1} (x, y) f a l l s | g_{1} | > | g_{2} | \\ g_{2} (x, y) f a l l s | g_{2} | > | g_{1} | \end{matrix}$
Nach dem Verfahren ist das zu dem fusionierten Gradientenbild zugehörige Ausgangsbild gesucht. Im Allgemeinen, insbesondere für nicht rotationsfreie Gradientenbilder, ist eine Bestimmung des Ausgangsbilds nicht ohne weiteres möglich. Nach einer Ausgestaltung des Verfahrens ist vorgesehen, dass das Ausgangsbild durch Minimierung des Abstands des Gradientenbilds des Ausgangsbilds zu dem fusionierten Gradientenbild erzeugt wird. Mit anderen Worten wird keine direkte Bestimmung des zu dem fusionierten Gradientenbild zugehörigen Ausgangsbilds vorgenommen, sondern der Abstand des Gradientenbilds des Ausgangsbilds zu dem fusionierten Gradientenbild wird minimiert. Die Minimierung erfolgt hierbei im Sinne der L2-Norm. Mit anderen Worten wird ein Gradientenbild gesucht, das dem fusionierten Gradientenbild im Sinne der L2-Norm ähnlich ist.
Zur Berechnung des Ausgangsbilds wird ein Bild I_f errechnet, dessen Gradientenbild möglichst nahe an dem fusionierten Gradientenbild g_f liegt. Die Minimierung des Abstands im Sinne der L2-Norm zwischen g_f und dem Gradienten von I_f führt auf eine (diskrete) Poisson-Gleichung für I_f. Der Quellterm der Poisson-Gleichung kann insbesondere der Divergenz von g_f entsprechen. Als Minimierung des Abstands wird eine Minimierung der Abweichung verstanden, sodass das gesuchte Gradientenbild möglichst wenig Abweichung von dem fusionierten Gradientenbild besitzt.
Anschließend kann das Ausgangsbild basierend auf der Divergenz des fusionierten Gradientenbilds berechnet werden, insbesondere basierend auf div g_f = ∇g_f = div grad (I_f) = Δ (I_f). Die beschriebene Poisson-Gleichung kann über beliebige geeignete numerische Methoden bzw. andere bekannte Verfahren gelöst werden. Zum Beispiel kann eine vorteilhafte Lösung in der Wellenbasis über Greens-Funktionen erfolgen.
Das Verfahren kann dahingehend weitergebildet werden, dass zur Bestimmung des Ausgangsbilds eine Normierung ausgeführt wird, insbesondere eine Normierung der Eingangsbilder oder eine Normierung der Gradientenbilder. Beispielsweise kann es sich anbieten, einen mittleren Kontrastwert in den wenigstens zwei Bildern gleich zu wählen bzw. die wenigstens zwei Bilder so zu normieren, dass ein mittlerer Kontrastwert gleich ist. Die Kontrastwerte bzw. die Eingangsbilder oder die Einträge der Eingangsbilder können zum Beispiel mit einer Konstanten multipliziert werden. Bei der Normierung der Eingangsbilder bzw. der Gradientenbilder ist darauf zu achten, dass die Normierung lokal nicht zu Fehlern bzw. zu ungewünschten Abweichungen führt. Die Normierung der Eingangsbilder bzw. der Gradientenbilder erlaubt insbesondere, dass alle spektralen Kanäle bzw. Eingangsbilder zu möglichst gleichen Teilen zu dem Ausgangsbild beitragen können. Hierbei kann insbesondere vermieden werden, dass Details in einem Eingangsbild durch höhere Werte in einem anderen Eingangsbild oder durch Rauschen untergehen. Die Normierung kann beispielsweise auf folgender Vorschrift basieren. $g \to \frac{g}{\sum_{x, y} \sqrt{g_{x}^{2} (x, y) + g_{y}^{2} (x, y)}}$
Nach einer weiteren Ausgestaltung des Verfahrens kann ein, insbesondere für jedes Eingangsbild individueller, Schwellwert festgelegt werden, wobei Gradienten unterhalb des Schwellwerts auf 0 gesetzt werden. Die Ausgestaltung ermöglicht, vergleichsweise kleine Gradienten auf 0 zu setzen, um Rauschen der einzelnen Kanäle bzw. Signaleingänge oder Quellen möglichst zu unterdrücken. Hierbei kann für jede Quelle bzw. jeden spektralen Kanal ein eigener Schwellwert festgelegt werden. Ebenso ist möglich, beiden oder allen Eingangsbildern bzw. Quellen den gleichen Schwellwert zuzuordnen. Die Definition des Schwellwerts bzw. die Auswahl oder Festlegung des Schwellwerts kann in Abhängigkeit der Vorverarbeitung festgelegt werden. Der Schwellwert kann insbesondere basierend auf individuellen Sensoreigenschaften der Quellen festgelegt sein.
Wie eingangs beschrieben, kann grundsätzlich eine beliebige Anzahl an Quellen verwendet werden, die eine entsprechende Anzahl von Eingangsbildern liefern, die zusammen zu dem Ausgangsbild beitragen. Nach einer Ausführungsform kann vorgesehen sein, dass ein Ausgangsbild aus einem RGB-Eingangsbild und einem IR-Eingangsbild bestimmt wird, wobei eine Farbtransformation des RGB-Eingangsbilds vor Fusionierung der Gradientenbilder und eine Rücktransformation zur Erzeugung des Ausgangsbilds durchgeführt wird. Zur Farbtransformation des RGB-Eingangsbilds können grundsätzlich bekannte Transformationen verwendet werden. Insbesondere kann die Transformation eine Chromatizität und eine Intensität des Eingangsbilds berücksichtigen, sodass bei der Rücktransformation die (Farb-) Informationen erhalten bleiben und zur Darstellung verwendet werden können. Dies erlaubt beispielsweise, von einem menschlichen Betrachter bevorzugte Darstellungen im Ausgangsbild zu gewährleisten, beispielsweise eine Farbdarstellung, die dem Betrachter die Aufnahme von Informationen aus dem Ausgangsbild erleichtert.
Das Ausgangsbild kann, wie ebenfalls bereits beschrieben, aus mehr als zwei Eingangsbildern erzeugt werden. Bei der Verwendung von mehr als zwei Eingangsbildern kann ebenfalls eine lokale, d.h. beispielsweise pixelweise, Fusion der Gradientenbilder vorgenommen werden, wie dies bereits zuvor beschrieben wurde. Insbesondere können die mehr als zwei Eingangsbilder, insbesondere sämtliche Eingangsbilder, pixelweise betrachtet werden und jeweils derjenige Eintrag der Eingangsbilder verwendet werden, dessen Gradient maximal ist. Daraus ergibt sich ein fusioniertes Gradientenbild, das in jedem Eintrag den jeweils größten Gradienten der potenziellen Vielzahl an Eingangsbildern bzw. dazugehörigen Gradientenbildern aufweist.
Vorteilhafterweise wird, insbesondere wenn die einzelnen Eingangsbilder aus verschiedenen Quellen, beispielsweise verschiedenen Bildaufnahmeeinrichtungen stammen, eine Bildregistrierung ausgeführt. Die Bildregistrierung stellt sicher, dass die in den einzelnen Eingangsbilder gezeigten Szenen oder Ausschnitte der Eingangsbilder übereinandergelegt werden und somit pixelweise in den einzelnen Eingangsbildern nach der Bildregistrierung dieselben Bildpunkte dargestellt werden.
Neben dem Verfahren betrifft die Erfindung eine Bildverarbeitungseinrichtung zur Erzeugung eines Ausgangsbilds aus wenigstens zwei Eingangsbildern unterschiedlicher Quellen, insbesondere zwei Einzelbilder aus unterschiedlichen spektralen Kanälen, wobei die Bildverarbeitungseinrichtung dazu ausgebildet ist, das Ausgangsbild durch Fusion der wenigstens zwei Eingangsbildern zu erzeugen, wobei die Bildverarbeitungseinrichtung dazu ausgebildet ist, das Ausgangsbild basierend auf Gradientenbildern der Eingangsbilder zu erzeugen. Die beschriebene Bildverarbeitungseinrichtung ist insbesondere zur Durchführung des zuvor beschriebenen Verfahrens ausgebildet. Die Bildverarbeitungseinrichtung weist beispielsweise eine Steuerungseinrichtung auf, die zur Bildverarbeitung ausgebildet ist.
Die Bildverarbeitungseinrichtung kann mit entsprechenden Quellen verbunden werden oder solche aufweisen. Durch die Bildverarbeitungseinrichtung können somit aus verschiedenen spektralen Kanälen Informationen gewonnen und in einem Ausgangsbild zusammen dargestellt werden. Die Bildverarbeitungseinrichtung kann einen Speicher aufweisen, in dem ein Programmelement gespeichert ist. Bei der Ausführung des Programmelements auf einer Steuerungseinrichtung, insbesondere einem Computer, kann die Steuerungseinrichtung zur Durchführung der zuvor beschriebenen Verfahrensschritte veranlasst werden. Mit anderen Worten können die einzelnen Berechnungs- und Bestimmungsschritte durch mit der Steuerungseinrichtung verbundene Einrichtungen, insbesondere einer optischen Vorrichtung, oder durch die Steuerungseinrichtung selbst ausgeführt werden, indem die in dem Programmelement hinterlegten oder durch das Programmelement definierten Prozesse und Instruktionen abgearbeitet werden.
Ferner betrifft die Erfindung eine optische Vorrichtung, umfassend wenigstens zwei Bildaufnahmequellen und eine zuvor beschriebene Bildverarbeitungseinrichtung. Sämtliche Vorteile, Einzelheiten und Merkmale, die in Bezug auf das Verfahren beschrieben wurden, sind vollständig auf die Bildverarbeitungseinrichtung und die optische Vorrichtung übertragbar.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels unter Bezugnahme auf die Fig. erläutert. Die Fig. sind schematische Darstellungen und zeigen:

1 eine optische Vorrichtung;
2 ein Ablaufdiagramm eines Verfahrens zur Erzeugung eines Ausgangsbilds nach einem ersten Ausführungsbeispiel; und
3 ein Ablaufdiagramm eines Verfahrens zur Erzeugung eines Ausgangsbilds nach einem zweiten Ausführungsbeispiel.

1 zeigt rein schematisch eine optische Vorrichtung 1, die eine Bildverarbeitungseinrichtung 2 und zwei Bildaufnahmeeinrichtungen 3, 4 aufweist. Die Bildaufnahmeeinrichtungen 3, 4 sind dazu ausgebildet, Eingangsbilder einer Objektszene aufzunehmen. Dabei sind die Bildaufnahmeeinrichtungen 3, 4 für die Bildaufnahme in unterschiedlichen spektralen Bereichen ausgebildet. Die Bildaufnahmeeinrichtungen 3, 4 können zum Beispiel für elektromagnetische Strahlung verschiedener Wellenlänge oder Wellenlängenbereich sensitiv sein. Die Bildaufnahmeeinrichtungen 3, 4 sind lediglich beispielhaft zu verstehen. Grundsätzlich kann die optische Vorrichtung 1 eine Bildverarbeitungseinrichtung 2 mit einer beliebigen Anzahl an Bildaufnahmeeinrichtungen 3, 4 aufweisen, insbesondere mehr als zwei Bildaufnahmeeinrichtungen 3, 4. Zum Beispiel kann eine der wenigstens zwei Bildaufnahmeeinrichtungen 3, 4 als IR-Kamera und eine andere als RGB-Kamera ausgeführt sein. Grundsätzlich können die Bildaufnahmeeinrichtungen 3, 4 verschiedenen spektralen Kanälen bzw. spektralen Bereichen zugeordnet sein, also insbesondere basierend auf elektromagnetischen Wellen verschiedener Wellenlängen oder Wellenlängenbereichen arbeiten.
Die Bildverarbeitungseinrichtung 2 ist zur Erzeugung eines Ausgangsbilds aus wenigstens zwei Eingangsbildern unterschiedlicher Quellen, insbesondere zwei Einzelbilder aus unterschiedlichen spektralen Kanälen, ausgebildet. Die Einzelbilder bzw. Eingangsbilder werden mit den unterschiedlichen Bildaufnahmeeinrichtungen 3, 4 aufgenommen und der Bildverarbeitungseinrichtung 2 zugeführt. Die Bildverarbeitungseinrichtung 2 ist dazu ausgebildet, das Ausgangsbild durch Fusion der wenigstens zwei Eingangsbildern basierend auf Gradientenbildern der Eingangsbilder zu erzeugen.
Die Erzeugung des Ausgangsbilds aus den zwei Eingangsbildern wird beispielhaft in Bezug auf 2 erläutert. Die Bildverarbeitungseinrichtung 2 kann auch unabhängig von der optischen Vorrichtung 1 betrieben werden, beispielsweise als separate Bildverarbeitungseinrichtung 2, der Eingangsbilder, die von Bildaufnahmeeinrichtungen 3, 4 erfasst bzw. erzeugt wurden, zugeführt werden. Die Eingangsbilder können beispielsweise auf einem Datenträger oder bekannte Datenübertragungsmechanismen der Bildverarbeitungseinrichtung 2 zugeführt werden.
In einem in 2 dargestellten ersten Verfahrensschritt, beispielsweise in einem Block 7, werden Eingangsbilder 5, 6 erfasst bzw. der Bildverarbeitungseinrichtung 2 zugeführt. Die Bildverarbeitungseinrichtung 2 kann eine Vorverarbeitung der Eingangsbilder 5, 6 durchführen. Ebenso ist es möglich, dass die Eingangsbilder 5, 6 bereits vorverarbeitet der Bildverarbeitungseinrichtung 2 zugeführt werden. Die Vorverarbeitung kann beispielsweise eine Bildregistrierung umfassen, die die Eingangsbilder 5, 6 miteinander registriert. Als Bildregistrierung wird insbesondere ein Abgleich der Objektszene verstanden, sodass sichergestellt ist, dass dieselben Pixel dieselben Bildpunkte der Eingangsbilder 5, 6 repräsentieren.
Anschließend kann eine Normierung der Eingangsbilder 5, 6 durchgeführt werden. Die Normierung kann auch im weiteren Verlauf des Verfahrens durchgeführt werden. Aus den Eingangsbildern 5, 6 werden, beispielsweise in einem Block 8, in einem zweiten Verfahrensschritt die zugehörigen Gradientenbilder 9, 10 ermittelt. Dabei entspricht das Gradientenbild 9 dem Eingangsbild 5 und das Gradientenbild 10 dem Eingangsbild 6.
Die Einträge der Gradientenbilder 9, 10 entsprechen, insbesondere pixelweise, der Ableitungen der Einträge der Eingangsbilder 5, 6. Für jeden Eintrag eines Eingangsbilds 5, 6 kann somit das Gradientenbild 9, 10 einen diskreten Gradienten als Eintrag enthalten. Der diskrete Gradient ist durch einen zweidimensionalen Vektor g(x,y) gekennzeichnet. Somit handelt es sich bei den Eingangsbildern 5, 6 um Skalarbilder, die beispielsweise eine Intensität in jedem Eintrag, insbesondere einen Grauwert, beinhalten. Dagegen handelt es sich bei den Gradientenbildern 9, 10 um Vektorbilder, derart, dass jeder Eintrag der Gradientenbilder 9, 10 ein Vektor ist. Jeder Eintrag bzw. jeder Gradient bildet somit einen Vektor und besitzt eine „Stärke“ und eine „Orientierung“. Die beiden Gradientenbilder 9, 10, die sich aus den beiden Eingangsbildern 5, 6 bilden, werden entsprechend folgender Gleichung ermittelt: $g_{x} (x, y) = l (x + 1, y) - l (x, y)$
$g_{y} (x, y) = l (x, y + 1) - l (x, y)$
Zu jedem der beiden Eingangsbilder 5, 6 erhält man ein Gradientenbild 9, 10, das auch als g₁(x,y) und g₂(x,y) bezeichnet werden kann. Die zuvor beschriebene Normierung kann anstelle oder zusätzlich zur Anwendung auf die Eingangsbilder 5, 6 auch auf die Gradientenbilder 9, 10 angewendet werden. Insbesondere können vergleichsweise kleine Gradienten in den Gradientenbildern 9, 10, d.h. einzelne Einträge unterhalb einer definierten Schwelle bzw. eines definierten Schwellwerts, auf 0 gesetzt werden. Dadurch können negative Effekte, beispielsweise Rauschen, unterdrückt werden. Ebenso ist es möglich, die beiden Eingangsbilder 5, 6 oder die beiden Gradientenbilder 9, 10 hinsichtlich ihrer Einträge zu normieren, sodass beispielsweise ein mittlerer Wert der Einträge oder ein Mittelwert der Einträge bei beiden Eingangsbildern 5, 6 oder beiden Gradientenbildern 9, 10 nach der Normierung gleich ist. Ebenso ist es möglich, eines oder beide Eingangsbilder 5, 6 oder eines oder beide Gradientenbilder 9, 10 mit einem definierten Faktor zu multiplizieren.
In einem weiteren Verfahrensschritt, beispielsweise in einem Block 11, werden die beiden Gradientenbilder 9, 10 fusioniert, d.h., dass ein fusioniertes Gradientenbild 12 aus den einzelnen Gradientenbildern 9, 10, die wie zuvor beschrieben erzeugt wurden, ermittelt wird. In der dargestellten Ausführung werden die Einträge des fusionierten Gradientenbilds 12 basierend auf den einzelnen Einträgen der beiden Gradientenbilder 9, 10 ausgewählt. Mit anderen Worten wird für jeden einzelnen Eintrag des fusionierten Gradientenbilds 12, also pixelweise, entschieden, ob der korrespondierende Eintrag des Gradientenbilds 9 oder des Gradientenbilds 10 verwendet werden soll.
Hierzu schlägt das Verfahren vor, denjenigen Eintrag auszuwählen, dessen Gradient in dem jeweiligen Eintrag (betragsmäßig) maximal ist. Bei der Verwendung lediglich zweier Eingangsbilder 5, 6 bedeutet dies insbesondere, dass stets der betragsmäßig größere Gradient ausgewählt wird. Das bedeutet, dass wenn bei der Bestimmung eines ersten Eintrags des fusionierten Gradientenbilds 12 ein erster Eintrag in einem ersten Gradientenbild 9 größer ist als in einem zweiten Gradientenbild 10, der erste Eintrag des ersten Gradientenbilds 9 als erster Eintrag des fusionierten Gradientenbilds 12 verwendet wird. Ist der erste Eintrag des zweiten Gradientenbilds 10 betragsmäßig größer als der erste Eintrag des ersten Gradientenbilds 9 wird der erste Eintrag des zweiten Gradientenbilds 10 als erster Eintrag des fusionierten Gradientenbilds 12 verwendet. Dieser Vorgang kann für sämtliche Einträge des fusionierten Gradientenbilds 12 fortgesetzt werden, um das fusionierte Gradientenbild 12 aus den Gradientenbildern 9, 10 zu erzeugen.
Anschließend wird das Ausgangsbild 13 gesucht, das dem fusionierten Gradientenbild 12 entspricht. Eine direkte Berechnung des Ausgangsbilds 13 aus dem fusionierten Gradientenbild 12 ist im Allgemeinen, insbesondere für nicht rotationsfreie Bilder, nicht möglich. Daher wird, beispielsweise in einem Block 14, das Ausgangsbild 13 bestimmt, das zu einem Gradientenbild gehört, das dem fusionierten Gradientenbild 12 möglichst nahe ist. insbesondere soll eine Minimierung des Abstands zwischen dem fusionierten Gradientenbild 12 und dem Gradientenbild des Ausgangsbilds 13 im Sinne der L2-Norm erhalten werden, d.h., dass der Abstand im Sinne der L2-Norm zwischen dem fusionierten Gradientenbild 12 und dem Gradientenbild des Ausgangsbilds 13 minimal sein soll.
Hierzu wird die Divergenz des fusionierten Gradientenbilds 12 gebildet, sodass aus dem Vektorbild ein Skalarbild erzeugt wird bzw. aus dem fusionierten Gradientenbild 12, dessen Einträge Vektoren sind, ein Skalarbild erzeugt wird, dessen Einträge numerische Werte, beispielsweise Grauwerte sind. Die Divergenz des fusionierten Gradientenbilds 12 kann in die Poisson-Gleichung eingesetzt werden, die anschließend gelöst werden kann. Zur Lösung der Poisson-Gleichung bieten sich numerische Methoden an, beispielsweise kann die Lösung in einer Wellenbasis über Greens-Funktionen erfolgen.
3 zeigt den Ablauf des beschriebenen Verfahrens gemäß eines zweiten Ausführungsbeispiels. Hierbei werden in einem Block 15, der letztlich dem zuvor beschriebenen Block 7 entspricht, Eingangsbilder 5, 6 bereitgestellt bzw. von Bildaufnahmeeinrichtungen 3, 4 aufgenommen, sodass diese mit der Bildverarbeitungseinrichtung 2 verarbeitet werden können. Beispielsweise handelt es sich bei dem Eingangsbild 5 um ein IR-Bild also ein Bild, das mittels einer für elektromagnetische Strahlung in einem infraroten Bereich empfindlichen Bildaufnahmeeinrichtungen 3, insbesondere einer IR-Kamera, aufgenommen wurde. Bei dem Eingangsbild 6 handelt es sich beispielsweise um ein RGB-Bild, das über eine für elektromagnetische Strahlung in einem sichtbaren Bereich empfindlichen als RGB-Kamera ausgebildete Bildaufnahmeeinrichtungen 4 aufgenommen wurde.
In einem Block 16 kann anschließend eine Konvertierung bzw. Farbraumtransformation durchgeführt werden, die die Bilddaten in dem Eingangsbild 6 hinsichtlich ihrer Chromatizität und ihrer Intensität aufteilen. Die Informationen, die die Intensität betreffen, können einem Block 17 zugeführt werden, in dem die Erzeugung des Ausgangsbilds 13 basierend auf den Blöcken 8, 11, 14, wie zuvor beschrieben, durchgeführt werden kann.
Die Information über die Chromatizität kann aus dem Block 16 einem Block 18 zugeführt werden, in dem eine Rücktransformation durchgeführt wird, um letztlich die Farbinformationen dem Ausgangsbild 13 zuzuführen.
Sämtliche Vorteile, Einzelheiten und Merkmale, die in den einzelnen Ausführungsbeispielen beschrieben wurden, sind vollständig untereinander austauschbar, aufeinander übertragbar und miteinander kombinierbar. Die einzelnen Spektralbereiche sind lediglich beispielhaft zu verstehen. Das beschriebene Verfahren ist auf jedwede Spektralbereiche bzw. Bildaufnahmeeinrichtungen 3, 4 und entsprechende Eingangsbilder 5, 6 in beliebiger Kombination übertragbar.

Claims

Verfahren zur Erzeugung eines Ausgangsbilds (13) aus wenigstens zwei Eingangsbildern (5, 6) unterschiedlicher Quellen, insbesondere zwei Einzelbilder aus unterschiedlichen spektralen Kanälen, wobei das Ausgangsbild (13) durch Fusion der wenigstens zwei Eingangsbilder (5, 6) erzeugt wird, dadurch gekennzeichnet, dass das Ausgangsbild (13) basierend auf Gradientenbildern (9, 10) der Eingangsbilder (5, 6) erzeugt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zu jedem Eingangsbild (5, 6) das Gradientenbild (9, 10) bestimmt wird und, insbesondere pixelweise, ein fusioniertes Gradientenbild (12) aus den lokalen maximalen Gradienten der bestimmten Gradienten der Eingangsbilder (5, 6) bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Ausgangsbild (13) durch Minimierung des Abstands des Gradientenbilds (9, 10) des Ausgangsbilds (13) zu dem fusionierten Gradientenbild (12) erzeugt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgangsbild (13) basierend auf der Divergenz des fusionierten Gradientenbilds (12) berechnet wird, insbesondere basierend auf div g_f = Δ (I_f).
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung des Ausgangsbilds (13) eine Normierung ausgeführt wird, insbesondere eine Normierung der Eingangsbilder (5, 6) oder eine Normierung der Gradientenbilder (9, 10).
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein, insbesondere für jedes Eingangsbild (5, 6) individueller, Schwellwert festgelegt wird, wobei Gradienten unterhalb des Schwellwerts auf null gesetzt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Ausgangsbild (13) aus einem RGB-Eingangsbild (6) und einem IR-Eingangsbild (5) bestimmt wird, wobei eine Farbtransformation des RGB-Eingangsbilds (6) vor Fusionierung der Gradientenbilder (9, 10) und eine Rücktransformation zur Erzeugung des Ausgangsbilds (13) durchgeführt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgangsbild (13) aus mehr als zwei Eingangsbildern (5, 6) erzeugt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Bildregistrierung der wenigstens zwei Eingangsbilder (5, 6) ausgeführt wird.
Bildverarbeitungseinrichtung (2) zur Erzeugung eines Ausgangsbilds (13) aus wenigstens zwei Eingangsbildern (5, 6) unterschiedlicher Quellen, insbesondere zwei Einzelbilder aus unterschiedlichen spektralen Kanälen, wobei die Bildverarbeitungseinrichtung dazu ausgebildet ist, das Ausgangsbild (13) durch Fusion der wenigstens zwei Eingangsbildern (5, 6) zu erzeugen, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (2) dazu ausgebildet ist, das Ausgangsbild (13) basierend auf Gradientenbildern (9, 10) der Eingangsbilder (5, 6) zu erzeugen.
Optische Vorrichtung (1), umfassend wenigstens zwei Bildaufnahmeeinrichtungen (3, 4) und eine Bildverarbeitungseinrichtung (2) nach dem vorangehenden Anspruch.