-
Die Erfindung betrifft ein Bilderfassungssystem mit einer Optik und einem Detektor zur Erfassung von Bildinformationen und einer Bilddarstellungseinrichtung, wobei vom Detektor punktförmig Bildinformationen erfasst und der Bilddarstellungseinrichtung zugeführt werden und in der Optik eine Wellenfrontkodierung erfolgt.
-
Ein Bilderfassungssystem umfasst eine Optik für beispielsweise sichtbares Licht und/oder Infrarotstrahlung sowie einen Detektor zur Erfassung von Bildinformationen. Dabei werden die Bildinformationen beispielsweise bei Wärmebildgeräten in einer Rasterung von 640×512 oder 1280×1024 oder mehr Bildpunkten erfasst und verarbeitet sowie einer Bilddarstellungseinrichtung wie einem Monitor, Bildschirm, Display oder Ähnlichem zur optischen Wiedergabe zugeführt. Bei anderen Wellenlängen wie beispielsweise visuell oder Ultraviolett sind auch wesentlich höhere Auflösungen möglich. Für das Bilderfassungssystem können eine oder mehrere Kameras im visuellen und/oder im Wärmebild-Bereich, z. B. langwelliges Infrarot (LWIR), mittelwelliges Infrarot (MWIR), sehr langwelliges Infrarot (VLWIR), fernes Infrarot (FIR) als auch im kurzwelligen Infrarot (SWIR), nahen Infrarot (NIR) und im UV-Bereich dienen. Es sind auch andere bildgebende Darstellungen möglich.
-
Derartige Bilderfassungssysteme sind auf vielen Gebieten der Technik im Einsatz unter anderem als Tagsichtkamera beispielsweise bei Fahrassistenzsystemen in der Kraftfahrzeugtechnik, bei Videoüberwachungssystemen oder bei Wärmebildgeräten, die zur Erfassung infraroter Strahlung ausgelegt sind. Derartige Wärmebildgeräte dienen der Überwachung beispielsweise eines Gebiets oder Gebäudes bei Dunkelheit beziehungsweise schlechter Sicht, um unter anderem unbefugte Grenzübertritte verhindern zu können. Bei gepanzerten Fahrzeugen werden Wärmebildgeräte zur Darstellung einer Umgebung für eine Besatzung verwendet.
-
Weiterhin ist es bekannt, z. B. die Tiefenschärfe eines optisch abbildenden Systems durch eine sogenannte Wellenfrontkodierung zu erhöhen. Dies wird dadurch erreicht, dass in die Optik eines Bilderfassungssystems eine bekannte Aberration eingebracht wird, welche eine Modulationsübertragungsfunktion (englisch: modulation transfer function, MTF) des optischen Systems in einem gewissen Bereich unabhängig von der Fokusposition macht. Hierzu darf die Modulationsübertragungsfunktion keine Nullstellen enthalten, um eine Rückrechnung zu ermöglichen.
-
Mit einer solchen Wellenfrontkodierung kann auch eine Tiefenschärfe eines aufgenommenen Bildes erhöht werden, wie dies beispielsweise von der Firma Qioptiq St. Asaph (Großbritannien) in der Zeitschrift Optolines, Nr. 27, 2011, Seite 32 vorgestellt worden ist.
-
Besonders bei Wärmebildgeräten mit beispielsweise 640×512 oder 1280×1024 oder mehr Bildpunkten verhält sich jeder Bildpunkt beziehungsweise jedes der vielen Halbleiterbauelemente oder Sensoren, die den eigentlichen strahlungsempfindlichen Detektor bilden, anders, so dass bereits bei der Herstellung und einem nachfolgenden Einmessen das jeweils unterschiedliche Detektionsverhalten eines einzelnen Halbleiterbauelements ermittelt und bei der späteren Bildverarbeitung berücksichtigt werden muss. Allerdings weisen derartige Sensoren im Betrieb eine starke Veränderung ihrer jeweiligen Empfindlichkeit auf, so dass die ursprünglich ermittelten Werte nur eine begrenzte Zeit gültig sind. Auch hängen unterschiedliche und sich verändernde Empfindlichkeiten beziehungsweise Eigenschaften jedes einzelnen Detektorpunktes von der Temperatur der einzelnen beobachteten Szene ab. Das bedeutet, dass beispielsweise benachbarte Bildpunkte unterschiedliche Werte liefern, obwohl sie gleiche Temperaturen in einer Szene betrachten. Bei homogener Temperatur der aufgenommenen Szene sollten eigentlich alle Detektorpunkte das gleiche Ausgangssignal aufweisen, was aber aufgrund der unterschiedlichen Eigenschaften jedes einzelnen Halbleiterdetektors nicht der Fall ist, vielmehr werden hier unterschiedliche Signale auftreten.
-
Um eine gleichbleibende Bildqualität zu erhalten wird daher beispielsweise bei Wärmebildgeräten ausgelöst durch den Benutzer und insbesondere bei ungekühlten Wärmebildgeräten zusätzlich in regelmäßigen Abständen eine Homogenisierung des Wärmebildgeräts durchgeführt. Prinzipiell kann eine solche Homogenisierung auch an anderen Bilderfassungssystemen durchgeführt werden. Hierzu kann beispielsweise eine Defokussierungslinse in den Strahlengang eingeschwenkt werden, um die mittlere Szenenhelligkeit oder Szenentemperatur vorzugsweise auf die gesamte Detektorfläche abzubilden. Hierbei erfolgt eine vollständige Defokussierung. Werden dann von dem Detektor beziehungsweise dessen einzelnen Detektorpunkten noch abweichende Messwerte erfasst, so können diese nicht von der eigentlichen Szene hervorgerufen sein sondern sind durch das unterschiedliche Verhalten eines einzelnen Detektorelements begründet. Dies kann somit als momentaner Korrekturwert verwendet werden, um nach dem Ausschwenken der Defokussierungslinse bei der weiteren Bildverarbeitung berücksichtigt zu werden. In gleicher Weise kann auch eine Wärmequelle bekannter Temperatur in den Strahlengang eingeschwenkt werden, um ebenfalls eine homogene Temperaturverteilung auf dem Detektor abzubilden. Bei einer teilweisen Defokussierung werden ab einer durch den Grad der Defokussierung bestimmten Grenzfrequenz höherfrequente Anteile ausgefiltert. Die so erhaltenen Werte werden zur Korrektur eines Offsets einer NUC (englisch: „non uniformity correction”) verwendet.
-
Als nachteilig hierbei ist jedoch anzusehen, dass während einer solchen Homogenisierung ein vollständiger Bildverlust eintritt, so dass eine Szene während der Homogenisierung nicht überwacht werden kann. Besonders bei sich stark verändernden Szenen mit unterschiedlichen Temperaturen muss dies vor allem bei ungekühlten Wärmebildgeräten relativ häufig erfolgen, beispielsweise jede Minute, so dass eine kontinuierliche Bilddarstellung nicht möglich ist. Insbesondere wenn das Wärmebildgerät zur Bilddarstellung für einen Fahrer eines Fahrzeugs dient, ist dies unerwünscht.
-
In der
US 7,911,501 B2 sind Systeme und Verfahren angegeben, welche Optiken mit einem oder mehreren phasenmodifizierenden Elementen aufweisen, die die Wellenfrontphase modifizieren, um Bildeigenschaften in ein optisches Bild einzubringen. Ein Detektor wandelt das optische Bild unter Beibehaltung der Bildeigenschaften in elektronische Daten um. Ein Signalprozessor unterteilt die elektronischen Daten in eines oder mehrere Datensets, klassifiziert die Datensets und verarbeitet diese unabhängig, um verarbeitete elektronische Daten zu erzeugen.
-
Die
DE 601 06 259 T2 bezieht sich auf optische Systeme und insbesondere auf eine Anordnung oder ein Raster zum Erzeugen einer Unschärfe, die den optischen Strahl in einer kontrollierten Art und Weise defokussiert und Überlagerungseffekte in dem defokussierten Strahl vermeidet.
-
Des Weiteren wird auf Wallrabe, Arnulf: Nachtsichttechnik. ISBN 3-528-03947-7. Braunschweig; Wiesbaden: Vieweg, 2001. Kapitel 6.1: Inhomogenitätskorrektur, S. 339–364 verwiesen.
-
Ausgehend von diesem Stand der Technik ist der Fachmann vor die Aufgabe gestellt, ein Bilderfassungssystem der Eingangs genannten Art dahingehend zu verbessern, dass eine Beibehaltung oder Erhöhung der Bildqualität erreicht wird und die dauerhafte Erfassung eines Szenenbildes ermöglicht ist.
-
Erfindungsgemäß wird dies durch ein Bilderfassungssystem mit den Merkmalen des Patentanspruchs 1 gelöst. Weiterhin wird ein entsprechendes Verfahren angegeben.
-
Der Kerngedanke der Erfindung besteht darin, dass bei einem bekannten Bilderfassungssystem mit einer Optik und einem Detektor zur punktförmigen Erfassung von Bildinformationen eine permanente Homogenisierung des erfassten Bildes durch eine Unschärfe mittels Wellenfrontkodierung erfolgt. Das bedeutet, dass eine Einrichtung zur Wellenfrontkodierung, die bevorzugt wie im Folgenden beschrieben ausgestaltet ist, dauerhaft im optischen Strahlengang des Bilderfassungssystems angeordnet ist. Durch das Einbringen einer bekannten Unschärfe in den optischen Strahlengang wird ein unscharfes Bild auf dem Detektor erzeugt, wobei allerdings Art, Größe und Umfang der Unschärfe bekannt sind und bei der Korrektur der Bildinformationen berücksichtigt werden können. Ebenfalls bekannt sind sämtliche Eigenschaften des abbildenden optischen Systems, das beispielsweise aus mehreren Linsen oder Linsenbaugruppen besteht. Da es sich um eine bekannte Beeinflussung der Abbildung handelt kann diese durch eine entsprechende Umkehrfunktion rechnerisch korrigiert werden, um ein scharfes Bild zu erhalten. Es ist ersichtlich, dass diese Wellenfrontkodierung eine umkehrbare Funktion insbesondere ohne Nullstellen sein muss, um die eingebrachte Unschärfe beziehungsweise Wellenfrontkodierung bei der Bildverarbeitung fehlerfrei wieder zurückrechnen oder umkehren zu können. Die bekannten optischen Eigenschaften der Optik sowie beispielsweise der nachfolgend beschriebenen Phasenmaske werden insgesamt durch eine dadurch bekannte Übertragungsfunktion beschrieben. Das bedeutet, dass bei einer bekannten betrachteten Szene errechnet werden kann, welches Abbild auf dem Detektor sichtbar sein müsste. Nachfolgend wird das vom Detektor tatsächlich erfasste Bild beziehungsweise ein durch NUC korrigiertes internes Zwischenbild mittels einer Korrekturfunktion der Übertragungsfunktion wieder zurückgerechnet, um insbesondere eine Unschärfe beispielsweise durch eine Phasenmaske wieder herauszurechnen und ein korrigiertes Bild für einen Betrachter auf der Bilddarstellungseinrichtung wiederzugeben. Dabei erfolgt eine unterbrechungsfreie Darstellung der beobachteten Szene auf der Bilddarstellungseinrichtung für einen Beobachter und es ist gleichzeitig eine Homogenisierung des im Detektor erfassten Bildes möglich.
-
Es versteht sich, dass zur Ausführung sämtlicher hier beschriebener Funktionalitäten eine Steuerung beispielsweise eines Wärmebildgeräts entsprechend hard- und/oder softwaremäßig ausgestaltet ist, um die entsprechenden Schritte zur Bildverarbeitung auszuführen.
-
Weitere Ausgestaltungen der Erfindung sind der Gegenstand von Unteransprüchen.
-
In bevorzugter Weise wird die dauerhafte Homogenisierung bei einem Wärmebildgerät ausgeführt beziehungsweise die Optik eines Wärmebildgeräts ist dauerhaft mit einer Einrichtung zur Homogenisierung oder zur Wellenfrontkodierung ausgestattet. In besonders vorteilhafter Weise kann dies bei ungekühlten Wärmebildgeräten erfolgen, bei denen bisher eine häufige Homogenisierung mit totalem Bildausfall erforderlich war.
-
In einfacher Weise kann zur Wellenfrontkodierung beziehungsweise zur Homogenisierung in den optischen Strahlengang eine Phasenmaske eingebracht werden, deren optische Eigenschaften selbstverständlich bekannt sind. Dabei handelt es sich beispielsweise um ein optisches Transmissionsgitter beispielsweise aus Quarzglas mit definierten linienförmigen Vertiefungen. Ein derartiges Material ist insbesondere für optisch sichtbares Licht geeignet. Bei Wärmebildgeräten kann eine Phasenmaske aus Silizium, Germanium, Zink-Selenid, Zink-Sulfid oder sonstigen geeigneten Werkstoffen mit gewünschten optischen Eigenschaften im Infraroten gewählt werden. Da sowohl die Eigenschaften der eigentlichen Optik des Bilderfassungssystems sowie die Eigenschaften der Phasenmaske bekannt sind, kann eine Übertragungsfunktion der Bildaufnahme berechnet werden, das heißt, dass ausgehend von einem real betrachteten Objekt beziehungsweise einer Szene ermittelt werden kann, welches interne Zwischenbild in der Bildebene am Detektor abgebildet werden müsste. Hierzu ist natürlich die Übertragungsfunktion derart gewählt, dass sie keine Nullstellen aufweist, um umkehrbar zu sein. Das real vom Detektor aufgenommene und mit NUC korrigierte Zwischenbild wird zur Homogenisierung der Kamera verwendet, da aufgrund der eingebrachten Unschärfe selbsttätig erkannt wird, dass bei scharfen Übergängen zwischen benachbarten Pixeln oder Bildpunkten diese jeweils unterschiedliche Empfangseigenschaften aufweisen. Dabei wird eine sich in einer Objektebene befindliche Szene über die Optik sowie beispielsweise die eingebrachte Phasenmaske auf eine Bildebene beziehungsweise den Detektor abgebildet. Vorzugsweise ist die Phasenmaske derart ausgebildet, dass eine deutliche Unschärfe zum Beispiel von 5 bis 50 Pixeln im aufgenommenen Zwischenbild erreicht wird. Unterscheiden sich dann die Bildinformationen benachbarter Pixel um mehr als einen vorzugsweise einstellbaren Grenzwert oder eine Grenzfrequenz so kann von dem Bilderfassungssystem selbsttätig darauf geschlossen werden, dass diese Bildinformationen oberhalb der übertragbaren Grenzfrequenz nicht von der aufgenommenen Szene selbst kommen können. Dabei wird ausgenutzt, dass ein unscharfes Bild keine hohen Frequenzen enthalten kann, da durch die Unschärfe quasi nur ein „verschwommenes” Bild sichtbar sein dürfte. Hierfür werden selbsttätig Korrekturwerte für die entsprechenden Bildpunkte ermittelt, um diejenigen Frequenzen, die oberhalb der übertragbaren Grenzfrequenz liegen, auszufiltern. Die so erhaltenen Werte werden zur Korrektur des Offsets der „NUC” (englisch: „non uniformity correction”, Korrektur von Ungleichheiten) verwendet und ein weiteres internes, korrigiertes Zwischenbild erzeugt. Die NUC ist beispielsweise in der
EP 1 698 873 A1 in Absatz [0037] beschrieben. Dieses korrigierte Zwischenbild wird dann einer Homogenisierung unterzogen, wobei die so erhaltenen Korrekturwerte wiederum zur Korrektur des Offsets der NUC für das nächste oder ein später vom Detektor aufgenommenes Bild herangezogen werden. Dies erfolgt schleifenförmig beziehungsweise iterativ in ständiger Wiederholung, um die Abbildungsqualität aufrecht zu erhalten oder zu verbessern. Parallel hierzu beziehungsweise gleichzeitig wird das mit NUC korrigierte interne Zwischenbild über eine Korrekturfunktion der Übertragungsfunktion, die sich aus den Abbildungseigenschaften der bekannten Optik sowie der bekannten Phasenmaske ergibt, zu einem scharfen Bild zurückgerechnet und einem Benutzer dargestellt.
-
In einer weiteren Ausgestaltung erfolgt eine reine Defokussierung der Optik des Bilderfassungssystems, die dann durch eine Dekonvolution (umgekehrte Bildfaltung) umgekehrt und das Bild somit wieder scharf wird. Hier kann allerdings nur ein sehr begrenzter Unschärfebereich eingesetzt werden, in dem eine Umkehrung möglich ist. Allerdings ist der wesentliche Vorteil dieser Ausgestaltung, dass kein zusätzliches optisches Element im Strahlengang, insbesondere keine Phasenmaske, notwendig ist. Die sonstigen Abläufe wie die Erzeugung eines korrigierten Zwischenbildes durch NUC, dessen Homogenisierung und gleichzeitige Darstellung für einen Beobachter erfolgen wie vorstehend beschrieben.
-
Weiterhin ist vorgeschlagen, dass das Bilderfassungssystem mit einer Zoom-Optik mit variabler Brennweite ausgestattet ist. Dabei ist es allerdings notwendig, dass die optischen Eigenschaften der Optik an mehreren Stützstellen berechnet werden, um die Umkehrfunktion mittels Interpolation an die tatsächliche Brennweite anzupassen.
-
Es ist für den Fachmann ersichtlich, dass für das Bilderfassungssystem nicht nur Halbleiter als Sensoren eingesetzt werden können sondern auch beliebige sonstige Sensoren. Ebenso kann eine Bilderfassung in an sich beliebigen Frequenzbereichen des elektromagnetischen Spektrums erfolgen, vorzugsweise jedoch in den vorstehend beschriebenen Infrarot-Bereichen.
-
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand einer Zeichnung näher erläutert. Es zeigen:
-
1 ein Bilderfassungssystem in schematischer Darstellung,
-
2–5 verschiedene Wiedergaben einer realen Szene und
-
6–9 schematische Darstellungen.
-
Bei den Abbildungen in den 2 bis 5 sind in 2 eine reale Szene 3, in den 3 und 4 jeweils interne Zwischenbilder 10, 6 und in 5 ein beispielsweise auf einem Monitor einem Betrachter dargestelltes, korrigiertes Bild 9 dargestellt. In den 6 bis 9 sind entsprechende schematische Abbildungen wiedergegeben, die den Unterschied zwischen der realen Szene 3 in 6, den Zwischenbildern 10, 6 in den 7 und 8 sowie dem korrigierten Bild 9 in 9 verdeutlichen sollen. Dabei ist es für den Fachmann ersichtlich, dass die reale Szene 3 in 6 nicht absolut exakt im korrigierten Bild 9 in 9 wiedergegeben werden kann.
-
Bei dem in 1 dargestellten Ausführungsbeispiel handelt es sich um die Optik 1 eines zur Vereinfachung der Darstellung hier nicht abgebildeten Bilderfassungssystems, vorzugsweise eines Wärmebildgeräts. Die Optik 1 umfasst eine oder mehrere Linsen 2a, 2b ... und dient zur Abbildung einer realen Szene 3, siehe 2 und 6, auf eine Bildebene eines Detektors 4 mit beispielsweise 640×512 oder 1280×1024 Bildpunkten. Jeder Bildpunkt wird dabei durch ein Halbleiterbauelement beziehungsweise Sensor gebildet, dessen Eigenschaften wie Empfindlichkeit, Temperaturgang und dergleichen von benachbarten Bildpunkten sich unterscheiden und sich häufig auch spontan ändern können.
-
Weiterhin umfasst das Bilderfassungssystem eine Bilddarstellungseinrichtung, der die vom Detektor 4 erfassten Bildinformationen zugeführt werden. Dabei handelt es sich beispielsweise um einen Monitor. Es ist für den Fachmann ersichtlich, dass das Bilderfassungssystem weiterhin eine elektronische Steuerung zur Bildverarbeitung sowie Betätigungseinrichtungen wie für eine Zoomoptik oder dergleichen umfasst. Die optischen Eigenschaften der Optik 1 also beispielsweise Brennweite, Abbildungsmaßstab und dergleichen können aus den Formen und Abständen der Linsen 2a, 2b ... errechnet werden.
-
In einer ersten Ausführungsform ist in der Optik 1 eine Phasenmaske 5 zur Wellenfrontkodierung dauerhaft angeordnet, deren optische Eigenschaften ebenfalls bekannt sind. Beispielsweise wird mit der Phasenmaske 5 eine derartige Unschärfe in die Optik 1 eingebracht, dass eine reale Szene 3 in der Bildebene des Detektors 4 als aufgenommenes internes Zwischenbild 10, siehe 3 und 7, erscheint. Dabei setzen sich die bekannten optischen Eigenschaften der Optik 1 sowie der Phasenmaske 5 zu einer Übertragungsfunktion 7 zusammen, die beispielsweise mathematisch berechenbar ist. Dabei wird die Unschärfe vorzugsweise derart gewählt, dass im aufgenommenen internen Zwischenbild 10 eine Unschärfe von beispielsweise 5 bis 50 Pixeln erreicht wird. Dies führt zu einer Vergleichmäßigung benachbarter Bildinformationen bzw. zu einer Homogenisierung der Bildtemperatur. Alternativ zur Wellenfrontkodierung mittels Phasenmaske 5 kann auch eine Defokussierung ausgeführt werden.
-
Wird nun jedoch im Detektor 4 beispielsweise an zwei benachbarten Pixeln ein erheblicher Unterschied im jeweils empfangenen Signal bzw. der Signalstärke wahrgenommen, so kann vom Bilderfassungssystem selbsttätig darauf geschlossen werden, dass diese Information durch eine Veränderung im Verhalten des Halbleiterbauelements hervorgerufen ist und nicht durch eine tatsächliche Bildinformation. Daher werden die Bildinformationen des virtuell aufgenommenen Zwischenbildes 10 durch eine Korrektur NUC, siehe oben im Schritt 11 zu einem korrigierten internen Zwischenbild 6, siehe 4 und 8, umgerechnet. Dieses interne Zwischenbild 6 wird nunmehr wie durch die Schleife 12 angedeutet einer Homogenisierung unterzogen. Das heißt die erkannten Unterschiede der Bildpunkte werden verwendet, um korrigierte Offsetwerte für die NUC zu erhalten. Die derart durch die Homogenisierung 12 korrigierte NUC wird dann im Schritt 11 wiederum dazu verwendet, dass das nächste oder ein später vom Detektor 4 aufgenommenes internes Zwischenbild 10 einer verbesserten NUC unterzogen wird, so dass die Bildqualität des korrigierten internen Zwischenbilds 6 aufrecht erhalten beziehungsweise verbessert ist.
-
Gleichzeitig zur Homogenisierung 12 und zur Verbesserung der NUC in Schritt 11 und insbesondere ohne Unterbrechung wird das korrigierte interne Zwischenbild 6 aber durch eine Umkehrung der Übertragungsfunktion 7 bzw. eine Korrekturfunktion 8 umgerechnet und auf der Bilddarstellungseinrichtung einem Betrachter als korrigiertes Bild 9, siehe 5 und 9, dauerhaft dargestellt. Es versteht sich, dass bei einer Wiedergabe einer realen Szene 3 die dargestellten korrigierten Bilder 9 den realen zeitlichen Verlauf wiedergeben, also z. B. wie eine Person durch eine Szene 3 läuft.
-
Dementsprechend werden durch eine Umkehrung der Übertragungsfunktion 7 bzw. eine Korrekturfunktion 8 die Fehler in der Optik 2 durch beispielsweise die Phasenmaske 5 herausgerechnet, so dass letztendlich auf einer Bilddarstellungseinrichtung wie einem Monitor ein korrigiertes Bild 9 dargestellt wird.
-
Dabei verbleibt die Phasenmaske 5 dauerhaft im Strahlengang der Optik 1 und es findet trotz des Herausrechnens des fehlerhaften Messverhaltens eines einzelnen Pixels keine Unterbrechung der bildlichen Darstellung statt, so dass beispielsweise ein Gebiet dauerhaft mit einer Wärmebildkamera überwacht werden kann. Ebenso kann bei einem Fahrzeug einem Fahrer unterbrechungsfrei eine Umgebung dargestellt werden.
-
Bezugszeichenliste
-
- 1
- Optik
- 2
- Linse
- 3
- Szene
- 4
- Detektor
- 5
- Phasenmaske
- 6
- korrigiertes internes Zwischenbild
- 7
- Übertragungsfunktion
- 8
- Korrekturfunktion der Übertragungsfunktion
- 9
- korrigiertes Bild
- 10
- aufgenommenes internes Zwischenbild
- 11
- NUC
- 12
- Homogenisierung
