-
Die Erfindung betrifft eine Wärmebildkamera, mit einer IR-Sensoranordnung und einem Sensorelement, welches ein durch eine Umgebungstemperatur der IR-Sensoranordung bestimmtes Temperaturmesssignal bereitstellt, mit einer Aufbereitungseinrichtung, welche zur Kompensation eines Einflusses der Umgebungstemperatur auf wenigstens ein IR-Sensorsignal der IR-Sensoranordnung durch Verarbeitung des Temperaturmesssignals eingerichtet ist, und mit einer Ausgabeeinrichtung für das aufbereitete IR-Sensorsignal.
-
Die Erfindung betrifft weiter ein Verfahren zur Signalvorverarbeitung eines IR-Sensorsignals, wobei das IR-Sensorsignal mit einer IR-Sensoranordnung aufgenommenen und ein mit einem Sensorelement aufgenommenes Temperaturmesssignal ausgewertet wird, welches durch eine Umgebungstemperatur der IR-Sensoranordnung bestimmt ist.
-
Es ist bekannt, dass die Sensorelemente von Wärmebildkameras empfindlich auf die Änderung der Umgebungstemperatur reagieren. Um diesen Einfluss zu minimieren, wurden die IR-Sensoranordnungen auf eine konstante, unterhalb des Arbeitsbereich der Wärmebildkamera liegende Temperatur gekühlt oder auf eine konstante, oberhalb des Arbeitsbereichs liegende Temperatur geregelt aufgeheizt.
-
In der
DE 10 2005 010 986 B4 wurde vorgeschlagen, die Eigentemperatur eines Detektorelements zu bestimmen und eine Versorgungsspannung als Quellensignal des Detektorelements derart zu variieren, dass die Abhängigkeit eines Ausgangssignals des Detektorelements von der Eigentemperatur des Detektorelements zumindest weitgehend kompensiert ist. Hierzu sollen ein erster und ein zweiter Datensatz bereitgestellt werden, wobei der erste Datensatz die Abhängigkeit des Ausgangssignals des Detektorelements von seiner Eigentemperatur und der zweite Datensatz die Abhängigkeit des Ausgangssignals von dem Quellensignal repräsentieren soll. Zur Kompensation werden variable Spannungsquellen angesteuert, welche Versorgungsspannungen des Detektorelements bereitstellen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein alternatives Verfahren zur Kompensation von Temperaturdriften bei Wärmebildkameras zu schaffen.
-
Zur Lösung ist erfindungsgemäß bei einer Wärmebildkamera der eingangs genannten Art vorgesehen, dass die Aufbereitungseinrichtung eine elektronische Schaltungsanordnung aufweist, welche ein neuronales Netz realisiert, wobei das neuronale Netz wenigstens einen ersten Eingang, einen zweiten Eingang und einen Ausgang aufweist, dass der erste Eingang mit der IR-Sensoranordnung verbindbar oder verbunden ist, dass der zweite Eingang mit dem Sensorelement verbunden ist und dass der Ausgang mit der Ausgabeeinrichtung verbunden ist.
-
Durch die jeweilige Verbindung wird der entsprechende, Signalfluss ermöglicht, wobei in den Verbindungen zwischengeschaltete weitere Signalverarbeitungseinrichtungen vorgesehen sein können.
-
Unter einem neuronalen Netz wird allgemein eine elektronische Schaltung, beispielsweise eine diskrete Schaltung oder eine entsprechend programmierte digitale Signalverarbeitungseinheit, verstanden, welche wenigstens ein Neuron aufweist, wobei das Neuron die Anwendung einer Transferfunktion auf eine gewichtete Aufsummierung der ihm zugeführten Eingangssignale realisiert und das resultierende Signal an einem Ausgang bereitstellt. Durch Verbindung von Neuroneneingängen eines Neurons mit einem Neuronenausgang eines weiteren Neurons können neuronale Netze gebildet werden, die mehr als ein Neuron aufweisen.
-
Die Erfindung stellt somit eine Wärmebildkamera bereit, mit welcher sehr flexibel Störeinflüsse des IR-Sensorsignals kompensiert werden können. Variable Spannungsquellen sind somit verzichtbar. Die Erfindung bietet den weiteren Vorteil, dass die Kompensation mit Hilfe von Vektormultiplikationen leicht berechnet bzw. eingerichtet werden kann. Eine eingerichtete Kompensation kann zur Berücksichtigung weiterer Störeinflüsse leicht erweitert werden.
-
Das IR-Sensorsignal kann hierbei als einzelnes Signal eines Detektorelements der IR-Sensoranordnung oder als mehrkomponentiges Signal, beispielsweise als IR-Bildsignal, vorliegen und verarbeitet werden.
-
Bei der Verwendung eines mehrkomponentigen Signals kann vorgesehen sein, dass der erste Eingang zur Verarbeitung eines mehrkomponentigen Signals eingerichtet ist oder dass der erste Eingang zwischen den Komponenten gemultiplext wird.
-
Die IR-Sensoranordnung kann eine gitterförmige Anordnung von einzelnen Detektorelementen, beispielsweise Microbolometern, aufweisen.
-
Es kann vorgesehen sein, dass das neuronale Netz wenigstens ein Neuron mit einer linearen Transferfunktion aufweist. Somit können lineare Abhängigkeiten von Störgrößen leicht trainiert werden. Da der lineare Anteil der Korrektur groß ist, kann man mit Hilfe von Neuronen mit linearer Transferfunktion die Lerngeschwindigkeit erhöhen und die Sicherheit der Kompensation garantieren.
-
Besonders günstig ist es, wenn das neuronale Netz wenigstens ein Neuron aufweist, dessen Transferfunktion nichtlinear ist. Somit können auch nichtlineare, komplexe Störeinflüsse kompensiert werden.
-
Eine für viele Anwendungen geeignete Ausgestaltung kann vorsehen, dass die Transferfunktion, vorzugsweise in der Nähe eines Koordinatenursprungs, einen Abschnitt mit näherungsweise linearem Verlauf aufweist. Beispielsweise kann ein solcher näherungsweise linearer Verlauf in einer Umgebung des Koordinatenursprungs durch eine arctan- oder eine arcsin-Funktion beschrieben sein.
-
Es kann auch vorgesehen sein, dass die Transferfunktion für betragsmäßig große Zahlenwerte ein Sättigungsverhalten aufweist. Somit kann vermieden werden, dass Schwankungen der Eingangssignale zu große Schwankungen des Ausgangssignals hervorrufen. Beispielsweise kann ein solches Sättigungsverhalten durch eine arctan-Funktion, eine logarithmische Funktion oder eine Verkettung einer Exponentialfunktion mit einer weiteren Funktion beschrieben sein. Besonders günstig ist es, wenn die Funktionswerte der Transferfunktion durch das Sättigungsverhalten begrenzt sind. Somit kann erreicht werden, dass große Schwankungen von Eingangssignalen nicht zu beliebig großen Ausgangssignalen führen können.
-
Beispielsweise kann vorgesehen sein, dass die Transferfunktion monoton, insbesondere streng monoton, steigend oder fallend ausgebildet ist.
-
Bei einer Ausgestaltung der Erfindung sind in dem neuronalen Netz Rückkopplungen ausgebildet. Unter einer Rückkopplung wird eine Verschaltung innerhalb des neuronalen Netzes verstanden, durch die ein geschlossener Kreis für einen Signalfluss entsteht. Von Vorteil ist dabei, dass das neuronale Netz somit Hystereseeffekte und andere zeitliche Effekte des Sensorelements, der IR-Sensoranordnung und/oder einer Elektronik ausgleichen kann. Beispielsweise kann das neuronale Netz somit ein Modell der Kameraparameter, der Temperaturveränderung innerhalb eines Kameragehäuses und/oder ein Modell der IR-Sensoranordnung beinhalten und zeitliche Veränderungen kompensieren.
-
Es kann vorgesehen sein, dass Neuronen des neuronalen Netzes jeweils mit wenigstens einem Gewicht belegt sind, welche Gewichte variierbar eingerichtet sind. Somit kann das neuronale Netz auf die benötigte Kompensation angepasst werden. Besonders günstig ist es, wenn die Gewichte während des Betriebs der Wärmebildkamera variierbar eingerichtet sind. Von Vorteil ist dabei, dass das neuronale Netz während seines Betriebs trainiert werden kann, indem günstige Werte für die Gewichte gefunden werden.
-
Zum Trainieren des neuronalen Netzes kann ein Gradientenverfahren (Gradientenabstiegs- oder Gradientenanstiegsverfahren), ein Verfahren nach der Methode der kleinsten Quadrate (least-square-Verfahren), ein statistisches, ein evolutionsstrategisches oder ein sonstiges Verfahren oder eine Kombination dieser Verfahren verwendet werden. Diese Verfahren führen schnell zum Ziel.
-
Insbesondere kann hierbei vorgesehen sein, dass in der Wärmebildkamera eine Lernregel hinterlegt ist und dass die Aufbereitungseinrichtung zur Variierung der Gewichte in Anwendung der Lernregel eingerichtet ist.
-
Eine einfache Ausgestaltung kann vorsehen, dass die elektronische Schaltungsanordnung als eine digitale Signalverarbeitungseinheit ausgebildet ist, in welcher das neuronale Netz realisiert ist. Von Vorteil ist dabei, dass das neuronale Netz einfach und flexibel an geänderte Bedürfnisse angepasst werden kann.
-
Bei einer Ausgestaltung der Erfindung können weitere Neuronen zu dem neuronalen Netz hinzufügbar sein, insbesondere während des Trainings. Hierzu ist das neuronale Netz entsprechend eingerichtet. Ein Beispiel hierfür ist die Cascade Correlation Architektur von Fahlmann. Durch das Hinzfügen von Neuronen kann erreicht werden, dass der Fehler bei der Kompensation minimiert wird und dass das neuronale Netz möglichst klein wird. Es ist auch möglich, auf diese Weise rückgekoppelte neuronale Netze zu erweitern.
-
Insbesondere bei einer Kalibrierung der Wärmebildkamera kann vorgesehen sein, dass die Abweichung eines am Ausgang anliegenden Ausgangssignals von einem vorgegebenen Wert, beispielsweise einem realen, anderweitig bestimmten Temperaturwert in der aufgenommenen Szene, bestimmt wird, und dass das neuronale Netz so optimiert wird, dass die über einen Zeitverlauf und/oder über Detektorelemente der IR-Sensoranordnung gemittelte Abweichung minimal ist. Beispielsweise kann als Abweichung das Fehlerquadrat berechnet werden.
-
Besonders günstig ist es, wenn das Sensorelement eine Eigentemperatur der IR-Sensoranordnung erfasst. Das Sensorelement kann als Widerstandselement ausgebildet sein, beispielsweise als blindgeschaltetes Bolometer oder als Widerstandsthermometer.
-
Es kann auch vorgesehen sein, dass ein Eingang des neuronalen Netzes mit einem weiteren Sensor verbunden ist, welcher eine Temperatur eines Gehäuses der Wärmebildkamera erfasst. So kann dem neuronalen Netz die Temperaturentwicklung der Wärmebildkamera bzw. von deren Gehäusekomponenten als Modell eintrainiert werden, und das neuronale Netz kann besser auf Änderungen der Gehäusetemperaturen reagieren.
-
Es kann vorgesehen sein, dass ein Eingang des neuronalen Netzes mit einer Versorgungsspannung der IR-Sensoranordnung elektrisch verbunden ist. Wenn das neuronale Netz die Spannungen an den Detektorelementen der IR-Sensoranordnung selber regeln kann, kann auf das Messender Spannungen und das Einspeisen ins neuronale Netz verzichtet werden und dieses kann entfallen.
-
Die Wärmebildkamera kann zur Erzeugung eines Temperaturbildes und/oder eines Wärmebildes mit relativer Temperaturinformation eingerichtet sein.
-
Zur Lösung der Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass das IR-Sensorsignal und das Temperaturmesssignal jeweils einem Eingang eines neuronalen Netzes zugeführt werden, dass jedes Neuron des neuronalen Netzes wenigstens einmal aktiviert wird und dass ein Ausgangssignal des neuronalen Netzes als aufbereitetes IR-Sensorsignal zur Weiterverarbeitung bereitgestellt wird. Somit ist eine alternative Methode bereitgestellt, den Einfluss von Temperaturschwankungen der IR-Sensoranordnung auf das IR-Sensorsignal in einer Vorverarbeitung zu vermindern oder sogar zu kompensieren.
-
Beispielsweise kann vorgesehen sein, dass einem Eingang des neuronalen Netzes ein Temperaturwert eines Gehäuses einer die IR-Sensoranordnung umfassenden Wärmebildkamera zugeführt wird.
-
Es kann auch vorgesehen sein, dass in dem neuronalen Netz wenigstens ein Neuron aktiviert wird, welches eine nichtlineare Transferfunktion anwendet.
-
Allgemein kann bei dem erfindungsgemäßen Verfahren mit Vorteil eine erfindungsgemäße Wärmebildkamera eingesetzt werden.
-
Eine Ausgestaltung der Erfindung kann vorsehen, dass in dem neuronalen Netz und/oder bei der Weiterverarbeitung ein Fehlerquadrat eines aus dem IR-Sensorsignal abgeleiteten Temperaturwertes minimiert wird. Insbesondere kann der über eine Zeitspanne und/oder Detektorelemente/Bildpixel gemittelte quadratische Fehler zur realen Temperatur in der aufgenommenen Szene minimiert werden. Somit kann die Erfindung mit Vorteil bei solchen Verfahren eingesetzt werden, bei denen die Temperaturberechnung eine maßgebende Größe darstellt.
-
Es kann vorgesehen sein, dass eine Lernregel angewendet wird, mit welcher Lernregel Gewichte von Neuronen des neuronalen Netzes adaptiert werden. Beispielsweise kann eine Änderung der Gewichte bei aktiver Wärmebildkamera eine adaptive Filterung ermöglichen.
-
Es kann vorgesehen sein, dass das Ausgangssignal des neuronalen Netzes als Basis zur Berechnung einer Temperatur einer Wärmestrahlung welche mit der IR-Sensoranordnung aufgefangen wurde, verwendet wird.
-
In der Weiterverarbeitung kann die Darstellung des kompensierten IR-Sensorsignals, beispielsweise als korrigiertes IR-Bild, erfolgen.
-
Die Erfindung wird nun anhand eines Ausführungsbeispiels näher beschrieben, ist aber nicht auf das Ausführungsbeispiel beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale der Ansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Ausführungsbeispiels.
-
Es zeigt in teilweise schematisierter Darstellung
-
1 eine erfindungsgemäße Wärmebildkamera in einer Ansicht von hinten,
-
2 die Wärmebildkamera aus 1 in einer Ansicht von vorn,
-
3 ein Blockschaltbild von Komponenten der Wärmebildkamera gemäß 1, welche bei der Erfindung zusammenwirken und
-
4 ein neuronales Netz.
-
1 und 2 zeigen eine erfindungsgemäße Wärmebildkamera 1, welche eine IR-Optik 2 aufweist, hinter der eine IR-Sensoranordnung 3 angeordnet ist.
-
Die in dem Blockschaltbild nach 3 gezeigte IR-Sensoranordnung 3 umfasst eine gitterförmige Anordnung von einzelnen Detektorelementen, die empfindlich für durch die IR-Optik 2 eintretende IR-Strahlung sind, in an sich bekannter Weise.
-
In der Wärmebildkamera 1 ist ferner eine Aufbereitungseinrichtung 7 mit einer elektronischen Schaltungsanordnung in Form einer digitalen Signalverarbeitungseinheit 4 vorgesehen. Im Ausführungsbeispiel ist die digitale Signalverarbeitungseinheit 4 als Prozessor oder konfigurierbare Logik, zum Beispiel als FPGA, ausgebildet.
-
Die IR-Sensoranordnung 3 erzeugt ein IR-Sensorsignal 5, welches der Aufbereitungseinrichtung 7 und insbesondere der digitalen Signalverarbeitungseinheit 4 zur Vorverarbeitung zugeführt wird.
-
Die digitale Signalverarbeitungseinheit 4 ist durch Programmierung derart eingerichtet, dass sie ein neuronales Netz 6 realisiert.
-
4 zeigt beispielhaft zur Erläuterung des Erfindungsprinzips ein derartiges neuronales Netz 6, wobei die Darstellung vereinfacht wurde. Das neuronale Netz 6 kann deutlich komplexer, aber auch einfacher aufgebaut sein, als in 4 gezeigt. Dargestellt ist der Signalfluss von unten nach oben, welcher durch geeignete Programmierung der digitalen Signalverarbeitungseinheit 4 eingerichtet ist.
-
Die Aufbereitungseinrichtung 7 umfasst hierzu zusätzlich eine Speichereinheit 8, auf welche die digitale Signalverarbeitungseinheit 4 zur Ausführung ihrer Programmierung in Schreib-Lese-Vorgängen 9 zugreifen kann.
-
Das in 4 gezeigte neuronale Netz 6 hat einen ersten Eingang 10, welcher mit dem IR-Sensorsignal 5 der IR-Sensoranordnung 3 gespeist wird.
-
Die Wärmebildkamera 1 verfügt weiter in an sich bekannter Weise über ein Sensorelement, mit welchem die Umgebungstemperatur der IR-Sensoranordnung 3, also näherungsweise deren Eigentemperatur, erfassbar ist.
-
Das von diesem Sensorelement bereitgestellte Temperaturmesssignal wird einem zweiten Eingang 11 des neuronalen Netzes 6 zugeführt.
-
Die an diesen Eingängen 10, 11 bereitgestellten Signale werden nun durch Neuronen 12, 13, 14 in der Darstellung gemäß 4 schichtweise von unten nach oben verarbeitet, indem die entsprechenden Neuronen 12, 13, 14 aktiviert werden.
-
Zur Signalverarbeitung weisen die Neuronen 12, 13, 14 jeweils Neuronenausgänge 15, 16 und Neuroneneingänge 17, 18 auf, wobei Neuronenausgänge 15, 16 von Neuronen 12, 13 einer niedrigeren Schicht mit Neuroneneingängen 17, 18 von Neuronen 13, 14 einer höheren Schicht verbunden sind.
-
Die Eingänge 10, 11 stellen Neuroneneingänge für die Neuronen 12 dar, während ein Ausgang 19 des neuronalen Netzes 6 durch den Neuronenausgang des Neurons 14 gegeben ist.
-
Bei der gezeigten Verschaltung sind keine Rückkopplungen ausgebildet. Solche können beispielsweise eingerichtet werden, indem der Ausgang 19 des Neurons 14 auf einen Neuroneneingang 17 oder 18 geführt wird.
-
Wie aus 3 ersichtlich ist, wird das am Ausgang 19 anliegende Ausgangssignal 20 des neuronalen Netzes 6 einer Ausgabeeinheit 24 – die im Ausführungsbeispiel gemäß 1 und 2 als Display ausgebildet ist – zugeführt, wobei noch weitere Datenverarbeitungsschritte zwischengeschaltet sein können.
-
Das neuronale Netz 6 nach 3 weist weitere Eingänge 21, 22 auf, die im Ausführungsbeispiel mit den Versorgungsspannungen (Offset und Gain) für die Detektorelemente der IR-Sensoranordnung 3 belegt sind.
-
Zusätzlich kann über einen weiteren Eingang ein Temperatursignal eines Temperatursensors zugeführt werden, welcher einen Temperaturwert eines Gehäuses 23 der Wärmebildkamera 1 erfasst.
-
Die in dem neuronalen Netz 6 realisierten Neuronen 12, 13, 14, welche die Knoten des neuronalen Netzes 6 bilden, weisen die folgende prinzipielle Wirkungsweise auf:
Jedes Neuron 12, 13, 14 bildet zunächst eine gewichtete Summe der an seinen Neuroneneingängen 10, 11, 17, 18, 21 bzw. 22 anliegenden Signale.
-
Auf diese Summe wird anschließend eine für das jeweilige Neuron 12, 13, 14 charakteristische Transferfunktion angewendet, wodurch ein Signal erzeugt wird, welches an dem jeweiligen Neuronenausgang 15, 16 bzw. 19 angelegt wird.
-
Die Signale können hierbei digital oder analog vorliegen, je nach Ausgestaltung der Realisierung des neuronalen Netzes 6.
-
Eine typische Transferfunktion kann durch eine arctan-Funktion beschrieben sein, deren Argument durch die gebildete Summe gegeben ist, während deren Funktionswert als Signal am Neuronenausgang 15, 16, 19 bereitgestellt wird.
-
Diese Funktion hat die Eigenschaft, dass sie in einer Umgebung in der Nähe des Koordinatenursprungs einen Abschnitt mit näherungsweise linearem Verlauf aufweist und dass sie für betragsmäßig große Argumente ein Sättigungsverhalten aufweist, durch welches die Funktionswerte beschränkt sind. Insgesamt ist diese Transferfunktion somit nichtlinear.
-
Die von den Neuronen 12, 13, 14 jeweils bei der Summenbildung der an den Neuroneneingängen 10, 11, 17, 18, 21 bzw. 22 anliegenden Signale verwendeten Gewichte sind in der Speichereinheit 8 variierbar abgelegt und können somit auch während des Betriebs der Wärmebildkamera 1 angepasst werden.
-
Die Wärmebildkamera 1 ist als Handgerät mit einem Griff 25 ausgebildet, wobei die Energieversorgung der Wärmebildkamera 1 in den Griff 25 integriert sein kann.
-
Bei der Wärmebildkamera 1 ist zur Aufbereitung eines IR-Sensorsignals 5 einer IR-Sensoranordnung 3 eine Aufbereitungseinrichtung 7 vorgesehen, in welcher ein neuronales Netz 6 realisiert ist, wobei ein erster Eingang 10 des neuronalen Netzes 6 mit dem IR-Sensorsignal 5 und ein zweiter Eingang 11 mit einem Temperaturmesssignal eines eine Umgebungstemperatur der IR-Sensoranordnung 3 erfassenden Sensorelements gespeist wird und wobei ein Ausgang des neuronalen Netzes 6 mit einer Ausgabeeinheit 24 verbunden ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102005010986 B4 [0004]
