AT520007B1

AT520007B1 - Thermographieverfahren

Info

Publication number: AT520007B1
Application number: ATA50421/2017A
Authority: AT
Inventors: Peter Burgholzer Dr
Original assignee: Res Center For Non Destructive Testing Gmbh
Priority date: 2017-05-16
Filing date: 2017-05-16
Publication date: 2019-09-15
Also published as: EP3625760A1; US20210255042A1; WO2018209370A1; AT520007A1; CA3063278A1

Abstract

Es wird eine Verfahren zur Aufnahme von Wärmebildern einer unter einer Probenoberfläche (P) angeordneten abzubildenden Struktur (S) mit einer die Probenoberfläche (P) aufnehmenden Wärmebildkamera (K), einer Quelle (Q) elektromagnetischer Strahlung zum Beleuchten der abzubildenden Struktur (S) und mit einer Auswerteeinheit (A) zum Auswerten der von der Wärmebildkamera (K) aufgenommenen Oberflächenmeßdaten vorgeschlagen. Zur Verbesserung der Tiefenauflösung wird vorgeschlagen, dass die abzubildende Struktur (S) zur verbesserten Rekonstruktion mit einer unbekannt strukturierten Beleuchtung angestrahlt und damit erwärmt wird, wobei zur Auswertung der Struktur (S) mehrere Bilder verwendet werden und die Struktur (S) je Bild mit einer anders strukturierten Beleuchtung angestrahlt wird und dass zum Errechnen der abzubildenden Struktur (S) aus den mit der Wärmebildkamera (K) aufgenommenen Bildern ein nichtlinearer iterativer Auswerte-Algorithmus verwendet wird.

Description

Patentamt

Beschreibung [0001] Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Aufnahme von Wärmebildern einer unter einer Probenoberfläche angeordneten abzubildenden Struktur mit einer die Probenoberfläche aufnehmenden Wärmebildkamera, einer Quelle elektromagnetischer Strahlung zum Beleuchten der abzubildenden Struktur und mit einer Auswerteeinheit zum Auswerten der von der Wärmebildkamera aufgenommenen Oberflächenmessdaten.

[0002] Die Verwendung einer Infrarotkamera für die Aufnahme von Wärmebildern ermöglicht die berührungslose und gleichzeitige Temperaturmessung vieler Oberflächenpixel. Aus diesen Oberflächenmessdaten kann eine in einer Probe, in einem Gewebe od. dgl. unterhalb einer Oberfläche, eingebettete Struktur rekonstruiert und dargestellt werden, wenn diese durch einen Anregungspuls aufgeheizt wird. Der Hauptnachteil in der Abbildung mit der aktiven Thermographie ist der Verlust der räumlichen Auflösung proportional zur Tiefe unterhalb der Probenoberfläche. Dies hat unscharfe Bilder für tiefer liegende Strukturen zur Folge. Derartige Thermographieverfahren sind beispielsweise aus der EP 2 743 688 A1, der W02006/124977 A2 und der US 7 018 094 B1 bekannt. Nachteilig ist bei den bekannten Verfahren insbesondere, dass sie keine befriedigende Tiefenauflösung ermöglichen.

[0003] Für viele bildgebende Verfahren ist die mögliche räumliche Auflösung durch die Breite der Punktantwort (engl.“point spread function, kurz PSF), nämlich das Bild eines kleinen Objekts, idealerweise eines Punktes, begrenzt. In der Akustik entspricht dies der Beugungsgrenze oder in der Optik der Abbe-Grenze. Beide Grenzen sind proportional zur akustischen bzw. optischen Wellenlänge. Für kleinere Strukturen können entweder höhere räumliche Frequenzen, die kürzeren Wellenlängen entsprechen, z.B. von Elektronen, oder Nahfeld-Effekte ausgenutzt werden. Für die biomedizinische und zerstörungsfreie Bildgebung ist dies oft nicht möglich, da die Strukturen in eine Probe oder in ein Gewebe eingebettet sind. Daher sind sie für Nahfeldmethoden nicht zugänglich. Höhere Frequenzen werden unterhalb des Rauschpegels gedämpft, bevor sie auf der Oberfläche detektiert werden können. Für die Darstellung solcher Strukturen sind andere hochauflösende Verfahren notwendig.

[0004] In ihrer Theorie der Hochauflösung haben Donoho et al. (D. L. Donoho, A. Μ. Johnstone, J. C. Hoche, and A. S. Stern, J. R. Statist. Soc. B 54, 41 (1992)) gezeigt, dass die Hochauflösende Bildgebung eine solche Auflösungsgrenze überwinden kann. Wenn das Rauschen gegen Null geht, konvergiert das rekonstruierte Bild zum ursprünglichen Objekt. Für die beugungsbegrenzte Bildgebung zeigten sie, dass nichtlineare Algorithmen, die einer Positivitätsbeschränkung gehorchen, eine Hochauflösung erhalten können. Bereits 1972 zeigte Frieden (B. R. Frieden, J. Opt. Soc. Am. 62, 1202 (1972)) für ein simuliertes, aus zwei schmalen Linien bestehendes Objekt, das mit einer Regressionsrechnung nach dem Prinzip der kleinsten Quadrate nicht aufgelöst werden konnte, dass sein nichtlinearer Rekonstruktionsalgorithmus das Objekt auflösen und darstellen kann.

[0005] Experimentell wurde 1999, fünf Jahre nach ihrer theoretischen Beschreibung, mit der STED-Mikroskopie die erste hochauflösende Fernfeld-Fluoreszenzmikroskopie realisiert (T. A. Klar and S. W. Hell, Opt. Lett. 24, 954 (1999)). Später kamen weitere hochauflösende Verfahren wie STORM, PALM oder SOFI auf, die allesamt ausnutzen, dass eine Lokalisierung von Punktquellen (z. B. aktivierte fluoreszierende Moleküle) mit einer höheren Genauigkeit möglich ist als die Breite der PSF ist.

[0006] Die strukturierte Beleuchtungsmikroskopie (engl. „structured Illumination microscopy“, kurz SIM - Μ. G. Gustafsson, J. Microscopy 198, 82 (2000)) verwendet mehrere strukturierte Muster als Beleuchtung für die hochauflösende Bildgebung.

[0007] Der physikalische Ursprung der Auflösungserhöhung ist eine Frequenzmischung zwischen Frequenzen der Beleuchtung und den Objektfrequenzen. Die hohen räumlichen Frequenzen im Objekt werden durch diese Frequenzmischung in den niederfrequenten Bereich gegeben durch die Fourier-Transformation der PSF transformiert und können daher abgebildet

1/14

AT 520 007 B1 2019-09-15 österreichisches

Patentamt werden. Normalerweise verwenden Rekonstruktionsalgorithmen die Kenntnis der Beleuchtungsmuster der strukturierten Beleuchtung für die Berechnung der Bilder. Allerdings können auch kleine Fehler in den Mustern zu Fehlern in den endgültigen Bildern führen. Daher wurde eine blinde SIM vorgeschlagen, bei der die Kenntnis des Beleuchtungsmusters nicht notwendig ist. Es wird davon ausgegangen, dass die Beleuchtungsmuster positiv sind und ihre Summe homogen ist (E. Mudry, K. Belkebir, J. Girard, J. Savatier, E. L. Moal, C. Nicoletti, Μ. Allain, and A. Sentenac, Nat. Photon. 6, 312 (2012)), oder zusätzliche Einschränkungen wie die gleichen Absorptionsmuster für alle Beleuchtungen, dünne Besetzung der Funktionen oder Anforderungen an die Kovarianz der Muster angewendet werden. Vor kurzem wurden zwei Rekonstruktionsalgorithmen vorgeschlagen, die dünne Besetzung und Gleichheit der Absorptionsmuster (sogenannte Blocksparsity) verwenden, die erfolgreich für die akustische Auflösung der photoakustischen Mikroskopie angewendet wurden. Die räumliche Auflösungsgrenze, die durch die akustische PSF gegeben war, konnte damit weitgehend verbessert werden, indem eine Beleuchtung mit unbekannten granulären Lasermustern („Specklemuster“) verwendet wurde. Die verwendeten Rekonstruktionsalgorithmen sind auch für andere bildgebende Verfahren wertvoll, bei denen diffuse Prozesse hochfrequente strukturelle Informationen durcheinanderbringen.

[0008] Die thermografische Bildgebung nutzt die reine Diffusion von Wärme, die manchmal auch als thermische Wellen bezeichnet werden, wobei die strukturellen Informationen von Wärmebildern bei höheren Bildtiefen viel stärker gedämpft werden als durch akustische Dämpfung. Die thermografische Bildgebung hat einige Vorteile im Vergleich zu anderen bildgebenden Verfahren, z.B. der Ultraschallbildgebung. Es werden keine Kopplungsmedien wie Wasser benötigt, und die Temperaturentwicklung vieler Oberflächenpixel kann parallel und berührungslos mit einer Infrarotkamera gemessen werden. Der Hauptnachteil der thermografischen Bildgebung ist die starke Abnahme der räumlichen Auflösung proportional zur Tiefe, was zu verschwommenen Bildern für tiefer liegende Strukturen führt.

[0009] Aufgabe der Erfindung ist es ein Verfahren und eine zugehörige Vorrichtung zur Aufnahme von Wärmebildern zu schaffen die gegenüber dem Stand der Technik eine merklich verbesserte Tiefenauflösung mit Wärmebildern vermessener Strukturen ermöglichen. Insbesondere sollen auch tiefer unter einer Oberfläche liegende Strukturen damit verbessert dargestellt werden können.

[0010] Die Erfindung löst diese Aufgabe mit den Merkmalen des unabhängigen Anspruches 1. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen dargestellt.

[0011] Die Erfindung überwindet den Nachteil, nämlich dem Verlust der räumlichen Auflösung proportional zur Tiefe unterhalb der Probenoberfläche und ermöglicht auch für tiefer liegende Strukturen eine höhere Auflösung durch die Verwendung von (unbekannter) strukturierter Beleuchtung und durch die Verwendung eines nicht-linearen iterativen Auswerte-Algorithmus, der die dünne Besetzung (engl. „sparsity“) und den konstanten Ort der aufgeheizten Strukturen für die verschiedenen strukturierten Beleuchtungsmuster ausnutzt (IJOSP-Algorithmus - T. W. Murray, Μ. Haltmeier, T. Berer, E. Leiss-Holzinger, and P. Burgholzer, Optica 4, 17 (2017).

[0012] Die unbekannte strukturierte Beleuchtung kann Licht sein, das durch sich bewegende Schlitzblenden fällt, wie in der Folge in einem Ausführungsbeispiel dargestellt. Bei Verwendung von kohärentem Licht (Laser, Mikrowelle od. dgl.) entstehen in einer streuenden Probe, wie beispielsweise einem biologischen Gewebe, durch Interferenzerscheinungen automatisch dunkle und helle Flecken, genannt Laser-Speckles, womit gegebenenfalls auf den Einsatz einer gesonderten Blende verzichtet werden kann. Diese Speckle-Muster werden als unbekannt strukturierte Beleuchtung herangezogen und die Größe von den hellen Bereichen (Speckles) hängt von der Lichtwellenlänge des Lasers, den Streueigenschaften der Probe und von der Eindringtiefe des Lichts in der Probe ab.

[0013] Erfindungsgemäß kann der Effekt der mit der Tiefe proportional abnehmenden Auflösung vermieden werden, wenn eine bekannte oder auch unbekannte strukturierte Beleuchtung und ein nichtlinearer Rekonstruktionsalgorithmus zur Rekonstruktion der eingebetteten Struktur zum Einsatz kommen. Damit ist beispielsweise die Abbildung von Linienmustern oder von

2/14

AT 520 007 B1 2019-09-15 österreichisches

Patentamt sternförmigen Strukturen durch ein 3 mm dickes Stahlblech hindurch mit einer Auflösung möglich, die wenigstens wesentlich besser ist als die Breite der thermografischen Punktantwort (engl.“point spread function, kurz PSF). Näheres dazu wird im Ausführungsbeispiel dargestellt.

[0014] Um den Nachteil der starken Abnahme der räumlichen Auflösung proportional zur Tiefe einer Probe unter der Probenoberfläche zu vermeiden, wird erfindungsgemäß eine unbekannt strukturierte Beleuchtung zusammen mit einem Iterativen Algorithmus, der die dünne Besetzung der Strukturen ausnutzt, verwendet. Der Grund für diese Abnahme in der Auflösung mit zunehmender Tiefe ist die Entropieproduktion während der Diffusion von Wärme, die für makroskopische Proben gleich dem Informationsverlust ist und daher die räumliche Auflösung begrenzt. Der Mechanismus für den Verlust von Informationen ist die thermodynamische Fluktuation, die für makroskopische Proben extrem klein ist. Diese Fluktuationen werden aber bei der Rekonstruktion von Strukturinformationen aus thermografischen Daten hoch verstärkt („schlecht gestelltes“ inverses Problem). Die Entropieproduktion, die nur von den Temperaturmittelwerten abhängt, ist für makroskopische Proben gleich dem Informationsverlust, der durch diese Schwankungen verursacht wird. Für reale Wärmediffusionsprozesse können diese Schwankungen nicht durch einfache stochastische Prozesse beschrieben werden, aber bei makroskopischen Proben hängt der Informationsverlust nur von der Amplitude der Fluktuationen im Verhältnis zu den mittleren Temperatursignalen ab, was dem Signal-Rausch-Verhältnis (SNR) entspricht. Mit dieser Erkenntnis ist es möglich, eine PSF aus dem SNR ohne Berechnung des Informationsverlustes und der Entropieproduktion abzuleiten.

[0015] Insbesondere erfolgt die thermografische Rekonstruktion in einem dreistufigen Verfahren. In einem ersten Schritt werden die gemessenen zeitabhängigen Temperatursignale T_s(r, t) als Funktion des Ortes r und der Zeit t in virtuelle akustische Wellen umgewandelt (siehe P. Burgholzer, Μ. Thor, J. Gruber, and G. Mayr, J. Appl. Phys. 121, 105102 (2017)). In einem zweiten Schritt wird ein Ultraschall-Rekonstruktionsverfahren (z.B. FSAFT) verwendet, um y(r) als Raumfunktion zu rekonstruieren. In einem dritten Schritt wird der nur im Raum arbeitende IJOSP-Algorithmus, ein nichtlinearer iterativer Algorithmus, zur thermografischen Rekonstruktion verwendet (T. W. Murray, Μ. Haltmeier, T. Berer, E. Leiss-Holzinger, and P. Burgholzer, Optica 4, 17 (2017)).

[0016] In der Zeichnung und im folgenden Ausführungsbeispiel ist die Erfindung beispielsweise dargestellt. Es zeigen [0017] Fig. 1 die Darstellung einer Punktquelle, deren thermographische Abbildung im Fourierraum und deren thermographische Abbildung im realen Raum, [0018] Fig. 2 eine Versuchsanordnung für zu messende linienförmige Strukturen, [0019] Fig. 3 verschiedene Rekonstruktionsbeispiele der linienförmigen Strukturen, [0020] Fig. 4 eine Gegenüberstellung der Ergebnisse verschiedener Rekonstruktionsbeispiele, [0021] Fig. 5 Rekonstruktionsergebnisse für eine sternförmige Struktur, und [0022] Fig. 6 eine alternative Versuchsanordnung für zu messende beliebige dreidimensionale Strukturen in einer streuenden Probe.

[0023] Fig. 1 (a) zeigt eine Punktquelle in einer Tiefe d mit Einheitsvektor (e_z) senkrecht zur Oberflächenebene: Die Länge a der zur Oberflächenebene gelangenden thermische Welle hängt vom Winkel Θ ab. Fig. 1 (b) zeigt eine zweidimensionale (oder einen Querschnitt einer dreidimensionalen) PSF im Fourierraum. Bis zu k_cut(9) (Gl. 5) ist der Wert der PSF Eins und über k_cut Null. Parallel zur Detektionsoberflächefläche (Θ = 90°) wird die Länge a unendlich, weshalb keine thermischen Wellen in dieser Richtung zur Oberfläche gelangen können. Fig. 1 (c) zeigt die zweidimensionale PSF im realen Raum. Die laterale Auflösung (vertikale Richtung) beträgt 2,44 mal die axiale Auflösung (horizontale Richtung). Die axiale Auflösung (horizontale Pfeile) für die gepulste Thermographie ist durch k_cut begrenzt und ist daher proportional zur Tiefe d, dividiert durch den natürlichen Logarithmus des SNR.

[0024] Fig. 2a zeigt eine Vorrichtung zur Aufnahme von Wärmebildern einer unter einer Pro

3/14

AT 520 007 B1 2019-09-15 österreichisches

Patentamt benoberfläche P angeordneten Struktur S mit einer Wärmebildkamera K zur Aufnahme der Probenoberfläche P, mit einer Quelle Q elektromagnetischer Strahlung zum Beleuchten der Struktur S und mit einer nicht näher dargestellten Auswerteeinheit zum Auswerten der von der Wärmebildkamera K aufgenommenen Oberflächenmessdaten, wobei die Wärmebildkamera K derart gegen die Probenoberfläche P gerichtet ist, dass sie Wärmebilder der unter einer Probenoberfläche P angeordneten abzubildenden Struktur S aufnimmt und dass die Quelle Q elektromagnetischer Strahlung zum Beleuchten der Struktur S auf der der Wärmebildkamera K gegenüberliegenden Seite der Probenoberfläche P angeordnet und gegen die abzubildende Struktur S gerichtet ist. Zwischen Quelle Q und Struktur S ist eine Blende B zur strukturierten Beleuchtung der Struktur S angeordnet, wobei die Blende B gegenüber der Struktur S verschiebbar, im vorliegenden Fall zur Probenoberfläche P parallelverschiebbar, geführt ist.

[0025] Die Struktur S ist auf die Rückseite eines 3 mm Stahlblechs aufgebracht. In Fig. 2(b) werden vier in y-Richtung verlaufende Linienpaare als lichtabsorbierende Muster verwendet. Der Abstand zwischen den Linien beträgt (von links nach rechts) 2 mm, 1,3 mm, 0,9 mm und 0,6 mm bei einer Linienbreite von 1 mm. Zur Erzeugung einer strukturierten Beleuchtung (Fig. 2(c)) wurden in eine als Blende B wirkende Aluminiumfolie, Schlitze in einem Abstand von 10 mm geschnitten, wobei die Schlitze eine Breite von 1 mm aufweisen und parallel zu den Absorptionslinien verlaufen. Durch diese Schlitze kann das Blitzlicht die Oberfläche der Rückseite des Stahlbleches mit Energie anregen. Auf der Vorderseite des Stahlblechs misst eine Infrarotkamera (Bildrate 800 Hz, 320 x 32 Pixel, 6 Pixel pro mm) die Oberflächentemperaturentwicklung. Die Schlitzmaske wird nach jeder Messung mit einer Schrittweite von 0,2 mm in xRichtung verschoben. Im Ausführungsbeispiel werden 55 Messungen verwendet, um die Positionen der absorbierenden Linienpaare aus den aufgenommenen Bildern zu rekonstruieren.

[0026] Fig. 3 zeigt ein zweidimensionales Rekonstruktionsbeispiel (für die vorgenannten parallelen Linienpaare). Fig3(a) stellt ein Mittelwertsignal T_s(x,t) aller Speckle-Muster dar, das gleich dem gemessenen Signal ohne der Schlitzmaske ist. Fig. 3(b) und (c) stellen die gemessene Oberflächentemperatur T_s(x,t) für die Beleuchtung mit zwei verschiedenen Speckle-Muster dar. Fig. 3 (d) sind die thermographischen Rekonstruktionen y_m(x), für die beiden verschiedenen Beleuchtungsmuster (Fig. 3(b) und (c) m = 10 (punktiert) und m = 19 (strichpunktiert)), sowie die Rekonstruktion des in Fig. 3(a) dargestellten Mittelwertes y(x) (durchgezogen) zu entnehmen. Die senkrechten Linien zwischen den Fig. 3(a) bis (d) zeigen die Verschiebung des Maximums für die einzelnen Speckle-Muster, welche in weiterer Folge die Hochauflösungsrekonstruktion der Linienpositionen ermöglichen.

[0027] FIG 4. Zeigt eine Mittelwert Rekonstruktion (fett), eine R-L (Richardson-Lucy)Dekonvolution (punktiert) und eine iterative Rekonstruktion (IJOSP, strichpunktiert).

[0028] Fig. 5 zeigt Rekonstruktionsergebnisse unter Verwendung einer zweidimensionalen sternförmigen Probe mit 165 Beleuchtungsmustern, 55 Beleuchtungsmustern mit in y-Richtung verlaufenden Schlitzen und je 55 Beleuchtungsmustern mit Schlitzen in ± 45 ° -Richtung verlaufenden Schlitzen. Fig. 5(a) Das Objekt ist eine sternförmige Probe, bestehend aus 12 Linien, je ca. 1 mm dick. Die rekonstruierten Objekte wurden, in Fig. 5(b) aus dem mittleren Temperatursignal, in Fig. 5(c) mit der R-L-(Richardson-Lucy)-Dekonvolution und in Fig. 5(d) mit der der iterativen - Rekonstruktion (IJOSP) errechnet. Die Pixelgröße betrug 0,21 mm, was zu 4,75 Pixeln je 1 mm und insgesamt 128 x 128 Pixel führte. Die Kamera-Bildwiederholfrequenz betrug 500 Hz.

[0029] Fig. 6a und das vergrößerte Detail der streuenden Probe davon in Fig. 6b zeigen eine Vorrichtung zur Aufnahme von Wärmebildern einer unter einer Probenoberfläche P angeordneten Struktur S mit einer Wärmebildkamera K zur Aufnahme der Probenoberfläche P, mit einer kohärenten Quelle Q elektromagnetischer Strahlung zum Beleuchten der Struktur S und mit einer Auswerteeinheit A zum Auswerten der von der Wärmebildkamera K aufgenommenen Oberflächenmessdaten, wobei die Wärmebildkamera K derart gegen die Probenoberfläche P gerichtet ist, dass sie Wärmebilder der unter einer Probenoberfläche P angeordneten abzubildenden Struktur S aufnimmt und dass die Quelle Q elektromagnetischer Strahlung zum Be

4/14

AT520 007 B1 2019-09-15 österreichisches

Patentamt leuchten der Struktur S auf der gleichen Seite wie die Wärmebildkamera K bezogen auf die Probenoberfläche P angeordnet und gegen die abzubildende Struktur S gerichtet ist. In der Auswerteeinheit ist mit zwei übereinanderliegenden Diagrammen die Ansteuerung der Wärmebildkamera K und der Quelle Q, einem Pulslaser oder einer gepulsten Mikrowellenquelle, angedeutet. Zunächst wird ein kurzer Angregungs-Puls ausgesendet, wonach (ggf. auch gleichzeitig) die Wärmebildkamera für ein vorgegebenes Zeitintervall eine Abfolge an Bildern aufnimmt. Dieser Vorgang wird nun mehrmals wiederholt, wobei wesentlich ist, dass sich das durch Interferenz der kohärenten elektromagnetischen Strahlung ausgebildete Speckle-Muster im Inneren der streuenden Probe von Puls zu Puls ändert (unbekannte strukturierte Beleuchtung). In einem lebenden biologischen Gewebe passiert dies durch geringfügige Bewegung von selbst, für andere Proben (z. B Kunststoffe) kann die Änderung des Speckle-Musters von einem Puls zum nächsten Puls durch eine geringfügige Bewegung von Probe oder Quelle bewirkt werden (Drehung oder Verschiebung).

[0030] Ausführungsbeispiel:

[0031] Um die thermografische PSF abzuleiten, wird zuerst die Dämpfung einer eindimensionalen thermischen Welle behandelt

T(z, t) = ReaZ(r_oe^i(ffZ_wi)), (1) wobei T(z,t) die Temperatur als Funktion der Tiefe z der Probe und der Zeit t ist, T_o ist eine komplexe Konstante, um die Randbedingung an der Oberfläche mit z = 0 zu erfüllen, o ist die komplexe Wellenzahl und ω = 2πί, entspricht der thermische Wellenfrequenz.

[0032] Dies löst die Wärmediffusionsgleichung

+ i <(2) wobei V² der Laplace-Operator, also die zweite Ableitung im Raum ist, α ist der materialabhängige thermische Diffusionskoeffizient, der in der Probe als homogen angenommen wird und μ = yjla/ω als thermische Diffusionslänge definiert ist, wo die Amplitude der Wärmewelle um den Faktor 1/e reduziert ist. Damit ergibt sich Gl. (1) wie folgt:

T(z, t) = Real (T_oe exp (i — ίωί^ j, (3) die eine exponentiell gedämpfte Welle in z mit der Wellenzahl oder der Raumfrequenz k=1/p beschreibt. Die abgeschnittene Wellenzahl k_cut, bei der das Signal für eine Tiefe z=a auf den Rauschpegel gedämpft wird, ergibt sich aus Gl. (3) zu:

exp(-/c_CMta) = — => k_cut = (4) [0033] Eine höhere Raumfrequenz als k_cut kann nicht aufgelöst werden, da die Signalamplitude in einem Abstand a unter den Rauschpegel fällt. Das gleiche Ergebnis kann für die eindimensionale Wärmediffusion hergeleitet werden, indem der Informationsverlust gleich der mittleren Entropieproduktion gesetzt wird. Um eine zwei- oder dreidimensionale thermografische PSF zu erhalten, wird eine Punktquelle in einer homogenen Probe in einer Tiefe d bezogen auf eine ebene Messoberfläche eingebettet. Der Abstand a zur Oberfläche hängt vom Winkel Θ ab (Fig. 1 (a)):

kcut(ß^

InSNR a

InSNR d cos(0) (5) [0034] Fig. 1 (b) zeigt eine zweidimensionale PSF oder einen Querschnitt einer dreidimensionalen thermografischen PSF im Fourierraum. In allen Richtungen bis zu k_cut(0) ist der Wert der PSF Eins und über k_cut Null.

[0035] Für eine gewählte Versuchsanordnung (siehe Abb. 2) ist die Tiefe d = 3mm (=Dicke

5/14

AT 520 007 B1 2019-09-15 österreichisches ll^r patentamt eines Stahlblechs) und der effektive SNR = 2580. Fig. 1 (c) zeigt die dafür berechnete zweidimensionale thermografische PSF im realen Raum, die der inversen Fourier-Transformation aus Fig. 1 (b) entspricht, berechnet durch die zweidimensionale inverse Fourier-Transformation. Die axiale Tiefenauflösung ist durch k_cut=2,62mrrr¹ aus Gl. (5) bei 8=0 begrenzt, was das gleiche ist wie im eindimensionalen Fall gemäß Gl. (4). Die Nullpunkte in einer Tiefe z=d±TT/k_cut=3mm ± 1,2mm sind in Fig. 1 (c) durch zwei horizontale Pfeile dargestellt, was zu einer axialen Auflösung von 2,4 mm führt. Die laterale Auflösung (5,85 mm vertikale Richtung in Fig. 1 (c)) beträgt das 2,44-fache der axialen Auflösung.

[0036] Die laterale Auflösung dieses PSF wird im Folgenden für die Dekonvolution oder für den IJOSP-Rekonstruktionsalgorithmus verwendet, der eine Hochauflösung ermöglicht. Die gleiche PSF kann unter Verwendung einer zweistufigen Bildrekonstruktionsmethode aus einer Punktquelle rekonstruiert werden. Zuerst wird das gemessene Signal in virtuelle akustische Wellen umgewandelt (siehe P. Burgholzer, Μ. Thor, J. Gruber, and G. Mayr, J. Appl. Phys. 121, 105102 (2017)), wonach jedes verfügbare Ultraschall-Rekonstruktionsverfahren, wie beispielsweise das Verfahren der synthetische Apertur-Fokussierung (F-SAFT), für die Rekonstruktion verwendet werden. Dieses Verfahren ergibt nur dann eine sinnvolle PSF, wenn die Messzeit ausreicht die Signale bis zu 8 » 45 ° zu messen und für die Rekonstruktion zu verwenden. Bei kürzeren Messzeiten hat nur ein kleiner Kegel der PSF im Fourierraum in axialer Richtung den Wert eins und der Rest den Wert Null. Im realen Raum bleibt für kürzere Messzeiten die axiale Auflösung beinahe konstant, während die laterale Auflösung schlechter wird.

[0037] Ein experimenteller Aufbau zur Veranschaulichung dieses erfindungsgemäßen Verfahrens zur hochauflösenden thermografischen Bildgebung umfasst folgendes. Ein 3 mm starkes Stahlblech (üblicher Baustahl mit einer Temperaturleitfähigkeit von 16mm²s'¹) wurde für verbesserte Wärmeaufnahme und -abgabe auf beiden Seiten eingeschwärzt. Auf der Rückseite des Stahlbleches wurde ein absorbierendes Muster, wie beispielsweise parallele Linien oder ein Stern mit Hilfe einer als reflektierende Maske wirkenden Aluminiumfolie, erzeugt. Dadurch wird sichergestellt, dass nur die unmaskierten (schwarzen) Muster Licht von einer diese Seite bestrahlenden optischen Blitzlichtanordnung (PB G 6000 von Blaesing mit 6 kJ elektrischer Energie) absorbieren. Eine Infrarotkamera (Ircam Equus 81k M Pro) wurde verwendet, um den Temperaturverlauf, bzw. die Temperaturentwicklung auf der Vorderseite des Stahlbleches zu messen. Dazu wird eine dreidimensionale thermografische Abbildungsmethode verwendet (P. Burgholzer, Μ. Thor, J. Gruber, and G. Mayr, J. Appl. Phys. 121, 105102 (2017)), womit das Bild y (r) als Raumfunktion r des absorbierenden Musters rekonstruiert werden kann, wobei die Faltung des absorbierten Lichts l(r) p(r) mit dem in Fig. 1 (c) gezeigten thermografischen PSF h (r) erfolgt:

y(r) = /i(r) * [/(r) p(r)] + e(r) = f h(r—r')/(r')p(r') dr' + e(r), (6) [0038] Wobei ε (r) das Rauschen (den Fehler) in den Daten angibt, p (r) die optische Absorption der absorbierenden Muster angibt und I (r) der Beleuchtungslichtstrom ist. Die räumliche Variable r ist für die Linienpaarmuster als eindimensionale Koordinate auf der Stahloberfläche senkrecht zu den Linien (x-Richtung) beschrieben, und für zweidimensionale Muster, wie einen Stern, ist das zweidimensionale kartesische Koordinatenpaar (x- und y-Richtung) auf der Rückseite des Stahlblechs beschrieben.

[0039] Im ersten Ausführungsbeispiel (Fig. 2) wurden als absorbierendes Muster vier parallele Linien auf dem 3 mm dicken Stahlblech mit einem Abstand von 2 mm, 1,3 mm, 0,9 mm und 0,6 mm und einer Dicke von 1 mm verwendet (Fig. 2(a)). Zur strukturierten Beleuchtung wurden in eine Aluminiumfolie 1 mm breite Schlitze in einem Abstand von jeweils 10 mm geschnitten und diese Schlitzmaske wurde senkrecht zu den Linien in x-Richtung mit einer Schrittweite von 0.2 mm bewegt. Die Verwendung von mindestens M = 55 verschiedener Beleuchtungsmuster h, l₂, ..., I_M gewährleistet in diesem Ausführungsbeispiel die Beleuchtung aller Absorptionslinien. Die Beleuchtungsmuster und die Absorberverteilung werden durch diskrete Vektoren l_m, peR^N

6/14

AT 520 007 B1 2019-09-15 österreichisches

Patentamt dargestellt, wobei die N-Komponenten die Pixel-Werte der Kamera an äquidistanten Punkten bezeichnen. Gemäß Gl. (6) ist das gemessene Signal vom fokussierten Wandler y_m = h* [I_m -p] + e_m for m= 1, ...,M (7) [0040] Ziel ist es, die Absorberverteilung p und, in gewissem Maße, das Beleuchtungsmuster l_maus den Daten zurückzurechnen. Das Produkt H_mE|_m.p entspricht der dem m-ten SpeckleMuster zugeordneten Heizquelle. Die Heizquellen H_m sind (theoretisch) eindeutig durch die Entfaltungsgleichungen (7) bestimmt. Wegen der schlecht konditionierten Dekonvolution mit einem glatten Kern sind diese ungekoppelten Gleichungen jedoch fehlerempfindlich und liefern nur Rekonstruktionen geringer Auflösungen, wenn sie unabhängig und ohne geeignete Regularisierung gelöst werden. Um hochauflösende Rekonstruktionen zu erhalten, wird erfindungsgemäß vorgeschlagen einen Rekonstruktionsalgorithmus zu verwenden, welcher die Tatsache ausnutzt, dass alle H_m aus der gleichen Dichteverteilung p kommen, die auch dünn besetzt (engl. „sparse“) sind, genannt IJOSP-Algorithmus (von engl. „iterative joint sparsity“).

[0041] Numerisch kann dies durch folgende Minimierung

Μ N = 2 ^\h * - y_m(xi)\² + «1 \\H||₂,i m=l i = l (^) + ^\\H\\² ₂ min mit dem FISTA (schneller iterativer Schwellenwertalgorithmus - A. Beck and Μ. Teboulle “A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems,“ SIAM J. Imaging Sei. 2, 183-202 (2009)) umgesetzt werden. Der erste Term in Gl. (8) ist der Datenanpassungsterm, der zweite Term nutzt die dünne Besetzung und Gleichheit der Dichteverteilung p und der letzte Term ist ein Stabilitätsterm, der aus der Tikhonov-Regulierung für generelle inverse Probleme bekannt ist. Wie bei anderen Regulierungsmethoden sind cn und a₂ Regelungsparameter, die für die in Fig. 4 dargestellten Ergebnisse adäquat gewählt werden müssen (¢^=10^-2 und a₂=5*10'⁴). Der die dünne Besetzung und Gleichheit der Dichteverteilung p erzeugende Term

11^112,1 = 1^171^=11^(^)1² (9) liefert bei Minimierung Lösungen, die dünne Besetzung und Gleichheit der Dichteverteilung p bevorzugen. Zunächst wird für jedes einzelne gemessene Pixel die £²-Norm über alle M verschiedenen Beleuchtungsmuster genommen und dann werden diese positiven Werte aufsummiert (N Pixel). Dieser Term begünstigt geblockte dünne Lösungen, was bedeutet, dass er einen niedrigeren Wert für Lösungen hat, die nur an wenigen Stellen von Null abweichen, aber auch noch niedriger wird, wenn diese Einträge ungleich Null für alle Beleuchtungsmuster an der gleichen Stelle liegen.

[0042] Im Folgenden werden die Mess- und Rekonstruktionsergebnisse für die vier absorbierenden Linienpaare dargestellt.

[0043] Fig. 3(a) zeigt die gemessene Oberflächentemperatur T_s(x, t) ohne Verwendung der Schlitzmaske zum Zeitpunkt t. Da die Dicke des Stahlblechs (3 mm) im Vergleich zur Länge der Linienpaare (47 mm) kurz ist, kann das Problem auf ein zweidimensionales Wärmediffusionsproblem reduziert werden. In y-Richtung, parallel zu den Zeilenpaaren, wird der Mittelwert über, in diesem Ausführungsbeispiel, 32 Kamerapixel aufgenommen, um den SNR um einen Faktor a/32 von etwa 25,5 auf 144 für T_s(x, t) zu verbessern. Fig. 3 (b) und (c) zeigen T_s(x, t) für zwei unterschiedliche Beleuchtungsmuster. Fig. 3(d) zeigt die entsprechende zweidimensionale thermografische Rekonstruktion y_m(x), für die beiden unterschiedlichen Beleuchtungsmuster m = 10 und m = 19 in Fig. 3 (b) bzw. (c) sowie die Rekonstruktion y(x) für den Mittelwert in Fig. 3(a). Für eine ordnungsgemäße Funktion des IJOSP-Rekonstruktionsalgorithmus ist es notwendig, dass diese Rekonstruktionen für unterschiedliche Beleuchtungsmuster variieren. Der effektive SNR wird durch die zweidimensionale thermografische Rekonstruktion um einen Faktor erhöht, der gleich der Quadratwurzel der verwendeten Pixel ist. In x-Richtung wurden 320

7/14

AT 520 007 B1 2019-09-15 österreichisches

Patentamt

Kamerapixel verwendet, 6 Pixel für 1 mm auf dem Stahlblech. Daher beträgt der effektive SNR etwa 2580, was die in Fig. 1(c) gezeigte thermografische PSF in einer Tiefe von 3 mm ergibt.

[0044] Fig. 4 zeigt die Rekonstruktionen aus dem Mittelwertsignal aller Speckle-Muster, die dem rekonstruierten Signal ohne die Schlitzmaske entspricht. Eine Richardson-Lucy (R-L) Dekonvolution dieses Signals unter Verwendung der thermografischen PSF in lateraler Richtung und der IJOSP-Rekonstruktion werden verglichen. Der IJOSP erlaubt es, alle Linienpaare, auch das mit einem Abstand von nur 0,6 mm, aufzulösen, während die Richardson-Lucy (R-L)Dekonvolution des Mittelwertsignals nur die beiden Linienpaare mit einem Abstand von 1,3 mm und 2 mm auflösen kann.

[0045] Fig. 5 zeigt die gleichen Rekonstruktionsergebnisse für eine zweidimensionale sternförmige Struktur anstelle von parallelen Linienpaaren. Für die Erstellung der einzelnen Beleuchtungsmuster waren die schlitze der Blende B nicht nur in der y-Richtung verlaufend ausgerichtet, sondern auch um ± 45 ° in der x-y-Ebene geneigt. Bei 55 Beleuchtungsmustern je Schlitzausrichtung ergibt dies 165 Beleuchtungsmuster für die zweidimensionale sternförmige Struktur.

[0046] Zusammenfassend konnte die Auflösung für die Linienpaare mit Hilfe des IJOSPAlgorithmus von 6 mm lateraler Auflösung (Fig. 1 (c)) der PSF auf weniger als 1,6 mm (1 mm Linienbreite und 0,6 mm Linienabstand) verbessert werden, womit sich eine Verbesserung der Auflösung um ungefähr den Faktor vier ergibt. Wie ist eine solche Auflösung möglich, wenn der Informationstransport durch das Stahlblech durch die Entropieproduktion begrenzt ist? Der theoretische Rahmen der Hoch-Auflösung ist eng mit der Theorie von Datenkompression verknüpft, welche die inhärente dünne Besetzung natürlicher Objekte in einer geeigneten mathematischen Basis ausnutzt. Die Menge an Information, die durch das Stahlblech für eine strukturierte Beleuchtung transportiert wird, ist die gleiche, wie für eine homogene Beleuchtung und die Lösung der linearen inversen Gl. (6). Durch Frequenzmischung der Beleuchtungsfrequenzen werden die höheren räumlichen Frequenzen des Objekts nach unten verschoben. Für die Rekonstruktion ist die Beleuchtung entweder bekannt (SIM) oder zusätzliche Information über die abgebildete Struktur, einschließlich Nichtnegativität oder dünne Besetzung werden ausgenutzt (blind-SIM). Für die thermografische Bildgebung ist die dünne Besetzung oft eine gute Annahme auch im realen Raum, auch ohne eine Darstellung in einer anderen Basis zu verwenden. Risse oder Poren sind oft dünn besetzt im Probenvolumen verteilt.

[0047] Zum Vergleich wurde das Linienmuster p unter Berücksichtigung bekannter Beleuchtungsmuster aus Gl. (7) mit Methode der kleinsten Quadrate berechnet. Die Ergebnisse für bekannte Beleuchtungsmuster waren nicht besser als die Ergebnisse für unbekannte Mustern bei Verwendung von IJOSP. Zudem ist auch eine dreidimensionale hochauflösende thermografische Bildgebung unter Verwendung von z.B. Speckle-Mustern für die Beleuchtung möglich, bei der die PSF ist nicht über die abgebildete Region gleichverteilt ist, sondern mit der Tiefe zunimmt.

[0048] Dabei wird eine Licht-streuende Probe, beispielsweise biologisches Gewebe (Fig. 6a, b), mit einem Laser dessen Licht in das Gewebe eindringt und gestreut wird, beleuchtet. Durch den Laser-Puls entstehen durch Interferenz des gestreuten Lichts helle und dunkle Bereiche (LaserSpeckles). Die Größe dieser Speckles hängt von der Lichtwellenlänge, den Streueigenschaften der Probe und der Tiefe des eindringenden Lichtes ab. Diese im Inneren der Probe unbekannten Speckle-Muster sind die unbekannte strukturierte Beleuchtung, die an bestimmten Strukturen, z. B. Blutgefäßen im Gewebe, absorbiert wird und damit zur Heizquelle wird. Durch viele solcher Speckle-Muster und deren Auswertung mit dem IJOSP Algorithmus kann die Licht absorbierende Struktur, als z. B. die Blutgefäße, aus den Infrarotbildern von der Oberfläche mit hoher Auflösung rekonstruiert werden.

[0049] Für die thermografische Rekonstruktion kann auch an Stelle der PSF h(r) aus Gl. (6) direkt auf gemessene zeitabhängige Temperatursignale T_s(r, t) zurückgegriffen werden, die H(r, t) nutzen, wobei H dann auch den zeitlichen Temperaturverlauf der Wärmediffusion umfasst.

Claims

1. Verfahren zur Aufnahme von Wärmebildern einer unter einer Probenoberfläche (P) angeordneten abzubildenden Struktur (S) mit einer die Probenoberfläche (P) aufnehmenden Wärmebildkamera (K), einer Quelle (Q) elektromagnetischer Strahlung zum Beleuchten der abzubildenden Struktur (S) und mit einer Auswerteeinheit (A) zum Auswerten der von der Wärmebildkamera (K) aufgenommenen Oberflächenmessdaten, dadurch gekennzeichnet, dass die abzubildende Struktur (S) zur verbesserten Rekonstruktion mit einer unbekannt strukturierten Beleuchtung angestrahlt und damit erwärmt wird, wobei zur Auswertung der Struktur (S) mehrere Bilder verwendet werden und die Struktur (S) je Bild mit einer anders strukturierten Beleuchtung angestrahlt wird und dass zum Errechnen der abzubildenden Struktur (S) aus den mit der Wärmebildkamera (K) aufgenommenen Bildern ein nicht-linearer iterativer Auswerte-Algorithmus verwendet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die mit der Wärmebildkamera (K) für jeden Bildpunkt gemessenen zeitabhängigen Temperatursignale T_s(r, t) als Funktion des Ortes r und der Zeit t in virtuelle akustische Wellen umgewandelt werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in einem anschließenden Schritt ein Ultraschall-Rekonstruktionsverfahren verwendet wird um die Raumfunktion y(r) der Struktur (S) aus den virtuellen akustischen Wellen zu rekonstruieren.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in einem weiteren anschließenden Schritt ein eine Punktantwort (PSF) benötigender IJOSP-Algorithmus für die thermografische Rekonstruktion der Struktur verwendet wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für jedes von der Wärmebildkamera aufgenommene Bild eine Punktantwort (PSF) aus dem Signalrauschabstand (SNR) und dem Abstand der abzubildenden Struktur (S) von einer Oberfläche abgeleitet wird, wobei Frequenzen der Signalamplituden der Punktantwort (PSF) die unter den Rauschpegel fallen auf Null gesetzt werden.

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Punktantwort (PSF) aus der Rekonstruktion einer kleinen punktförmigen Struktur in einer bestimmten Tiefe bestimmt wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Quelle (Q) elektromagnetischer Strahlung eine kohärente Lichtquelle, ein Laser oder eine Mikrowelle ist.

8. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Quelle (Q) elektromagnetischer Strahlung eine nicht kohärente Lichtquelle ist, welche die abzubildende Struktur (S) über eine Blende (B) beleuchtet und dass unterschiedliche Blendeneinstellungen je Bild die anders strukturierte Beleuchtung je Bild gewährleisten.