DE112013002529T5

DE112013002529T5 - Bildschätzverfahren, Programm, Aufzeichnungsmedium, Bildschätzvorrichtung, Netzwerkeinrichtung und Verfahren zum Erhalten von Bilddaten

Info

Publication number: DE112013002529T5
Application number: DE112013002529.9T
Authority: DE
Inventors: c/o CANON KABUSHIKI KAISHA Eguchi Akira
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-05-16
Filing date: 2013-05-15
Publication date: 2015-01-29
Also published as: JP6039236B2; JP2013239061A; WO2013172477A1; US20150062325A1

Abstract

Ein Bildschätzverfahren ist konfiguriert, Bilddaten eines Objekts, die an N verschiedenen Positionen zj aufgenommen wurden, die voneinander mit einem Abstand Δz in einer Richtung der optischen Achse aufgenommen wurden, zu verwenden und Bilddaten an einer Position z in der Richtung der optischen Achse zu schätzen. N ist eine Ganzzahl von 2 oder größer. Das Bildschätzverfahren enthält die Schritte des Bildkonversionsschritts des Durchführens einer Frequenzkonversion von N Sätzen von Bilddaten in der Richtung der optischen Achse, und des Berechnens von N Sätzen von konvertierten Bilddaten, und einen Kopplungsschritt des Multiplizierens der N Sätze von konvertierten Bilddaten mit einer komplexen Zahl, die für die N Sätze von konvertierten Bilddaten basierend auf z und Δz bestimmt wurde, und des Aufsummierens der multiplizierten Ergebnisse.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Bildschätzverfahren, ein Programm, ein Aufzeichnungsmedium, eine Bildschätzvorrichtung, eine Netzwerkeinrichtung und ein Verfahren zum Erhalten von Bilddaten, die jeweils verwendet werden, um ein Bild an einer beliebigen Fokusposition zu schätzen.
Stand der Technik
Ein virtuelles Diasystem verwendet eine digitale Bildaufnahmevorrichtung, die virtuelles Dia genannt wird, um ein digitales Bild eines Objekts zu erhalten. In dem medizinischem Gebiet, wird im Allgemeinen eine Probe, die bedeckt ist und durch ein optisches Element fixiert ist (Deckglas) (vorbereitete Probe: Präparat) als ein Objekt verwendet. Das virtuelle Dia enthält ein optisches Mikroskopsystem, einen Bildsensor und einen Informationsprozessor, konvertiert die vorbereitete Probe in ein digitales Bild und speichert die sich ergebenden Daten. Dieser Typ von Vorrichtung speichert ein digitales Bild der vorbereiteten Probe und ermöglicht es nur, ein aufgenommenes Bild an der Fokusposition anzuschauen, nachdem das Bild aufgenommen wurde. Ein Arzt bestimmt oft eine dreidimensionale Struktur der Probe unter Verwendung einer Vielzahl von Bildern, die an verschiedenen Fokuspositionen erhalten wurden, und deswegen ist eine Vielzahl von Bildern, die an verschiedenen Fokuspositionen aufgenommen wurden, nötig.
Das Erhalten von vielen Bildern benötigt eine längere Aufnahmezeit und eine größere Menge an Daten. Es ist deshalb wünschenswert, die Anzahl von aufgenommenen Bildern zu minimieren. Jedoch könnte die reduzierte Anzahl von aufgenommenen Bildern dazu führen, dass man nicht in der Lage ist, ein Bild an einer Fokusposition bereitzustellen, die von dem Arzt in der Diagnose verlangt wird. Als ein Verfahren zum Vermitteln zwischen den zwei Anforderungen zum Reduzieren der Anzahl von aufgenommenen Bildern und zum Bereitstellen eines Bildes an einer beliebigen Fokusposition sind Verfahren vorgeschlagen worden, bei denen ein Bild an einer notwendigen Fokusposition unter Verwendung von einer Bildverarbeitung geschätzt wird (PLT1 und NPLT1).
PLT1 schlägt ein Verfahren zum Schätzen eines Bildes unter Verwendung eines Defokusfilters eines optischen Systems für Bilder vor, die an einer Vielzahl von Fokuspositionen aufgenommen wurden. NPLT1 schlägt ein Verfahren zum Ausdrücken eines Bildes unter Verwendung einer Funktion einer Fokusposition z und zum Schätzen eines ungefähren Bildes durch Expandieren eines z-Polynoms vor.
Referenzliste
Patentliteratur

[PTL 1] Japanisches offengelegtes Patent Nummer 2001-223874

Nicht-Patentliteratur

[NPTL 1] Kenji Yamazoe and Andrew R. Neureuther, ”Modeling of through-focus aerial image with aberration and imaginary mask edge effects in optical lithography simulation” Applied Optics, Vol. 50, No. 20, pp. 3570–3578, 10 July 2011, USA

Zusammenfassung der Erfindung
Technisches Problem
Gemäß dem Verfahren nach PLT1 wird eine Information über den Defokusfilter des optischen Systems im Voraus benötigt und deswegen wird eine mühsame vorläufige Messung oder ähnliches benötigt. Ferner ist dieses Verfahren nicht anwendbar auf ein partiell kohärentes Abbildungssystem wie einem Mikroskop. Gemäß dem Verfahren von NPLT1 ist die Funktion für die Expansion ein z-Polynom und das so erhaltene Bild ist eine angenäherte Lösung. Es ist deswegen für eine verbesserte Präzision der Annäherung nötig, zu einer hohen Ordnung zu expandieren, und eine sehr lange Berechungszeit wird benötigt.
Die vorliegende Erfindung stellt ein Bildschätzverfahren, ein Programm, ein Aufnahmemedium, eine Bildschätzvorrichtung, eine Netzwerkeinrichtung und ein Verfahren zum Erhalten von Bilddaten bereit, die jeweils verwendet werden, um einfach und präzise ein Bild an einer beliebigen Fokusposition zu schätzen.
Lösung des Problems
Ein Bildschätzverfahren gemäß der vorliegenden Erfindung ist konfiguriert, eine Betriebseinheit und Bilddaten eines Objekts zu verwenden, die von einer Bildaufnahmevorrichtung, die ein optisches Bildaufnahmesystem enthält, an N verschiedenen Positionen z_j (1 ≤ j ≤ N), die von einander mit einem Abstand Δz in einer Richtung der optischen Achse des optischen Bildaufnahmesystems beabstandet sind, aufgenommen wurden, und Bilddaten an einer Position z (z_min ≤ z ≤ z_max) in der Richtung der optischen Achse zu schätzen. N ist eine Ganzzahl, die 2 oder größer ist, z_min ist ein Minimalwert von z, und z_max ist ein Maximalwert von z. Das Bildschätzverfahren enthält die Schritte eines Bildkonversionsschritts zum Durchführen einer Frequenzkonversion für N Sätze von Bilddaten in der Richtung der optischen Achse, und des Berechnens von N Sätzen von konvertierten Bilddaten, und einen Kopplungsschritt des Multiplizierens der N Sätze von konvertierten Bilddaten mit einer komplexen Zahl, die für die N Sätze von konvertierten Bilddaten basierend auf z_min, z_max, z und Δz bestimmt wurde, und ein Aufsummieren der multiplizierten Ergebnisse.
Weitere Merkmale und Aspekte der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen mit Bezug auf die angehängten Zeichnungen offenbart.
Vorteilhafte Effekte der Erfindung
Die vorliegende Erfindung kann ein Bildschätzverfahren, ein Programm, ein Aufnahmemedium, eine Bildschätzvorrichtung, eine Netzwerkeinrichtung und ein Verfahren zum Erhalten von Bilddaten bereitstellen, die jeweils verwendet werden, um einfach und präzise ein Bild an einer beliebigen Fokusposition zu schätzen.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm eines virtuellen Dias gemäß den ersten bis achten Ausführungsbeispielen der vorliegenden Erfindung.
2 ist ein Flussdiagramm einer Bildaufnahme eines Objekts, um das Bild gemäß den ersten bis achten Ausführungsbeispielen der vorliegenden Erfindung anzuzeigen.
3 ist ein Flussdiagramm einer Bildaufnahme gemäß den ersten bis achten Ausführungsbeispielen der Erfindung.
4A und 4B sind optische Systeme zum Erklären eines Prinzips gemäß den ersten bis achten Ausführungsbeispielen der vorliegenden Erfindung.
5 illustriert einen Querschnitt bei f_y = 0 einer CTF gemäß den ersten bis achten Ausführungsbeispielen.
6 ist eine Amplitudentransmissionsverteilung des Objekts gemäß den ersten bis achten Ausführungsbeispielen.
7 illustriert Objektbilder, die bei verschiedenen Fokuspositionen gemäß den ersten bis achten Ausführungsbeispielen erhalten wurden.
8A und 8B illustrieren geschätzte Bilder, die durch ein Bildschätzverfahren gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung erhalten wurden.
9 ist ein Graph, der eine Beziehung zwischen einer Fokusposition und PSNR für Bildschätzungen durch das Bildschätzverfahren gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
10A und 10B illustrieren geschätzte Bilder, die durch ein Bildschätzverfahren gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung erhalten wurden.
11 ist ein Graph, der eine Beziehung zwischen einer Fokusposition und PSNR für Bildschätzungen durch das Bildschätzverfahren gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
12 ist ein Flussdiagramm eines Bildschätzverfahrens gemäß den dritten und vierten Ausführungsbeispielen der vorliegenden Erfindung.
13A und 13B illustrieren geschätzte Bilder, die durch ein Bildschätzverfahren gemäß dem dritten Ausführungsbeispiel der vorliegenden Erfindung erhalten wurden.
14 ist ein Graph, der eine Beziehung zwischen einer Fokusposition und PSNR einer Bildschätzung des Bildschätzverfahrens gemäß dem dritten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
15A und 15B illustrieren geschätzte Bilder, die durch ein Bildschutzverfahren gemäß dem vierten Ausführungsbeispiel der vorliegenden Erfindung erhalten wurden.
16 ist ein Graph, der eine Beziehung zwischen einer Fokusposition und PSNR für Bildschätzungen durch das Bildschätzverfahren gemäß dem vierten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
17A und 17B illustrieren geschätzte Bilder, die durch ein Bildschätzverfahren gemäß dem fünften Ausführungsbeispiel der vorliegenden Erfindung erhalten wurden.
18 ist ein Graph, der eine Beziehung zwischen einer Fokusposition und PSNR für Bildschätzungen durch das Bildschätzverfahren gemäß dem fünften Ausführungsbeispiel der vorliegenden Erfindung illustriert.
19A und 19B illustrieren geschätzte Bilder, die durch ein Bildschätzverfahren gemäß dem sechsten Ausführungsbeispiel der vorliegenden Erfindung erhalten wurden.
20 ist ein Graph, der eine Beziehung zwischen einer Fokusposition und PSNR für Bildschätzungen durch das Bildschätzverfahren gemäß dem sechsten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
21 ist ein Graph, des schlechtesten PSNR Werts, der durch Ändern des Bilderhalteabstands Δz und einer Größe einer zentralen Abschirmung ε einer Pupille eines optischen Bildaufwärmsystems gemäß dem siebten Ausführungsbeispiel gefunden wurde.
22 ist ein Graph des Bilderhalteabstands Δz mit dem schlechtesten PSNR Wert von 35 dB der durch Ändern einer Größe einer zentralen Abschirmung ε einer Pupille in einem optischen Bildaufnahmesystem gemäß dem siebten Ausführungsbeispiel gefunden wurde.
23 ist ein Graph des schlechtesten PSNR Werts, der durch Ändern des Bilderhalteabstands Δz und einer Größe einer zentralen Abschirmung ε einer Pupille in einem optischen Beleuchtungssystem gemäß einem achten Ausführungsbeispiel gefunden wurde.
24 ist ein Graph des Bildaufnahmeschritts Δz mit dem schlechtesten PSNR Wert von 35 dB, der durch Ändern einer Größe einer zentralen Abschirmung ε einer Pupille eines optischen Bildaufnahmesystems gemäß einem achten Ausführungsbeispiel gefunden wurde.
25 ist ein Flussdiagramm eines Betriebs beim Bestimmen einer Anzeigeposition von einer Netzwerkeinrichtung gemäß einem neunten Ausführungsbeispiel der vorliegenden Erfindung.
Beschreibung von Ausführungsbeispielen
Die vorliegende Erfindung bezieht sich auf ein Bildschätzverfahren, das konfiguriert ist, ein Bild an einer beliebigen Position basierend auf Bildern einer Probe, die durch eine Bildaufnahmevorrichtung, die ein optisches Bildaufnahmesystem enthält, aufgenommen wurden. Das Bildschätzverfahren ist als ein computerausführbares Programm implementiert und kann in einem Aufzeichnungsmedium etc. aufgenommen werden.
Das Bild kann in der Bildaufnahmevorrichtung oder einer Bildschätzvorrichtung (Computer), die mit dem Speicher (Speichereinheit) verbunden ist, und der konfiguriert ist, die durch die Bildaufnahmevorrichtung aufgenommenen Bilder zu speichern, geschätzt werden. Die Bildaufnahmevorrichtung kann als eine Bildschätzvorrichtung dienen. Ein erhaltenes Bild kann auf einer Anzeigeeinheit angezeigt werden, die mit der Bildaufnahmevorrichtung oder der Bildschätzvorrichtung oder einer Netzwerkeinrichtung, die durch ein Netzwerk, wie zum Beispiel einem LAN, WAN und Internet verbunden ist, angezeigt werden. In diesem Fall kann das Bildschätzverfahren ”Cloudcomputing” verwenden, und die Netzwerkeinrichtung kann ein Desktop-Personalcomputer (”PC”) sein, der konfiguriert ist, eine Position zu bestimmen (einzugeben) und die Bilddaten zu empfangen, und kann mit einer Anzeigeeinheit, wie zum Beispiel einer Anzeige, verbunden sein. Alternativ kann die Netzwerkeinrichtung ein tragbares Endgerät, wie zum Beispiel wie ein iPad^®, ein Laptop PC, oder ein dediziertes Endgerät wie zum Beispiel ein PDA sein, das eine Anzeigeeinheit enthält, wie zum Beispiel einen Touchscreen. Dadurch ist eine Diagnose aus der Ferne verfügbar.
1 ist ein Blockdiagramm eines virtuellen Dias gemäß den Ausführungsbeispielen der vorliegenden Erfindung. Das virtuelle Dia enthält eine Bildaufnahmeeinheit (Vorrichtung) 100, eine Steuereinheit 200, eine Informationsverarbeitungseinheit (Bildschätzvorrichtung) 400.
Die Steuereinheit 200 enthält eine Transporteinheit 201 und eine Steuereinheit 202. Die Transporteinheit 201 bewegt ein Objekt 103 auf einem bewegbaren Objekttisch 102 unter einer Anweisung der Steuereinheit 202. Der bewegbare Objekttisch 102 kann sich in der Richtung der optischen Achse gemäß der Anweisung der Steuereinheit 202 bewegen. Der bewegbare Objekttisch 102 kann sich auch in eine Richtung senkrecht zu der optischen Achse bewegen. Bilder können unter Verwendung des bewegbaren Objekttischs 102 an verschiedenen Fokuspositionen erhalten werden.
Die Bildaufnahmeeinheit 100 ist konfiguriert, das Bild des Objekts 103 zu erhalten, und enthält ein optisches Beleuchtungssystem 101, den bewegbaren Objekttisch 102, ein optisches System (optisches Bildaufnahmesystem) 104, und einen Bildsensor 105.
Das Objekt 103, das auf dem bewegbaren Objekttisch 102 platziert ist, wird durch das optische Beleuchtungssystem 101 beleuchtet, und ein vergrößertes optisches Bild des Objekts wird auf dem Bildsensor durch das optische System 104 gebildet. Der Bildsensor 105 ist ein photoelektrischer Konverter (photoelektrisches Konversionselement), das konfiguriert ist, photoelektrisch das vergrößerte optische Bild des Objekts zu konvertieren. Das elektrische Signal, das von dem Bildsensor 105 ausgegeben wird, wird als Bilddaten zu der Informationsverarbeitungseinheit 400 übertragen.
Die Informationsverarbeitungseinheit 400 enthält einen Computer (Betriebseinheit) 401, einen Bildprozessor 402, eine Datenspeichereinheit (Speicher) 403, und eine Anzeigeeinheit 404.
Der Bildprozessor 402 konvertiert die von dem Bildsensor 105 gesendeten Daten in ein digitales Signal. Das digitale Signal wird Helligkeitssignal genannt. Der Bildprozessor 402 führt eine Bildverarbeitung wie zum Beispiel eine Rauschreduzierung und eine Kompression für Bilddaten durch, die in das Helligkeitssignal konvertiert wurden, und sendet es an den Computer 401. Der Computer 401 leitet die übertragenen Daten an den Datenspeicher 403 weiter. Der Datenspeicher 403 speichert die gesendeten Bilddaten. Bei der Diagnose liest der Computer 401 die Bilddaten aus dem Datenspeicher 403. Der Computer 401 führt die Bildverarbeitung für die gelesenen Bilddaten durch und konvertiert sie in Bilddaten an der durch den Nutzer bestimmten Fokusposition. Die konvertierten Bilddaten werden an die Anzeigeeinheit 404 weitergeleitet, und das Bild wird dargestellt.
Der Computer 401, der Bildprozessor 402, der Datenspeicher 403, die Anzeigeeinheit 404 und die Steuereinheit 202 können in einem Computer enthalten sein. Die Daten können in einem externen Server gespeichert werden, der mit einem Netzwerk 450 verbunden ist, und in diesem Fall kann eine Vielzahl von Personen aus der Ferne auf die Daten zugreifen. Der Computer 401 ist mit einer Vielzahl von Netzwerkeinrichtungen durch das Netzwerk 450 verbunden. Diese Netzwerkeinrichtungen enthalten einen Laptop PC 460, einen Desktop PC 462, ein tragbares Endgerät 464, das eine Touchscreenfunktion hat, und ein dediziertes Endgerät 466 wie zum Beispiel einen PDA.
Die Netzwerkeinrichtung hat eine Betriebseinheit, eine Anzeigeeinheit, eine Bestimmungseinheit, eine Kommunikationseinheit und eine Speichereinheit. Die Betriebseinheit ist ein Computer (Prozessor), der konfiguriert ist, jede Komponente zu steuern und notwendige Abläufe bereitzustellen. Die Anzeigeinheit kann mit einem Gehäuse von jedem der Netzwerkeinrichtungen 460, 464 und 466 integriert sein, oder es kann eine Anzeigeeinheit oder ähnliches sein, die mit der Netzwerkeinrichtung, wie z. B. der Netzwerkeineinrichtung 462, verbunden ist. Die Bestimmungseinheit enthält eine Eingabeeinheit wie zum Beispiel einen Touchscreen, eine Tastatur, einen StylusPen, eine Maus usw., die konfiguriert ist, es dem Nutzer zu ermöglichen, eine beliebige Position z in der Richtung der optischen Achse des optischen Systems 104 zu bestimmen. Die Kommunikationseinheit ist mit dem Netzwerk 450 verbunden, überträgt Information der Position z zu der Bildschätzvorrichtung, und empfängt Information der Bilddaten des Objekts 103 an der Position z von der Bildschätzvorrichtung. Die Information der Bilddaten kann ein Standbild wie zum Beispiel JPEG oder eine Funktion I(x, y, z) sein, die eine Helligkeitsverteilung (Verteilung von Pixelwerten) repräsentiert, wie später beschrieben wird. Die Speichereinheit ist ein Speicher, der ein Anwendungsprogramm speichert, das konfiguriert ist, es zu ermöglichen, dass die Position z bestimmt wird. Jede der Netzwerkeinrichtungen 460, 464 und 466 enthält ferner eine Anzeigeinheit, die konfiguriert ist, das Bild an der Position z auf der Basis einer Information von den Bilddaten anzuzeigen, die durch die Kommunikationseinheit empfangen wurden.
2 ist ein Flussdiagramm von einer Bildaufnahme des Objekts bis zum Anzeigen des Bilds. ”S” steht für den Schritt, und das gilt auch für die anderen Flussdiagramme. Das Erhalten eines vergrößerten Bilds des Objekts 103 als die Bilddaten unter Verwendung des Bildsensors 105, des Bildprozessors 402 und des Computers 401 wird als die Bildaufnahme bezeichnet.
In S1 wird das Objekt 103 auf den bewegbaren Objekttisch 102 unter Verwendung der Transporteinheit 201 installiert, und in S2 wird das Bild des Objekts 103 an einer Vielzahl von Fokuspositionen erhalten. In S3 wird eine Serie von aufgenommenen Bildern in dem Datenspeicher 403 gespeichert. In S4, bei der Diagnose, werden die gespeicherten Daten ausgelesen. Wenn die Bildaufnahme und die Diagnose des Objekts 103 gleichzeitig durchgeführt werden, können die Daten temporär gespeichert werden. In S5 stellt der Nutzer eine gewünschte Fokusposition ein. Ein voreingestellter Wert kann für die Fokusposition ausgelesen werden, oder die Fokusposition kann basierend auf einer Oberflächenform der Probe berechnet werden, die in der vorläufigen Messung erhalten wurde. In S6 wird das Bild an einer eingestellten Fokusposition geschätzt. In S7 wird das geschätzte Bild zu der Anzeigeinheit 404 gesendet und auf ihr angezeigt. Die Bildaufnahme und die Anzeige des Bilds werden gemäß dem obigen Fluss durchgeführt.
Eine detaillierte Beschreibung wird nun von der Bildaufnahme des Objekts 103 in S2 gegeben. 3 ist ein Flussdiagramm der Bildaufnahme.
Zunächst werden in S201 ein Bereich und eine Bewegungsmenge der Objekttischposition in der Richtung der optischen Achse (z-Richtung) eingestellt. z_j bezeichnet eine Defokusmenge in der Ausbreitungsrichtung des sich gradlinig bewegenden Lichts, und eine Position konjugiert zu dem Bildsensor 105 mit Bezug auf das optische System 104 wird als ein Ursprung eingestellt. z_j ist synonym mit der Fokusposition und der Objekttischposition in der Richtung der optischen Achse. Ein Bereich z_max ~ z_min von z_j, in dem Bilder in S201 erhalten werden, und eine Bewegungsmenge (Abstand) Δz des Objekttischs, die verwendet werden, um ein Bild zu erhalten, werden eingestellt.
Mit anderen Worten wird das Objekt unter Verwendung des optischen Systems 104 an N verschiedenen Positionen z_j (1 ≤ j ≤ N) aufgenommen, die durch den Abstand Δz in der Richtung der optischen Achse des optischen Systems 104 bestimmt werden, und die Bilddaten des Objekts 103 werden erhalten. Ein Maximalwert von z_j ist z_max und ein Minimalwert von z_j ist z_min.
Diese Werte können basierend auf der Oberflächenform einer Probe eingestellt werden, die im Voraus vor S201 gemessen wurde, oder sie können beliebig durch den Nutzer eingestellt werden. Ein voreingestellter Wert, der vorbereitet wurde, kann verwendet werden. Als nächstes wird der bewegbare Objekttisch 102 in S201 zu der Position z_min bewegt, und in S203 wird das Bild des Objekts 103 erhalten. Nachdem die Bildaufnahme geendet hat, wird der bewegbare Objekttisch 102 um Δz in S203 bewegt, und das Bild wird in S205 erhalten. S204 und S205 werden wiederholt, bis die Position des bewegbaren Objekttischs 102 z_max erreicht oder darüber hinaus geht. Dadurch wird eine Vielzahl von N Sätzen von Bilddaten des Objekts 103 an verschiedenen Fokuspositionen erhalten.
Ein Bewegungsverfahren des bewegbaren Objekttischs 102 ist nicht auf das obige Verfahren beschränkt. Zum Beispiel wird in S202 der bewegbare Objekttisch 102 auf z_max bewegt und dann um –Δz, um so Bilder zu erhalten.
Gemäß der vorliegenden Erfindung wird ein Bild an einer beliebigen Fokusposition basierend auf Bilddaten, die an einer Vielzahl von Fokuspositionen erhalten wurden, geschätzt. Das Prinzip wird beschrieben.
Eine Beschreibung eines Ausdrucks wird gegeben, der eine Intensitätsverteilung eines optischen Bilds gibt, das auf der Bildsensorebene durch das optische Bildaufnahmesystem gebildet wird.
4A und 4B illustrieren ein optisches System, um das Prinzip zu erklären. 4A illustriert das optische System, wenn ein Bild des Objekts 501 durch das optische Bildaufnahmesystem 502 auf einem Bildsensor 503 gebildet wird. 4B illustriert das optische System, wenn das Objekt 501 von der ursprünglichen Position 504 in der Richtung der optischen Achse um z relativ zu 4A verschoben wird.
Zunächst wird angenommen, dass das Beleuchtungslicht perfekt kohärent und vertikal einfallendes Licht ist. Ein Abbildungsausdruck, wenn das Bild des Objekts 501 auf dem Bildsensor 503 gebildet wird, ist wie folgt gegeben: Ausdruck 1
I(x, y) ist eine Bildintensitätsverteilung auf dem Bildsensor 503, und O(f_x, f_y) ist eine Verteilung gebeugten Lichts aus dem Objekt. P(f_x, f_y) ist eine Pupillenfunktion des optischen Systems, x und y bilden eine orthogonale Koordinate senkrecht zu der optischen Achse auf der Bildebene, f_x ist eine räumliche Frequenz in der x-Richtung, f_y ist eine räumliche Frequenz in der y-Richtung, und
bezeichnet eine Fourier-Transformation. ”2” des tiefgestellten Index von
bedeutet eine zweidimensionale Fourier-Transformation (Frequenzkonversion) in den zwei orthogonalen x- und y-Richtungen, die senkrecht zu der Richtung der optischen Achse sind, und ”–1” des hochgestellten Index bedeutet eine inverse Fourier-Transformation (inverse Frequenzkonversion). Wie in 4B illustriert, wird der Abbildungsausdruck wie folgt angegeben, wenn sich das Objekt 501 um z in der Richtung der optischen Achse bewegt: Ausdruck 2
P(f_x, f_y; z) wird ausgedrückt durch Ausdruck 3 als eine Pupillenfunktion, die mit einer Defokusabberation äquivalent zu der Defokussierung des Objekts bereitgestellt ist: Ausdruck 3
Darin bedeutet λ eine Wellenlänge des Beleuchtungslichts, NA bedeutet eine numerische Apertur des optischen Bildaufnahmesystems auf der Objektseite, k_z0 ist eine z-Richtungskomponente der Wellenzahl des Beleuchtungslichts, und k_z ist eine z-Richtungskomponente der Wellenzahl des gebeugten Lichts. f_r = (f_x ² + f_y ²)^1/2 gilt. Der Einfachheit halber wird angenommen, dass die Vergrößerung eins ist (gleiche Vergrößerung). Es wird auch angenommen, dass die Pupillenebene in dem optischen Bildaufnahmesystem eine kreisförmige Abschirmung im Zentrum hat, und dass ihr Radius ε mal so groß wie der Radius der Pupille ist. Dieses Ausführungsbeispiel nimmt an, dass das Licht nahe dem Zentrum der Pupillenebene abgeschirmt ist, aber die vorliegende Erfindung ist nicht auf dieses Ausführungsbeispiel beschränkt. Ein ähnlicher Effekt kann erwartet werden, solange die Lichtintensität nahe dem Zentrum der Pupillenebene niedriger als die der Peripherie ist. Es ist unnötig, die Abschirmung auf der Pupillenebene des optischen Bildaufnahmesystems anzuordnen. Die Abschirmung ist nicht notwendigerweise kreisförmig. Ein Filter, der so ausgelegt ist, dass die Lichtintensitätsverteilung auf der Pupillenebene nahe dem Zentrum niedrig wird, kann in dem optischen Pfad des optischen Bildaufnahmesystems angeordnet werden. Wenn es keine zentrale Abschirmung gibt, kann ein Wirbel in Ausdruck 3 weggelassen werden.
Eine z-Richtungskomponente einer Wellenzahl wird durch Ausdrücke 4 und 5 ausgedrückt: Ausdruck 4
Ausdruck 5
f_x0 und f_y0 sind Werte, die durch Teilen einer Wellenzahlkomponente in sowohl der x-Richtung als auf der y-Richtung des einfallenden Lichts durch 2π erhalten werden. f_r0 = (f_x0 ² + f_y0 ²)^1/2 gilt. Bei dem vertikalen Einfall, gilt f_x0 = f_y0 = 0. Eine Circ-Funktion wird durch Ausdruck 6 ausgedrückt: Ausdruck 6
Die an verschiedenen Fokuspositionen erhaltenen Bilddaten entsprechen I(x, y, z) des Ausdrucks 2, die mit verschiedenen z erhalten werden. Der Ausdruck 2 betrachtet, dass sich das Objekt in der Richtung der optischen Achse bewegt, aber eine ähnliche Diskussion ist auch anwendbar, wenn der Bildsensor in der Richtung der optischen Achse bewegt wird.
Nun nehme man ein Gebiet an, in dem das Spektrum von I(x, y, z) nicht 0 ist. Wenn I(x, y, z) für jede Koordinate Fourier-transformiert wird, wird Ausdruck 2 in Ausdruck 7 modifiziert:
Dabei wird CTF(f_x, f_y, f_z) durch Ausdruck 8 ausgedrückt, der eine Funktion ist, die durch eine Fourier-Transformation einer Pupillenfunktion mit Bezug auf z gemacht wird, und eine Charakteristik des optischen Bildaufnahmesystems repräsentiert. ⊗ bezeichnet ein Faltungsintegral, und der tiefgestellte Index 3 bedeutet Faltungsintegrale für drei Koordinaten von f_x, f_y, und f_z. Der hochgestellte Index * bedeutet komplex-konjugiert. Der tiefgestellte Index 3 von
bedeutet eine dreidimensionale Fourier-Transformation für drei Koordinaten x, y und z: Ausdruck 8
5 illustriert einen Querschnitt bei f_y = 0 von CTF(f_x, f_y, f_z). Gemäß Ausdruck 8 ist CTF ein Produkt zwischen der Circ-Funktion und der δ-Funktion. Gemäß der Charakteristik der δ-Funktion wird CTF nicht 0 nur auf der gekrümmten Oberfläche, die f_z + 1/λ – (1/λ² – f_r ²)^1/2 = 0 erfüllt. Dies entspricht einer sphärischen Oberfläche mit einem Zentrum von f_z = –1/λ und einem Radius von 1/λ in dem Raumfrequenzraum. Zusätzlich wird gemäß der Charakteristik der Circ-Funktion CTF(f_x, f_y, f_z) nicht 0 nur wenn NAε/λ ≦ f_r ≦ NA/λ erfüllt wird. Daher wird CTF(f_x, f_y, f_z) nicht 0 nur in dem Bereich der dicken Linienteile in 5. Gemäß 5 ist der Bereich von f_z, in dem CTF(f_x, f_y, f_z) nicht 0 wird, auf einen Fall beschränkt, in dem Ausdruck 9 erfüllt wird: Ausdruck 9
Weil O(f_x, f_y) im Allgemeinen nicht 0 in dem gesamten Bereich des Raumfrequenzraums wird, ist der Bereich, in dem das Spektrum von I(x, y, z) nicht 0 wird, durch den Bereich bestimmt, in dem CTF(f_x, f_y, f_z) nicht 0 wird. Um den Bereich klarzustellen, in dem das Spektrum von I(x, y, z) nicht 0 wird, nehme man O(f_x, f_y) = 1 an. Dann wird das Spektrum von I(x, y, z) durch die Autokorrelation von CTF(f_x, f_y, f_z) ausgedrückt. Als ein Ergebnis der Autokorrelation definiert Ausdruck 10 einen Bereich von f_z, durch den das Spektrum von I(x, y, z) nicht 0 wird: Ausdruck 10
Das Ergebnis wird mit beliebigen O(f_x, f_y) angegeben. Ausdruck 11 wird für ein partiell kohärentes Abbildungssystem an Stelle des Ausdrucks 2 verwendet: Ausdruck 11
S(f_x0, f_y0) ist eine Intensitätsverteilung der effektiven optischen Quelle. Die effektive optische Quelle ist eine Lichtintensitätsverteilung, die auf der Pupillenebene des optischen Abbildungssystems gebildet wird, wenn es keine Probe gibt. Weil die Pupillenfunktion P in dem Ausdruck 11 einer parallelen Bewegung um f_x0 und f_y0 der Pupillenfunktion in Ausdruck 3 entspricht, ist die Form von CTF(f_x, f_y, f_z), die aus der Pupillenfunktion P in Ausdruck 11 abgeleitet wird, die gleiche wie die dicken Linien, die in 5 illustriert sind. Deswegen ist der Bereich von f_z, in dem das Spektrum nicht 0 ist, ähnlich wie bei der vollständigen Kohärenz als der Ausdruck des Absolutwertquadrats der integrierten Funktion in dem Ausdruck 11 bestimmt. Der Ausdruck 10 gibt den Bereich von f_z an, in dem das Spektrum von I(x, y, z) nicht 0 in dem partiell kohärenten Abbildungssystem wird.
Das inkohärente Abbildungssystem ist äquivalent zu S(f_x0, f_y0) = 1, und der Ausdruck 10 definiert den Bereich von f_z, in dem das Spektrum von I(x, y, z) in dem inkohärenten Abbildungssystem nicht 0 wird.
Wie vorstehend beschrieben, ist der Bereich von f_z, in dem das Spektrum von I(x, y, z) nicht 0 wird, durch den Ausdruck 10 beschränkt, unabhängig von dem Bildaufnahmeverfahren.
Eine Beschreibung eines Verfahrens zum Schätzen eines Bildes an einer beliebigen Fokusposition wird gegeben. Die folgende Beschreibung behandelt I(x, y, z) als eine Helligkeitsverteilung der Bilddaten, die an der Fokusposition z erhalten werden. Zur Vereinfachung wird z_min = 0 angenommen. ”z” von dem folgenden Ausdruck kann durch z – z_min ersetzt werden, falls z_min ≠ 0.
Eine Fourierreihenexpansion (komplexe Fourierreihenexpansion) wird für I(x, y, z) unter Verwendung von ”i” als einer imaginären Einheit mit Bezug auf z gemäß dem Ausdruck 12 durchgeführt: Ausdruck 12
I'(x, y; f_zn) ist ein Fourier-Koeffizient (komplexer Fourier-Koeffizient), der durch eine diskrete Fourier-Transformation berechnet wird, die durch Ausdruck 13 basierend auf den Bilddaten I(x, y, z_j) ausgedrückt wird, die an verschiedenen Fokuspositionen erhalten werden. Weil ein Bereich von z, in dem Bildern erhalten werden, endlich ist, wird die Raumfrequenz f_z in der z-Richtung diskret f_zn (f_zn = n/(z_max – z_min + Δz)), und wird bestimmt durch Ausdruck 14 basierend auf dem Bereich z_max – z_min von z_j. ”n” ist eine Ganzzahl, die verwendet wird, um den Fourier-Koeffizienten I'(x, y; f_zn) zu bezeichnen und erfüllt N/2 ≤ n ≤ N/2: Ausdruck 13
Ausdruck 14
N bezeichnet die Anzahl von aufgenommenen Bildern, die gleich oder größer als zwei ist. Weil I'(x, y; f_zn) nicht 0 nur in dem Bereich wird, in dem der Ausdruck 10 erfüllt ist, ist der Ausdruck 12 identisch zu der Reihe innerhalb eines Bereichs von –n₀ ~ n₀ in Ausdruck 15: Ausdruck 15
Hierbei ist n₀ ein Maximum von n, das Ausdruck 16 erfüllt: Ausdruck 16
Der folgende Ausdruck wird durch Teilen von beiden Seiten des Ausdrucks 16 durch (z_max – z_min + Δz) basierend auf Ausdruck 14 erhalten: Ausdruck 17
Ausdruck 15 bedeutet, dass ein Bild an einer beliebigen Fokusposition z durch Finden eines Fourier-Koeffizienten gemäß dem Ausdruck 13 basierend auf den Bilddaten I(x, y, z_j) geschätzt werden kann, die an verschiedenen Fokuspositionen erhalten werden, und durch lineares Koppeln von exp(–2πif_znz) unter Verwendung des Koeffizienten. Mit anderen Worten kann ein Bild durch lineares Koppeln des Fourier-Koeffizienten I'(x, y; f_zn) als die zweidimensionalen Daten geschätzt werden.
Ein Maximalwert f_zmax von f_zn wird durch Ausdruck 18 basierend auf dem Abstand Δz der aufgenommenen Bilder basierend auf dem Abtasttheorem bestimmt: Ausdruck 18
Ein Faltungsrauschen wird erzeugt, wenn f_zmax kleiner als die rechte Seite des Ausdrucks 10 ist, und die Schätzgenauigkeit des Bildes wird verringert. Um das Bild präzise zu schätzen, muss f_zmax größer als die rechte Seite des Ausdrucks 10 sein. Deswegen wird die Bedingung für Δz durch Ausdruck 19 basierend auf den Ausdrücken 18 und 10 bestimmt: Ausdruck 19
Solange eine Breite Δz, mit der ein Bild aufgenommen wird, innerhalb des Bereichs des Ausdrucks 19 eingestellt ist, kann das Bild präzise an einer beliebigen Fokusposition geschätzt werden. Der Ausdruck 19 gibt an, das Δz M mal so groß gemacht werden kann, wenn es eine Zentralabschirmung in der Pupille gibt, als wenn es keine Zentralabschirmung gibt. Hierin wird M durch Ausdruck 20 ausgedrückt: Ausdruck 20
Ein Spektrum eines Bildes, wie zum Beispiel einer organischen Probe, einer Person oder einer Landschaft wird generell reduziert, wenn Absolutwerte f_x, f_y, und f_z wachsen. Deswegen kann für Bilder, die mit einem Δz größer als dem aus Ausdruck 19 aufgenommen werden, ein Bild geschätzt werden, wenn ein gewisser Fehler erlaubt ist. In diesem Fall kann Δz vorher oder bei der Bildaufnahmezeit basierend auf der Bildschätzpräzision, die von dem Nutzer gefordert wird, eingestellt werden.
Während dieses Ausführungsbeispiel diskutiert, dass es eine Zentralabschirmung in der Pupille des optischen Bildaufnahmesystems gibt, kann ein ähnlicher Effekt erwartet werden, wenn die Zentralabschirmung in einer Pupille eines optischen Beleuchtungssystems angebracht ist.
Der Ausdruck 12 definiert eine Fourierreihenexpansion nur in der z-Richtung, aber die Fourierreihenexpansion in den x- und y-Richtungen können gleichzeitig wie folgt ausgeführt werden: Ausdruck 21
Ein Koeffizient I'(x, y; f_zn) ist ein Fourier-Koeffizient, der basierend auf I(x_p, y_q, z_j) und Ausdruck 22 berechnet wird: Ausdruck 22
Im Vergleich mit dem Ausdruck 12 ist der Ausdruck 21 komplexer und benötigt eine längere Berechnungszeit, aber eine Form des Ausdrucks 21 ist vorteilhafter, wenn ein Tiefpassfilter auf die Bildverarbeitung angewendet wird.
Eine Sinc-Funktion kann als eine Funktion für die Bildschätzung verwendet werden. Mit anderen Worten kann das Bild gemäß Ausdruck 23 berechnet werden: Ausdruck 23
Die Sinc-Funktion ist eine Funktion, die ausgedrückt wird durch sin(πx)/πx. B ist eine Konstante, die durch Ausdruck 24 und den Abstand Δz, mit dem die Bilder erhalten werden, definiert wird:
Ausdruck 24

B = 1 / Δz

Obwohl der Ausdruck 23 eine unendliche Reihe ist, wird nur eine endliche Anzahl von Bildern aufsummiert, weil nur N Sätze von Bilddaten aufgenommen werden. Entsprechend wird der Ausdruck 23 modifiziert in Ausdruck 25 unter der Annahme, dass das Bild periodisch außerhalb des Bereichs von z wiederholt wird, in dem die Bilder aufgenommen wurden. In diesem Fall werden, wie in dem folgenden Ausdruck illustriert, N Sätze von Bilddaten mit Sinc((z – z_j)/Δz) multipliziert und aufsummiert. Ausdruck 25
Dabei ist T ein Zyklus, mit dem das Bild in der z-Richtung wiederholt wird und wird ausgedrückt durch T = z_max – z_min + Δz. N_v ist eine Ganzzahl gleich oder größer als 0, und sein Wert kann beliebig durch den Nutzer eingestellt werden.
Das Bildschätzverfahren verwendet die Fourierreihenexpansion, die durch Ausdruck 12 ausgedrückt wird, aber die Reihenexpansion ist nicht auf die Fourierreihenexpansion beschränkt. Eine Kosinustransformation kann für die Schätzung verwendet werden. Das Verfahren wird kurz beschrieben.
In dem Verfahren des Benutzens der Kosinustransformation wird eine diskrete Kosinustransformation, die durch Ausdruck 26 ausgedrückt wird, verwendet, um einen Expansionskoeffizienten I'(x, y; f_zn) für I(x, y, z) zu finden, und eine Raumfrequenz f_zn wird gemäß dem Ausdruck 14 erhalten: Ausdruck 26
Anders als bei dem obigen Verfahren des Verwendens der Fourierreihenexpansion wird n auf eine Ganzzahl eingestellt, die 0 ≤ n ≤ N – 1 erfüllt. Das gefundene I'(x, y; f_zn) wird linear gemäß dem Ausdruck 27 gekoppelt, und ein Bild kann an der Position z berechnet werden. Ausdruck 27
Wenn die Kosinustransformation verwendet wird, wird die Bedingung die dem Ausdruck 17 entspricht, wie folgt ausgedrückt, weil ein Koeffizient in den Klammern des Kosinus, der in dem Ausdruck 27 ausgedrückt wird, um 2 verschieden von dem in den Klammern des exp in dem Ausdruck 12 ist: Ausdruck 28
Der Ausdruck 27 ist äquivalent zu dem Ausdruck 29 durch Anwenden der Diskussion, die in der Ableitung des Ausdrucks 15 gemacht wurde, in der n₀ ein Maximum von n ist, das den Ausdruck 28 erfüllt: Ausdruck 29
Ein Bild kann an einem beliebigen z gemäß der obigen Prozedur geschätzt werden.
Die Ausdrücke, die für die Bildschätzung verwendet werden, sind nicht auf die Ausdrücke 26 und 27 beschränkt. Das Verfahren gemäß diesem Ausführungsbeispiel enthält eine ähnliche Konversion unter Verwendung von Cos oder Sin.
Erstes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens von einer beliebigen Fokusposition gemäß einem ersten Ausführungsbeispiel wird nun gegeben. Bilder des Objekts, die gemäß dem Flussdiagramm nach 3 aufgenommen wurden, sind durch Simulation illustriert. Man nehme an, dass das optische Bildaufnahmesystem eine numerische Apertur von 0,7 hat, eine Bildvergrößerung 10-fach ist, Licht monochromatisch ist und eine Wellenlänge von 550 nm hat, das optische Bildaufnahmesystem eine kreisförmige Zentralabschirmung hat, und ein Radius der kreisförmigen Abschirmung 30% so groß wie das Pupillendiaphragma ist. Eine partiell kohärente Beleuchtung wird verwendet, und eine effektive Lichtquelle hat eine ringförmige Form. Ferner nehme man an das NA_i/NA = 0.7 und NA_{i_in}/NA = 0.3, wobei NA eine numerische Apertur des optischen Bildaufnahmesystems auf der Objektseite ist, NA_i eine numerische Apertur des optischen Beleuchtungssystems ist, und NA_{i_in} eine numerische Apertur der Zentralabschirmung der effektiven optischen Quelle ist.
6 illustriert eine Amplitudentransmittanz des Objekts. Ein Liniendiagramm mit einer Breite von 0,5 μm in der y-Richtung wird als das Objekt verwendet. Das Objekt wird gemäß den Berechnungen als ein zweidimensionales Objekt angenommen. Natürlich ist das Verfahren anwendbar auf ein Objekt mit einer Dicke. Eine Fokusposition wird um jeweils 1,0 μm von –4 μm (z_min) bis 4 μm (z_max) geändert. 7 illustriert Beispiele von Bildern, die mit z = 2 μm, –1 μm und 0 μm erhalten wurden. Ordinaten- und Abszissenachsen in 7 zeigen Koordinaten auf der Objektseite an.
Eine Beschreibung des Bildschätzverfahrens wird nun gegeben. I(x, y, z) bezeichnet eine Helligkeitsverteilung eines Bilds an einer Fokusposition z. Eine diskrete Fourier-Transformation als eine Frequenzkonversion in der z-Richtung wird für I(x, y, z) gemäß dem Ausdruck 13 durchgeführt, und I'(x, y; f_zn) als konvertierte N Sätze von Bilddaten wird erhalten (Bildkonversionsschritt). Ferner wird eine Frequenz f_zn für eine Vielzahl von Sätzen von konvertierten Bilddaten gemäß dem Ausdruck 14 und z_max und z_min berechnet (Frequenzberechnungsschritt).
Als Nächstes wird eine Fokusposition z, die zu beobachten ist, bestimmt. Zum Beispiel werden z = –1.5 μm and z = –0.5 μm bestimmt. Diese Werte werden in den Ausdruck 12 eingesetzt, und der Ausdruck 12 wird berechnet. Mit anderen Worten werden N Sätze von konvertierten Bilddaten mit einer komplexen Zahl multipliziert, die durch f_zn und z bestimmt wird, und aufsummiert (Kopplungsschritt).
8A illustriert erhaltene Bilder. 8B illustriert Bilder, die ohne Schätzungen für Vergleichszwecke erhalten wurden. Wenn sie miteinander verglichen werden, gibt es keine visuell bestätigte Differenz. Eine PSNR (Peak-Signal-zu-Rauschverhältnis) wird berechnet, um den Unterschied des Bilds zu quantifizieren. Die PSNR ist ein Wert, der durch die Ausdrücke 30 und 31 berechnet wird, und quantifiziert die Ähnlichkeit des Bildes. Sie hat einen Wert gleich oder größer als 0, und die Ähnlichkeit des Bildes ist umso höher, je größer der Wert ist. Im Allgemeinen wird ein Bild mit einer PSNR größer als 35 dB als ein hochqualitatives Bild eingeschätzt. Ausdruck 30
Ausdruck 31
Dabei sind I_est(x, y, z) geschätzte Bilddaten. Ausdruck 30 entspricht einem 8-Bit Bild.
9 ist ein Graph, der eine Beziehung zwischen einer geschätzten Fokusposition z [μm] (Abszissenachse) und einer PSNR [dB] (Ordinatenachse) illustriert. Die Fokusposition wird um je 0,125 μm von –4 μm bis 4 μm geändert und geschätzt, obwohl tatsächlich erhaltene Bilder entfernt werden. Es wird verstanden, dass die PSNR höher als 35 dB in dem gesamten geschätzten Bereich ist und das geschätzte Bild gut die eigentlich erhaltenen Bilder reproduziert.
Ein Spektrum eines Bildes, wie zum Beispiel einer organischen Probe, einer Person oder einer Landschaft wird im Allgemeinen reduziert, wenn absolute Werte f_x, f_y, und f_z wachsen. Gemäß dieser Tatsache kann das Bild mit einer hohen Präzision geschätzt werden, selbst wenn Δz größer als λ/2(1 – (1 – NA²)^1/2) gemacht wird. Dieses Ergebnis wird in dem siebten Ausführungsbeispiel beschrieben.
Dieses Ausführungsbeispiel nimmt an, dass das Licht monochromatisch ist und eine Wellenlänge von 550 nm von dem Objekt hat, aber das Licht ist nicht auf dieses Ausführungsbeispiel beschränkt. Zum Beispiel können eine Vielzahl von lichtemittierenden Dioden für die Beleuchtung verwendet werden, und eine Photographie mit mehrfarbigen Licht oder einer Halogenlampe kann für die Beleuchtung und eine Photographie mit weitgestreutem Beleuchtungslicht verwendet werden. Die hierbei benutzte Wellenlänge kann einen Wellenlängenbereich für eine Organismusabbildung und eine allgemeine Photographie wie zum Beispiel 300 nm–1500 nm enthalten. In diesem Fall kann der Bildsensor auch auf den obigen Wellenlängenbereich ansprechen. Ferner kann die Bildaufnahmevorrichtung die Spektrumsdaten des Wellenlängenbereichs aufnehmen.
Dieses Ausführungsbeispiel stellt eine Bildvergrößerung der Bildaufnahmevorrichtung auf 10-fach ein, aber die Bildvergrößerung ist nicht auf diesem Wert beschränkt. Zum Beispiel kann ein optisches Reduktionssystem verwendet werden. Eine Situation, in der das optische Bildaufnahmesystem ein optisches Reduktionssystem ist, und das optische Beleuchtungssystem ein inkohärentes System ist, entspricht der allgemeinen Kameraphotographie. Mit anderen Worten ist die vorliegende Erfindung anwendbar auf die allgemeine Kameraphotographie.
Dieses Ausführungsbeispiel nimmt an, ist aber nicht darauf beschränkt, dass keine Aberrationen auftreten. Der Erfinder hat bestätigt, dass dieses Ausführungsbeispiel auf das optische System mit einer Aberration anwendbar ist. Dieses Ausführungsbeispiel stellt keine Bildverarbeitung wie zum Beispiel eine Rauschreduzierung oder eine Bildstabilisierung für das erhaltene Bild bereit, aber solch eine Bildverarbeitung kann ausgeführt werden. Dieses Ausführungsbeispiel diskutiert, ist aber nicht beschränkt auf Bilder, die mit regelmäßigen Abständen erhalten werden.
Der Frequenzberechungsschritt ist nicht auf dem einen des Berechnens von f_zn gemäß dem Ausdruck 14 beschränkt.
Dieses Ausführungsbeispiel diskutiert, ist aber nicht beschränkt auf Bilder, die an Positionen z_j erhalten werden, die mit gleichmäßigen Abständen Δz beabstandet sind. In der aktuellen Messung werden die gleichmäßigen Abstände nicht notwendigerweise erhalten auf Grund des Antriebsfehlers des Objekttischs und so weiter, aber dieser Erfinder hat bestätigt, dass dieses Ausführungsbeispiel auch auf diesen Fall anwendbar ist.
Zweites Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beliebigen Fokusposition entsprechend einem zweiten Ausführungsbeispiel wird nun gegeben. Bilder des Objekts, die gemäß dem Flussdiagramm von 3 erhalten werden, sind durch Simulation illustriert. Die Berechnungsbedingung ist dieselbe wie die des ersten Ausführungsbeispiels, und die erhaltenen Bilder sind dieselben wie die von 7. Eine dreidimensional diskrete Fourier-Transformation wird für die Helligkeitsverteilung I(x, y, z) des erhaltenen Bildes mit Bezug auf x, y und z gemäß dem Ausdruck 22 durchgeführt und I'(x, y; f_z) wird erhalten. Das geschätzte Bild wird gemäß dem Ausdruck 21 unter Verwendung von I'(x, y; f_z) berechnet. Die geschätzte Fokusposition ist die gleiche wie die des ersten Ausführungsbeispiels.
10A illustriert Beispiele der geschätzten Bilder. 10B illustriert Bilder, die ohne Schätzungen für Vergleichszwecke erhalten wurden. Wenn sie miteinander verglichen werden, gibt es keinen visuell wahrnehmbaren Unterschied. Die PSNR wird berechnet, um die Differenz des Bildes zu quantifizieren.
11 ist ein Graph, der eine Beziehung zwischen einer geschätzten Fokusposition z [μm] (Abszissenachse) und einer PSNR [dB] (Ordinatenachse) illustriert. Die geschätzte Fokusposition ist ähnlich zu der des ersten Ausführungsbeispiels und die eigentlich erhaltenen Bilder werden entfernt. Man versteht, dass die PSNR höher als 35 dB in dem gesamten geschätzten Bereich ist und dass die geschätzten Bilder gut die eigentlich erhaltenen Bilder reproduzieren. Ferner wird bestätigt, dass selbst wenn Δz bis zu einem Wert erhöht wird, der 1,5 mal so groß wie λ/2(1 – (1 – NA²)^1/2) ist, eine ausreichende Bildqualität sichergestellt werden kann.
Das zweite Ausführungsbeispiel führt eine Fourier-Transformation mit Bezug auf x and y durch und benötigt eine längere Rechenzeit, aber es kann geeignet verwendet werden, wenn eine Bildverarbeitung wie zum Beispiel eine Rauschreduktion gleichzeitig durchgeführt wird. Als eine Rauschreduktion ist ein Verfahren zum Anwenden eines Tiefpassfilters auf ein Bild bekannt. Das Verfahren kann durch Multiplizieren eines Spektrums eines Bildes mit einem Filter des Schwächens einer Hochfrequenzkomponente realisiert werden. Das zweite Ausführungsbeispiel führt die Fourier-Transformation mit Bezug auf x und y beim Finden des Spektrums des Bildes durch, und entfernt dadurch ein Rauschen in der Bildschätzung.
Drittes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beibiegen Fokusposition gemäß einem dritten Ausführungsbeispiel wird nun gegeben. Bilder des Objekts, die gemäß des Flussdiagramms in 3 erhalten werden, sind illustriert durch Simulation. Die Berechnungsbedingung ist dieselbe wie die des ersten Ausführungsbeispiels, und die erhaltenen Bilder sind dieselben wie die von 7.
Das dritte Ausführungsbeispiel schätzt ein Bild gemäß einem Flussdiagramm, das in 12 illustriert ist. Eine diskrete Fourier-Transformation (Frequenzkonversion) in z wird durchgeführt für die erhaltenen Bilddaten gemäß dem Ausdruck 13 in S601 und konvertierte Bilddaten werden erhalten (Bildkonversionsschritt). Als Nächstes wird eine 0-Matrix (0-Wert) zu den konvertierten Bilddaten, die in S602 erhalten wurden, in einem Bereich von |f_z| > 1/2Δz (einem höheren Frequenzbereich als ein Maximalwert der Frequenz f_zn und einem niedrigeren Frequenzbereich als ein Minimalwert) addiert, um so die konvertierten Bilddaten zu expandieren. Diese Expansion wird auch Null-Auffüllen genannt (Nullauffüllungsschritt). Eine inverse Fourier-Transformation (umgekehrte Frequenzkonversion) wird für die mit Null aufgefüllten Daten in S603 mit Bezug auf f_z durchgeführt (inverser Frequenzkonversionsschritt).
Die Frequenzkonversion in dem Bildkonversionsschritt kann die Fourier-Transformation oder die inverse Fourier-Transformation verwenden. Der Frequenzberechnungsschritt berechnet f_zn gemäß dem Ausdruck 14. Wie diskutiert wird das Bild mit regelmäßigen Abständen reproduziert, die kleiner als das erhaltene Δz sind. S601 und S603 können eine Berechnung durch Verwenden eines Algorithmus der schnellen Fourier-Transformation beschleunigen.
13A illustriert Beispiele der geschätzten Bilder. 13B illustriert Bilder, die ohne Schätzungen für Vergleichszwecke erhalten wurden. Wenn sie miteinander verglichen werden, gibt es keinen visuell wahrnehmbaren Unterschied. Die PSNR wird berechnet, um den Unterschied des Bildes zu quantifizieren.
14 ist ein Graph, der eine Beziehung zwischen einer geschätzten Fokusposition z [μm] (Abszissenachse) und einer PSNR [dB] (Ordinatenachse) zu illustriert. Die geschätzte Fokusposition ist ähnlich zu der des ersten Ausführungsbeispiels, und die eigentlich erhaltenen Bilder werden entfernt. Man versteht, dass die PSNR höher als 35 dB in dem gesamten geschätzten Bereich ist, und das geschätzte Bild gut die aktuell erhaltenen Bilder reproduziert.
Ferner wird bestätigt, dass selbst wenn Δz bis zu einem Wert erhöht wird, der 1,5 mal größer als λ/2(1 – (1 – NA²)^1/2) ist, eine ausreichende Bildqualität sichergestellt werden kann.
Wie vorstehend beschrieben, kann ein Bild an einer Fokusposition geschätzt werden, an der kein Bild aufgenommen wurde. Das dritte Ausführungsbeispiel kann eine Vielzahl von geschätzten Bildern durch schnelle inverse Fourier-Transformation erzeugen, und ist deswegen geeignet für eine Beobachtung eines xz-Querschnitts.
Viertes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beliebigen Fokusposition gemäß einem vierten Ausführungsbeispiel wird nun gegeben. Bilder des Objekts, die gemäß dem Flussdiagramm in 3 erhalten werden, sind durch Simulation illustriert. Die Berechnungsbedingung ist dieselbe wie die des ersten Ausführungsbeispiels, und die erhaltenen Bilder sind dieselben wie die nach 7.
Das vierte Ausführungsbeispiel schätzt auch ein Bild gemäß dem in 12 illustrierte Flussdiagramm. Das vierte Ausführungsbeispiel führt eine diskrete Fourier-Transformation für drei Koordinaten x, y und z in S601 durch, und eine inverse Fourier-Transformation für drei Koordinaten von f_x, f_y, und f_z in S603.
15A illustriert Beispiele der geschätzten Bilder. 15B illustriert Bilder, die ohne Schätzungen für Vergleichszwecke erhalten werden. Wenn sie miteinander verglichen werden, gibt es keinen visuell wahrnehmbaren Unterschied. Die PSNR wird berechnet, um den Unterschied des Bildes zu quantifizieren.
16 ist ein Graph, der eine Beziehung zwischen einer geschätzten Fokusposition z [μm] (Abszissenachse) und einer PSNR [dB] (Ordinatenachse) illustriert. Die geschätzte Fokusposition ist ähnlich zu der des ersten Ausführungsbeispiels, und die eigentlich erhaltenen Bilder werden entfernt. Man versteht, dass die PSNR höher als 35 dB in dem gesamten geschätzten Bereich ist und dass das geschätzte Bild gut die aktuell erhaltenen Bilder reproduziert.
Ferner wird bestätigt, dass selbst wenn Δz bis zu einem Wert erhöht wird, der 1,5 mal so groß wie λ/2(1 – (1 – NA²)^1/2) ist, eine ausreichende Bildqualität sichergestellt werden kann.
Das vierte Ausführungsbeispiel erzeugt eine Vielzahl von geschätzten Bildern zu einer Zeit unter Verwendung einer inversen Fourier-Transformation und wird daher geeignet für eine Beobachtung des xz-Querschnitts verwendet. Das vierte Ausführungsbeispiel führt eine Fourier-Transformation mit Bezug auf x und y durch und braucht eine längere Berechnungszeit, aber es kann geeignet verwendet werden, wenn eine Bildverarbeitung, wie zum Beispiel eine Rauschreduktion, gleichzeitig durchgeführt wird. Als eine Rauschreduktion ist ein Verfahren zum Anwenden eines Tiefpassfilters auf ein Bild bekannt. Das Verfahren kann durch Multiplizieren eines Spektrums eines Bildes mit einem Filter zum Abschwächen einer Hochfrequenzkomponente realisiert werden. Das vierte Ausführungsbeispiel führt die Fourier-Transformation mit Bezug auf x und y beim Finden des Spektrums des Bildes aus, und entfernt dadurch ein Rauschen in der Bildschätzung.
Fünftes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beibiegen Fokusposition gemäß einem fünften Ausführungsbeispiel wird nun gegeben. Bilder des Objekts, die gemäß dem Flussdiagramm in 3 erhalten werden, werden durch Simulation illustriert. Die Berechungsbedingung ist dieselbe wie die des ersten Ausführungsbeispiels, und die erhaltenen Bilder sind dieselben wie die von 7.
Das geschätzte Bild wird gemäß dem Ausdruck 25 unter Verwendung der Helligkeitsverteilung I(x, y, z) des erhaltenen Bildes berechnet. Die geschätzte Fokusposition ist dieselbe wie die des ersten Ausführungsbeispiels, und N_v = 2 wird eingestellt. 17A illustriert Beispiele der geschätzten Bilder. 17B illustriert Bilder, die ohne Schätzungen für Vergleichszwecke erhalten wurden. Wenn sie miteinander verglichen werden, gibt es keinen sichtbar wahrnehmbaren Unterschied. Die PSNR wird berechnet, um die Differenz des Bildes zu quantifizieren.
18 ist ein Graph, der eine Beziehung zwischen einer geschätzten Fokusposition z [μm] (Abszissenachse) und einer PSNR [dB] (Ordinatenachse) illustriert. Die geschätzte Fokusposition ist ähnlich zu der des ersten Ausführungsbeispiels, und die eigentlich erhaltenen Bilder werden entfernt. Man versteht, dass die PSNR höher als 35 dB in dem gesamten geschätzten Bereich ist, und dass das geschätzte Bild die eigentlich erhaltenen Bilder gut reproduziert.
Ferner wird bestätigt, dass selbst wenn Δz bis zu einem Wert erhöht wird, der 1,5 mal so groß wie λ/2(1 – (1 – NA²)^1/2) ist, eine ausreichende Bildqualität sichergestellt werden kann. Das fünfte Ausführungsbeispiel wendet keine Fourier-Transformation an und kann das Bild mit einer höheren Geschwindigkeit schätzen.
Sechstes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beliebigen Fokusposition gemäß einem sechsten Ausführungsbeispiel wird nun gegeben. Bilder des Objekts, die gemäß dem Flussdiagramm in 3 erhalten werden, werden durch Simulation illustriert. Die Berechungsbedingung ist die gleiche wie die des ersten Ausführungsbeispiels, und die erhaltenen Bilder sind dieselben wie die nach 7. Eine diskrete Kosinustransformation wird für die Helligkeitsverteilung I(x, y, z) des erhaltenen Bildes mit Bezug auf z gemäß dem Ausdruck 26 durchgeführt und I'(f_x, f_y, f_z) wird erhalten. Das geschätzte Bild wird gemäß dem Ausdruck 27 unter Verwendung von I'(f_x, f_y, f_z) berechnet. Die geschätzte Fokusposition ist dieselbe wie die des ersten Ausführungsbeispiels.
19A illustriert Beispiele von geschätzten Bildern. 19B illustriert Bilder, die ohne Schätzungen für Vergleichszwecke erhalten wurden. Wenn sie miteinander verglichen werden, gibt es keinen visuell wahrnehmbaren Unterschied. Die PSNR wird berechnet, um den Unterschied des Bildes zu quantifizieren.
20 ist ein Graph, der eine Beziehung zwischen einer geschätzten Fokusposition z [μm] (Abszissenachse) und der PSNR [dB] (Ordinatenachse) illustriert. Die geschätzte Fokusposition ist ähnlich zu der des ersten Ausführungsbeispiels, und die tatsächlich erhaltenen Bilder werden entfernt. Man versteht, dass die PSNR größer als 35 dB in dem gesamten geschätzten Bereich ist, und dass das geschätzte Bild die tatsächlich erhaltenen Bilder gut reproduziert. Ferner wird bestätigt, dass selbst wenn Δz bis zu einem Wert erhöht wird, der 1,5 mal größer als λ/2(1 – (1 – NA²)^1/2) ist, eine ausreichende Bildqualität sichergestellt werden kann.
Das sechste Ausführungsbeispiel wendet eine Kosinustransformation als ein Frequenzkonversionsverfahren bezogen auf z in dem sechsten Ausführungsbeispiel an. Weil die Kosinustransformation als Realzahl berechenbar ist, ist die verwendete Speicherkapazität kleiner als die für das Verfahren unter Verwendung der Fourier-Transformation. Selbst wenn ein Unterschied I(x, y, z_min) und I(x, y, z_max) groß ist, zum Beispiel wenn das optische System eine großer Aberration hat, kann ein Bild mit einer hohen Genauigkeit geschätzt werden.
Siebtes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beliebigen Fokusposition gemäß einem siebten Ausführungsbeispiel wird nun gegeben. Eine Beschreibung einer Beziehung zwischen einem Bilderhalteabstand und einer Schätzgenauigkeit und einem Effekt einer Zentralabschirmung, die in der Pupille des optischen Bildaufnahmesystems angeordnet ist, werden gegeben. In diesem Fall hat eine Lichtintensität ein niedrigeres Gebiet nahe einem zentralen Teil einer Pupillenebene als an einer Peripherie in dem optischen Beleuchtungssystem.
Bilder des Objekts, die gemäß dem Flussdiagramm aus 3 erhalten wurden, sind durch Simulation illustriert. Als eine Berechungsbedingung wird angenommen, dass das optische Bildaufnahmesystem eine numerische Apertur von 0,7 hat, eine Abbildungsvergrößerung 10-fach ist, das monochromatische Licht eine Wellenlänge von 550 nm hat, das optische Bildaufnahmesystem eine kreisförmige Zentralabschirmung hat, und ein Radius der kreisförmigen Abschirmung ε mal so groß wie das Pupillendiaphragma ist. ε hat einen Wert von 0 bis 1, und ε = 0 bedeutet, dass es keine Zentralabschirmung gibt. Eine partiell kohärente Beleuchtung wird verwendet, und eine effektive Lichtquelle hat eine ringförmige Form. Es wird auch angenommen, dass NA_i/NA = 0.7 wobei NA_i eine numerische Apertur des optischen Beleuchtungssystems ist, und NA eine numerische Apertur des optischen Bildaufnahmesystems auf der Objektseite ist. Unter der obigen Bedingung wird das Bild des Objekts, das in 6 illustriert ist, durch eine Simulation gefunden. Eine Fokusposition, bei der ein Bild erhalten wird, reicht von – 8 μm (z_min) bis 8 μm (z_max), und ein Bilderhalteabstand ist Δz. Ein Bild an einer Position z wird basierend auf den unterworfenen Bildern und dem Verfahren, das in dem ersten Ausführungsbeispiel illustriert ist, geschätzt. Z, das für die Schätzung verwendet wird, wird alle 0,1 μm von –8 μm (z_min) bis 8 μm (z_max) bestimmt. Die PSNR wird so berechnet, dass sie das Bild, das bei jedem z geschätzt wird, mit dem ohne Schätzung erhaltenen Bild vergleicht. Der schlechteste Wert (Ordinatenachse) wird aus der erhaltenen PSNR extrahiert, und ein Graph, der den Wert für den Erhalteabstand Δz (Abszissenachse) angibt, ist 21. In 21 ist Δz durch λ/2(1 – (1 – NA²)^1/2) normalisiert. Ein Ergebnis mit verschiedenen ε wird durch verschiedene Zeichen unterschieden.
Zunächst nehme man ε = 0 an. Wenn Δz wächst, sinkt die PSNR. Dies bedeutet, dass der geschätzte Fehler wächst, wenn der Erhalteabstand wächst. Beim Erhalten eines Bildes kann Δz basierend auf der Beziehung zwischen Δz und PSNR eingestellt werden, die in 21 illustriert ist, um das Genauigkeitsziel zu erfüllen, dass von dem Nutzer verlangt wird. Zum Beispiel kann Δz auf gleich oder kleiner als 1,4 eingestellt werden, sodass das Bild eine PSNR von 35 dB oder höher haben kann. Wenn es in eine nicht normalisierte Größe konvertiert wird, kann Δz auf gleich oder kleiner als 1.4 × λ/2(1 – (1 – NA²)^1/2) eingestellt werden.
Aus 21 sieht man, dass, wenn ε wächst, die Abschwächung des schlechtesten PSNR Werts für Δz gemildert wird. Mit anderen Worten wenn die in der Pupille des optischen Bildaufnahmesystems angeordnete Zentralabschirmung größer wird, kann die geschätzte Präzision beibehalten werden, selbst wenn Δz wächst.
Jetzt betrachte man einen erlaubten Bereich von Δz. 22 illustriert eine Beziehung zwischen Δz (Ordinatenachse), bei der der schlechteste Wert von PSNR 35 wird, und ε (Abszissenachse). Der theoretisch erwartete Wert von 22 ist das Ergebnis des Multiplizierens eines Werts bei ε = 0 mit M, das durch Ausdruck 20 illustriert wird. Aus 22 sieht man, dass Δz (Ordinatenachse), durch das der schlechteste PSNR Wert 35 wird, wächst, wenn ε wächst. Mit anderen Worten, wenn die Zentralabschirmung der Pupille in dem optischen Bildaufnahmesystem wächst, wächst Δz, bei dem der geschätzte Fehler in den erlaubbaren Bereich fällt. Zusätzlich reproduziert der theoretisch erwartete Wert ungefähr das Simulationsergebnis. Aus der Tatsache, dass ein erlaubbarer Bereich von Δz bei ε = 0 gleich oder kleiner als 1.4 × λ/2(1 – (1 – NA²)^1/2) ist, wird ein erlaubbarer Bereich von Δz bei ε ≠ 0 durch Ausdruck 32 gegeben. Ausdruck 32
Dieser Ausdruck enthält ε = 0.
Achtes Ausführungsbeispiel
Eine Beschreibung eines Bildschätzverfahrens an einer beliebigen Fokusposition gemäß einem achten Ausführungsbeispiel wird nun gegeben. In dem achten Ausführungsbeispiel wird eine Beschreibung eines Effekts des Anordnens einer Zentralabschirmung in der Pupille eines optischen Beleuchtungssystems oder einer ringförmigen effektiven Lichtquelle gegeben.
Bilder des Objekts, die gemäß dem Flussdiagramm in 3 erhalten werden, werden durch Simulation illustriert. Als eine Berechnungsbedingung wird angenommen, dass das optische Bildaufnahmesystem eine numerische Apertur von 0,7 hat, eine Bildvergrößerung 10-fach ist, Licht monochromatisch ist und eine Wellenlänge von 550 nm hat, und die Pupille kreisförmig ist. Eine partiell kohärente Beleuchtung wird verwendet, und eine effektive Lichtquelle hat eine ringförmige Form aufgrund der Zentralabschirmung, die in der Pupille des optischen Beleuchtungssystems angeordnet ist. Ferner wird angenommen, dass NA_i/NA = 0.7, wobei NA_i die numerische Apertur des optischen Beleuchtungssystems ist, NA eine numerische Apertur des optischen Bildaufnahmesystems auf der Objektseite ist, und ε eine numerische Apertur der Zentralabschirmung ist.
Unter der obigen Bedingung wird das Bild des Objekts, das in 6 illustriert ist, durch eine Simulation gefunden. Der Bereich der Fokusposition, der verwendet wird, um das Bild zu erhalten, der Erhalteabstand Δz, und die geschätzte Position z sind dieselbe wie die des siebten Ausführungsbeispiels. Ferner wird ähnlich wie bei dem siebten Ausführungsbeispiel die PSNR berechnet, um das bei jedem z geschätzte Bild mit dem Bild zu vergleichen, das ohne Schätzung erhalten wird. Der schlechteste Wert (Ordinatenachse) wird aus der erhaltenen PSNR extrahiert, und ein Graph, der den Wert für den Erhalteabstand Δz (Abszissenachse) anzeigt, ist 23. In 23 ist Δz normalisiert durch λ/2(1 – (1 – NA²)^1/2). Ein Ergebnis für verschiedene ε wird durch ein verschiedenes Zeichen unterschieden.
Aus 23 sieht man, dass, wenn ε wächst, die Schwächung des schlechtesten PSNR Werts für Δz gemildert wird. Mit anderen Worten, wenn die Zentralabschirmung, die in der Pupille des optischen Bildaufnahmesystems angeordnet ist, größer wird, kann die geschätzte Präzision beibehalten werden, selbst wenn Δz wächst.
Jetzt betrachte man einen erlaubten Bereich für Δz. 24 illustriert eine Beziehung zwischen Δz (Ordinatenachse), bei dem der schlechteste Wert der PSNR 35 wird, und ε (Abszisschenachse). Der theoretisch erwartete Wert von 22 ist das Ergebnis des Multiplizierens eines Werts bei ε = 0 mit M, wie er durch Ausdruck 20 illustriert wird. Aus 24 sieht man, dass Δz (Ordinatenachse), bei dem der schlechteste Wert der PSNR 35 wird, wächst, wenn ε wächst. Mit anderen Worten wächst Δz, bei dem der geschätzte Fehler in den erlaubbaren Bereich fällt, wenn die Zentralabschirmung der Pupille in dem optischen Bildaufnahmesystem wächst. Zusätzlich reproduziert der theoretisch erwartete Wert beinahe das Simulationsergebnis. Aus der Tatsache, dass ein erlaubbarer Bereich von Δz bei ε = 0 gleich oder kleiner als 1.4 × λ/2(1 – (1 – NA²)^1/2) ist, wird ein erlaubter Bereich von Δz bei ε = 0 durch den Ausdruck 32 gegeben.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, versteht es sich, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Bereich der folgenden Ansprüche ist die breiteste Interpretation zu zuerkennen, um alle Modifikationen und äquivalenten Strukturen und Funktionen zu umfassen.
Die Bildaufnahmevorrichtung, auf die die vorliegende Erfindung angewendet wird, kann ein Mikroskop sein, das konfiguriert ist, vergrößerte Bilddaten eines Objekts zu erhalten, oder eine Kamera, die konfiguriert ist, verkleinerte Bilddaten eines Objekts zu erhalten. Ein Wellenlängenbereich, durch den die Bildaufnahmevorrichtung die Bilddaten erhält, kann in einem Bereich von 300 nm bis 1500 nm enthalten sein, und eine Wellenlänge des Beleuchtungslichts, das verwendet wird, um das Objekt zu beleuchten, kann in einem Bereich von 300 nm bis 1500 nm enthalten sein.
Neuntes Ausführungsbeispiel
Eine Beschreibung eines Betriebs von Netzwerkeinrichtungen 460, 462, 464 und 466 (im Weiteren mit 460 ”bezeichnet”), die mit der Bildschätzvorrichtung über das Netzwerk 450 verbunden sind, beim Bestimmen der Anzeigeposition z wird nun gegeben. Weil ein Nutzer nicht sofort die Anzeigeposition z aus der Netzwerkeinrichtung 460 eingeben kann, ist es zunächst nötig, die Bilddaten zu bestätigen, um so die Anzeigeposition z zu bestimmen. Deswegen dient die Netzwerkeinrichtung 460 dazu, die Position z zu bestimmen (einzugeben) und Bilddaten zu empfangen, und enthält eine Bildanzeigeeinheit, wie zum Beispiel eine Anzeige, oder ist mit ihr verbunden.
25 illustriert ein Flussdiagramm eines Betriebs der Netzwerkeinrichtung 460 gemäß diesem Ausführungsbeispiel. Dieses Flussdiagramm kann in einem Anwendungsprogramm in dem Netzwerk 460 oder in der Bildschätzvorrichtung oder einem Server installiert sein, sodass die Netzwerkeinrichtung 460, die darauf zugreift, das Programm ausführen kann.
Zunächst bedient der Nutzer die Netzwerkeinrichtung 460 und greift auf die Bildschätzvorrichtung oder den Server (nicht illustriert) über das Netzwerk 450 zu. Der Server (nicht illustriert) ist mit einem Speicher (nicht illustriert) verbunden. In diesem Fall speichert die Bildschätzvorrichtung nicht die Bilddaten, sondern der Speicher speichert die Bilddaten, die für die Schätzung verwendet werden, und die Bildschätzvorrichtung erhält die Bilddaten, die für die Schätzung verwendet werden, von dem Speicher. Wenn die Netzwerkeinrichtung 450 auf die Bildschätzvorrichtung zugreift, ist der Speicher, der konfiguriert ist, die Bilddaten zu speichern, die für die Schätzung verwendet werden, mit der Bildschätzvorrichtung direkt oder über ein Netzwerk, wie zum Beispiel einem LAN, verbunden. Jetzt nehme man an, dass die Netzwerkeinrichtung 460 auf die Informationsverarbeitungseinheit 400 als die Bildschätzvorrichtung zugreift.
Wenn auf die Informationsverarbeitungseinheit 400 zugegriffen wird, wird von der Netzwerkeinrichtung 460 verlangt, den Nutzernamen und ein Passwort zur Authentifizierung einzugeben.
Der authentifizierte Nutzer, wie zum Beispiel ein Arzt, greift auf eine Information eines Patienten zu, die in dem Datenspeicher 403 gespeichert ist, in dem er die ID des Patienten eingibt. Der Datenspeicher 403 speichert N Sätze von Bilddaten des Objekts (Patient), die unter Verwendung einer Bildaufnahmevorrichtung mit einem optischen Bildaufnahmesystem an verschiedenen Positionen z_j (1 ≤ j ≤ N), erhalten wurden, die mit dem Abstand Δz in der Richtung der optischen Achse der Bildaufnahmevorrichtung erhalten wurden, wobei N eine Ganzzahl von 2 oder größer ist. Entsprechend wählt der Nutzer zumindest einen der N Sätze von Bilddaten basierend auf Miniaturbildern oder Dateinamen aus. Danach sieht der Nutzer das Bild auf dem Netzwerk, oder lädt es runter und speichert es, oder wählt ein anderes Bild, gemäß der Menüauswahl. Das zu erhaltende Bild kann eines von Bildern sein, die sequenziell aus der Liste gesendet werden. Der Nutzer kann ein vorher geschätztes Bild auswählen.
Dabei wählt der Nutzer das Herunterladen der Bilddaten in der Netzwerkeinrichtung 460 und erhält das Bild (S501). Wenn nötig, kann die Netzwerkeinrichtung 460 einmal von der Informationsverarbeitungseinheit 400 über das Netzwerk getrennt werden.
Die Netzwerkeinrichtung 460 stellt dann die empfangenen Bilddaten auf der Anzeigeeinheit dar (S502). Als ein Ergebnis kann der Nutzer das auf der Anzeigeeinheit dargestellte Bild bestätigen. Wenn das angezeigte Bild für die Diagnose brauchbar ist (JA in S503), werden die folgenden Vorgänge unnötig. Wenn die Bilddaten angezeigt werden, werden auch eine Ordner ID der N Sätze von Bilddaten und eine Datei ID der Bilddaten, die angeschaut werden, angezeigt.
Im Allgemeinen ist das angezeigte Bild nicht notwendigerweise auf den gewünschten Teil fokussiert (NEIN in S503). Deswegen greift die Netzwerkeinrichtung 460 wieder auf die Informationsverarbeitungseinheit 400 zu, wird authentifiziert, und stellt andere gespeicherte Bilddaten dar oder lädt sie herunter. Jedoch wird ein Schätzknopf der Bilddaten aus dem Menü angeklickt, es sei denn, es gibt ein Bild an der z-Position.
Dann stellt die Anzeigeeinheit der Netzwerkeinrichtung 460 ein Menü dar, das den Nutzer auffordert, die Ordner ID der N Sätze von Bilddaten einzugeben, oder sie auszuwählen, indem nach der Patienten ID gesucht wird. Wenn der Nutzer den Ordner der N Sätze von Bilddaten mittels der Bestimmungseinheit der Netzwerkeinrichtung bestimmt, zeigt die Anzeigeeinheit der Netzwerkeinrichtung 460 ein Menü an, das den Nutzer auffordert, aus den N aufgenommenen Bildern ein oder zwei auszuwählen, die dem/den Zielbild(ern) am nächsten sind. Wenn zum Beispiel der Nutzer versucht, Bilddaten zu erhalten, die zwischen zwei Sätzen von Bilddaten sind, und die zwei Sätze von Bilddaten wählt, werden das Miniaturbild oder der Dateiname der Bilddaten und ihre z_j-Positionen angezeigt. In diesem Fall kann die Anzeigeeinheit der Netzwerkeinrichtung 460 eine Information über einen Bereich der z-Position anzeigen, die eingegeben werden kann (wie zum Beispiel Minimalwert z_min ≤ z ≤ Maximalwert z_max).
Als Nächstes gibt der Nutzer eine gewünschte z-Position an. In dem Schritt des Bestimmens der z-Position gibt der Nutzer die Position zwischen zwei z_j-Positionen als ein Kandidat für die gewünschte z-Position durch die Bestimmungseinheit der Netzwerkeinrichtung 460 ein (S504), drückt die ”Eingabe” Taste, und überträgt sie zu der Bildschätzvorrichtung (S505). In diesem Fall kann die Netzwerkeinrichtung 460 eine Fehlernachricht anzeigen, wenn die eingegebene z-Position den Maximalwert z_max oder den Minimalwert z_min über- bzw. unterschreitet. Sie kann auch eine Fehlernachricht anzeigen, wenn die eingegebene z-Position nicht zwischen zwei Sätzen von Bilddaten lokalisiert ist. Alternativ, wenn der Nutzer zwei Sätze von Bilddaten auswählt, kann die z-Position zwischen den zwei Punkten automatisch durch berechnen eines Durchschnittswerts der zwei z_j-Positionen bestimmt werden. Wenn der Nutzer einen Satz von Bilddaten auswählt und die z-Position eingibt, kann die Anzeigeeinheit anzeigen, dass die eingegebene z-Position näher an der nächsten z_j-Position ist oder darüber hinaus geht. Sie kann zusätzlich anzeigen, ob die nächsten Bilddaten anzuzeigen sind (mit der z_j-Position), oder ob die z-Position zu ändern ist.
Die Netzwerkeinrichtung 460 steht in Warteposition bis die Bildschätzvorrichtung die Schätzung des Bildes vervollständigt (S506). Wenn die Bildschätzung endet, empfängt die Netzwerkeinrichtung 460 das geschätzte Bild durch das Netzwerk 450 (S507) und stellt es auf der Anzeigeinheit dar (S508). Wenn der Nutzer das angezeigte Bild beobachtet, ist die Bearbeitung beendet, wenn es das gewünschte Bild ist (JA in S503). Wenn der Nutzer ein Bild an einer anderen z-Position sucht (NEIN in S503), wird das Verfahren von S504 bis S508 wiederholt. In diesem Fall können die zwei Bilder entweder die gerade geschätzte Bilddaten oder die vorher geschätzten Bilddaten sein. Die Netzwerkeinrichtung 460 stellt ein Bild an einer z-Position bereit, die der Nutzer gemäß dem obigen Fluss verlangt.
Diese Anmeldung beansprucht den Nutzen der japanischen Patentanmeldung Nummer 2012-112227 , die am 16 Mai 2012 eingereicht wurde, und die hiermit durch Bezugnahme in Gänze einbezogen wird.
Industrielle Anwendbarkeit
Das Bildschätzverfahren gemäß der vorliegenden Erfindung ist auf eine Bildaufnahmevorrichtung anwendbar, die konfiguriert ist, ein Bild einer Probe unter Verwendung eines optischen Beleuchtungssystems, eines optischen Bildaufnahmesystems und eines digitalen Sensors zu erhalten, und genauer auf ein digitales Mikroskop und eine digitale Kamera.
Bezugszeichenliste

103: Objekt
104: optisches(Bildaufnahme)-System
105: Bildsensor (photoelektrischer Konverter)
400: Informationsverarbeitungseinheit (Bildschätzvorrichtung)
401: Computer (Betriebseinheit)
450: Netzwerk
460–464: Netzwerkvorrichtung

Claims

Bildschätzverfahren, das konfiguriert ist, eine Betriebseinheit und Bilddaten eines Objekts zu verwenden, die durch eine Bildaufnahmevorrichtung, die ein optisches Bildaufnahmesystem enthält, an N verschiedenen Positionen z_j (1 ≤ j ≤ N) aufgenommen wurden, die voneinander mit einem Abstand Δz in einer Richtung einer optischen Achse des optischen Bildaufnahmesystems beabstandet sind, und Bilddaten an einer Position z (z_min ≤ z ≤ z_max) in der Richtung der optischen Achse zu schätzen, wobei N eine Ganzzahl von 2 oder größer ist, z_min ein Minimalwert von z ist, und z_max ein Maximalwert von z ist, wobei das Bildschätzverfahren die Schritte aufweist: einen Bildkonversionsschritt des Durchführens einer Frequenzkonversion für N Sätze von Bilddaten in der Richtung der optischen Achse und des Berechnens von N Sätzen von konvertierten Bilddaten; und einen Kopplungsschritt des Multiplizierens der N Sätze von konvertierten Bilddaten mit einer komplexen Zahl, die für die N Sätze von konvertierten Daten basierend auf z_min, z_max, z und Δz bestimmt wird, und des Aufsummierens der multiplizierten Ergebnisse.
Bildschätzverfahren nach Anspruch 1, wobei die Frequenzkonversion eine Fourier-Transformation oder eine inverse Fourier-Transformation ist, wobei das Bildschätzverfahren ferner einen Frequenzberechnungsschritt des Berechnens einer Frequenz f_zn entsprechend den N Sätzen von konvertierten Bilddaten basierend auf z_min, z_max und Δz aufweist, und wobei der Frequenzberechnungsschritt die Frequenz f_zn unter Verwendung des folgenden Ausdrucks berechnet, und die komplexe Zahl exp(– 2πif_znz) oder exp(2πif_znz) ist, wobei i eine imaginäre Einheit und n eine Ganzzahl ist, die den folgenden Ausdruck erfüllt:
Bildschätzverfahren nach Anspruch 1, ferner mit: einem Frequenzberechungsschritt des Berechnens einer Frequenz f_zn entsprechend den N Sätzen von konvertierten Bilddaten basierend auf z_min, z_max, und Δz; und einem Null-Auffüllschritt des Erweiterns der N Sätze von konvertierten Bilddaten durch Hinzufügen eines 0 Werts zu einem höheren Frequenzbereich als einem Maximalwert der Frequenz f_zn und zu einem niedrigeren Frequenzbereich als einem Minimalwert der Frequenz f_zn, wobei der Kombinierschritt ein inverser Frequenzkonversionsschritt ist, der konfiguriert ist, eine inverse Frequenzkonversion entsprechend der Frequenzkonversion für die Bilddaten durchzuführen, die durch den 0-Auffüllschritt in der Richtung der optischen Achse aufgefüllt wurden.
Bildschätzverfahren nach Anspruch 3, wobei die Frequenzkonversion eine Fourier-Transformation oder eine inverse Fourier-Transformation ist, und wobei der Frequenzberechnungsschritt die Frequenz f_zn unter Verwendung des folgenden Ausdrucks berechnet, wobei n eine Ganzzahl ist, die den folgenden Ausdruck erfüllt:
Bildschätzverfahren nach Anspruch 3 oder 4, wobei die Frequenzkonversion eine Frequenzkonversion in einer Richtung senkrecht zu der optischen Achse enthält, und wobei die inverse Frequenzkonversion eine inverse Frequenzkonversion entsprechend der Frequenzkonversion in der Richtung senkrecht zu der optischen Achse enthält.
Bildschätzverfahren, das konfiguriert ist, eine Betriebseinheit und Bilddaten eines Objekts zu verwenden, die durch eine Bildaufnahmevorrichtung, die eine Bildaufnahmevorrichtung enthält, an N verschiedenen Positionen z_j (1 ≤ j ≤ N) aufgenommen wurden, die voneinander mit einem Abstand Δz in einer Richtung einer optischen Achse des optischen Bildaufnahmesystems beabstandet sind, und Bilddaten an einer Position z (z_min ≤ z ≤ z_max) in der Richtung der optischen Achse zu schätzen, wobei N eine Ganzzahl von 2 oder größer ist, z_min ein Minimalwert von z ist, und z_max ein Maximalwert von z ist, wobei das Bildschätzverfahren die Schritte des Multiplizierens von N Sätzen von Bilddaten mit sinc((z – z_j)/Δz) und Aufsummieren der multiplizierten Daten aufweist.
Bildschätzverfahren nach einem der Ansprüche 1 bis 6, wobei Δz den folgenden Ausdruck erfüllt, wobei λ eine Wellenlänge von Licht aus dem Objekt ist, und NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist:
Bildschätzverfahren nach einem der Ansprüche 1 bis 6, wobei der Δz den folgenden Ausdruck erfüllt, wobei λ eine Wellenlänge von Licht von dem Objekt ist und NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist:
Bildschätzverfahren nach Anspruch 1, wobei die Frequenzkonversion eine Kosinustransformation ist, wobei das Bildschätzverfahren ferner einen Frequenzberechnungsschritt des Berechnens einer Frequenz f_zn entsprechend den N Sätzen von konvertierten Bilddaten basierend auf z_min, z_max, und Δz aufweist, wobei der Frequenzberechnungsschritt die Frequenz f_zn unter Verwendung des folgenden Ausdrucks berechnet, wobei n eine Ganzzahl ist, die 0 ≤ n ≤ N – 1 erfüllt, und
wobei die komplexe Zahl eine reelle Zahl ist, die durch den folgenden Ausdruck bestimmt wird:
Bildschätzverfahren nach einem der Ansprüche 1 bis 9, wobei eine Lichtintensität einen niedrigeren Bereich nahe einem zentralen Teil einer Pupillenebene als in einer Peripherie in dem optischen Bildaufnahmesystem hat.
Bildschätzverfahren nach Anspruch 10, wobei die Fläche kreisförmig ist, und wobei Δz den folgenden Ausdruck erfüllt, wobei NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist, ein Radius der Fläche ε mal so groß wie ein Radius einer Pupille in dem optischen Aufnahmesystem ist, und λ eine Wellenlänge von Licht von dem Objekt ist:
Bildschätzverfahren nach Anspruch 10, wobei die Fläche kreisförmig ist, und wobei Δz den folgenden Ausdruck erfüllt, wobei NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist, ein Radius der Fläche ε mal so groß wie ein Radius einer Pupille in dem optischen Bildaufnahmesystem ist, und λ eine Wellenlänge von Licht von dem Objekt ist:
Bildschätzverfahren nach einem der Ansprüche 1 bis 8, wobei die Bildaufnahmevorrichtung ein optisches Beleuchtungssystem enthält, das konfiguriert ist, das Objekt zu beleuchten, und wobei eine Lichtintensität einen niedrigeren Bereich nahe einem zentralen Teil einer Pupillenebene als an einer Peripherie in dem optischen Beleuchtungssystem hat.
Bildschätzverfahren nach Anspruch 13, wobei die Fläche kreisförmig ist und wobei Δz den folgenden Ausdruck erfüllt, wobei NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist, ein Radius der Fläche ε mal so groß wie ein Radius einer Pupille des optischen Bildaufnahmesystems ist, und λ eine Wellenlänge von Licht von dem Objekt ist:
Bildschätzverfahren nach Anspruch 13, wobei die Fläche kreisförmig ist, und wobei Δz den folgenden Ausdruck erfüllt, wobei NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist, ein Radius der Fläche ε mal so groß wie ein Radius einer Pupille in dem optischen Bildaufnahmesystem ist, und λ eine Wellenlänge von Licht von dem Objekt ist:
Bildschätzverfahren, das konfiguriert ist, eine Betriebseinheit und Bilddaten eines Objekts zu benutzen, die durch eine Bildaufnahmevorrichtung, die ein optisches Bildaufnahmesystem enthält, an N verschiedenen Positionen z_j (1 ≤ j ≤ N), die voneinander mit einem Abstand Δz in einer Richtung einer optischen Achse des optischen Bildaufnahmesystems beabstandet sind, aufgenommen wurden, und Bilddaten an einer Position z (z_min ≤ z ≤ z_max) in der Richtung der optischen Achse zu schätzen, wobei N eine Ganzzahl von 2 oder größer ist, z_min ein Minimalwert von z ist, und z_max ein Maximalwert von z ist, wobei das Bildschätzverfahren den Schritt des Durchführens einer komplexen Fourierreihenexpansion für I(x, y, z) in einem Bereich von –n₀ bis n₀ aufweist, um so geschätzte Bilddaten zu erhalten, wobei ein komplexer Fourierkoeffizient der komplexen Fourierreihenexpansion durch eine diskrete Fourier-Transformation von I(x, y, z_j) bestimmt ist, wobei I(x, y, z) eine Helligkeitsverteilung ist, die repräsentativ für die Bilddaten an der Position z durch eine dreidimensionale Funktion ist, die die Richtung der optischen Achse und zwei Richtungen, die senkrecht zu der optischen Achse sind, enthält, I(x, y, z_j) eine Helligkeitsverteilung ist, die für N Sätze von Bilddaten des Objekts repräsentativ ist, f_zn eine diskrete Raumfrequenz in der Richtung der optischen Achse ist, und als f_zn = n/(z_max – z_min + Δz) ausgedrückt wird, n eine Ganzzahl ist, die –N/2 ≤ n < N/2 erfüllt, NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist, λ eine Wellenlänge des Lichts von dem Objekt ist, n₀ ein Maximum von n ist, das den folgenden Ausdruck erfüllt, ein Radius einer kreisförmigen Abschirmung ε mal so groß wie ein Radius einer Pupille des optischen Bildaufnahmesystems ist, wenn es eine kreisförmige Abschirmung an einem Zentrum der Pupille gibt, und ε gleich 0 ist, wenn es keine Abschirmung gibt:
Bildschätzverfahren, das konfiguriert ist, eine Betriebseinheit und Bilddaten eines Objekts, die durch eine Bildaufnahmevorrichtung, die ein optisches Bildaufnahmesystem enthält, an N verschieden Positionen z_j (1 ≤ j ≤ N), die voneinander mit einem Abstand Δz in einer Richtung einer optischen Achse des optischen Bildaufnahmesystems beabstandet sind, aufgenommen werden, zu verwenden, und Bilddaten an einer Position z (z_min≤ z ≤ z_max) in der Richtung der optischen Achse zu schätzen, wobei N eine Ganzzahl von 2 oder größer ist, z_min ein Minimalwert von z ist, und z_max ein Maximalwert von z ist, wobei das Bildschätzverfahren die Schritte des Durchführens einer Reihenexpansion für I(x, y, z) in einem Bereich von 1 bis n₀ aufweist, um so geschätzte Bilddaten zu erhalten, wobei ein Koeffizient der Reihenexpansion durch eine diskrete Kosinustransformation von I(x, y, z_j) bestimmt wird, wobei I(x, y, z) eine Helligkeitsverteilung ist, die repräsentativ für die Bilddaten an der Position z durch eine dreidimensionale Funktion ist, die die Richtung der optischen Achse und zwei Richtungen senkrecht zu der optischen Achse enthält, I(x, y, z_j) eine Helligkeitsverteilung ist, die repräsentativ für N Sätze von Bilddaten des Objekts ist, f_zn eine diskrete Raumfunktion in der Richtung der optischen Achse ist und als f_zn = n/(z_max – z_min + Δz) ausgedrückt wird, n eine Ganzzahl ist, die 0 ≤ n < N – 1 erfüllt, NA eine numerische Apertur des optischen Bildaufnahmesystems auf einer Objektseite ist, λ eine Wellenlänge des Lichts von dem Objekt ist, n₀ ein Maximum von n ist, das den folgenden Ausdruck erfüllt, ein Radius einer kreisförmigen Abschirmung ε mal so groß wie ein Radius einer Pupille des optischen Bildaufnahmesystems ist, wenn es die kreisförmige Abschirmung an einem Zentrum der Pupille gibt, und ε gleich 0 ist, wenn es keine Abschirmung gibt:
Programm, das konfiguriert ist, es einem Computer zu ermöglichen, das Bildschätzverfahren nach einem der Ansprüche 1 bis 17 durchzuführen.
Aufzeichnungsmedium, das konfiguriert ist, das Programm nach Anspruch 18 zu speichern.
Bildschätzvorrichtung, die konfiguriert ist, das Bildschätzverfahren nach einem der Ansprüche 1 bis 17 durchzuführen.
Netzwerkeinrichtung, die mit der Bildschätzvorrichtung nach Anspruch 20 durch ein Netzwerk verbunden ist, wobei die Netzwerkeinrichtung aufweist: eine Bestimmungseinheit, die konfiguriert ist, eine Position zu bestimmen, an der die Bildschätzvorrichtung die Bilddaten eines Objekts bestimmt; und eine Kommunikationseinheit, die konfiguriert ist, eine Information der Position an die Bildschätzvorrichtung zu übertragen und eine Information über die Bilddaten an der Position von der Bildschätzvorrichtung zu empfangen.
Netzwerkeinrichtung nach Anspruch 21, ferner mit einer Anzeigeeinheit, die konfiguriert ist, ein Bild an der Position basierend auf einer Information von I(x, y, z) darzustellen, die mittels der Kommunikationseinheit empfangen wurde, wobei I(x, y, z) eine Helligkeitsverteilung ist, die durch eine dreidimensionale Funktion repräsentativ für die Bilddaten an der Position ist.
Verfahren zum Erhalten von Bilddaten eines Objekts, die durch die Bildschätzvorrichtung nach Anspruch 20 geschätzt wurden, wobei das Verfahren die Schritte aufweist: Anzeigen einer Position von zumindest einem Satz von Bilddaten in einer Richtung einer optischen Achse unter vorher durch die Bildschätzvorrichtung geschätzten Bilddaten und N Sätzen von Bilddaten eines Objekts; und Bestimmen einer Position der Bilddaten des Objekts in der Richtung der optischen Achse, an der die Bildschätzvorrichtung schätzt.
Verfahren nach Anspruch 23, wobei eine Netzwerkeinrichtung, die mit der Bildschätzvorrichtung nach Anspruch 20 über ein Netzwerk verbunden ist, das Verfahren ausführt.