DE102008026188A1

DE102008026188A1 - Vergrößerungsbeobachtungsapparat und Methode zum Fotografieren eines vergrößerten Bildes

Info

Publication number: DE102008026188A1
Application number: DE102008026188A
Authority: DE
Inventors: Masahiro Inomata; Kang Woobum
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2007-06-01
Filing date: 2008-05-30
Publication date: 2008-12-04
Anticipated expiration: 2028-05-31
Also published as: DE102008026188B4; CN101316326B; JP5188101B2; JP2008301332A; US8081208B2; US20080297597A1; CN101316326A

Abstract

Ein Hochtonwertbild wird in einem vielseitigen Bilddateiformat gespeichert, um die Verwendbarkeit zu verbessern. Es werden bereitgestellt: eine Abbildungseinheit, die ein Originalbild abbildet, das einen vorbestimmten Tonwertumfang hat, welcher ein Verhältnis ist zwischen minimaler Luminanz und maximaler Luminanz; ein Erzeugungsteil eines synthetisierten Bildes, der synthetisierte Bilddaten, die höher im Tonwert sind als die Tonwertbreite des Originalbildes, durch Synthesieren einer Vielzahl von Originalbildern erzeugt, die unter verschiedenen Abbildungsbedingungen an derselben Beobachtungsposition abgebildet werden; eine Anzeigeeinheit, die die Bilder anzeigt, die durch die Abbildungseinheit abgebildet werden; einen Tonwertkonvertierungsteil, der synthesierte Bilddaten, die durch den Erzeugungsteil des synthesierten Bildes erzeugt werden, in Niedertonwertbilddaten, die eine Tonwertbreite haben, die geeignet ist, auf der Anzeigeeinheit angezeigt zu werden; und einen Speicherteil von Tonwertdaten, der eine Anzeigedatei mit Hochtonwertdaten erzeugt, welche einen Hochtonwertbildbereich umfasst zum Speichern der synthesierten Bilddaten, die als Basis dienen, als eine Bilddatei zum Speichern der Niedertonwertbilddaten.

Description

Die vorliegende Erfindung bezieht sich auf einen Vergrößerungsbeobachtungsapparat wie ein digitales Mikroskop und ein Mikroskop, das ein vergrößertes Bild abbildet und anzeigt, und auf eine Methode zum Fotografieren eines vergrößerten Bildes.
Ein Vergrößerungsbeobachtungsapparat, der ein Objekt wie eine Probe vergrößert und anzeigt, wobei eine Probe ein winziges Objekt und ein Werkstück umfasst, benutzt ein optisches Mikroskop und ein digitales Mikroskop, das eine optische Linse verwendet, und ähnliches. Das digitale Mikroskop empfangt reflektiertes Licht oder transmittiertes Licht von einem Beobachtungsziel, das an einer Beobachtungszielbefestigungseinheit befestigt ist und das durch ein optisches System eintritt mit einer Licht empfangenden Vorrichtung wie einem CCD, das elektrisch das Licht ausliest für jeden Pixel, der zweidimensional angeordnet ist, und zeigt das elektrisch gelesene Bild auf einer Anzeigeeinheit an wie einem Display (z. B. vgl. japanische Patentoffenlegungsschrift Nummer 2002-135648 ).
Der Empfindlichkeitsbereich eines Licht empfangenden Geräts wie eines CCD ist beschränkt auf einen speziellen Bereich, wohingegen der Empfindlichkeitsbereich des menschlichen Auges größer ist. Daher ist der darstellbare Bereich (Dynamikumfang, Tonwertumfang, englisch: dynamic range) des Bildes beschränkt, das mit dem CCD abgebildet wird, im Vergleich zum menschlichen Auge. Beispielsweise ist der Tonwertumfang acht Bit in einem gewöhnlichen JPEG-Bild. In einem solchen Fall tritt Sättigung auf, wenn der Tonwert des abzubildenden Bildes einen solchen Bereich übersteigt, wobei Unterbelichtung, Überbelichtung, ein Haloeffekt oder dergleichen verursacht wird. Um solche Probleme zu lösen, wird ein Bild mit hohem Tonwertumfang benutzt (im Folgenden als HDR-Bild bezeichnet), in welchem eine Vielzahl von Niedertonwertbildern mit dem Tonwertumfang des Luminanzbereichs synthetisiert abgebildet werden, um ein Hochtonwertbild zu erhalten. Das HDR-Bild wird erhalten durch ein Synthetisieren einer Vielzahl von Bildern desselben Objekts bei verschiedenen Belichtungsgraden und hat einen breiten Tonwertumfang von dem dunkelsten Schatten (schwarz) zu einem extrem hellen Glanzlicht (weiß). Beispielsweise wird eine Vielzahl von 8-Bit-Bildern synthetisiert, um ein Hochtonwert-HDR-Bild von 16 Bit oder 32 Bit zu generieren, und solch ein Bild wird gespeichert. Überbelichtung tritt in dem Metallbereich des Bildes auf, welches in 1 gezeigt wird, und Unterbelichtung tritt in dem Bild auf, welches in 2 gezeigt wird. Wenn solche Bilder synthetisiert werden, kann ein HDR-Bild wie in 3 gezeigt generiert werden.
Die Teile mit Überbelichtung und Unterbelichtung in dem Originalbild sind klar dargestellt im HDR-Bild von 3.
Wenn ein HDR-Bild, welches in der oben beschriebenen Art synthetisiert wurde, auf einem Monitor oder etwas Ähnlichem angezeigt wird, muss eine Tonwertkonvertierung (Tonwertkompression) ausgeführt werden auf einen Farbbereich, der auf dem Monitor dargestellt werden kann, d. h., auf einen niedrigen Tonwertumfang. Da zum Beispiel nur 16,77 Millionen Farben dargestellt werden können in 24-Bit-Farben, und nur 256 Farben im Fall von 8 Bit dargestellt werden können auf einem gewöhnlichen PC, wird ein HDR-Bild von 32 Bit als 24-Bit- oder 8-Bit-Bild durch Tonwertkompression gehandhabt.
Verschiedene Techniken sind vorgeschlagen worden, um den Tonwertumfang durch Benutzen des HDR-Bildes zu erweitern. Um Überlichtung oder Unterbelichtung zu beseitigen durch Erweitern des Tonwertumfangs, wird Fotografieren ausgeführt in einem Bereich von Dunkelheit in einem Ausmaß, wo Überbelichtung in keinem Bereich des Bildes stattfindet, d. h., mit einer kurzen Belichtungszeit, bis zu Helligkeit in einem Ausmaß, wo Unterbelichtung in keinem Bereich stattfindet, d. h., mit einer langen Belichtungszeit. Die japanischen Patentoffenlegungsschriften Nummern 2002-135648 und 2002-223387 offenbaren beispielsweise Techniken zum Bestimmen, in welchen Belichtungszeitbereichen eine Vielzahl von Bildern fotografiert werden sollen unter Benutzung von temporärem Fotografieren oder Ähnlichem als Technik zum Kontrollieren der Belichtungszeit beim Fotografieren eines Originalbildes zum Synthetisieren eines HDR-Bildes, während die Belichtungszeit verändert wird, wenn der Tonwertumfang erweitert wird.
Im Allgemeinen wird ein solches HDR-Bild oft benutzt in Anwendungen, um Haloeffekte zu eliminieren, welche in den Bilddaten enthalten sind, um rückgestreutes Licht zu korrigieren oder Ähnliches. In der Anwendung von Vergrößerungsbeobachtung kann auch eine Nachfrage existieren, feine Muster zu beobachten, welche in einem engen Tonwertumfang enthalten sind, im Gegensatz zu Anwendungen, in denen der Tonwertumfang für Haloeffektmaße und für ähnliches wörtlich verstanden erweitert wird. In diesem Fall werden Tonwertbilder fein abgebildet und in einem begrenzten Tonwertumfang synthetisiert, um das Signal-Rausch-Verhältnis und die Luminanzauflösung zu verbessern. Dadurch unterscheidet sich auch die Einstellung der Belichtungszeit von derjenigen in den Anwendungen mit Erweiterung des Tonwertumfangs. Es gab keine Beispiele von Vergrößerungsbeobachtungsapparaten, welche einen Wechsel im Tonwertumfang für solch eine Anwendung benutzt haben. Auch gab es keinen Vergrößerungsbeobachtungsapparat, der fähig war, zwischen einer Anwendung mit Erweiterung des Tonwertumfangs und einer Anwendung mit Verbesserung der Luminanzauflösung zu wechseln und automatisch zu bestimmen, in welcher Anwendung ein Benutzer zu fotografieren wünscht.
In Anbetracht dessen wird ein Vergrößerungsbeobachtungsapparat gemäß Ansprüchen 1, 12 und 13 und ein Verfahren zum Fotografieren eines vergrößerten Bildesgemäß Ansprüchen 14, 15 und 16 zur Verfügung gestellt.
Typische Ausführungsformen, besondere Aspekte und Details ergeben sich aus den Unteransprüchen, der Beschreibung und den Figuren.
Die vorliegende Erfindung wurde im Hinblick auf diesen Hintergrund gemacht. Es ist das Hauptziel der vorliegenden Erfindung, einen Vergrößerungsbeobachtungsapparat bereitzustellen, der fähig ist, automatisch zwischen einem Modus mit Erweiterung des Tonwertumfangs und einem Modus mit Verbesserung der Auflösung den Beobachtungszwecken entsprechend zu wechseln, und es wird eine Methode zum Fotografieren eines vergrößerten Bildes bereitgestellt.
Dementsprechend bezieht sich ein Vergrößerungsbeobachtungsapparat gemäß der vorliegenden Erfindung auf einen Vergrößerungsbeobachtungsapparat, der fähig ist, ein Bild anzuzeigen, das erhalten wird durch Abbilden einer Probe, die abgebildet werden soll gemäß einer gesetzten Abbildungsbedingung, wobei der Vergrößerungsbeobachtungsapparat umfasst:
einen Abbildungsbedingungseinstellungsteil, der mindestens eine Belichtungszeit als Abbildungsbedingung setzt, wenn ein Originalbild in einer Abbildungseinheit abgebildet wird;
die Abbildungseinheit, welche das Originalbild abbildet, welches einen vorbestimmten Tonwertumfang hat, welcher das Verhältnis zwischen der minimalen Luminanz und der maximalen Luminanz ist, gemäß der Abbildungsbedingung, die in dem Abbildungsbedingungseinstellungsteil gesetzt ist, hinsichtlich einer Beobachtungsposition der Probe;
einen Erzeugungsteil für eine synthetisiertes Bild, der Daten eines synthetisierten Bildes erzeugt, die im Tonwert höher als die Tonwertbreite des Originalbildes sind durch Synthetisieren einer Vielzahl von Originalbildern, die unter verschiedenen Abbildungsbedingungen abgebildet wurden an derselben Beobachtungsposition der Probe;
eine Anzeigeeinheit, die ein Bild anzeigt, welches durch die Abbildungseinheit abgebildet wurde;
und einen Modusauswahlteil, der als Fotografiemodus eines synthetisierten Bildes zum Erfassen des synthetisierten Bildes aus einer Vielzahl von Originalbildern, die durch die Abbildungseinheit abgebildet werden, entweder einen Fotografiemodus zum Erweitern des Tonwertumfangs auswählt, um ein synthetisiertes Bild zu erzeugen, das einen Tonwertumfang hat, der größer ist als der der Originalbilder, und einem Fotografiemodus zum Vergrößern der Auflösung, um eine Luminanzauflösung zu vergrößern von dem Originalbild in einem Tonwertumfang, der enger ist als der des Originalbildes. Gemäß einer solchen Konfiguration kann ein synthetisiertes Bild beschafft werden, in welchem die Luminanzauflösung vergrößert ist innerhalb eines engen Tonwertumfangs, zusätzlich zu einem Modus der Tonwertumfangserweiterung, wenn ein synthetisiertes Bild erzeugt wird, wodurch die Texturen leicht unterschieden werden können sogar im Bezug auf eine Probe, die kaum Kontrastierungsdichte hat wie zum Beispiel Keramik.
Ausführungsformen der Erfindung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben.
1 ist ein Bild, das ein Beispiel eines Bildes mit Überbelichtung zeigt.
2 ist ein Bild, das ein Beispiel eines Bildes mit Unterbelichtung zeigt.
3 ist ein Bild, das ein HDR-Bild zeigt, in welchem die Bilder von 1 und 2 synthetisiert sind.
4 ist eine Außenansicht, die einen Vergrößerungsbeobachtungsapparat zeigt gemäß einer Ausführungsform der vorliegenden Erfindung.
5 ist ein Blockdiagramm eines Vergrößerungsbeobachtungsapparats gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
6 ist ein Blockdiagramm eines Beobachtungsvergrö0erungsapparats gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
7 ist ein Graph, der eine Veränderung in empfangenen Lichtdaten mit Bezug auf die Höhe z zeigt.
8 ist ein Blockdiagramm, das einen Vergrößerungsbeobachtungsapparat zeigt, der ein synthetisiertes Bild erzeugt.
9 ist ein Flussdiagramm, das ein Verfahren zeigt vom Fotografieren eines HDR-Bildes bis zum Anzeigen eines HDR-Bildes auf einer Anzeigeeinheit.
10 ist ein Bild, das eine keramische Oberfläche zeigt.
11 ist ein Bild, das ein synthetisiertes Bild zeigt, in welchem 10 in einem Fotografiemodus der Auflösungsverbesserung abgebildet ist.
12 ist ein Flussdiagramm, das Methode 1 zeigt zum automatischen Auswählen eines Fotografiemodus zum Synthetisieren eines Bildes.
13 ist ein Flussdiagramm, das Methode 2 zeigt zum automatischen Auswählen eines Fotografiemodus zum Synthetisieren eines Bildes.
14 ist ein Flussdiagramm, das Methode 3 zeigt zum automatischen Auswählen eines Fotografiemodus zum Synthetisieren eines Bildes.
15A bis 15D sind Graphen, die beispielhafte Histogramme einer Luminanzverteilung eines temporären Bildes einer Probe A zeigen.
16A bis 16D sind Graphen, die exemplarische Histogramme einer Luminanzverteilung eines temporären Bildes einer Probe B zeigen.
17 ist ein Bild, das ein Beispiel eines Benutzerinterfacebildschirms (einfacher Modus) eines Programms zur Beobachtung eines vergrößerten Bildes zeigt.
18 ist ein Bild, das ein Beispiel eines Benutzerinterfacebildschirms (detaillierter Modus) eines Programms zur Beobachtung eines vergrößerten Bildes zeigt.
19A und 19B sind Bilder, die einen Zustand des Anpassens eines Helligkeitsschiebers für ein synthetisiertes Bild zeigen, wobei das Bild in einer Anwendung zur Auflösungsverbesserung abgebildet wird.
20A und 20B sind Bilder, die einen Zustand des Anpassens eines Texturverbesserungsschiebers für ein synthetisiertes Bild zeigen, wobei das Bild in einer Anwendung zur Auflösungsverbesserung abgebildet wird.
21A und 21B sind Bilder, die den Zustand des Anpassens eines Kontrastschiebers für ein synthetisiertes Bild zeigen, wobei das Bild in einer Anwendung zur Erweiterung des Tonwertumfangs abgebildet wird.
22A und 22B sind Bilder, die den Zustand des Anpassens eines Farbschiebers für ein synthetisiertes Bild zeigen, wobei das Bild in einer Anwendung zur Erweiterung des Tonwertumfangs abgebildet wird.
23 ist ein Flussdiagramm, das ein Verfahren zum Tonwertkonvertieren eines Hochtonwertbildes in ein Niedertonwertbild zeigt.
24 ist ein Flussdiagramm, das ein Einstellungsverfahren eines spezifischen Abbildungsparameters zeigt.
25 ist ein Bild unter einem Abbildungsparameter.
26 ist ein Bild, in welchem der Abbildungsparameter von 25 verändert ist.
27 ist eine schematische Ansicht, die eine Struktur einer Anzeigedatei mit angehängten Hochtonwertdaten zeigt.
28 ist ein Blockdiagramm, das den Fluss einer Erfassung und Anzeige und einer Datenspeicherung eines synthetisierten Bildes zeigt, wobei ein Vergrößerungsbeobachtungsapparat gemäß den Ausführungsformen benutzt wird.
Ausführungsformen der vorliegenden Erfindung werden jetzt beschrieben mit Bezug auf die Figuren. Es soll bemerkt werden, dass die folgenden Ausführungsformen einen Vergrößerungsbeobachtungsapparat illustrieren und eine Methode, um eine Hochtonwertbilddatei zu erzeugen, zur Verkörperung der technischen Idee der vorliegenden Erfindung, und die vorliegende Erfindung beschränkt den Vergrößerungsbeobachtungsapparat und die Methode, um eine Hochtonwertbilddatei zu erzeugen, nicht auf das Folgende. Die vorliegende Beschreibung beschränkt niemals die Elemente, die in den beigefügten Ansprüchen beschrieben werden, auf die Elemente der Ausführungsform. Insbesondere sollen Dimensionen, Materialien, Formen, relative Anordnung und Ähnliches der Komponenten, die in den Ausführungsformen beschrieben werden, nicht aufgefasst werden in einer Weise, dass sie den Bereich der vorliegenden Erfindung beschränken, außer wenn explizit gesagt, sondern dienen als bloße Beispiele. Die Größe, Position, Beziehung und Ähnliches der Elemente, die in einer jeden Figur gezeigt werden, sind manchmal übertrieben, um die Beschreibung klarer zu machen. In der folgenden Beschreibung beziehen sich dieselben Namen oder Referenzzeichen auf dieselben oder äquivalente Elemente, und eine detaillierte Beschreibung wird nicht wiederholt. Weiterhin kann jede Komponenteeinen Modus annehmen, in welchem eine Vielzahl von Elementen mit demselben Teil oder Element konfiguriert ist, und ein Teil wird auch als eine Vielzahl von Elementen verwendet, oder die Funktion eines Teils kann von einer Vielzahl von Teilen oder Elementen geteilt werden.
Die Verbindung zwischen einem Vergrößerungsbeobachtungsapparat, der in den Beispielen der vorliegenden Erfindung benutzt wird, und einem Computer, einem Drucker, einem externen Speichergerät und anderer peripherer Ausrüstung, die an den Apparat zur Bedienung, Kontrolle, Anzeige und für andere Prozesse angeschlossen ist, beinhaltet serielle Verbindung wie IEEE1394, RS-232x und RS-422 und USB; parallele Verbindung; oder elektrische, magnetische oder optische Verbindung durch ein Netzwerk wie 10 BASE-T, 100BASE-TX, und 1000BASE-T, um Kommunikation auszuführen. Die Verbindung ist nicht beschränkt auf eine materielle Verbindung, die Kabel benutzt, und kann auch Wireless LAN wie IEEE802.1x sein, kabellose Verbindung, die elektrische Wellen verwendet, Infrarot oder optische Kommunikation wie Bluetooth. Das Aufzeichnungsmedium zum Datenaustausch und zur Speicherung der Einstellung umfasst Speicherkarten, Speicherplatten, (discs), magnetische Platten, optische Platten und magneto-optische Platten, und Halbleiterspeicher. In der vorliegenden Beschreibung ist der Ausdruck „Vergrößerungsbeobachtungsapparat" nicht beschränkt auf einen Vergrößerungsbeobachtungsapparatekörper und wird benutzt, um ein Vergrößerungsbeobachtungssystem zu umfassen, welches periphere Ausrüstung wie Computer und externe Speichervorrichtungen vereinigt.
In der vorliegenden Beschreibung sind der Vergrößerungsbeobachtungsapparat und die Methode zum Erschaffen einer Hochtonwertbilddatei nicht beschränkt auf das System, das eine ein synthetisiertes Bild umfassende Bilddatei erzeugt, und auch nicht auf einen Apparat und eine Methode um in Hardware Ein-/Ausgabe, Anzeige, Berechnung, Kommunikation und andere Prozessen auszuführen, die sich auf die Erzeugung einer Bilddatei beziehen. Der Geltungsbereich der vorliegenden Erfindung umfasst auch einen Apparat und eine Methode zum Realisieren der Prozesse in Software. Zum Beispiel entsprechen ein Apparat und ein System, die einen Allzweckschaltkreis und einen Computer veranlassen, Software und Programme, Plug-Ins, Objekte, Bibliotheken, Anwendungseinheiten, englisch applets, Compiler, Module, Makroinstruktionen auf einem spezifischen Programm und Ähnliches zu enthalten und eine Bilderzeugung auszuführen oder Prozesse, die sich darauf beziehen, auch einem Vergrößerungsbeobachtungsapparat und der Methode zum Erzeugen von Hochtonwertbilddateien der vorliegenden Erfindung. In der vorliegenden Beschreibung beinhaltet „Computer" zusätzlich zu Allzweck- oder dedizierten Elektronikrechnern, auch Großrechner, englisch workstations, Datenendgeräte, englisch terminals, tragbare elektronische Ausrüstung, Mobiltelefone wie PDC, CDMA, W-CDMA, FOMA (eingetragene Marke), GSM, IMT2000, und vierte Generation, PHSs, PDAs, Pagers, Smartphones und andere elektronische Geräte. In der vorliegenden Beschreibung ist der Ausdruck „Programm" nicht auf ein solches beschränkt, das alleine benutzt wird, und „Programm" kann verwendet werden in einer Art und Weise des Funktionierens als Teil eines spezifischen Computerprogramms, einer Software, eines Dienstes und Ähnlichem, in einer Art und Weise des Aufgerufenwerdens und Funktionierens wenn nötig, in einer Art und Weise des Bereitgestelltwerdens als ein Dienst in einer Umgebung wie einem Betriebssystem, einer Art und Weise, resident zu sein und zu operieren in der Umgebung, und in einer Art und Weise des im Hintergrund Operieren, oder als ein Hilfsprogramm.
Für den Begriff „Tonwertumfang", englisch dynamic range, wird oft auch synonym „Dynamikumfang" und „Kontrastumfang" verwendet. Der Begriff „Tonwertumfang" soll diese Begriffe umfassen. Der Begriff „Tonwert", englisch tone, umfasst die Begriffe „Helligkeitsstufen", „Graustufen" und „Farbtiefe". Ebenso umfasst „Tonwertkompression", englisch tone mapping, auch den Begriff „Dynamikkompression" und allgemein jede Art des Abbilden des Tonwerts. Ein Haloeffekt, englisch halation, wird oft auch als „Halo-Artefakt" bezeichnet und soll zusätzlich auch in diesem Sinn verstanden werden.
Erste Ausführungsform
Ein Vergrößerungsbeobachtungsapparat gemäß einer ersten Ausführungsform der vorliegenden Erfindung wird beschrieben mit Bezug auf die 4 und 5. Wie in 4 gezeigt, umfasst ein Vergrößerungsbeobachtungsapparat eine Beleuchtungseinheit 60 zum Beleuchten einer Probe (eines Objekts), welches beobachtet werden soll, eine Abbildungseinheit 10, die die Probe abbildet, welche durch die Beleuchtungseinheit 60 beleuchtet ist, und ein Informationsverarbeitungsapparat 50, der eine Anzeigeeinheit 52 umfasst, die ein vergrößertes Bild anzeigt, das mit der Abbildungseinheit 10 abgebildet wurde. Der Vergrößerungsbeobachtungsapparat von 4 umfasst auch eine Probenfixiereinheit, die die Probe fixiert (Gestell 30, auf das eine Probe S angebracht werden soll) und eine Abbildungsvorrichtung (CCD 12), welche reflektiertes Licht oder transmittiertes Licht elektrisch von einer Probe S liest, die an der Probenfixiereinheit befestigt ist, wobei das Licht durch ein optisches System 11 eintritt, und eine Brennweitenanpassungseinheit (Gestellhebe-/senkeinheit 20), welche eine Brennweite anpasst, indem sie die relative Distanz in Richtung der optischen Achse zwischen der Probenfixiereinheit und dem optischen System 11 verändert. Wie in 5 gezeigt wird, umfasst der Informationsverarbeitungsapparat 50 eine Brennweiteninformationsspeichereinheit (Speicher 53), welcher Brennweiteninformation speichert, die sich auf die relative Distanz in der Richtung der optischen Achse zwischen der Probenfixiereinheit und dem optischen System 11 bezieht, wenn die Brennweite durch die Brennweitenanpassungseinheit angepasst wird, zusammen mit zweidimensionaler Positionsinformation der Probe in einer Ebene im Wesentlichen senkrecht zur Richtung der optischen Achse, die Anzeigeeinheit 52, die ein durch die Abbildungsvorrichtug gelesenes Bild anzeigt, eine Bereichseinstellungseinheit (Bedienungseinheit 55, Zeigevorrichtung 55a) umfasst und in der Lage ist zum Setzen von mindestens einem der Bereiche eines Teils des Bildes, das durch die Anzeigeeinheit 52 angezeigt wird, und eine Recheneinheit (Kontrolleinheit 51), die eine mittlere Höhe der Probe S berechnet in Richtung der optischen Achse, dem Bereich entsprechend, der durch die Bereichseinstellungseinheit gesetzt ist, basierend auf der Brennweiteninformation, die in der Brennweiteninformationsspeichereinheit gespeichert wird, sich beziehend auf einen Teil oder auf die Gänze der Probe S in Entsprechung zu einem Bereich, der durch die Bereichseinstellungseinheit gesetzt ist. Der Vergrößerungsbeobachtungsapparat kann eine mittlere Höhe (Tiefe) der Probe berechnen in Richtung der optischen Achse, entsprechend einem spezifizierten Bereich, indem der Apparat eine Abbildungsvorrichtung benutzt, die elektrisch das von der Probe reflektierte oder transmittierte Licht liest, wobei die Probe an einer Probenfixiereinheit befestigt ist, und wobei das Licht durch das optische System eintritt.
Wie in 5 gezeigt umfasst die Abbildungseinheit 10: das Gestell 30, welches eine Form der Probenfixiereinheit darstellt, auf der die Probe S angebracht werden soll; die Gestellhebe-/senkeinheit 20, die sich entlang des Gestells 30 bewegt; das CCD 12, welches eine Form darstellt einer Abbildungseinheit, die reflektiertes oder transmittiertes Licht elektrisch liest, das durch ein optisches System auf die Probe eintritt, die auf dem Gestell 30 befestigt ist, für jedes Pixel, das zweidimensional angeordnet ist; und einen CCD-Kontrollschaltkreis 13, der das CCD 12 treibt und kontrolliert. Desweiteren ist der Informationsverarbeitungsapparat 50 oder der Vergrößerungsbeobachtungsapparatekörper mit der Abbildungseinheit 10 verbunden. Der Informationsverarbeitungsapparat 50 beinhaltet den Speicher 53, welcher eine Form darstellt einer Bilddatenspeichereinheit, die Bilddaten speichert, die elektrisch gelesen werden durch die Abbildungsvorrichtung; die Anzeigeeinheit 52 wie ein Display oder ein Monitor, der ein Bild anzeigt basierend auf den Bilddaten, die durch die Abbildungsvorrichtung elektrisch gelesen werden; die Bedienungseinheit 55, die Eingabe oder Eingaben ausführt und andere Operationen basierend auf dem Schirm, angezeigt auf der Anzeigeeinheit 52; und die Kontrolleinheit 51, die Bildverarbeitung ausführt und verschiedene andere Prozesse basierend auf Information, die durch die Bedienungseinheit 55 eingegeben wurden. Das Display, das die Anzeigeeinheit 52 gestaltet, ist ein Monitor, der fähig ist, ein Bild mit hoher Auflösung anzuzeigen, und der eine Kathodenstrahlröhre sein kann, englisch abgekürzt CRT, eine Flüssigkristallkonsole, englisch liquid crystal panel, oder dergleichen.
Die Bedienungseinheit 55 ist mit dem Computer durch ein Kabel oder kabellos verbunden oder ist an dem Computer befestigt. Eine gewöhnliche Bedienungseinheit 55 umfasst verschiedene Zeigegeräte wie eine Maus, eine Tastatur, ein Slidepad, ein Zeigestab, ein Tablet, einen Joystick, eine Konsole, einen Drehselektor, einen Digitalisierer, einen Lichtstift, ein numerisches Eingabefeld, englisch numerical keypad, ein Touchpad oder einen Akkupunktierer, englisch acupoint. Zusätzlich zur Bedienung eines Vergrößerungsbeobachtungsbedienungsprogramms kann die Bedienungseinheit 55 auch benutzt werden, um den Vergrößerungsbeobachtungsapparat selbst zu bedienen oder dessen periphere Ausrüstung. Ein Touchscreen oder eine Berührkonsole, englisch tauch panel, können für das Display selbst benutzt werden, das einen Interfacebildschirm anzeigt, so dass der Benutzer Eingabe oder Bedienung ausführen kann durch direktes Berühren des Schirms mit der Hand, oder alternativ oder zusätzlich dazu können Stimmeingabe und andere existierende Eingabemittel benutzt werden. In dem Beispiel von 4 ist die Bedienungseinheit 55 gestaltet durch ein Zeigegerät 55A wie einer Maus 55a.
4 zeigt eine Außenansicht des Vergrößerungsbeobachtungsapparats gemäß einer Ausführungsform der vorliegenden Erfindung. Eine Kamera 10a, die ein optisches System und eine Abbildungsvorrichtung umfasst, ist festgemacht an einer Kamerabefestigungseinheit 43, die befestigt ist an einer Unterstützungssäule 42, die sich in einer vertikalen Richtung von einem Standbrett 41 erstreckt. Die Gestellhebe-/senkeinheit 20, die das Gestell 30, auf dem die Probe S befestigt werden soll, an einem oberen Teil festgemacht hat, wird bereitgestellt auf dem Standbrett 41. Die Kamera 10a und die Gestellhebe-/senkeinheit 20 sind verbunden mit einem Informationsverarbeitungsapparat 50 und kontrolliert durch den Informationsverarbeitungsapparat 50. Der Informationsverarbeitungsapparat 50 beinhaltet die Anzeigeeinheit 52 und die Bedienungseinheit 55 wie die Maus 55a. Ein beobachtetes Bild wird auf der Anzeigeeinheit 52 angezeigt.
Ein Computer 70 ist mit dem Vergrößerungsbeobachtungsapparat oder dem Informationsverarbeitungsapparat 50 verbindbar, wobei das Vergrößerungsbeobachtungsbedienungsprogramm separat auf dem Computer 70 installiert werden kann, so dass der Vergrößerungsbeobachtungsapparat von Seiten des Computers 70 bedient werden kann. In der vorliegenden Beschreibung umfasst das Vergrößerungsbeobachtungsbedienungsprogramm zum Bedienen des Vergrößerungsbeobachtungsapparats unter Benutzung des Computers zusätzlich zu Betriebsprogrammen, die auf einem Allzweck- oder dedizierten Computer installiert sind, der extern mit dem Vergrößerungsbeobachtungsapparat verbunden ist, ein Bedienungsprogramm, das in dem Informationsverarbeitungsapparat 50 oder in der Kontrolleinheit des Vergrößerungsbeobachtungsapparats eingeschlossen ist, die oben beschrieben wurde. Die Bedienungsfunktion oder das Bedienungsprogramm zum Bedienen des Vergrößerungsbeobachtungsapparats ist in dem Vergrößerungsbeobachtungsapparat im Voraus eingeschlossen. Das Bedienungsprogramm kann auf dem Vergrößerungsbeobachtungsapparat in Form von wieder beschreibbarer Software, Firmware oder Ähnlichem installiert werden oder einer Aktualisierung unterzogen werden, englisch update. Daher umfasst der Computer, der das Vergrößerungsbeobachtungsbedienungsprogramm ausführt, in der vorliegenden Beschreibung den Vergrößerungsbeobachtungsapparat selbst.
5 zeigt ein Blockdiagramm des Vergrößerungsbeobachtungsapparats gemäß einer Ausführungsform der vorliegenden Erfindung. Der Informationsverarbeitungsapparat 50 ist gestaltet durch die Anzeigeeinheit 52, den Speicher 53, der Kontrollprogramme, Brennweiteninformation, empfangene Lichtdaten, zweidimensionale Information und Ähnliches speichert, ein Interface 54 für den Informationsverarbeitungsapparat 50, um Daten mit der Kamera 10a und mit der Gestellhebe-/senkeinheit 20 auszutauschen, und die Bedienungseinheit 55, damit der Benutzer Operationen ausführen kann, die sich auf den Vergrößerungsbeobachtungsapparat beziehen. Die Gestellhebe-/senkeinheit 20 wird gestaltet durch einen Schrittmotor 21, einen Motorkontrollschaltkreis 22, der das Heben/Senken des Schrittmotors 21 kontrolliert, und Ähnliches. Die Abbildungseinheit 10 umfasst eine Licht empfangende Vorrichtung wie ein CCD 12 als Abbildungsvorrichtung, den CCD-Kontrollschaltkreis 13, der das CCD 12 treibt und kontrolliert, und das optische System 11, das das transmittierte Licht oder das reflektierte Licht desjenigen Lichtes abbildet, das ausgestrahlt wird auf die Probe S, die befestigt ist auf dem Gestell 30, von einer Beleuchtungseinheit 60 auf das CCD 12.
Pixelversatzteil
Die Abbildungseinheit 10 umfasst einen Pixelversatzteil, der eine hohe Auflösung größer als oder gleich wie die Auflösung des CCD 12 durch Pixelversatz erhält. Der Pixelversatz erreicht höhere Auflösung durch Synthetisieren eines Bildes, das mit dem um ein halbes Pixel verschobenen Objekt fotografiert wird, und eines Bildes vor dem Verschieben. Ein typischer Bildverschiebemechanismus umfasst eine CCD-Treibmethode des Bewegens der Abbildungsvorrichtung, eine LPF-Neigemethode des Neigens des LPF, und eine Linsenbewegmethode des Bewegens der Linse. In 5 umfasst der Apparat eine Strahlengangverschiebeeinheit 14, die einen einfallenden Strahlengang des reflektierten Lichts oder des transmittierten Lichts in mindestens eine Richtung optisch verschiebt um eine Distanz, die kleiner ist als das Intervall eines Pixels des CCD 12 in dieser Richtung, wobei das Licht auf das CCD 12 durch das optische System 11 von einer Probe S her einfällt, die an dem Gestell 30 befestigt ist. Der Mechanismus und die Methode zum Realisieren des Pixelversatzes in einer Ausführungsform der vorliegenden Erfindung sind nicht beschränkt auf die obige Konfiguration, und existierende Methoden und Methoden, die noch in der Zukunft entwickelt werden, können geeignet benutzt werden.
Der Informationsverarbeitungsapparat 50 verändert die relative Distanz in der Richtung der optischen Achse oder die Höhe in der z-Richtung zwischen dem Gestell 30, das als Probenfixiereinheit dient, und der Kamera 10a, die das optische System 11 und das CCD 12 umfasst, das als Abbildungsvorrichtung dient, durch Eingeben von Kontrolldaten, die sich auf die Kontrolle des Schrittmotors 21 beziehen, in den Motorkontrollschaltkreis 22. Insbesondere kontrolliert der Informationsverarbeitungsapparat 50 die Rotation des Schrittmotors 21 durch Eingeben von Kontrolldaten, die notwendig sind für die Kontrolle der Gestellhebe-/senkeinheit 20, an den Motorkontrollschaltkreis 22, und hebt/senkt die Höhe z (Position in der z-Richtung) des Gestells 30. Der Schrittmotor 21 erzeugt ein Rotationssignal, das der Rotation entspricht. Der Informationsverarbeitungsapparat 50 speichert die Höhe z des Gestells 30, die als Information dient, welche sich auf die relative Distanz in Richtung der optischen Achse zwischen der Probenfixiereinheit und dem optischen System 11 bezieht basierend auf dem Rotationssignal, das durch den Motorkontrollschaltkreis 22 hindurch eingegeben wird. Das Gestell dient als ein Beobachtungspositionierungsteil 30A, das eine Beobachtungsposition im Bezug auf die Probe positioniert. In der vorliegenden Ausführungsform wurde ein Beispiel des Verändern der relativen Distanz in Richtung der optischen Achse zwischen der Probenfixiereinheit und dem optischen System durch ein Verändern der Höhe des Gestells 30 beschrieben, aber die Höhe des optischen Systems 11 wie die Höhe der Kamera 10a kann bei fixiertem Gestell 30 verändert werden. Das Gestell kann auf einem Kopfelement bereitgestellt werden, welches ein von dem Körper verschiedenes Element ist, anders als auf dem Vergrößerungsbeobachtungsapparatekörper, oder die Abbildungseinheit, die nicht das Gestell umfasst, kann auf dem Kopfteil bereitgestellt werden. Die Abbildungseinheit, die nicht das Gestell umfasst, kann an einem Befestigungshalter befestigt werden oder kann durch den Nutzer getragen werden. Solch ein Kopfteil ist mit dem Vergrößerungsbeobachtungsapparatekörper durch ein Kabel verbunden.
Das CCD 12 kann die Menge des Lichts elektrisch lesen, die für jeden zweidimensional in der x- und y-Richtung angeordneten Pixel empfangen wurde. Das Bild der Probe S. das auf dem CCD 12 abgebildet wird, wird konvertiert in ein elektrisches Signal gemäß der Menge des Lichts, die für jedes Pixel auf dem CCD 12 empfangen wurde, und wird weiter konvertiert zu digitalen Daten in dem CCD-Kontrollschaltkreis 13. Der Informationsverarbeitungsapparat 50 speichert in dem Speicher 53 die in dem CCD-Kontrollschaltkreis 13 konvertierten digitalen Daten als Daten D empfangenen Lichts zusammen mit Anordnungsinformation (x, y) eines Pixels, die als zweidimensionale Positionsinformation einer Probe dient in der Ebene (x-, y-Richtung in 5) im Wesentlichen senkrecht zur Richtung der optischen Achse (z-Richtung in 5). Die Ebene, die im Wesentlichen senkrecht zur Richtung der optischen Achse ist, muss hier nicht streng eine Ebene sein, welche 90 Grad mit Bezug zu der optischen Achse bildet, und braucht nur eine Beobachtungsebene zu sein innerhalb eines Neigungsbereichs mit einem Ausmaß, worin die Form der Probe bei der Auflösung des optischen Systems und der Abbildungsvorrichtung erkannt werden kann.
Ein Beispiel des Befestigens einer Probe auf dem Gestell ist beschrieben worden als ein Beispiel der Probenfixiereinheit in der obigen Beschreibung, aber ein Arm kann beispielsweise an Stelle des Gestells angebracht werden und die Probe kann an dem entfernten Ende des Arms festgemacht werden. Desweiteren kann die Kamera 10a nicht nur an der Kamerabefestigungseinheit 43 befestigt werden, sondern auch entfernbar platziert werden an einer gewünschten Position und mit einem gewünschten Winkel durch eine Handhaltemethode oder Ähnliches.
Die Beleuchtungseinheit 60, die in 4 gezeigt wird, umfasst eine Aufbeleuchtung, englisch epi-illumination, 60A zum emittieren von Auflicht, englisch epi-light, auf die Probe und eine Transmissionsbeleuchtung 60B zum emittieren von transmittiertem Licht. Solche Beleuchtungen sind mit dem Informationsverarbeitungsapparat 50 verbunden durch einen Lichtleiter 61. Der Informationsverarbeitungsapparat 50 umfasst einen Verbinder 62, der den Lichtleiter 61 verbindet, und beinhaltet eine Lichtquelle (nicht gezeigt) zum Abgeben von Licht an den Lichtleiter 61 durch den Verbinder 62 hindurch. Eine Halogenlampe oder Ähnliches wird als Lichtquelle benutzt.
Kontrolleinheit 51
Die Kontrolleinheit 51, die als Kontrollteil dient, kontrolliert, um das abgebildete beobachtete Bild in eine Auflösung zu konvertieren, die ein Anzeigen auf der Anzeigeeinheit 52 ermöglicht, und eben dieses anzuzeigen. In dem Vergrößerungsbeobachtungsapparat von 4 zeigt die Abbildungseinheit 10 auf der Anzeigeeinheit 52 das beobachtete Bild an, in welchem die Probe S durch das CCD 12 abgebildet ist. Im Allgemeinen ist die Leistungsfähigkeit der Abbildungsvorrichtung wie eines CCD in vielen Fällen höher als die Abbildungsfähigkeit in der Abbildungseinheit, und folglich wird das Bild in reduzierter Weise angezeigt durch Senken der Auflösung zu einer Größe, die auf einem Schirm angezeigt werden kann, beispielsweise durch Dezimieren des Bildes, um das abgebildete beobachtete Bild auf einem Schirm anzuzeigen. Unter der Annahme, dass die gelesene Auflösung zu der Zeit, wo sie durch die Abbildungseinheit 10 gelesen wird, eine erste Auflösung ist, wird das Bild auf der Anzeigeeinheit 52 bei einer zweiten Auflösung angezeigt, die niedriger als die erste Auflösung ist.
Zweite Ausführungsform
Ein Lasermikroskop wird jetzt beschrieben mit Bezug auf 6 als ein Vergrößerungsbeobachtungsapparat gemäß einer zweiten Ausführungsform der vorliegenden Erfindung. In dem Vergrößerungsbeobachtungsapparat der zweiten Ausführungsform umfasst die Kamera, die als Abbildungseinheit dient, eine erste Abbildungseinheit, in welcher das reflektierte Licht des Lichts von einer ersten Lichtquelle (Laser 101), das auf eine Probe S emittiert wird, empfangen wird durch eine erste Licht empfangende Vorrichtung (Fotodiode 112) durch ein erstes optisches System 100, und eine zweite Abbildungseinheit, in welcher das reflektierte Licht des Lichts von einer zweiten Lichtquelle (weiße Lampe 201), das auf eine Probe S emittiert wird, empfangen wird durch eine zweite Licht empfangende Vorrichtung (CCD 212) durch ein zweites optisches System 200.
Die erste Abbildungseinheit wird zuerst beschrieben. Das erste optische System 100 umfasst einen Laser 101, der monochromatisches Licht emittiert (zum Beispiel einen Laserstrahl) auf die Probe S, eine erste Kollimatorlinse 102, einen Polarisationsstrahlteiler 103, eine ¼-Wellenlängenscheibe 104, englisch quarter wavelength plate, einen horizontalen Ablenkungsapparat 105, einen senkrechten Ablenkungsapparat 106, eine erste Verbindungslinse 107, eine zweite Verbindungslinse 108, eine Objektivlinse 109, eine Abbildungslinse 110, eine Lochblendenplatte 111 und eine Fotodiode 112.
Der Halbleiterlaser 101, der einen roten Laserstrahl emittiert, wird beispielsweise als erste Lichtquelle benutzt. Der ausgehende Laserstrahl vom Laser 101, welcher durch einen Lasertreibschaltkreis 115 getrieben wird, geht durch die erste Kollimatorlinse 102 hindurch und geht dann durch die ¼-Wellenlängenscheibe 104 hindurch mit einem Strahlengang, der durch den Polarisationsstrahlteiler 103 verändert wird. Nachdem der Laserstrahl in der horizontalen (lateralen) Richtung und in der senkrechten (vertikalen) Richtung durch den horizontalen Ablenkungsapparat 105 und den senkrechten Ablenkungsapparat 106 abgelenkt wird, tritt der Laserstrahl durch die erste Verbindungslinse 107 und durch die zweite Verbindungslinse 108 hindurch, um durch die Objektivlinse 109 auf der Oberfläche der Probe S gesammelt zu werden, welche auf dem Gestell 30 platziert ist.
Sowohl der horizontale Ablenkungsapparat 105 als auch der senkrechte Ablenkungsapparat 106 wird gestaltet durch einen Galvanometerspiegel und wird bereitgestellt, um die Oberfläche der Probe S mit dem Laserstrahl zu scannen durch Ablenken des Laserstrahls in den horizontalen und senkrechten Richtungen. Das Gestell 30 wird in der z-Richtung (Richtung der optischen Achse) durch die Gestellhebe-/senkeinheit 20 getrieben. Die relative Distanz in Richtung der optischen Achse zwischen dem Brennpunkt der Objektivlinse 109 und der Probe S kann folglich verändert werden.
Der Laserstrahl, der durch die Probe S reflektiert wird, folgt dem optischen Pfad in der entgegengesetzten Richtung. Das bedeutet, dass der Laserstrahl durch die Objektivlinse, durch die zweite Verbindungslinse 108 und durch die erste Verbindungslinse 107 hindurch tritt, und wieder nach dem horizontalen Ablenkungsapparat 105 und dem senkrechten Ablenkungsapparat 106 durch die ¼-Wellenlängenscheibe 104 hindurch tritt. Als Ergebnis tritt der Laserstrahl durch den Polarisationsstrahlteiler 103 hindurch und wird durch die Abbildungslinse 110 gesammelt. Der gesammelte Laserstrahl tritt in die Fotodiode 112 ein durch die Lochblenden der Lochblendenplatte 111, die bereitgestellt wird an der Brennpunktsposition der Abbildungslinse 110. Die Fotodiode 112 konvertiert die Menge des Lichts, das empfangen wird, in ein elektrisches Signal. Das elektrische Signal, das der Menge des Lichts entspricht, das empfangen wird, wird via Ausgangsverstärker und Verstärkungskontrollschaltkreis (nicht gezeigt) in einen Analog-Digital-Wandler 113 eingegeben, um in digitale Daten konvertiert zu werden. Ein Beispiel der Benutzung einer Fotodiode als erste Licht empfangende Vorrichtung ist hier beschrieben worden, aber ein Fotomultiplier und ähnliches kann verwendet werden. Der Laser 101 ist nicht beschränkt auf einen roten Laser und blaue oder ultraviolette Laser können auch benutzt werden. Höhendaten von hoher Auflösung werden durch Benutzen solcher Laser kurzer Wellenlänge erhalten.
Bei Benutzung der ersten Abbildungseinheit einer solchen Konfiguration kann Höhen(Tiefen-)information der Probe S erhalten werden. Das Prinzip davon wird unten kurz beschrieben. Wenn das Gestell 30 in der z-Richtung (Richtung der optischen Achse) durch den Schrittmotor 21 und den Motorkontrollschaltkreis 22 der Gestellhebe-/senkeinheit 21 in der oben beschriebenen Weise getrieben wird, verändert sich die relative Distanz in Richtung der optischen Achse zwischen dem Brennpunkt der Objektivlinse 109 und der Probe S. Wenn die Brennpunkt der Objektivlinse 109 fokussiert wird auf der Oberfläche (Messungszieloberfläche) der Probe S, wird der Laserstrahl, der an der Oberfläche der Probe S reflektiert wird, durch die Abbildungslinse 110 gesammelt durch den optischen Weg wie oben beschrieben hindurch, und folglich tritt das Meiste des Laserstrahls durch die Lochblenden der Lochblendenplatte 111. Folglich wird die Menge des Lichts, das durch die Fotodiode 112 empfangen wird, an diesem Punkt maximal. Andererseits, wenn die Brennweite der Objektivlinse 109 von der Oberfläche (Messungszieloberfläche) der Probe S verschoben wird, wird der Laserstrahl, der durch die Abbildungslinse 110 gesammelt wird, an einer Position fokussiert, die verschoben ist gegenüber der Lochblendenplatte 111, und folglich kann nur ein Teil des Laserstrahls durch die Lochblenden hindurchtreten. Als Ergebnis nimmt so die Menge des Lichts signifikant ab, welche durch die Fotodiode 112 empfangen wird.
Folglich kann die Höhe des Gestells 30, wo die Menge des empfangenen Lichts maximal wird, durch Detektieren der Menge des Lichts erhalten werden, das durch die Fotodiode 112 an jedem Punkt auf der Oberfläche der Probe S empfangen wird, während das Gestells 30 in der z-Richtung (Richtung der optischen Achse) getrieben wird.
Tatsächlich wird die Menge des Lichts, das durch die Fotodiode 112 empfangen wird, durch Scannen der Oberfläche der Probe S durch den horizontalen Ablenkungsapparat 105 und den senkrechten Ablenkungsapparat 106 erfasst für jede Schrittbewegung des Gestells 30. 7 zeigt die Veränderung in empfangenen Lichtdaten D bezüglich der Höhe z des Gestells 30 an jedem Punkt (Pixel). Wenn das Gestell 30 in der z-Richtung von dem unteren Ende zu dem oberen Ende des Messbereichs bewegt wird, werden die empfangenen Lichtdaten D, die sich gemäß der Höhe z verändern, für eine Vielzahl von Punkten (Pixel) innerhalb des Scannbereichs erhalten wie in 7 gezeigt. Die maximale Menge empfangenen Lichts und die Brennweite Zf werden dabei für jeden Punkt (Pixel) erhalten basierend auf den empfangenen Lichtdaten D. Diejenige Höhe des Gestells 30, die dem Maximalwert der empfangenen Lichtdaten D entspricht, wird die Brennweite Zf. Folglich wird die Verteilung der Oberflächenhöhe der Probe S in der x-y-Ebene basierend auf der Brennweite Zf erhalten. Dieser Prozess wird durch die Kontrolleinheit 51 durchgeführt, basierend auf den empfangenen Lichtdaten D des CCD 12 und der Anordnungsinformation (x, y) und der Höheninformation z des Pixels, das durch das Interface 54 eingegeben wird und in dem Speicher 53 gespeichert wird.
Die Verteilung der erhaltenen Oberflächenhöhen wird angezeigt auf der Anzeigeeinheit 52 durch verschiedene Methoden. Beispielsweise kann die Höhenverteilung (Oberflächenform) der Probe dreidimensional angezeigt werden durch eine dreidimensionale Anzeige. Alternativ können die Höhendaten in Luminanzdaten konvertiert werden, die als zweidimensionale Helligkeitsverteilung angezeigt werden sollen. Die Höhendaten können in Farbdifferenzdaten konvertiert werden, so dass die Verteilung von Höhen als Verteilung von Farben angezeigt wird.
Auch in der zweiten Ausfürungsform wird die Bereich auf eine rechteckige Form gesetzt durch Spezifizieren zweier Punkte auf dem Bild auf der Anzeigeeinheit 52 mit Hilfe des Zeigegeräts 55A und Ähnlichem, basierend auf den Höhendaten, die durch die erste Abbildungseinheit erhalten werden; die durchschnittliche Höhe in dem Bereich und die relative Höhe zwischen jedem Bereich werden berechnet und angezeigt auf der Anzeigeeinheit 52 wie in der ersten Ausführungsform.
Das Oberflächenbild (Schwarz-Weiß-Bild) einer Probe w wird erhalten durch ein Luminanzsignal, in welchem die Menge des empfangenen Lichts, das für jeden Punkt (Pixel) innerhalb des x-y-Scanbereichs erhalten wird, als Luminanzdaten angenommen wird. Wenn das Luminanzsignal mit der größten Menge empfangenen Lichts bei jedem Pixel als Luminanzdaten erzeugt wird, kann ein konfokales Bild erhalten werden, das eine sehr tiefe, bei jedem Punkt bei verschiedenen Oberflächenhöhen fokussierte Feldtiefe hat. Wenn fixiert in einer Höhe (Position in der z-Richtung), bei welcher die größte Menge empfangenen Lichts bei einem gewissen interessierenden Pixel erhalten wird, wird die Menge Lichts signifikant klein, das empfangen wird bei dem Pixel eines Teils, der eine große Höhendifferenz zu einem Teil bei dem interessierenden Pixel hat, und folglich wird ein Bild erhalten, in welchem nur der Teil hell ist mit derselben Höhe wie die des interessierenden Pixels.
Die zweite Abbildungseinheit wird jetzt beschrieben. Das zweite optische System 200 umfasst eine zweite Lichtquelle 201 zum Emittieren weißen Lichts (Beleuchtungslicht für Farbbildfotografie) auf die Probe S, eine zweite Kollimatorlinse 202, einen ersten Halbspiegel 203, einen zweiten Halbspiegel 204, und ein CCD 212, das als zweite Licht empfangende Vorrichtung dient. Das zweite optische System 200 benutzt gemeinsam die Objektivlinse 109 des ersten optischen Systems 100, und die optischen Achsen der optischen Systeme 100 und 200 sind koinzident.
Eine weiße Lampe oder Ähnliches wird für die zweite Lichtquelle 201 benutzt, aber natürliches Licht oder Innenlicht kann benutzt werden ohne das Bereitstellen einer bestimmten Lichtquelle. Das weiße Licht, das von der zweiten Lichtquelle 201 emittiert wird, tritt durch die zweite Kollimatorlinse 202 und wird dann durch die Objektivlinse 109 auf der Oberfläche der Probe S gesammelt, die auf dem Gestell 30 platziert ist, mit einem Strahlengang, der durch den ersten Halbspiegel 203 abgewinkelt ist.
Das weiße Licht, das durch die Probe S reflektiert wird, tritt durch die Objektivlinse 109, den ersten Halbspiegel 203, und die zweite Verbindungslinse 108, und wird durch den zweiten Halbspiegel 204 reflektiert, um in das CCD 212 eingelassen zu werden, das Licht in Farbe empfangen kann, und wird dann abgebildet. Das CCD 212 wird konjugiert bereitgestellt mit den Lochblenden der Lochblendenplatte 111 des ersten optischen Systems 100 oder bei einer Position, die nahezu konjugiert ist mit den Lochblenden der Lochblendenplatte 111 des ersten optischen Systems 100. Das Farbbild, das durch das CCD 212 abgebildet wird, wird durch den CCD-Schaltkreis 213 gelesen und in digitale Daten konvertiert. Das Farbbild, das auf diese Weise erhalten wird, wird auf der Anzeigeeinheit 52 als ein vergrößertes Farbbild angezeigt zur Beobachtung der Probe S.
Das konfokale Bild, das eine tiefe Feldtiefe hat, und das in der ersten Abbildungseinheit erhalten wird, und das normale Farbbild, das in der zweiten Abbildungseinheit erhalten wird, können kombiniert werden, um ein konfokales Farbbild zu erzeugen, das eine tiefe, bei all den Pixeln fokussierte Feldtiefe hat, und kann dann angezeigt werden. Das konfokale Farbbild kann leicht erzeugt werden, zum Beispiel durch Ersetzen des Luminanzsignals, das das Farbbild gestaltet, welches in der zweiten Abbildungseinheit erhalten wird, mit dem Luminanzsignal des konfokalen Bildes, welches in dem ersten optischen System 100 erhalten wird.
Ein Vergrößerungsbeobachtungsapparat ist beschrieben worden, der mit der ersten Abbildungseinheit ausgerüstet ist, die das erste optische System 100 oder ein konfokales optisches System umfasst, und mit der zweiten Abbildungseinheit ausgerüstet ist, die das zweite optische System 200 oder ein nichtkonfokales optisches System umfasst, aber die Konfiguration kann dergestalt sein, dass sie nur die erste Abbildungseinheit umfasst.
Wenn die erste Licht empfangende Vorrichtung eine zweidimensionale Abbildungsvorrichtung ist (zum Beispiel ein CCD), das die Menge des Lichts liest, die fiJr jeden zweidimensional angeordneten Pixel empfangen wird, und wenn die Brennpunktanpassungseinheit eine Konfiguration hat, den Brennpunkt basierend auf der Summe des empfangenen Lichts anzupassen, das einem Teil oder der Gänze der Probe entspricht gemäß dem Bereich, der durch die Bereichseinstellungseinheit gesetzt wird wie in dem Vergrößerungsbeobachtungsapparat gemäß der ersten Ausführungsform, kann die Höhe der Probe mit einer einfachen Konfiguration gemessen werden, ohne eine komplexe Konfiguration wie ein konfokales optisches System zu benötigen. Insbesondere wird in einem solchen Vergrößerungsbeobachtungsapparat der Maximalwert der empfangenen Lichtdaten durch die Veränderung in den empfangenen Lichtdaten bezüglich der relativen Distanz bestimmt auf der Basis des Bereichs, der durch den Benutzer eingestellt ist, d. h., dass die durchschnittliche Höhe und eine beachtliche Zahl von Pixeln nicht auf Pixelbasis berechnet werden basierend auf der durchschnittlichen Brennweite zu diesem Zeitpunkt, und folglich kann die Variation in der Veränderung bezüglich der Brennweite der empfangenen Lichtdaten bei jedem Pixel reduziert werden, und eine hochzuverlässige Messung der durchschnittlichen Höhe kann ausgeführt werden, sogar wenn das CCD als Licht empfangende Vorrichtung mit weißem Licht als Lichtquelle benutzt wird. Desweiteren können beim Benutzen des Farb-CCD als zweidimensionale Abbildungsvorrichtung die empfangenen Lichtdaten des Pixels berechnet werden basierend auf empfangenen RGB-Lichtdaten, oder die empfangenen Lichtdaten des Pixels können erhalten werden basierend auf den empfangenen Lichtdaten von einem oder zwei RGB-Farbtonwerten.
Wenn der Bereich, der durch die Bereichseinstellungseinheit gesetzt wird, größer ist als die Größe der Probe und folglich die ganze Probe enthält, wird der Teil außerhalb der Probe, d. h., die obere Oberfläche des Gestells, vorzugsweise ausgeschlossen von dem Ziel der Berechnung der durchschnittlichen Höhe. Dies geschieht, weil eine genauere Probenhöhe berechnet werden kann. In diesem Fall kann die obere Oberfläche des Gestells beispielsweise daraus bestimmt werden, ob oder ob nicht die Differenz in der Höhe zwischen einem Pixel und einem Pixel, das zu dem Pixel benachbart ist, größer ist als eine vorbestimmte Höhe oder gleich ist einer vorbestimmten Höhe. Sogar wenn der Bereich, der durch die Bereichseinstellungseinheit eingestellt ist, Teil der Probe ist, wird er vorzugsweise ausgeschlossen von dem Ziel der Berechnung der durchschnittlichen Höhe, falls die obere Oberfläche des Gestells in dem Bereich ist.
In den obigen Ausführungsformen wurde ein Beispiel des elektrischen Lesens des von der an der Probenfixiereinheit befestigten Probe reflektierten Lichts beschrieben, aber das Licht kann von der rückwärtigen Oberfläche der Probe emittiert werden und das transmittierte Licht kann elektrisch gelesen werden.
Hochtonwertbild
8 zeigt ein Blockdiagramm des Vergrößerungsbeobachtungsapparats, der eine Vielzahl von Originalbildern abbildet, die Bilder synthetisiert und ein synthetisiertes Hochtonwertbild erzeugt. Der Vergrößerungsbeobachtungsapparat, der in der Figur gezeigt wird, beinhaltet einen Körper 50A, der den Vergrößerungsbeobachtungsapparatekörper gestaltet, und die Abbildungseinheit 10. Der Körper 50A und die Abbildungseinheit 10 sind durch ein Kabel verbunden. In dem Beispiel von 8 wird das Kabel durch einen Lichtleiter 61 gestaltet zum Abgeben von Beleuchtungslicht von einer Beleuchtungslichtquelle 201A und durch eine Signalleitung 63 zum Übermitteln/Empfangen von Daten zwischen dem Körper 50A und der Abbildungseinheit 10. Der Körper 50A übermittelt an die Abbildungseinheit 10 ein Abbildungseinheitskontrollsignal zum Kontrollieren der Abbildungseinheit 10 mittels der Signalleitung 63, und die Abbildungseinheit 10 übermittelt ein abgebildetes Bildsignal an den Körper 50A. Die Signalleitung für das Abbildungseinheitskontrollsignal und die Signalleitung für das Bildsignal können individuell bereitgestellt werden.
Die Abbildungseinheit 10 umfasst eine Abbildungsvorrichtung 12A wie ein CCD und ein CMOS und die Beleuchtungseinheit 60, wobei das Beleuchtungslicht von der Beleuchtungseinheit 60 zur der Probe S emittiert wird und wobei das davon reflektierte Licht mit der Abbildungsvorrichtung 12A abgebildet wird. Der Körper 50A umfasst die Abbildungskontrolleinheit 13A, die die Abbildungseinheit 10 kontrolliert, eine Beleuchtungslichtquelle 201A, die Beleuchtungslicht erzeugt, eine Körperkontrolleinheit 51A, die mit der Bildkontrolleinheit 13A und der Beleuchtungslichtquelle 201A verbunden ist, und die mit der Körperkontrolleinheit 51A verbundene Anzeigeeinheit 52 zum Anzeigen von Bildern und notwendiger Information. Die Körperkontrolleinheit 51A übermittelt Kontrollsignale an die Bildkontrolleinheit 13A und die Beleuchtungslichtquelle 201A, um deren Operationen zu kontrollieren. Die Köperkontrolleinheit 51A umfasst auch eine Bildberechungseinheit 81, die Bilddaten abruft, die durch die Bildkontrolleinheit 13A von der Bildeinheit 10 empfangen werden, und die Prozesse wie die Synthese ausführt, den Speicher 53, der Bilddaten und verschiedene gesetzte Werte hält, einen später beschriebenen Modusauswahlteil 82 zum Auswählen eines Fotografiemodus des synthetisierten Bildes und einen Abbildungsbedingungseinstellungsteil 83, der die Abbildungsbedingungen in der Abbildungseinheit 10 einstellt. Die Bildberechnungseinheit 81 funktioniert als ein Erzeugungsteil 85 des synthetisierten Bildes bzw. als Erzeugungsteil für ein synthetisiertes Bild, welcher eine Vielzahl von Originalbildern synthetisiert und synthetisierte Hochtonwertbilddaten erzeugt, als ein Tonwertkonvertierungsteil 86, der Tonwertkonvertierung ausführt, und als ein Bildeinstellungsteil 87, der Abbildungsparameter für den Tonwertkonvertierungsteil 86 einstellt, um ein Hochtonwertbild zu Niedertonwertbilddaten bezüglich des Tonwerts zu konvertieren. Solch eine Körperkontrolleinheit 51A kann gestaltet sein durch eine ASIC, eine LSI und Ähnliches.
Die Bilddaten und der eingestellte Inhalt, die in dem Speicher 53 gehalten werden, können auf der Anzeigeeinheit 52 angezeigt werden, die mit der Körperkontrolleinheit 51A verbunden ist. Ein Monitor wie ein CRT, ein Flüssigkristalldisplay, ein organisches EL oder Ähnliches kann für die Anzeigeeinheit 52 verwendet werden. Die Bedienungseinheit 55 für den Benutzer, um verschiedene Operationen auf der Körperkontrolleinheit 51A auszuführen, ist mit dem Körper 50A verbunden. Die Bedienungseinheit 55 ist ein Eingabegerät wie eine Konsole oder eine Maus. Auch in diesem Beispiel können die Abbildungseinheit und die Bedienungseinheit integral in dem Körper enthalten sein oder können externe Elemente sein. Wenn die Abbildungseinheit durch eine Berührkonsole, englisch touch panel, gestaltet wird, können die Anzeigeeinheit und die Bedienungseinheit integral gestaltet sein.
Fotografiemodus des synthetisierten Bildes
Der Vergrößerungsbeobachtungsapparat umfasst einen Fotografiemodus der Tonwertumfangserweiterung, der geeignet ist für eine Anwendung der Tonwertumfangserweiterung, und einen Fotografiemodus der Auflösungsverbesserung zum Verbessern der Luminanzauflösung und Verbessern des Kontrasts als Fotografiemodi des synthetisierten Bildes zum Erhalten des synthetisierten Bildes in dem Erzeugungsteil 85 des synthetisierten Bildes. Ein synthetisiertes Bild, das in dem Fotografiemodus der Tonwertumfangserweiterung erzeugt wird, ist ein synthetisiertes Bild, das einen größeren Tonwertumfang hat als das Originalbild. Ein synthetisiertes Bild, das in dem Fotografiemodus der Auflösungsverbesserung erzeugt wird, ist ein synthetisiertes Bild, in welchem die Luminanzauflösung verbessert ist von dem Originalbild in einem Tonwertumfang, der enger ist als der Tonwertumfang der Abbildungsvorrichtung.
Fotografiemodus der Tonwertumfangserweiterung
Ein so genanntes HDRI wird abgebildet in dem Fotografiemodus der Tonwertumfangserweiterung. Das HDRI (kurz für englisch High Dynamic Range Image, im Folgenden bezeichnet als „HDR-Bild") ist ein Bild, in welchem der Tonwertumfang, d. h., das Verhältnis zwischen der minimalen Lichtmenge und der maximalen Lichtmenge, bedeutend höher ist als in konventionellen Bildern. Beispielsweise wird auf dem Monitor eines Standardcomputers eine Farbe von acht Bit oder vierundzwanzig Bit als Standardfarbdarstellung angenommen, um in 256 bis 16,77 Millionen Farben oder Tonwerten dargestellt zu werden, aber mehr Farben existieren in der Wirklichkeit, und die Augen eines Menschen sehen ein Bild durch Anpassen des Bildes an eine angemessen erscheinende Referenzhelligkeit durch Verändern der Größe der Pupille. Daher wird das HDR-Bild benutzt mit einer größeren Menge von Farbinformation, die das Darstellungsvermögen und Ähnliches eines Monitors übersteigt. Um solch ein HDR-Bild zu erhalten, kann eine existierende Methode verwendet werden wie das Synthetisieren einer Vielzahl von Bildern, die durch das Abbilden desselben Beobachtungsziels an derselben Position und unter verschiedenen Abbildungsbedingungen erhalten werden (typischerweise die Belichtungszeit der Abbildungsvorrichtung).
Jedoch können die Farben mit 8 Bit bis 24 Bit oder von mehr als 8 Bit bis 24 Bit (256 bis 16,77 Millionen Farben) nicht dargestellt werden auf dem Monitor, wobei Überbelichtung stattfindet bei Farben, die heller sind als der Farbbereich, der dargestellt werden kann, und Unterbelichtung stattfindet bei Farben, die dunkler sind als der Farbbereich. Da die Textur und Ähnliches des Bildes manchmal nicht in diesem Zustand erkannt werden kann, wird Tonwertkonvertierung (Tonwertkompression) geeignet ausgeführt, um das Bild zu einem Niedertonwertbild zu konvertieren (im Folgenden auch englisch bezeichnet als Low Dynamic Range Image (LDR-Bild)), in welchem Teile mit Überbelichtung und Unterbelichtung erkannt werden können, wenn das HDR-Bild auf dem Monitor oder Ähnlichem angezeigt wird. Überbelichtung tritt beispielsweise beim metallischen Teil in dem in 1 gezeigten Bild auf, aber dieser Teil wird klar gesehen in dem Bild, das in 3 gezeigt wird. Das kommt daher, weil das Bild von 3 Daten eines Teils hat, der eine Lichtmenge hat, die größer als die Lichtmenge ist, die in 1 fotografiert werden kann. In einer gewöhnlichen Umgebung haben Lichtmengendaten maximal einen Tonwertumfang von ungefähr 100000:1.
Verschiedene Methoden sind zum Erstellen des HDR-Bilds vorgeschlagen worden, aber in der vorliegenden Ausführungsform wird das HDR-Bild durch Synthetisieren einer Vielzahl von Originalbildgruppen erzeugt, die durch Fotografieren einer Probe bei derselben Position erhalten werden, während die Belichtungszeit oder der Blendengeschwindigkeit der Abbildungsvorrichtung verändert wird, in der oben beschriebenen Weise. Beispielsweise kann das HDR-Bild, das in 3 gezeigt wird, durch Synthetisieren des dunklen Bildes von 2 und des hellen Bildes von 1 erzeugt werden.
Da der Tonwertumfang des HDR-Bilds 100000:1 sein kann, kann das HDR-Bild nicht mit dem gewöhnlichen 8-Bit-Bild von 256 Tonwerten dargestellt werden. Folglich werden Daten allgemein als Gleitkomma dargestellt. 32 Bit Single-Präzisionsgleitkomma, englisch single precision floating point, 16 Bit Gleitkomma oder Ähnliches wird für das Format zum Speichern der Datei verwendet. Wenn das HDR-Bild gezeichnet wird, kann das HDR-Bild nicht so, wie es ist, auf einem gewöhnlichen Monitor von 256 Tonwerten angezeigt werden, weil der Tonwertumfang breit ist. Wenn das HDR-Bild angezeigt wird durch einfaches Konvertieren (Abbilden) des Bildes auf 256 Tonwerte, kann der dunkle Teil manchmal nicht gesehen werden oder der helle Teil wird manchmal zu hell. Folglich muss das Bild angepasst werden, so dass der dunkle Teil und der helle Teil moderat gesehen werden können, bevor dieselben angezeigt werden. Insbesondere wird das Bild bezüglich des Tonwerts konvertiert zu einem Tonwertkompressionsbild, auf welchem Bildbearbeitung ausgeführt wird, um in großem Umfang den hellen Teil zu quetschen und den dunklen Teil hervorzuheben. Folglich können feine Texturen, die in dem normalen Tonwertkompressionsbild schwierig zu sehen sind, in einer verbesserten Weise angezeigt werden. Das Verfahren vom Fotografieren eines HDR-Bilds zum Anzeigen desselben auf der Anzeigeeinheit, wie oben beschrieben, wird beschrieben mit Bezug auf das Flussdiagramm von 9.
Erstens werden in Schritt S901 eine Vielzahl von Originalbildern unter verschiedenen Abbildungsbedingungen fotografiert. Ein Originalbild von 8 Bit wird abgebildet in der Abbildungseinheit 10. In diesem Fall ist die Belichtungszeit geeignet kontrolliert, so dass mindestens ein Bild frei von Überbelichtung und Unterbelichtung in jedem Bereich aufgenommen werden kann. Die Bildzahl ist geeignet bestimmt gemäß der Bildqualität, der Breite des notwendigen Tonwertumfangs und Ähnlichem des HDR-Bildes. In Schritt S902 wird das HDR-Bild synthetisiert. Das HDR-Bild wird im Erzeugungsteil des synthetisierten Bildes unter Benutzung der 8-Bit-Bildgruppe synthetisiert, die in Schritt S901 fotografiert wird. In Schritt S903 wird das HDR-Bild tonwertkonvertiert. Das synthetisierte HDR-Bild wird tonwertkomprimiert in dem Tonwertkonvertierungsteil, um ein Tonwertkompressionsbild zu erzeugen, das zu einer Tonwertbreite konvertiert ist, die auf einem Monitor und Ähnlichem angezeigt werden kann. In diesem Beispiel wird Konvertierung zu 256 Tonwerten gemacht. In diesem Fall werden auch der Texturenverbesserungsprozess und Ähnliches geeignet ausgeführt.
Schließlich werden in Schritt S904 das erhaltene HDR-Bild und das Tonwertkompressionsbild gespeichert. Das HDR-Bild ist in 32-Bit-Gleitkommadaten, wobei die HDR-Bilddaten in ein geeignetes Dateiformat konvertiert werden und gespeichert werden, wenn die Datei gespeichert wird. Das Tonwertkompressionsbild wird in einem vielseitigen Bildformat wie JPEG und TIFF gespeichert, und das HDR-Bild oder Originaldaten, aus denen das Tonwertkompressionsbild erzeugt wird, werden als Metadaten gespeichert. Weiterhin werden auch Parameter gespeichert, die benutzt werden zur Zeit des Erzeugens des Tonwertkompressionsbilds. Folglich kann der Benutzer das Tonwertkompressionsbild mit einem Allzweckbildanzeigeprogramm anzeigen und kann das Tonwertkompressionsbild ersetzen durch Verwendung eines dedizierten Bildanzeigeprogramms. Das heißt, ein weiteres Tonwertkompressionsbild kann aus dem HDR-Bild durch Anpassender Parameter erzeugt werden, und solch ein Tonwertkompressionsbild kann neu überschrieben werden auf den Metadaten des HDR-Bilds und zusammen mit den Parametern zur Konvertierungszeit gespeichert werden. Der Benutzer kann nicht nur das Tonwertkompressionsbild browsen, sondern kann auch das in der Datei enthaltene Tonwertkompressionsbild zu einem gewünschten Tonwertkompressionsbild in der oben beschriebenen Weise verändern. Das HDR-Bild wird zum Beispiel benutzt in Anwendungen, wo Saturierung wie Überbelichtung und Unterbelichtung im Bild unterdrückt werden sollen.
Das HDR-Bild wird durch Synthetisieren erhalten von Bildern mit Tonwertumfängen, die breiter sind als der Tonwertumfang der Abbildungsvorrichtung, aber wenn der Tonwertumfang der Abbildungsvorrichtung genügend breit ist, das heißt, wenn die Leistung der Abbildungsvorrichtung selbst verbessert ist und ein genügender Tonwertumfang mit einem Abbilden abgedeckt werden kann, kann solch ein Originalbild gehandhabt werden in einer Art ähnlich der des synthetisierten Bildes. In diesem Fall wird das HDR-Bild allein mit der Abbildungsvorrichtung erhalten, und folglich wird der Erzeugungsteil des synthetisierten Bildes unnötig.
Fotografiemodus der Auflösungsverbesserung
Im Gegensatz zu der oben beschriebenen Fotografie der Tonwertumfangserweiterung ist auch ein Fotografieren möglich, bei welchem die Auflösung verbessert wird, so dass feine Muster angezeigt werden können in einem engen Tonwertumfang.
Im Fotografiemodus der Auflösungsverbesserung werden Bilder, von denen die Abbildungsbedingungen fein verändert werden, in einem Tonwertumfang synthetisiert, der enger als der des Originalbildes ist, um ein synthetisiertes Bild zu erhalten, dessen Luminanzauflösung verbessert ist gegenüber dem Originalbild. Das synthetisierte Bild, das hier erhalten wird, ist im wörtlichen Sinn kein HDR-Bild, weil der Tonwertumfang nicht erweitert wird, sondern ist ein Hochtonwertbild ähnlich dem HDR-Bild, das in der vorliegenden Beschreibung der Bequemlichkeit halber durch „HDR-Bild" umfasst werden kann. Desweiteren wird in der vorliegenden Beschreibung „HDR-Bild" benutzt um auszudrücken, dass der Tonwertumfang weiter ist als der Tonwertumfang, der auf der Anzeigeeinheit angezeigt werden kann, aber der Begriff ist nicht darauf beschränkt und kann sich auf ein Bild beziehen, dessen Tonwertumfang weiter ist als der Tonwertumfang, der durch die Abbildungsvorrichtung der Abbildungseinheit abgebildet werden kann, oder auf ein Bild, das eine spezifische Zahl von Bits hat, die größer ist oder gleich ist mit zum Beispiel vierundzwanzig Bit oder zweiunddreißig Bit.
Allgemein wird das HDR-Bild oft angewendet in Anwendungen, wo ein Haloeffekt, der in den Bilddaten enthalten ist, eliminiert wird oder Rücklicht korrigiert wird und Ähnliches durch Benutzung des breiten Tonwertumfangs. Das HDR-Bild befähigt auch feine, kaum zu sehende Texturen gesehen zu werden durch ein Wiederauffinden von Signalen, die in Rauschen/Quantisierungsfehlern eingebettet sind durch die Synthese einer Vielzahl von Bildern in Bezug auf eine Probe, die kaum Kontrastierungsdichte hat, und durch Ausführen des Texturverbesserungsprozesses. In diesem Fall wird ein Hochtonwertbild erhalten, in welchem das Signal-Rausch-Verhältnis und die Luminanzauflösung verbessert sind, durch feines Abbilden von Tonwertbildern und durch Synthetisieren derselben in einem beschränkten Tonwertumfang. Als Beispiel ist ein Bild einer keramischen Oberfläche in 10 gezeigt. Das Muster auf der keramischen Oberfläche wird in diesem Zustand kaum erkannt, aber durch Fotografie der Auflösungsverbesserung kann das Muster der Oberfläche verbessert werden und die Texturen, die kaum gesehen wurden, können unterschieden werden, wie in 11 gezeigt.
Die HDR Technik ist entwickelt worden unter Berücksichtigung einer Benutzung in der Anwendung der Tonwertumfangserweiterung und ist nicht verwendet worden in der Fotografieanwendung der Auflösungsverbesserung von entgegengesetzter Idee. Folglich kann die Anwendung erweitert werden und Benutzung in einer weiteren Auswahl von Anwendungen wird zugänglich durch Erreichen eines Vergrößerungsbeobachtungsapparats, der zwischen Erweitung des Tonwertumfangs und Verbesserung der Auflösung hin und her geschaltet werden kann gemäß der Beobachtungsanwendung.
Daher wird der Fotografiemodus der Auflösungsverbesserung zum Beispiel in Anwendungen benutzt, wo feine Muster und Kontrast in dem Bild wünschenswerterweise verbessert werden. In dem Fotografiemodus der Auflösungsverbesserung wird der Umfang der Belichtungszeitveränderung kleiner eingestellt als derjenige, der in dem Fotografiemodus der Tonwertumfangserweiterung eingestellt wird.
Modusauswahlteil 82
Jeder einzelne der Fotografiemodi des synthetisierten Bildes wird ausgewählt durch den Modusauswahlteil 82. Der Modusauswahlteil 82 bestimmt automatisch einen geeigneten Fotografiemodus des synthetisierten Bildes basierend auf einer Bildanalyse. Alternativ kann der Fotografiemodus des synthetisierten Bildes manuell ausgewählt werden durch den Benutzer. Beispielsweise kann der Benutzer die Bedienungseinheit 55 bedienen, um einen gewünschten Fotografiemodus des synthetisierten Bildes auszuwählen. Der ausgewählte Fotografiemodus des synthetisierten Bildes kann auf der Anzeigeeinheit klar gezeigt werden, wodurch der Benutzer informiert wird, mit welchem Fotografiemodus des synthetisierten Bildes das Fotografieren ausgeführt wird.
Automatische Auswahl durch den Modusauswahlteil
Eine Methode, in welcher der Modusauswahlteil automatisch den Fotografiemodus des synthetisierten Bildes auswählt, wird jetzt beschrieben. Drei Methoden 1 bis 3 werden beschrieben mit Bezug auf die Flussdiagramme der 12 bis 14.
Methode 1: Analyse des beobachteten Bildes, das vor dem Fotografieren beobachtet wird
Zuerst wird eine Methode des Analysierens eines beobachteten Bildes, das vor dem Fotografieren beobachtet wird, mit Bezug auf das Flussdiagramm der 12 beschrieben. In dieser Methode wird die Präsenz eines saturierten Bereichs gesucht in dem Bild, das auf der Anzeigeeinheit angezeigt wird, und die Belichtungszeit, die beim Fotografieren benutzt werden soll, wird bestimmt. Beim Fotografieren in einer Anwendung der Tonwertumfangserweiterung wird ein saturierter Bereich wie Überbelichtung oder Unterbelichtung angenommen, zu allen Zeiten in einem Teil des beobachteten Bildes zu existieren, welches der Benutzer mit den aktuellen Einstellungen beobachtet. Beim Verbessern der Kontrastierungsdichte ist das Objekt, das beobachtet wird, höchstwahrscheinlich ein Objekt, das kaum Kontrastierungsdichte hat. Folglich wird der Bereich des beobachteten Bildes als klein angenommen und es wird nicht angenommen, dass Sättigung vorkommt. Folglich wird die Präsenz eines saturierten Bereichs in dem auf der Anzeigeeinheit angezeigten Bild gesucht, und die bei dessen Fotografieren benutzte Belichtungszeit wird bestimmt.
Um das spezifische Verfahren zu beschreiben, wird zuerst in Schritt S1201 das Bild erhalten, das vor dem Fotografieren des Originalbildes beobachtet wird. An dem Punkt, wo die Beschaffung des synthetisierten Bildes angewiesen wird, wird das beobachtete Bild aufgerufen, das auf der Anzeigeeinheit angezeigt worden ist. Im Schritt S1202 bestimmt der Modusauswahlteil, ob oder ob nicht das beobachtete Bild Sättigungsteile enthält. Wenn das beobachtete Bild einen Sättigungsteil enthält, fährt der Prozess mit Schritt S1203 fort und der Fotografiemodus der Tonwertumfangserweiterung wird gesetzt. Wenn das beobachtete Bild keinen Sättigungsteil enthält, fährt der Prozess mit Schritt S1204 fort und der Fotografiemodus der Auflösungsverbesserung wird gesetzt. Diese Methode erlaubt das Bestimmen und Auswählen des geeigneten Fotografiemodus des synthetisierten Bildes in der einfachsten Weise. Die Abbildungsbedingungen, die jedem ausgewählten Fotografiemodus des synthetisierten Bildes entsprechen, können automatisch gesetzt werden wie nötig. Folglich kann der Benutzer das synthetisierte Bild erhalten, ohne sich des Typs des Fotografiemodus des synthetisierten Bildes bewusst zu werden, und ein Vorteil wird bereitgestellt, dadurch dass sogar Benutzer, die nicht mit einem synthetisierten Bild vertraut sind, die Operation ausführen können.
Methode 2: Analyse einer temporär fotografierten Vielzahl von temporären Bildern
Die Methode des Analysierens einer Vielzahl von temporär fotografierten temporären Bildern wird beschrieben mit Bezug auf das Flussdiagramm der 13 und auf die Histogramme der 15 und 16.
Temporäre Synthese
In dieser Methode wird vor dem Abbilden der Originalbilder eine Vielzahl von temporären Bildern fotografiert unter temporaren Abbildungsbedingungen, die zuvor gesetzt werden, und dann wird eine Bestimmung in dem Modusauswahlteil gemacht, ob oder ob nicht es irgendein temporäres Bild gibt, in welchem ein saturierter Bereich nicht existiert für jedes temporäre Bild. Die temporären Abbildungsbedingungen sind Bedingungen zum leichten Beschaffen eines Bildes, wobei eine Vielzahl von temporären Bildern abgebildet wird, während die Bedingungen geeignet verändert werden, weil nur die Tendenz der Bilder erfasst werden muss. Folglich kann die Einstellung gröber sein als die Abbildungsbedingungen des Originalbildes, die notwendig sind für die Erzeugung des synthetisierten Bildes, und die Bildzahl des temporären Bildes wird geringer gesetzt als die Zahl der Originalbilder, die nötig sind für die Erzeugung des synthetisierten Bildes, und der Veränderungsumfang der Belichtungszeit wird auch groß gesetzt. In diesem Beispiel wird das temporäre synthetisierte Bild mit dem Erzeugungsteil des synthetisierten Bildes synthetisiert, aber ein Rechenteil zum leichten Synthetisieren der temporären Bilder bei hoher Geschwindigkeit kann separat bereitgestellt werden.
15A bis 15D und 16A bis 16D zeigen beispielhafte Histogramme der Luminanzverteilung eines abgebildeten temporären Bildes. In diesem Beispiel werden vier Bilder genommen für dieselbe Stelle in verschiedenen Proben A und B, während die temporären Abbildungsbedingungen grob verändert werden, wobei 15A bis 15D eine Probe A zeigen und 16A bis 16D eine Probe B zeigen. Solche temporären Bilder werden angezeigt in der Reihenfolge der Belichtungszeitveränderung als temporäre Abbildungsbedingung. Das heißt, die Belichtungszeit wird verändert in einer Weise, dass sie länger wird in der Reihenfolge der 15A bis 15D oder der 16A bis 16D.
Bezüglich der Probe A existiert ein saturierter Bereich in allen 15A bis 15D. Die Tatsache, dass ein saturierter Bereich in allen temporären Bildern existiert, zeigt an, dass der Tonwertumfang nicht genug ist zum Erfassen der gesamten Luminanzinformation, die in der Probe enthalten ist. Daher wird in dem Modusauswahlteil eine Bestimmung gemacht, dass der Fotografiemodus der Tonwertumfangserweiterung für diese Probe geeignet ist.
Bezüglich der Probe B wird ein saturierter Bereich in den 16A und 16D gefunden, aber ein saturierter Bereich wird nicht in den 16B und 16C gefunden. Folglich ist es offensichtlich, dass die gesamte Luminanzverteilung fein gemacht werden kann mit einem temporären Bild für die Probe B, das heißt, der Tonwertumfang der Luminanzverteilung ist eng. In diesem Fall ist es vorzuziehen, detaillierte Information durch feines Verändern der Belichtungszeit innerhalb des engen Tonwertumfangs zu beschaffen. Daher wird eine Bestimmung gemacht, dass der Fotografiemodus der Auflösungsverbesserung geeignet ist für die Probe B.
Das spezifische Verfahren des Obigen wird beschrieben mit Bezug auf das Flussdiagramm der 13. Zuerst wird in Schritt S1301 temporäres Abbilden eine Vielzahl von Malen ausgeführt, während die Verschlussgeschwindigkeit verändert wird. In Schritt S1302 wird durch den Modusauswahlteil eine Bestimmung gemacht auf Grundlage der Vielzahl von temporären Bildern, die in dieser Weise erhalten werden, ob ein saturierter Bereich existiert in jedem temporären Bild. Wenn ein saturierter Bereich existiert in allen temporären Bildern, fährt der Prozess mit Schritt S1303 fort und der Fotografiemodus der Tonwertumfangserweiterung wird ausgewählt. Wenn ein saturierter Bereich nicht existiert, d. h., wenn es ein temporäres Bild gibt, das keinen saturierten Bereich enthält, fahrt der Prozess mit Schritt S1304 fort und der Fotografiemodus der Auflösungsverbesserung wird ausgewählt. In den Beispielen der 15A bis 15D und 16A bis 16D wird durch den Modusauswahlteil eine Bestimmung gemacht, dass 15A bis 15D geeignet sind für den Fotografiemodus der Tonwertumfangserweiterung, und dass 16A bis 16D geeignet sind für den Fotografiemodus der Auflösungsverbesserung.
Wie oben beschrieben, kann eine geeignete Belichtungszeit automatisch gesetzt werden für die Abbildungsbedingungen, die jedem ausgewählten Fotografiemodus des synthetisierten Bildes entsprechen, je nach Notwendigkeit. Insbesondere kann in dieser Methode ein Bereich für das Verändern der zu setzenden Belichtungszeit in jedem Fotografiemodus des synthetisierten Bildes automatisch erhalten werden zusätzlich zur automatischen Auswahl des geeigneten Fotografiemodus des synthetisierten Bildes. Das heißt, dass im Fall des Fotografiemodus der Tonwertumfangserweiterung die Belichtungszeit verändert wird in einem Bereich von einer Belichtung, die dunkel genug ist, so dass Überbelichtung eliminiert wird, zu einer Belichtung, die hell genug ist, so dass Unterbelichtung eliminiert wird. In dem Fotografiemodus der Auflösungsverbesserung wird die Belichtungszeit gesetzt, so dass Sättigung nicht auftritt, wobei die Belichtungszeit für denjenigen Teil ist, in welchem die Differenz in der Kontrastierungsdichte am meisten erscheint. Folglich kann nicht nur die Einstellung des Fotografiemodus des synthetisierten Bildes, sondern auch die Einstellung der Abbildungsbedingung in jedem Fotografiemodus des synthetisierten Bildes automatisiert werden.
Automatische Einstellung der Belichtungszeit durch Methode 2
Details zum Setzen des Bereichs, in welchem die Belichtungszeit als Abbildungsbedingung in jedem Fotografiemodus des synthetisierten Bildes verändert werden soll, wird zuerst beschrieben für den Fotografiemodus der Tonwertumfangserweiterung. In einem Histogramm, wenn die Luminanz bei einer Auflösung von acht Bit abgebildet wird, wird ein saturierter Bereich angenommen zu existieren, wenn entweder das linke oder das rechte Ende einen Wert in dem Luminanzverteilungsbereich von 0 bis 255 hat. Beispielsweise hat die Luminanz einen Wert (Luminanz 0) auf der Achse auf der linken Seite in 15A, und folglich existiert ein Bereich, der dunkler ist als der obere, wodurch die Tatsache, dass die Daten nicht detektiert werden, erkannt wird, d. h., ein Auftreten von Unterbelichtung. Die Nähe der Achse auf der rechten Seite (Luminanz 255) hat keinen Luminanzwert. D. h., es wird gefunden, dass Überbelichtung nicht auftritt. Desweiteren kann eine Bestimmung gemacht werden, dass die obere Grenze der hellsten Luminanz die eingekreiste Position in 15A ist.
In 15D wird ein Luminanzwert gezeigt auf der Achse auf der rechten Seite, und das Auftreten von Überbelichtung kann erkannt werden, aber ein Luminanzwert wird nicht angezeigt in der Nähe der Achse auf der linken Seite. Das bedeutet, dass die Luminanzinformation des dunkelsten Bereichs genug komplementiert ist in 15D, und der eingekreiste Bereich der 15D wird als untere Schranke der dunkelsten Luminanz bestimmt.
Da die untere Schranke und die obere Schranke des Bereichs der Luminanzverteilung bezüglich der Probe A detektiert werden können, wird die Belichtungszeit gesetzt, so dass die Luminanzinformation genau innerhalb des Bereichs detektiert werden kann. Das heißt, die Belichtungszeiten, die den Luminanzwerten der oberen Grenze und der unteren Grenze entsprechen, werden aus einer Berechnungsformel, aus einer Nachsehtabelle, englisch lookup table, und Ähnlichem erhalten, und die Belichtungszeit wird innerhalb des Bereichs verändert, so dass ein Hochtonwertbild effizient abgebildet werden kann ohne das Beschaffen von nutzloser Luminanzinformation.
Eine Methode der Bereichsbestimmung zum Verändern der Belichtungszeit in dem Fotografiemodus der Auflösungsverbesserung wird jetzt beschrieben mit Bezug auf die 16A bis 16D. In dem Beispiel der 16A bis 16D existiert ein gesättigter Bereich in den Histogrammen, die in den 16A und 16D gezeigt werden, und folglich werden die übrigen Histogramme extrahiert, die in den 16B und 16C gezeigt werden, wie oben beschrieben. Ein temporäres Bild, in welchem die Differenz in der Kontrastierungsdichte im breitesten Umfang vertreten ist, wird aus den temporären Bildern ausgewählt. Die Verteilung in dem Histogramm wird in 16B breiter dargestellt als in 16C. Folglich kann die Luminanzinformation effizient beschafft werden ohne ein Verschwenden des beschaffbaren Luminanzverteilungsbereichs durch Benutzen derjenigen Belichtungszeit, die in dem in 16B gezeigten Histogramm angenommen wird. Eine geeignete Belichtungszeit wird dadurch aus den temporären Abbildungsbedingungen ausgewählt, die benutzt werden, wenn die temporären Bilder aufgenommen werden.
Methode 3: Methode durch temporäres Abbilden und Analyse eines temporären synthetisierten Bildes
Schließlich wird eine Methode durch temporäres Abbilden und Analyse des temporären synthetisierten Bildes jetzt beschrieben mit Bezug auf das Flussdiagramm der 14. Ähnlich wie oben wird in Schritt S1401 eine Vielzahl von temporaren Bildern unter einer temporaren Abbildungsbedingung abgebildet, die im Voraus gesetzt wird. Die Belichtungszeit wird stark verändert beispielsweise im Vergleich zu dem Abbilden des Originalbildes, und die Zahl der Bilder wird auf eine relativ kleine Zahl niedergehalten. In Schritt S1402 wird eine Vielzahl von temporären Bildern synthetisiert, um ein temporäres synthetisiertes Bild zu erzeugen. In Schritt S1403 wird der Tonwertumfang des temporären synthetisierten Bildes berechnet, d. h., das Verhältnis zwischen der minimalen Luminanz und der maximalen Luminanz, und eine Bestimmung wird gemacht, ob oder ob nicht solch ein Tonwertumfang größer ist als der Tonwertumfang der Abbildungsvorrichtung der Abbildungseinheit 10. Wenn der Tonwertumfang des temporären synthetisierten Bildes größer ist als der Tonwertumfang der Abbildungseinheit 10 fahrt der Prozess mit Schritt S1404 fort und der Fotografiemodus der Tonwertumfangserweiterung wird ausgewählt, weil der Tonwertumfang aktuell ungenügend ist. Wenn der Tonwertumfang des temporären synthetisierten Bildes kleiner ist, fährt der Prozess mit Schritt S1405 fort und der Fotografiemodus der Auflösungsverbesserung, in welchem die Luminanzauflösung verbessert wird, wird ausgewählt, weil der Tonwertumfang der Abbildungseinheit 10 ausreichend ist.
Automatisches Setzen der Belichtungszeit durch Methode 3
In dieser Methode kann ebenfalls eine optimale Belichtungszeit in jedem Fotografiemodus des synthetisierten Bildes erhalten werden. Der folgende relationale Ausdruck wird aufgestellt zwischen der Luminanz I des Bildes und der Lichtmenge L des Ortes, der Belichtungszeit t und der Antwortfunktion F der Kamera (Funktion, die darstellt, welchen Wert der Pixelwert annimmt bezüglich wie viel Licht in die Abbildungsvorrichtung eintritt und wie lang die Belichtung ausgeführt wird). I = F(L·t)
Die Funktion F wird im Voraus gemessen und erfasst. Die Belichtungszeiten t₁ bis t₂ werden auf folgenden Bereich gesetzt, sodass die minimale Lichtmenge L_min des temporären synthetisierten Bildes der Pixelwert I_min wird (minimaler Pixelwert, bei welchem Unterbelichtung nicht erfolgt, zum Beispiel ungefähr 30) und die maximale Lichtmenge L_max des temporären synthetisierten Bildes der Pixelwert I_max wird (maximaler Pixelwert, bei welchem Überbelichtung nicht vorkommt, zum Beispiel ungefähr 220) im Fall des Fotografiemodus der Tonwertumfangserweiterung. t1 = F–1(Imin)/Lmin t2 = F–1(Imax)/Lmax
Im Fall des Fotografiemodus der Auflösungsverbesserung wird die Belichtungszeit gemäß einem der folgenden (1) und (2) eingestellt in dem Bereich (t₁ bis t₂), in welchem die minimalen/maximalen Lichtmengen nicht saturieren.

(1) Belichtungszeit, in welcher die Differenz zwischen I_min und I_max die größte wird.
(2) Belichtungszeit, die L₁·t = x_max erfüllt durch Berechnen des Mittelwerts, Medianwerts L₁ und Ähnlichen der Lichtmenge L des Orts, wobei x_max ein Wert von x ist, bei welchem die Steigung (Ableitungswert F') von F(x) maximal wird.

Framemittelwert
Beim Generieren eines synthetisierten Bildes in dem Erzeugungsteil des synthetisierten Bildes im Fotografiemodus der Auflösungsverbesserung ist es möglich, zusätzlich zu der Methode des Abbildens des Originalbildes während des Veränderns der Belichtungszeit, eine Methode des Abbildens einer Vielzahl von Originalbildern in der Abbildungseinheit anzunehmen mit einer Belichtungszeit, die auf einen konstanten Wert festgesetzt ist, und durch Nehmen eines Framemittelwertes, um Daten des synthetisierten Bildes zu erzeugen. Das heißt, Rauschen ist im Allgemeinen in Digitalbildern gemischt, und solches Rauschen wird hinzugefügt bei einem Mittel 0 gemäß der Normalverteilung. Folglich kann die Auflösung verursacht durch Quantisierungsfehler verbessert werden, während der Einfluss von Rauschen eliminiert wird durch Nehmen des Mittelwerts. Beispielsweise wird bezüglich eines Pixel, dessen wahrer Wert 100,1 ist, 100 ausgegeben in Folge eines Quantisierungsfehlers, falls Rauschen nicht anwesend ist, aber Abweichung von 98, 104, 101, 97 und Ähnlichem kommen für jedes Abbilden vor, weil Rauschen vorhanden ist. Ein Wert hinter dem Dezimalkomma (100,1) kann während des Eliminierens des Einflusses von Rauschen erhalten werden durch Nehmen des Mittels. Gemäß einer solchen Konfiguration kann ein synthetisiertes Bild von hoher Auflösung mit fixer Belichtungszeit erzeugt werden.
Beim Vergleich der obigen Methoden ist die Analyse des vor dem Fotografieren beobachteten Bildes der Methode 1 die am meisten geeignete bzw. die bequemste Methode, und der Rechenaufwand wächst an in der Reihenfolge der Methoden 2 und 3, nämlich der Methode durch Analyse von einer temporär fotografierten Vielzahl von temporären Bildern (Methode 2) und der Methode durch temporäres Abbilden und Analyse des temporaren synthetisierten Bildes (Methode 3). Auf der anderen Seite kann die Rechnung bis zu der in jeder Anwendung optimalen Belichtungszeit durch die Methoden 2 und 3 ausgeführt werden.
Gewichtete Abbildungsbedingung
Darüberhinaus ist es möglich, nicht nur eine Konfiguration des alternativen Auswählens von entweder dem Fotografiemodus der Tonwertumfangserweiterung oder dem Fotografiemodus der Auflösungsverbesserung in dem Modusauswahlteil anzunehmen, sondern auch eine Konfiguration des Setzens einer Abbildungsbedingung, die erhalten wird durch Gewichten und Kombinieren der Abbildungsbedingungen für beide Fotografiemodi. Beispielsweise wird die Fotografieanwendung analysiert in dem Modusauswahlteil, ein Gewichtungskoeffizient sowohl für den Fotografiemodus der Tonwertumfangserweiterung als auch für den Fotografiemodus der Auflösungsverbesserung wird berechnet, und eine gewichtete Abbildungsbedingung wird dementsprechend gesetzt durch den Abbildungsbedingungseinstellungsteil. Folglich kann eine gewichtete Abbildungsbedingung, kombiniert im Hinblick auf die Balance zwischen den beiden Modi, gesetzt werden ohne ein Festsetzen der Fotografieanwendung auf entweder den Fotografiemodus der Tonwertumfangserweiterung oder den Fotografiemodus der Auflösungsverbesserung, und folglich kann ein flexibleres Abbilden ausgeführt werden. Beim Berechnen der Gewichtung in dem Modusauswahlteil wird das Verhältnis zwischen den beiden Fotografiezwecken bestimmt, und eine gewichtete Abbildungsbedingung wird dementsprechend gesetzt. Insbesondere wird eine geeignete Abbildungsbedingung gesetzt gemäß wie viel das Gewicht der Entfernung eines Haloeffekts ist, oder ob oder ob nicht viel Gewicht auf die Verbesserung des Kontrasts gelegt wird. Beispielsweise beim Bestimmen, ob oder ob nicht ein saturierter Teil enthalten ist in dem beobachteten Bild, das beobachtet wird vor dem Fotografieren in Schritt S1202 der 12, wird die Zahl und die Fläche der saturierten Bereiche überprüft und das Gewicht von jedem Fotografiemodus wird dementsprechend bestimmt durch den Modusauswahlteil anstelle eines gleichförmigen Setzens des Fotografiemodus der Tonwertumfangserweiterung, wenn ein gesättigter Anteil enthalten ist, und des Fotografiemodus der Auflösungsverbesserung, wenn ein saturierter Teil nicht enthalten ist. Als ein Beispiel wird das Gewicht des Fotografiemodus der Tonwertumfangserweiterung vergrößert je größer die Zahl der gesättigten Bereiche oder je größer das Flächenverhältnis ist.
Ähnlich kann anstelle des Bestimmens, ob ein saturierter Bereich in der gesamten Vielzahl von temporären Abbildungen in Schritt S1302 der 13 existiert, der Modusauswahlteil die gewichtete Abbildungsbedingung setzen, um Gewicht zu geben auf den Fotografiemodus der Tonwertumfangserweiterung je größer die Zahl der temporären Bilder ist, die einen saturierten Bereich beinhalten, und auf den Fotografiemodus der Auflösungsverbesserung je größer die Zahl der temporären Bilder ist, die keinen saturierten Bereich beinhalten. Desweiteren wird beim Bestimmen, ob der Tonwertumfang des temporären synthetisierten Bildes größer ist als der Tonwertumfang der Abbildungsvorrichtung in Schritt S1403 der 14, das Ausmaß der Größe bestimmt, und der Modusauswahlteil setzt die gewichtete Abbildungsbedingung, um Gewicht zu geben auf den Fotografiemodus der Tonwertumfangserweiterung je größer das Verhältnis oder die Differenz ist, und auf den Fotografiemodus der Auflösungsverbesserung je kleiner das Verhältnis oder die Differenz ist. Folglich ist das Kriterium in dem Prozess des Bestimmens des Fotografiemodus kein alternatives, und ein geeigneteres Abbilden wird realisiert durch Setzen der Abbildungsbedingung, so dass sie kontinuierlich das Gewicht verändert.
Belichtungszeitanpassungsteil 84
Ein Belichtungszeitanpassungsteil 84 kann bereitgestellt werden zum weiteren Anpassen der Belichtungszeit für das Originalbild, gesetzt durch den Abbildungsbedingungseinstellungsteil 83, auf einen gewünschten Wert. Der Benutzer passt die Abbildungsbedingung wie die Belichtungszeit an einen gewünschten Wert an von dem Bedienungsteil und Ähnlichem aus. Folglich kann der Nutzer, nachdem die Belichtungszeit automatisch gesetzt ist, weiter die Belichtungszeit fein einstellen durch Benutzen des Belichtungszeiteinstellungsteils 84, wodurch ein detaillierteres und genaueres synthetisiertes Bild erhalten werden kann.
Die Belichtungszeit wird auf der Anzeigeeinheit dargestellt, so dass der Benutzer die Belichtungszeit durch Benutzen des Belichtungszeiteinstellungsteils 84 weiter fein einstellen kann. Beispielsweise wird ein Modusanzeigebereich auf der Anzeigeeinheit bereitgestellt zum Anzeigen, welcher Fotografiemodus des synthetisierten Bildes aus dem Fotografiemodus der Tonwertumfangserweiterung und dem Fotografiemodus der Auflösungsverbesserung ausgewählt ist. Folglich kann der Benutzer leicht den automatisch ausgewählten Fotografiemodus des synthetisierten Bildes von dem Anzeigebildschirm her überprüfen. Der Benutzer kann auch den Fotografiemodus des synthetisierten Bildes wechseln je nach Notwendigkeit.
Tonwertkonvertierungsteil 86
Ein synthetisiertes Bild, das durch Setzen eines geeigneten Fotografiemodus des synthetisierten Bildes mit dem Modusauswahlteil folglich erhalten wird, ermöglicht es, dass der Fotografiemodus des synthetisierten Bildes von Seiten des Vergrößerungsbeobachtungsapparats erfasst wird, und folglich kann die Information über den Fotografiemodus des synthetisierten Bildes auch aufgezeichnet werden, wenn die Datei des synthetisierten Bildes gespeichert wird. Wenn der Tonwertkonvertierungsteil 96 synthetisierte Bilddaten tonwertkonvertiert, wird die Information über den Fotografiemodus des synthetisierten Bildes während der Leseoperation ausgelesen, um ein geeignetes Bildverarbeiten auszuführen. Alternativ kann Information über die Abbildungsbedingung wie die Belichtungszeit aufgezeichnet werden, um auf der Information basierend zu bestimmen, ob die Beobachtungsanwendung der synthetisierten Bilddaten für eine Anwendung der Tonwertumfangserweiterung oder für eine Anwendung der Auflösungsverbesserung ist.
Der Beobachtungszweck kann gemutmaßt werden und eine geeignete Bildverarbeitung kann ausgefürt werden durch Ausführen einer Bildanalyse des synthetisierten Bildes oder, selbst wenn solche Information nicht vorhanden ist, durch Analysieren der Originalbilddaten, die das synthetisierte Bild gestalten.
Ein Fall des Konvertierens von synthetisierten Bilddaten, welche ein Hochtonwertbild sind, zu einem Tonwertkompressionsbild, welches ein Niedertonwertbild ist (LDR Bild), wird beschrieben als ein Beispiel des Ausführens einer Tonwertkonvertierung in dem Tonwertkonvertierungsteil. Es soll bemerkt werden, dass die vorliegende Erfindung nicht beschränkt ist auf Tonwertkonvertierung der synthetisierten Bilddaten, und ein Prozess des Konvertierens eines Hochtonwertbildes zu einem Niedertonwertbild von engerem Tonwertumfang kann auf das Hochtonwertbild im Allgemeinen angewendet werden. Beispielsweise kann Tonwertkompression auf ein Hochtonwertbild angewendet werden, das im Voraus in einer anderen Abbildungsvorrichtung abgebildet und synthetisiert ist, und auf ein Hochtonwertbild, das direkt abgebildet wird ohne Benutzen des Originalbildes.
Abbildungseinstellungsteil 87
In der vorliegenden Ausführungsform kann das Setzen von Abbildungsparametern, die sich auf Bildverarbeitung beziehen, beim Konvertieren des Hochtonwertbildes zum Niedertonwertbild und beim Anzeigen und Ausgeben desselben angemessen und automatisch angepasst werden gemäß dem Typ des Hochtonwertbildes. Insbesondere wird für das Hochtonwertbild, das konvertiert werden soll, durch den Abbildungseinstellungsteil 87 automatisch bestimmt, ob es für die Anwendung der Tonwertumfangserweiterung oder für die Anwendung der Auflösungsverbesserung ist, und Tonwertkonvertierung wird ausgeführt in dem Tonwertkonvertierungsteil mit einem Haloeffektunterdrückungsprozess im Fall der Anwendung der Tonwertumfangserweiterung und mit einem Kontrastverbesserungsprozess im Fall einer Anwendung der Auflösungsverbesserung. Der Benutzer kann ein Niedertonwertbild erhalten, das geeignet ist für eine gewünschte Beobachtungsanwendung, ohne sich des Setzens der Abbildungsparameter bewusst zu sein, durch automatisches Ausführen von geeigneter Bildverarbeitung gemäß dem Typ des ausgezeichneten Hochtonwertbildes.
Wenn in der Anwendung der Tonwertumfangserweiterung benutzt, so wird Zeichnen ausgeführt mit genau extrahierter Information über den Bereich, wo Saturierung wie Überbelichtung oder Unterbelichtung vorkommt, enthalten in dem Bild, und Luminanz und Farbe, die im wesentlichen dieselbe ist wie diejenigen des beobachteten Bildes vor dem Fotografieren, muss erhalten werden für andere Bereiche. Wenn in der Anwendung der Auflösungsverbesserung benutzt, so müssen feine Muster, die kaum unterschieden werden können in dem beobachteten Bild vor dem Fotografieren, stark verstärkt werden, und folglich kann das gezeichnete Bild von dem Originalbild in Farbe oder Ähnlichem abweichen. Daher setzt der Abbildungseinstellungsteil 87 die Abbildungsparameter entsprechend dem Typ des abzubildenden Bildes, so dass eine geeignete Tonwertkonvertierung ausgeführt werden kann dem Typ des Bildes entsprechend, das konvertiert werden soll.
Einfacher Modus
17 und 18 zeigen ein Beispiel eines Benutzerinterfacebildschirms eines Tonwertkonvertierungskonsolenbildschirms zum Ausführen von Tonwertkompression in dem Beobachtungsprogramm des vergrößerten Bildes. Ein Tonwertkonvertierungskonsolenbildschirm 300, der in 17 gezeigt wird, zeigt einen einfachen Modus, in welchem der Einstellungsbildschirm vereinfacht ist als ein Automatikeinstellungsbildschirmbeispiel zum automatischen Setzen der Abbildungsparameter für die Tonwertkonvertierung, und ein Tonwertkonvertierungskonsolenbildschirm 300B, der in 18 gezeigt wird, zeigt einen detaillierten Modus mit vermehrten Einstellungselementen der Abbildungsparameter.
In den Tonwertkonvertierungskonsolenbildschirmen 300, 300B wird ein „Einfacher Modus"-Kontrollkästchen 366 bereitgestellt als ein Tonwertkonvertierungseinstellungsschaltteil zum Schalten des Tonwertkonvertierungseinstellungsteils. Das heißt, wenn das „Einfacher Modus"-Kontrollkästchen 366 auf OFF gestellt wird in dem Tonwertkonvertierungskonsolenbildschirm 300 der 17, wechselt der Modus zu dem detaillierten Modus, der in 18 gezeigt wird, und wenn das „Einfacher Modus"-Kontrollkästchen 366 auf ON gestellt wird in dem Tonwertkonvertierungskonsolenbildschirm 300B der 18, kehrt der Bildschirm zu dem Bildschirm des einfachen Modus zurück, der in 17 gezeigt wird.
Schieber zum manuellen Einstellen der Abbildungsparameter für die Tonwertkompression werden bereitgestellt in jedem der beiden Tonwertkonvertierungskonsolenbildschirme 300 und 300B. Insbesondere beinhaltet der Bildschirm des einfachen Modus, der in 17 gezeigt wird, einen Helligkeitsschieber 312 und einen Texturverbesserungsschieber 322. Aktuell gesetzte numerische Werte werden angezeigt auf der rechten Seite eines jeden Schiebers, wobei die numerischen Werte vergrößert oder verkleinert werden können durch Anpassen des Schiebers in horizontaler Richtung. Die numerischen Werte können durch direkte Eingabe spezifiziert werden.
Detaillierter Modus
In dem Bildschirm des detaillierten Modus des Tonwertkonvertierungskonsolenbildschirms 300B, der in 18 gezeigt wird, werden ein Kontrastschieber 332 und ein Farbschieber 342 bereitgestellt zusätzlich zu dem Helligkeitsschieber 312 und dem Texturverbesserungsschieber 322.
Wie in der 19A bis 22B gezeigt wird, wird die Qualität des Niedertonwertbildes, das auf der Anzeigeeinheit angezeigt wird, durch Betätigen eines jeden Schiebers verändert. 19A zeigt zuerst ein Beispiel, wo der Helligkeitsschieber 312 niedrig gesetzt ist und 19B zeigt ein Beispiel, wo der Helligkeitsschieber 312 hoch gesetzt ist für das synthetisierte Bild einer Keramik, die in der Anwendung der Auflösungsverbesserung eines engen Tonwertumfangs abgebildet wird. Der Helligkeitsschieber 312 kann die Helligkeit des Bildes anpassen durch Anpassen des γ-Werts (Gamma-Werts). 20A zeigt ein Beispiel, wo der Texturverbesserungsschieber 322 niedrig gesetzt ist und 20B zeigt ein Beispiel, wo der Texturverbesserungsschieber 322 hoch gesetzt ist für dieselbe Probe. Folglich verbessert der Texturverbesserungsschieber 322 feine Muster. Insbesondere in der Anwendung der Auflösungsverbesserung können Details der Probe mit kleiner Kontrastierungsdichte, die schwierig zu beobachten waren, beobachtet werden durch Anpassen der Abbildungsparameter.
21A zeigt ein Beispiel, wo der Kontrastschieber 322 niedrig gesetzt ist, und 21B zeigt ein Beispiel, wo der Kontrastschieber 322 hoch gesetzt ist für ein synthetisierte Bild, welches durch Fotografieren und Abbilden eines gelöteten Schaltkreises mit breitem Tonwertumfang erhalten wird, wobei das Beispiel als weiteres Beispiel für den Fotografiemodus der Tonwertumfangserweiterung dient. Der Kontrastschieber 332 passt grob Dunkelheit und Helligkeit an. 22A zeigt ein Beispiel, wo der Farbschieber 342 niedrig gesetzt ist, und 22B zeigt ein Beispiel, wo der Farbschieber 342 hoch gesetzt ist. Der Farbschieber 342 passt die Farbe oder Lebendigkeit der Farbe an von einem Einfarbbild bis zu einem Farbbild. Der Nutzer kann die Abbildungsparameter manuell anpassen, um ein geeignetes Tonwertkompressionsbild gemäß jedem Beobachtungszweck zu erhalten, und kann dasselbe je nach Notwendigkeit speichern.
In dem einfachen Modus können Kontrast und Farbe, welche die beiden übrigen Abbildungsparameter sind, automatisch angepasst werden beispielsweise aus einem Abschätzungsergebnis des Helligkeitsgrads und des Texturverbesserungsgrads, die durch die Schieber gesetzt sind, und aus den Abbildungsparametern nach dem Fotografieren und Ähnlichem. Solche Abschätzungsergebnisse werden auf den Wert eines jeden Schiebers zurückgeworfen, wenn von dem einfachen Modus zu dem detaillierten Modus gewechselt wird.
Verschiedene Knöpfe werden für das Auslesen einer Datei und das Speichern einer Datei im unteren Teil eines jeden der Tonwertkonvertierungskonsolenbildschirme 300 und 300B der 17 und 18 bereitgestellt. In diesem Beispiel werden ein „HDR lesen"-Knopf 360 zum Lesen eines HDR-Bilds oder eines synthetisierten Bildes, ein „JPEG lesen"-Knopf 362 zum Lesen eines Tonwertkompressionsbildes, das synthetisierte Bilddaten beinhaltet, und ein „JPEG speichern"-Knopf 364 zum Speichern des Tonwertkompressionsbildes, das synthetisierte Bilddaten enthält, bereitgestellt.
Automatisches Tonwertkonvertierungsverfahren eines Hochtonwertbildes
Ein Verfahren für die Tonwertkonvertierung eines Hochtonwertbildes zu einem Niedertonwertbild wird beschrieben mit Bezug auf das Flussdiagramm der 23. In Schritt S2401 wird ein HDR-Bild erfasst, und in Schritt S2402 wird das HDR-Bild einmal zu einem Graubild konvertiert. In Schritt S2403 wird das Graubild weiter konvertiert zu einem logarithmischen Bild. In Schritt S2404 wird das logarithmische Bild separiert in ein Texturbild und ein Entwurfsbild. Insbesondere wird die Frequenzkomponente des Luminanzsignals, das in dem logarithmischen Bild enthalten ist, durch Benutzten eines Frequenzfilters oder Ähnlichem in eine Texturkomponente separiert, die sich auf ein feines Muster bezieht, und in eine Komponente, die den gesamten Entwurf kennzeichnet. Das Texturbild hat Merkmale eines Bildes, das sich über einen breiten Tonwertumfang erstreckt wie ein Bild, das in dem Fotografiemodus der Tonwertumfangserweiterung abgebildet wird wie beispielsweise ein HDR-Bild. Das Entwurfsbild hat Merkmale eines Feinmusteranteils, der in einem Bild erhalten wird, das in dem Fotografiemodus der Auflösungsverbesserung abgebildet wird wie beipielsweise Keramik. Darüberhinaus wird ein tonwerthaltender oder tonwertverändernder Prozess auf dem Texturbild in Schritt S2405-1 für das Texturbild ausgeführt, und der Tonwertveränderungsprozess wird in Schritt S2405-2 für das Entwurfsbild ausgefüht. Als Ergebnis werden mikroskopische konkav-konvexe Anteile relativ verstärkt, wenn der Tonwertveränderungsprozess in Schritt S2405-1 ausgeführt wird.
In Schritt S2405-2 wird der Tonwertumfang des Entwurfsbildes komprimiert, wodurch die Helligkeit des dunklen Anteils relativ größer wird. Der Abbildungsparameter in Schritt S2405-2 wird zu einer Kompressionsrate des Tonwertumfangs der Luminanz des Entwurfsbildes und entspricht „Kontrast" in den Beispielen der 17 und 18. In dieser Hinsicht stellt Kontrast den Kompressionsparameter des Tonwertumfangs dar.
In Schritt S2406 wird Gewichtungssummation ausgeführt auf jedem Bild, und die separierten Bilder werden synthetisiert, wodurch ein Graubild ausgegeben wird. Die Gewichtung, auf die hierin Bezug genommen wird, ist verteilt gemäß ob oder ob nicht die Textur verstärkt werden soll, wie viele Pixel saturiert werden sollen und Ähnlichem. Der Abbildungsparameter in Schritt S2406 entspricht dem „Texturverbesserungsgrad" in den Beispielen der 17 und 18.
Das Graubild wird konvertiert zu einem Farbbild in Schritt S2407. Desweiteren werden in Schritt S2408 γ-Korrektur und Farbsättigungskorrektur auf dem erhaltenen Farbbild ausgeführt, um ein Ausgabebild zu erhalten. Die γ-Korrektur entspricht „Helligkeit" in den Beispielen der 17 und 18, und die Farbsättigungskorrektur entspricht „Farbe" oder „Farblebendigkeit".
Die Komprimierung wird effizient ausgeführt, weil die Komponente in eine Texturkomponente und in eine Entwurfskomponente separiert ist, und verschiedene Bildverarbeitung auf jeder Komponente ausgeführt wird. Das heißt, dass mit Bezug auf das Hochtonwertbild der Anwendung der Tonwertumfangserweiterung ein Phänomen effektiv verhindert wird, in welchem sogar die feinen konkav-konvexen Komponenten komprimiert werden, wodurch die konkav-konvexe Empfindung verloren geht, wenn die Luminanzverteilung komprimiert wird. Folglich mutmaßt der Abbildungseinstellungsteil, ob der Nutzer die Tonwertkonvertierungsfunktion für den Zweck der Anwendung der Tonwertumfangserweiterung oder der Anwendung der Auflösungsverbesserung benutzt, und setzt vor dem Fotografieren entsprechend die Abbildungsparameter gemäß dem beobachteten Zustand, gemäß Analyseergebnissen während des Fotografierens des Originalbildes, gemäß Charakteristiken des Hochtonwertbildes und Ähnlichem.
Manuelle Anpassung der Abbildungsparameter
Der Nutzer kann die Abbildungsparameter manuell setzen unabhängig von der automatischen Einstellung. Alternativ kann der Nutzer die Abbildungsparameter, nachdem diese automatisch durch den Tonwertkonvertierungsteil eingestellt wurden, auf optimale Abbildungsparameter fein einstellen. Der Tonwertkonvertierungskonsolenbildschirm 300B der 18 kann benutzt werden für die Feineinstellung wie oben beschrieben.
Einstellungsverfahren der Abbildungsparameter
Die Einstellungsverfahren für einen spezifischen Abbildungsparameter werden jetzt beschrieben Bezug auf das Flussdiagramm der 24. Zuerst wird in Schritt S2501 der Typ des Bildes bestimmt, das konvertiert werden soll, und der Texturgewinn a des Abbildungsparameters wird darauf basierend eingestellt. Insbesondere wird der Texturverbesserungsgrad (Texturgewinn a) der Abbildungsparameter bestimmt basierend auf wenigstens einem Benutzungszweck des Benutzers, der bestimmt wird, wenn das Originalbild fotografiert wird, oder auf dem Tonwertumfang des Hochtonwertbildes. Der Texturgewinn a wird größer gesetzt je kleiner der Tonwertumfang ist. Der Texturgewinn a wird bestimmt aus folgender Gleichung. Texturgewinn a = k – w·log (DR)

(k, w: Konstanten, DR von englisch Dynamic Range: Tonwertumfang des Hochtonwertbildes)

Die Helligkeit des Bildes wird dann bestimmt. Die Helligkeit kann kontrolliert werden mit dem Kontrast und der Helligkeit (γ) der Abbildungsparameter. Zuerst wird in Schritt S2502 der Kontrast bestimmt basierend auf dem Tonwertumfang des Hochtonwertbildes. Wenn der Tonwertumfang groß ist, wird der Kontrast groß gemacht. Das gewichtete Mittel des Pixelwerts, der in einer Weise gewichtet wird, so dass das Gewicht des saturierten Bereichs klein wird, wird aus dem beobachteten Bild vor dem Fotografieren erhalten. Das gewichtete Pixelwertmittel wird erhalten basierend auf dem Gewinn a und dem Kontrast, wobei das Bild, das mit dem Prozess bis zu der Gewichtungshinzufügung des Schritts S2406 ausgeführt ist, mit dem Gewicht gewichtet wird. Im Schritt S2503 wird γ bestimmt, so dass die zwei gewichteten Pixelwertmittel nahe beieinanderliegende Werte werden, d. h., dass der Wechsel in der Helligkeit zwischen dem beobachteten Bild vor dem Fotografieren und dem Anzeigebild klein wird.
Zuletzt wird der Farbsättigungskorrekturparameter erhalten basierend auf γ, und der Kontrast wird in Schritt S2504 erhalten. Die Farbe (Farbsättigungskorrekturparameter) wird groß gesetzt, weil ein weißliches Bild ohne Farbe erhalten wird, wenn der Wert von γ größer wird in einer γ-Konvertierung.
Solche Anpassungen können automatisch ausgeführt werden oder können durch den Benutzer ausgeführt werden. In diesem Fall kann die Vielzahl von Schiebern der 18, die jedem Parameter entsprechen, angepasst werden, während diese miteinander verbunden sind. Beispielsweise wird der Schieber kooperativ bedient, so dass die Farbe größer wird je größer γ ist. In dem Beispiel der 18 wird eine Anpassung automatisch ausgeführt, so dass der Helligkeitsschieber 312 und der Kontrastschieber 332 niedrig werden, weil das Gewicht der Auflösungsverbesserungsanwendung höher wird, wenn der Texturenverbesserungsschieber 322 so bedient wird, dass er einen höheren Wert annimmt. Weil auf der anderen Seite das Gewicht der Anwendung der Tonwertumfangserweiterung höher wird, wenn der Helligkeitsschieber 312 einen höheren Wert annimmt, wird folglich jeder Schieber kooperativ bedient und bewegt, so dass der Texturenverbesserungsschieber 322 kleiner wird und der Kontrastschieber 322 groß wird. Zusätzlich kann ein Schaltteil bereitgestellt werden zum An-/Abschalten der Funktion der kooperativen Schieberbedienung.
Die Abbildungsparameter wie die Kompressionsrate und Ähnliches können automatisch gesetzt werden gemäß dem Tonwertumfang des Bildes, das konvertiert werden soll, oder gemäß dem Beobachtungszweck.
Setzen von gewichteten Abbildungsparametern
Darüberhinaus kann zusätzlich zu der Konfiguration des alternativen Setzens der Abbildungsparameter in dem Abbildungseinstellungsteil 87, die für entweder die Anwendung der Tonwertumfangserweiterung oder die Anwendung der Auflösungsverbesserung spezialisiert sind, eine Konfiguration des Setzens der Abbildungsparameter angenommen werden, die gewichtet sind im Hinblick auf das Gewicht einer jeden Anwendung. Beispielsweise wird die Beobachtungsanwendung analysiert in dem Abbildungseinstellungsteil 87, der Gewichtungskoeffizient für sowohl die Anwendung der Tonwertumfangserweiterung als auch der Anwendung der Auflösungsverbesserung wird berechnet, und Tonwertkonvertierung wird ausgeführt in dem Tonwertkonvertierungsteil gemäß den Abbildungsparametern, die entsprechend gesetzt werden. Folglich können die gewichtenden Abbildungsparameter, die die Balance zwischen der Anwendung der Tonwertumfangserweiterung und der Anwendung der Auflösungsverbesserung in Betracht ziehen, ohne Festsetzen der Abbildungsparameter auf eine einzelne der Anwendungen gesetzt werden, wodurch eine flexiblere Bildanzeige und Beobachtung ausgeführt werden kann. Wenn der Abbildungseinstellungsteil eine falsche Bestimmung macht, wenn er automatisch die Beobachtungsanwendung bestimmt, kann das Anzeigeergebnis, das die andere Beobachtungsanwendung widerspiegelt, zu einem gewissen Ausmaß aufgrund des Gewichten der Abbildungsparameter erwartet werden.
Das Gewicht beider Beobachtungsanwendungen wird bestimmt und die dementsprechenden Abbildungsparameter werden gesetzt, um die Gewichtung in dem Abbildungseinstellungsteil zu berechnen. Insbesondere wird das Setzen eines geeigneten Abbildungsparameters ausgeführt gemäß wie hoch das Gewicht einer Haloeffektbeseitigung ist oder wie hoch das Gewicht von Kontrastverstärkung ist. Beispielsweise wird in der Anwendung der Tonwertumfangserweiterung das Verstärken der Feintexturen moderat gesetzt und eine Einstellung wird gemacht in einer Richtung der Unterdrückung des Wechsels in der Helligkeit des nicht einen Haloeffekt zeigenden Teils, um das Gewicht der Haloeffektbeseitigung zu vergrößern. Auf der anderen Seite wird in der Anwendung der Auflösungsverbesserung die Feintextur stark verstärkt und eine Einstellung wird gemacht in einer Richtung der Kontrastverstärkung, sogar wenn die Bildqualität oder der Bildton leicht verändert werden. Gemäß einem Bedingungsrichtfaktor können die Abbildungsparameter wie der Texturverbesserungsgrad verändert werden gemäß dem Gewicht beider Beobachtungsanwendungen. Das Kriterium zum Beurteilen des Gewichts einer jeden Beobachtungsanwendung umfasst ein auf das HDR-Bild basiert Sein, ein Setzen der Abbildungsbedingung während des Abbildens und Ähnliches.
Beurteilungskriterium basierend auf dem HDR-Bild
In der Beurteilung, die das HDR-Bild benutzt, wird das Verhältnis zwischen dem minimalen Pixelwert und dem maximalen Pixelwert des HDR-Bilds, d. h., der Tonwertumfang des HDR-Bilds, das Beurteilungskriterium. In dieser Methode wird der Texturverbesserungsgrad moderat gesetzt, wenn der Tonwertumfang groß ist, weil sich das Verhältnis der Anwendung der Haloeffektbeseitigung vergrößert, und der Texturverbesserungsgrad wird groß gesetzt, wenn der Tonwertumfang klein ist. Die Luminanzverteilung des HDR-Bilds kann auch benutzt werden. Wenn die Luminanzvarianz groß ist und die Luminanzverteilung sich über einen weiten Bereich erstreckt, wird das Gewicht der Haloeffektbeseitigung als hoch eingeschätzt.
Beurteilungskriterium basierend auf einer Abbildungsbedingung
In der Beurteilung, welche eine Abbildungsbedingung benutzt, kann die Belichtungszeiteinstellung einer Kamera oder eines Abbildungsteils benutzt werden. Das heißt, dass der Tonwertumfang des Orts durch Ausführen temporären Fotografierens abgeschätzt wird vor dem Fotografieren des HDR-Bilds. Der Bereich der Belichtungszeit, der beim Abbilden des HDR-Bilds benutzt wird, spiegelt den Tonwertumfang des Orts wider. Das heißt, dass das Gewicht der Haloeffektbeseitigung hoch ist, wenn der Bereich der Belichtungszeit weit ist, und dass das Gewicht der Kontrastverstärkung hoch ist, wenn der Bereich der Belichtungszeit eng ist oder wenn das Fotografieren mit einer einzigen Belichtungszeit ausgeführt wird.
Daher werden die Abbildungsparameter gesetzt im Hinblick auf die Bedeutung der Beobachtungsanwendung in Bezug auf die Anwendung der Tonwertumfangserweiterung oder die Anwendung der Auflösungsverbesserung, und Tonwertkonvertierung wird ausgeführt in dem Tonwertkonvertierungsteil, so dass eine ausgewogene Beobachtung ausgeführt werden kann, die mit dem Beobachtungszweck des Benutzers übereinstimmt.
Anzeigedatei mit angehängten Hochtonwertdaten
Gemäß der vorliegenden Ausführungsform kann das Dateiformat zum Speichern der synthetisierten Bilddaten ein Speicherformat in der Form eines Beifügens des synthetisierten Bildes zu dem tonwertkonvertierten Niedertonwertbild sein. Die Niedertonwertbilddatendatei kann in ein vielseitiges Dateiformat mit einem Benutzerbereich konvertiert werden wie beispielsweise JPEG und TIFF, so dass der Niedertonwertbilddatenanteil in einem gewöhnlichen Bildanzeigeprogramm angezeigt werden kann. Durch Benutzen eines dedizierten Programms zum Erzeugen einer Niedertonwertbilddatei können die synthetisierten Bilddaten gehandhabt werden, welche die Originaldaten des Niedertonwertbildes sind, und die synthetisierten Bilddaten können verteilt werden, während die Lesbarkeit der Datei erhöht wird.
Speicherdateiformat
Die HDR-Bilddaten haben Tonwerte, die bei weitem den Acht-Bit-Tonwert übersteigen, und folglich werden die Originaldaten beschädigt, wenn sie in demselben Format gespeichert werden wie das normale Acht-Bit-Bild. Folglich werden die Daten im Allgemeinen in einem Format gespeichert, das mit sechzehn Bit, zweiunddreißig Bit Gleitkomma und anderem speziellen Code versehen wird. Jedoch wird die Bildanzeigesoftware, die einem solchen speziellen Dateiformat entspricht, nicht weit verbreitet benutzt, und die meisten Benutzer können das HDR-Bild nicht auf der normalweise benutzenden Bildanzeigesoftware browsen. In dem Vergrößerungsbeobachtungsapparat gemäß der vorliegenden Ausführungsform wird das Anzeigebild in dem normalen Bildformat als JPEG und TIFF gespeichert und das HDR-Bild wird als Metadaten gespeichert. Der Nutzer kann dann das Anzeigebild benutzen mit der normalweise benutzenden Bildanzeigesoftware.
Anzeige des Hochtonwertbildes
Die Helligkeit, der Texturverbesserungsgrad, die Farbe und ähnliches können durch Verändern der Abbildungsparameter verändert werden. Ein Beispiel, wo die Abbildungsparameter verändert werden, wird in dem Bild der 25 und 26 gezeigt. Die Bilder, die in diesen Figuren gezeigt werden, sind beide Anzeigebilder, die erstellt wurden von demselben HDR-Bild. Es ist offensichtlich, dass feine Texturen verbessert sind in 26. Durch die Benutzung eines dedizierten Bildeditierprogramms, das fähig ist, die Abbildungsparameter zu verändern, können die Abbildungsparameter des HDR-Bilds durch Lesen der Metadaten verändert werden. Folglich kann der Benutzer das fotografierte HDR-Bild auf seinem/ihrem Computer editieren, um verschiedene Anzeigebilder zu erzeugen. Solche Texturverbesserung kann angewendet werden auf das allgemeine Acht-Bit-Bild, aber Feinabstufung und Ähnliches können nicht dargestellt werden, weil es eine Grenze im Tonwert gibt im Gegensatz zu dem HDR-Bild. Weil das HDR-Bild reichlich vorhandene Tonwerte hat, kann sogar Feinabstufung schön dargestellt werden.
Die Abbildungsparameter zur Zeit der Tonwertkonvertierung des Niedertonwertbildes können aufgezeichnet werden in der Anzeigedatei mit angehängten Hochtonwertdaten. Durch die Benutzung eines Programms zum Erzeugen einer Niedertonwertbilddatei können die Abbildungsparameter überprüft werden, die beim Erzeugen des Niedertonwertbildes benutzt werden. Der Benutzer muss folglich nicht die Abbildungsparameter speichern, indem er Notizen für jede Datei nimmt, und es wird eine Anzeigedatei mit angehängten Hochtonwertdaten erhalten, welche extrem einfach zu bedienen ist und welche die Information in integrierter Weise durch die Datei gemanagt hat.
Desweiteren wird das Niedertonwertbild, das neu tonwertkonvertiert wird mit einem verschiedenen Abbildungsparameter, aktualisiert, um die Niedertonwertbilddaten zu ersetzen in der Anzeigedatei mit angehängten Hochtonwertdaten. Folglich kann die Lesbarkeit des Niedertonwertbildes verbessert werden und ein Wiederabstimmen des Niedertonwertbildes wird auch möglich durch Bereitstellen der Hochtonwertbilddaten, die als Basis zum Erzeugen der Anzeigeniedertonwertbilddaten dienen, für die Anzeigeniedertonwertbilddaten.
Struktur der Anzeigedatei mit angehängten Hochtonwertdaten
27 zeigt die Struktur der Anzeigedatei mit angehängten Hochtonwertdaten. Diese Abbildung entspricht der Struktur einer allgemeinen Bilddatei wie JPEG und TIFF und beinhaltet eine Headerbereich und eine Datenbereich. Die longitudinalen und horizontalen Weiten des Bildes und Ähnliches werden im Allgemeinen im Headerbereich gespeichert. Ein Benutzereinstellungsbereich, in welchen der Benutzer schreiben kann, wird normalerweise bereitgestellt im Headerbereich. Ein Flag, das die Existenz von Hochtonwertdaten anzeigt, wird in diesen Bereich eingefügt. Das Niedertonwertbild wird in den Datenbereich gespeichert als Acht-Bit-Daten, die JPEG, TIFF und Ähnlichem entsprechen. Ein Hochtonwertbildbereich wird bereitgestellt am Ende der Niedertonwertbilddaten als Metadaten, und der Header und die Daten des Hochtonwertbildes werden dort aufgezeichnet. Informationen wie die Dateigröße der synthetisierten Bilddaten wird im Headerbereich des Hochtonwertbildes gespeichert und die eigentlichen Daten des synthetisierten Bildes werden in dem Datenbereich des Hochtonwertbildes gespeichert. Das bekannte zweiunddreißig Bit Gleitkomma-TIFF, log Yuv, Open EXR, und Ähnliche werden in dem Speicherformat der aktuellen Daten geeignet benutzt. Ein unkomprimiertes Format oder ein verlustfreies Kompressionsformat kann für die Datengröße angenommen werden. Desweiteren kann ein Abbildungsparameter enthaltender Bereich in dem Hochtonwertbildbereich bereitgestellt werden zum Aufzeichnen des Abbildungsparameters zur Zeit der Tonwertkonvertierung des Niedertonwertbildes. Der Abbildungsparameter enthaltende Bereich kann bereitgestellt werden im Benutzereinstellungsbereich.
Die Anzeigedatei mit angehängten Hochtonwertdaten speichert die Niedertonwertbilddaten in einem vielseitigen Bildformat wie JPEG und TIFF eines Acht-Bit-Anzeigesystems, wenn das synthetisierte Bild von sechzehn Bit zu einem Niedertonwertbild von acht Bit tonwertkonvertiert wird. Da der Benutzereinstellungsbereich, der durch den Benutzer gesetzt werden kann, in einer solchen Bilddatei existiert, kann Information in diesem Teil aufgezeichnet werden, die anzeigt, dass die synthetisierten Bilddaten und die Abbildungsparameter zur Zeit der Tonwertkonvertierung von dem synthetisierten Bild zu dem Niedertonwertbild enthalten sind. Zusätzlich zu dem Dateiformat, das Gleitkomma und Ähnliches benutzt, können die synthetisierten Bilddaten in der Datengröße komprimiert werden. Existierende Methoden können für die Datenkompressionsmethode geeignet angewendet werden. Beim Speichern der Hochtonwertbilddaten in die Datei werden die Anzeigebilddaten zur Zeit des Anzeigens der Vieltonwertdaten auf dem konventionellen Acht-Bit-Anzeigesystem mit einer geeigneten Tonwertkonvertierungsmethode in einem gewöhnlichen Bilddateiformat wie JPEG und TIFF gespeichert, und die Vieltonwertdaten und die Daten wie Anzeigeparameter zum Erzeugen der Anzeigebilddaten aus den Vielfarbtondaten können ans Ende der Datei hinzugefügt werden und dann gespeichert werden.
Extraktion und Separation einer Texturkomponente und einer Entwurfskomponente
Die Zeit, die für das Öffnen der Datei nötig ist, kann reduziert werden durch Extrahieren der Texturkomponente beim Erzeugen der Anzeigedatei mit angehängten Hochtonwertdaten und durch Hinzufügen der extrahierten Texturkomponente zu der Datei. Konventionell ist beim Anzeigen des synthetisierten Bildes auf dem Monitor oder Ähnlichem die Aufgabe des Extrahierens der Texturkomponente aus dem synthetisierten Bild nötig, um das Bild mit verbesserter Textur anzuzeigen, und folglich wird die Verarbeitungszeit lang. Die Rechenmenge der Texturextraktion kann reduziert werden durch Separieren und Speichern der Texturkomponente vor der Zeit des Dateispeicherns, wodurch der Prozess vom Öffnen der Datei bis zum Anzeigen des Textur verarbeiteten Bildes von hoher Geschwindigkeit oder niedriger Arbeitslast wird. In diesem Fall vergrößert sich die Dateigröße der Anzeigedatei mit angehängten Hochtonwertdaten wegen des Anhängens der Texturdaten. Die Entwurfskomponente, die mit der Texturkomponente aus den synthetisierten Bilddaten extrahiert wird, wird gespeichert und die Entwurfskomponente wird in einer hohen Kompressionsrate der Datengröße gespeichert, so dass eine Vergrößerung in der Dateigröße unterdrückt werden kann. Insbesondere ist, weil die Veränderung in der Entwurfskomponente im Allgemeinen klein ist, die Verschlechterung der Bildqualität klein, sogar wenn die Kompressionsrate der Datengröße erhöht wird. Folglich kann die Datei effizient gespeichert werden, während die Kompressionsrate der Datengröße erhöht, die Dateigröße reduziert und die Verschlechterung der Bildqualität unterdrückt wird.
Verbindungsfunktion sich entsprechender Pixel
Die Pixel des Niedertonwertbildes und des synthetisierten Bildes sind verbunden und ein beliebiges Pixel des Niedertonwertbildes ist spezifiziert, wodurch eine Verbindungsfunktion sich entsprechender Pixel bereitgestellt wird zum Anzeigen der Pixelwerte des synthetisierten Bildes an der relevanten Position. Das Niedertonwertbild, das auf der Anzeigeeinheit angezeigt wird, kann manchmal nicht mit der Originalfarbe angezeigt werden wegen der Tonwertkonvertierung vom synthetisierten Bild zum Niedertonwertbild.
Die Daten des synthetisierten Bildes, die dem Punkt entsprechen, der in dem Niedertonwertbild spezifiziert ist, können referenziert werden und die Information kann zum Anzeigen gelesen werden durch ein Verbinden jeden Pixels, während sich die Koordinatenposition des Niedertonwertbildes und des synthetisierten Bildes entsprechen. Wenn beispielsweise der Benutzer einen beliebigen Punkt auf dem Niedertonwertbild mit einem Zeigegerät wie einer Maus auf dem Bildschirm der 19A und 19B und Ähnlichem anklickt, wird der Pixelwert auf dem synthetisierten Bild, der der relevanten Position entspricht, gelesen, und Information über den Pixelwert oder die Koordinatenposition davon auf der Anzeigeeinheit werden angezeigt. Zwei beliebige Punkte können auf dem Niedertonwertbild spezifiziert werden, und die Farbmaßzahldifferenz kann aus der entsprechenden Position des synthetisierten Bildes berechnet und angezeigt werden. Eine solche Verbindungsfunktion sich entsprechender Pixel wird realisiert durch ein Wirken der Bildberechnungseinheit 81 als Verbindungsteil sich entsprechender Pixel. Die leichte Veränderung und Ähnliches in Farbe, die nicht unterschieden werden können auf dem Bildschirm der Anzeigeeinheit, können durch Assoziieren des HDR-Bilds und des LDR-Bilds in einer solchen Weise erkannt werden.
Verfahren zum Erzeugen und Speichern der Anzeigedatei mit angehängten Hochtonwertdaten
Die Verfahren zum Erzeugen und Speichern einer Anzeigedatei mit angehängten Hochtonwertdaten werden jetzt beschrieben. Zuerst werden die synthetisierten Bilddaten, in welchen eine Vielzahl von Originalbildern synthetisiert ist, gebaut und gespeichert je nach Notwendigkeit. Beim Bauen der Daten wird die Texturkomponente aus dem synthetisierten Bild extrahiert.
Der Zeichenprozess zum Anzeigen des synthetisierten Bildes als Niedertonwertbild wird jetzt beschrieben werden. Der Abbildungsparameter wird in diesem Fall automatisch in dem Programm zum Erzeugen einer Niedertonwertbilddatei gesetzt. Alternativ kann der Benutzer den Abbildungsparameter setzen oder kann den automatisch gesetzten Wert fein einstellen. Ein vielseitiges Bildformat wie JPEG und TIFF kann als Dateiformat der zeichnungsprozessierten Bilddaten benutzt werden. Weil der Benutzereinstellungsbereich, der von dem Nutzer benutzt werden kann, in der Bilddatei existiert, werden die Flag-Daten, welche die Präsenz der Hochtonwertbilddaten, die gekoppelte Bereichsadresse der Hochtonwertbilddaten und die Größe der Hochtonwertbilddaten anzeigen, auf den relevanten Bereich geschrieben. Desweiteren wird die Niedertonwertbilddatei, die mit den Hochtonwertbilddaten gekoppelt ist, in dem spezifizierten Bereich im Datenbereich erzeugt. Die Abbildungsparameter werden auch in dem die Abbildungsparameter haltenden Bereich gespeichert, der in dem Hochtonwertbildbereich bereitgestellt wird. Die Anweisung eines spezifischen Speicherns wird ausgeführt durch Drücken des „JPEG speichern"-Knopfes 364, der im unteren Teil der Tonwertkonvertierungskonsolenbildschirme 300, 300B der 17 und 18 als eine Form des Tonwertdatenspeicherteils bereitgestellt wird. Der „Speichern als"-Dialog wird angezeigt, wenn der „JPEG speichern"-Knopf 364 gedrückt wird, so dass der Benutzer den gewünschten Dateinamen und das Speicherformat angeben kann. Das Format TIFF kann im Gegensatz zu JPEG als Dateiformat ausgewählt werden. Wenn nur das synthetisierte Bild gespeichert wird, können zweiunddreißig Bit Gleitkomma-TIFF, log Yuv, Open EXR und Ähnliches spezifiziert werden. Alternativ können JPEG, TIFF, BMP und ähnliches spezifiziert werden, wenn nur das Tonwertkompressionsbild angezeigt wird.
Die Anzeigedatei mit angehängten Hochtonwertdaten, die auf diese Weise erzeugt wird, kann den Niedertonwertbilddatenanteil anzeigen mit einem gewöhnlichen Bildanzeigeprogramm. Die Hochtonwertbilddaten, die an das Ende der Anzeigedatei mit angehängten Hochtonwertdaten angehängt sind, können durch Benutzen eines dedizierten Programms zum Erzeugen einer Niedertonwertbilddatei angezeigt werden. Wenn der „JPEG lesen"-Knopf 362 gedrückt wird auf den Tonwertkonvertierungskonsolenbildschirmen 300, 300B der 17 und 18, wird der Dateiauswahldialog angezeigt, so dass der Benutzer die gewünschte Datei angeben kann. Wenn die Anzeigedatei mit angehängten Hochtonwertdaten geöffnet wird mit dem Programm zum Erzeugen einer Niedertonwertbilddatei, wird zuerst das Kopplungs-Flag der Hochtonwertbilddaten überprüft. Im Falle einer Bilddatei, die mit Hochtonwertbilddaten gekoppelt ist, werden die Hochtonwertbilddaten gelesen, die Abbildungsparameter werden gelesen, die in dem die Abbildungsparameter haltenden Bereich gespeichert sind, und der Zeichenprozess wird ausgeführt gemäß den Abbildungsparametern und dann angezeigt.
Der Benutzer kann die Abbildungsparameter zurücksetzen, um das Niedertonwertbild in diesem Zustand zu verändern, wobei das alte Niedertonwertbild während des Dateispeicherns ersetzt und gespeichert werden kann als das veränderte neue Niedertonwertbild. Wenn das Niedertonwertbild der Anzeigedatei mit angehängten Hochtonwertdaten aktualisiert wird, können die Abbildungsparameter des die Abbildungsparameter haltenden Bereichs aktualisiert werden, wenn das Niedertonwertbild der Anzeigedatei mit angehängten Hochtonwertdaten aktualisiert wird. Das Koppeln der Hochtonwertbilddateien kann gelöst werden, um das synthetisierte Bild und das Niedertonwertbild zu separieren oder das separierte synthetisierte Bild und das Niedertonwertbild können gekoppelt werden.
Weil das Datenformat des Niedertonwertbildes des konventionellen HDR und Ähnlichem nicht vielseitig ist, kann es in den meisten der normalen Bildanzeigeprogramme nicht angezeigt werden, aber es ist geeignet zur Verteilung des Hochtonwertbildes, da wenigstens das Niedertonwertbild mit der relevanten Methode einfach angezeigt werden kann und der Inhalt der Daten verstanden werden kann. Die Hochtonwertbilddaten können gehandhabt werden durch die Benutzung des Programms zum Erzeugen einer Niedertonwertbilddatei und Vielseitigkeit und Besonderheit der Datei können beide befriedigt werden. Insbesondere kann das Niedertonwertbild, in welchem die Abbildungsparameter angepasst werden, ersetzt werden durch Benutzen des Programms zum Erzeugen einer Niedertonwertbilddatei. Der Nachteil, der darin liegt, dass die Dateigröße der Anzeigedatei mit angehängten Hochtonwertdaten groß wird durch Hinzufügen der Hochtonwertbilddateien mit großer Dateigröße, kann unterdrückt werden durch Hinzufügen der Daten während des Komprimierens der Datengröße der synthetisierten Bilddaten.
Erfassung, Anzeige und Speichern des synthetisierten Bildes
Der Fluss von Erfassung und Anzeige und Datenspeichern des synthetisierten Bildes durch Benutzen des Vergrößerungsbeobachtungsapparats gemäß der vorliegenden Ausführungsform wird in 28 gezeigt. Wie in der Abbildung gezeigt wird eine Vielzahl von Acht-Bit-Bildern, die fotografiert werden, während die Belichtungszeit geeignet verändert wird, synthetisiert, wodurch das HDR-Bild erzeugt wird, welches das Hochtonwertbild ist. Das HDR-Bild hat einen sehr weiten Bereich von Tonwerten, und das Verhältnis des maximalen Kontrasts und des minimalen Kontrasts ist ungefähr 10000:1. Das HDR-Bild wird aufgezeichnet durch Benutzen des Gleitkommas. Beim Anzeigen des HDR-Bilds auf der Anzeigeeinheit 52 wie einem Monitor wird Tonwertkonvertierung (Tonwertkompression) ausgeführt auf die Tonwertkompressionsbilddaten von acht Bit (265 Tonwerte) und Ähnliche, die auf der Anzeigeeinheit 52 angezeigt werden können. Das HDR-Hochtonwertbild kann folglich als Acht-Bit-Farbbild sogar auf der Anzeigeeinheit angezeigt werden, die einen beschränkten Tonwertumfang hat. Das Tonwertkompressionsbild verändert sich stark aufgrund der Abbildungsparametereinstellung in der Zeit des Tonwertkonvertierungsprozesses.
Speichern von eingebetteten Bilddateien
Die HDR-Bilddaten und die Tonwertkompressionsbilddaten werden jeweils gespeichert in einem vorbestimmten Format, aber die Tonwertkompressionsbilddaten können mit dem HDR-Bild darin eingebettet gespeichert werden. Die eingebettet Bilddatei zeichnet Tonwertkompressionsbilddaten am Kopf auf und die HDR-Bilddaten am Ende. Die HDR-Bilddaten werden als Metadaten gehandhabt. Diese Datei kann ein vielseitiges Bildformat sein und die Tonwertkompressionsbilddaten können mit dem gewöhnlichen Bildanzeigeprogramm angezeigt werden. Durch die Benutzung einer dedizierten Software, die zur Handhabung der Tonwertkompressionsbilddaten fähig ist, können die Tonwertkompressionsbilddaten neu aus dem HDR-Bild erzeugt werden, und die Tonwertkompressionsbilddaten können aktualisiert werden. Folglich kann Benutzung als HDR-Bild erreicht werden, während die Handlichkeit des Bildes beibehalten wird.
Insbesondere können die Abbildungsparameter gesetzt und ersetzt werden, so dass ein Benutzervorzugsbild erhalten wird.
Der Vergrößerungsbeobachtungsapparat, die Methode zum Erzeugen von Hochtonwertbilddateien und die Methode zum Erzeugen von Hochtonwertbilddateien der vorliegenden Erfindung erzeugen ein HDR-Bild und befähigen das Browsen des HDR-Bildes durch Benutzen eines Mikroskops, eines digitalen Mikroskops von reflektivem Typ oder transmissivem Typ und einer Digitalkamera.
Gemäß einer Ausführungsform wird ein Hochtonwertbild bereitgestellt, das in einem vielseitigen Bilddateiformat gespeichert wird, um die Verwendbarkeit zu verbessern. Gemäß einer weiteren Ausführungsform, die mit anderen Ausführungsformen kombiniert werden kann, werden ferner bereitgestellt: eine Abbildungseinheit, die ein Originalbild abbildet, das einen vorbestimmten Tonwertumfang hat, welcher ein Verhältnis ist zwischen minimaler Luminanz und maximaler Luminanz; ein Erzeugungsteil eines synthetisierten Bildes, der synthetisierte Bilddaten, die höher im Tonwert sind als die Tonwertbreite des Originalbildes, durch Synthetisieren einer Vielzahl von Originalbildern erzeugt, die unter verschiedenen Abbildungsbedingungen an derselben Beobachtungsposition abgebildet werden; eine Anzeigeeinheit, die die Bilder anzeigt, die durch die Abbildungseinheit abgebildet werden; einen Tonwertkonvertierungsteil, der synthetisierte Bilddaten, die durch den Erzeugungsteil des synthetisierten Bildes erzeugt werden, in Niedertonwertbilddaten konvertiert, die eine Tonwertbreite haben, die geeignet ist, auf der Anzeigeeinheit angezeigt zu werden; und einen Speicherteil von Tonwertdaten, der eine Anzeigedatei mit Hochtonwertdaten erzeugt, welche einen Hochtonwertbildbereich umfasst zum Speichern der synthetisierten Bilddaten, die als Basis dienen, als eine Bilddatei zum Speichern der Niedertonwertbilddaten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 2002-135648 [0002, 0006]
- JP 2002-223387 [0006]

Claims

) Vergrößerungsbeobachtungsapparat, der geeignet ist, ein Bild anzuzeigen, das durch Abbilden einer Probe erhalten wird, die abgebildet werden soll gemäß einer gesetzten Abbildungsbedingung, wobei der Vergrößerungsbeobachtungsapparat umfasst: einen Abbildungsbedingungseinstellungsteil (83), der mindestens eine Belichtungszeit als die Abbildungsbedingung setzt, wenn ein Originalbild in einer Abbildungseinheit (10) abgebildet wird; die Abbildungseinheit (10), die ein Originalbild, das einen vorbestimmten Tonwertumfang hat, welcher ein Verhältnis zwischen minimaler Luminanz und maximaler Luminanz ist, gemäß der Abbildungsbedingung abbildet, die in dem Abbildungsbedingungseinstellungsteil (83) bezüglich einer Beobachtungsposition der Probe gesetzt ist; einen Erzeugungsteil des synthetisierten Bildes, das synthetisierte Bilddaten erzeugt, die in Tonwert höher sind als die Tonwertbreite des Originalbildes, durch Synthetisieren einer Vielzahl von Originalbildern erzeugt, die unter verschiedenen Abbildungsbedingungen an derselben Beobachtungsposition der Probe abgebildet sind; und einen Modusauswahlteil (82), der als Fotografiemodus des synthetisierten Bildes zum Erfassen des synthetisierten Bildes aus der Vielzahl von in der Abbildungseinheit (10) abgebildeten Originalbildern entweder einen Fotografiemodus der Tonwertumfangserweiterung auswählt zum Erzeugen eines synthetisierten Bildes, das einen Tonwertumfang hat, der breiter ist als der des Originalbildes, und/oder einen Fotografiemodus der Auflösungsverbesserung auswählt zum Verbessern einer Luminanzauflösung von dem Originalbild in einem Tonwertumfang, der enger ist als der des Originalbildes.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 1, wobei der Modusauswahlteil (82) gestaltet ist, um automatisch einen geeigneten Fotografiemodus des synthetisierten Bildes auszuwählen basierend auf einer Bildanalyse bezüglich des erfassten Bildes oder der Abbildungsbedingung.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 2, welcher weiter eine Anzeigeeinheit (52) umfasst, welche die durch die Abbildungseinheit (10) abgebildeten Bilder anzeigt, wobei der Modusauswahlteil (82) den Fotografiemodus der Tonwertumfangserweiterung auswählt, wenn ein Sättigungsanteil existiert, und den Fotografiemodus der Auflösungsverbesserung, wenn der Sättigungsanteil nicht existiert, basierend auf einem Bestimmungsergebnis, ob oder ob nicht ein Sättigungsanteil existiert in dem Bild, das auf der Anzeigeeinheit angezeigt wird, wenn er automatisch den Fotografiemodus des synthetisierten Bildes auswählt.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 2, wobei die für jeden Fotografiemodus des synthetisierten Bildes geeignete Belichtungszeit in dem Abbildungsbedingungseinstellungsteil (83) gesetzt wird, um die Vielzahl von Originalbildern abzubilden während des Veränderns der Abbildungsbedingung gemäß dem Bestimmungsergebnis in dem Modusauswahlteil (82).
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 2, wobei der Modusauswahlteil (82), wenn er automatisch den Fotografiemodus des synthetisierten Bildes auswählt, den Fotografiemodus der Tonwertumfangserweiterung auswählt, wenn der Sättigungsanteil existiert, und den Fotografiemodus der Auflösungsverbesserung, wenn der Sättigungsanteil nicht existiert, basierend auf dem Bestimmungsergebnis, ob oder ob nicht ein Sättigungsanteil in irgendeinem temporären Bild existiert, welche zahlenmäßig weniger sind als die Zahl der abzubildenden Originalbilder, notwendig zum Erzeugen des synthetisierten Bildes, abgebildet unter einer zuvor gesetzten Bedingung temporären Abbildens.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 5, wobei, wenn der Fotografiemodus der Tonwertumfangserweiterung ausgewählt wird in dem Modusauswahlteil (82), zum Verändern der Belichtungszeit von einem Bereich, in welchem die Belichtungszeit in einem Maß reduziert wird, wo Überbelichtung nicht vorkommt in allen Bereichen des temporären Bildes, zu einem Bereich, in welchem die Belichtungszeit in einem Maß verändert wird, wo Unterbelichtung nicht vorkommt in allen Bereichen des temporären Bildes, ein Bereich gesetzt wird in dem Abbildungsbedingungseinstellungsteil (83) als Bereich zum Verändern der Belichtungszeit, um die Vielzahl von Originalbildern zu erfassen, und, wenn der Fotografiemodus der Auflösungsverbesserung gewählt wird, ein temporäres Bild ohne gesättigte Bereich, und welches den weitesten Luminanzverteilungsbereich hat, extrahiert wird aus einer Vielzahl von temporären Bildern und ein Bereich zum Verändern der Belichtungszeit in dem Abbildungsbedingungseinstellungsteil (83) gesetzt wird basierend auf der Belichtungszeit, bei welcher das extrahierte temporäre Bild abgebildet ist.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 2, wobei der Modusauswahlteil (82), wenn er automatisch den Fotografiemodus des synthetisierten Bildes auswählt, bestimmt, ob oder ob nicht ein Tonwertumfang eines temporären Bildes größer ist als der Tonwertumfang der Abbildungseinheit, basierend auf einem temporären synthetisierten Bild, das erhalten wird durch Synthetisieren der temporären Bilder, welche zahlenmäßig weniger sind als die Zahl der abzubildenden Originalbilder, notwendig zum Erzeugen des synthetisierten Bildes, abgebildet unter einer zuvor gesetzten Bedingung des temporären Abbildens, und wählt den Fotografiemodus der Tonwertumfangserweiterung aus, wenn der Tonwertumfang des temporären synthetisierten Bildes größer ist, und den Fotografiemodus der Auflösungsverbesserung, wenn der Tonwertumfang des temporären synthetisierten Bildes kleiner ist, wobei der Bereich zum Verändern der Belichtungszeit im Abbildungsbedingungseinstellungsteil (83) entsprechend dem ausgewählten Fotografiemodus des synthetisierten Bildes gesetzt wird.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 7, wobei, wenn der Fotografiemodus der Auflösungsverbesserung in dem Modusauswahlteil (82) ausgewählt wird, der Erzeugungsteil des synthetisierten Bildes Bilddaten des synthetisierten Bildes erzeugt durch Abbilden einer Vielzahl von Originalbildern in der der Abbildungseinheit (10) mit einer Belichtungszeit, die auf einen konstanten Wert fest eingestellt ist, und durch Erhalten eines Frame-Durchschnittswerts.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 1, der weiter einen Belichtungszeitanpassungsteil (84) umfasst, der die durch den Abbildungsbedingungseinstellungsteil (83) gesetzte Belichtungszeit des Originalbildes weiter anpasst auf einen gewünschten Wert.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 2, der weiter einen Tonwertkonvertierungsteil (86) umfasst, der synthetisierte Bilddaten, die durch den Erzeugungsteil des synthetisierten Bildes erzeugt werden, zu Niedertonwertbilddaten konvertiert, die eine Tonwertbreite haben, die geeignet ist, auf der Anzeigeeinheit (52) angezeigt zu werden.
Der Vergrößerungsbeobachtungsapparat gemäß Anspruch 2, weiter umfassend: einen Bildeinstellungsteil (87), der einen sich auf Bildverarbeitung beziehenden Abbildungsparameter setzt zum Tonwertkonvertieren des synthetisierten Bildes zu Niedertonwertbilddaten in dem Tonwertkonvertierungsteil (86) gemäß einem Bildmerkmal, welches unterschieden von dem zu konvertierenden Bild konvertiert werden soll, wobei Bildverarbeitung ausgeführt wird durch den Tonwertkonvertierungsteil (86) gemäß dem Abbildungsparameter, der in dem Bildeinstellungsteil (87) gesetzt wird, und Anzeige gemacht wird auf der Anzeigeeinheit (52).
Vergrößerungsbeobachtungsapparat, der geeignet ist, ein Bild anzuzeigen, das erhalten wird durch Abbilden einer Probe, die gemäß einer gesetzten Abbildungsbedingung abgebildet werden soll, wobei der Vergrößerungsbeobachtungsapparat umfasst: einen Abbildungsbedingungseinstellungsteil (83), der mindestens eine Belichtungszeit setzt als Abbildungsbedingung beim Abbilden eines Originalbildes in einer Abbildungseinheit (10); die Abbildungseinheit (10), die das Originalbild, welches einen vorbestimmten Tonwertumfang hat, welcher ein Verhältnis zwischen eine minimalen Luminanz und einer maximalen Luminanz ist, gemäß der Abbildungsbedingung abbildet, die in dem Abbildungsbedingungseinstellungsteil (83) gesetzt wird bezüglich einer Beobachtungsposition der Probe; einen Erzeugungsteil des synthetisierten Bildes, der synthetisierte Bilddaten, die höher im Tonwert sind als die Tonwertbreite des Originalbildes, durch Synthetisieren einer Vielzahl von Originalbildern erzeugt, die unter verschiedenen Abbildungsbedingungen abgebildet werden an derselben Beobachtungsposition der Probe, wobei eine gewichtete Abbildungsbedingung, die erhalten wird durch Gewichten und Kombinieren der Abbildungsbedingungen bezüglich jeder Anwendung, im Abbildungsbedingungseinstellungsteil (83) gesetzt wird in Abhängigkeit davon, ob die Anwendung eine Fotografieanwendung der Tonwertumfangserweiterung ist zur Erzeugung eines synthetisierten Bildes, das einen Tonwertumfang hat, der größer ist als der des Originalbildes, oder eine Fotografieanwendung der Auflösungsverbesserung zur Verbesserung der Luminanzauflösung von dem Originalbild in einem Tonwertumfang, der enger ist als der des Originalbildes, um das synthetisierte Bild aus der Vielzahl von Originalbildern zu erlangen, abgebildet in der Abbildungseinheit (10).
Vergrößerungsbeobachtungsapparat, der geeignet ist, ein Bild anzuzeigen, das erhalten wird durch Abbilden einer Probe, die gemäß eine gesetzten Abbildungsbedingung abgebildet werden soll, wobei der Vergrößerungsbeobachtungsapparat umfasst: einen Abbildungsbedingungseinstellungsteil (83), der mindestens eine Belichtungszeit als Abbildungsbedingung setzt beim Abbilden eines Originalbildes in einer Abbildungseinheit (10); die Abbildungseinheit (10), die das originale Bild, welches einen vorbestimmten Tonwertumfang hat, welcher ein Verhältnis zwischen eine minimalen Luminanz und einer maximalen Luminanz ist, gemäß der Abbildungsbedingung abbildet, die in dem Abbildungsbedingungseinstellungsteil (83) bezüglich einer Beobachtungsposition der Probe gesetzt wird; einen Erzeugungsteil des synthetisierten Bildes, der synthetisierte Bilddaten, die höher im Tonwert sind als die Tonwertbreite des Originalbildes, durch Synthetisieren einer Vielzahl von Originalbildern erzeugt, die unter verschiedenen Abbildungsbedingungen an derselben Beobachtungsposition der Probe abgebildet werden, wobei ein Fotografiemodus des synthetisierten Bildes zum Erfassen des synthetisierten Bildes aus einer Vielzahl von Originalbildern, die in der Abbildungseinheit (10) abgebildet werden, einen Fotografiemodus der Auflösungsverbesserung umfasst zum Verbessern der Luminanzauflösung von der des Originalbildes in einem Tonwertumfang, der enger ist als der des Originalbildes.
Ein Verfahren zum Fotografieren eines vergrößerten Bildes, welches die Schritte umfasst: Setzen einer Abbildungsbedingung, welche eine Belichtungszeit einer Abbildungseinheit (10) umfasst; Abbilden einer Vielzahl von Originalbildern in der Abbildungseinheit (10) gemäß der Abbildungsbedingung; Synthetisieren der Vielzahl von Originalbildern und Erzeugen von synthetisierten Bilddaten, wobei der Schritt des Setzens der Abbildungsbedingung umfasst: Bestimmen, ob oder ob nicht ein gesättigter Bereich in einem Bild existiert, das auf einer Anzeigeeinheit (52) angezeigt wird, und Wechseln zu einem Fotografiemodus der Tonwertumfangserweiterung, wenn der gesättigte Bereich existiert, und zu einem Fotografiemodus der Auflösungsverbesserung, wenn der gesättigte Bereich nicht existiert; und Setzen der Belichtungszeit, so dass der Veränderungsumfang in der Belichtungszeit, der in dem Fotografiemodus der Auflösungsverbesserung gesetzt wird, kleiner wird als der Veränderungsumfang, der in dem Fotografiemodus der Tonwertumfangserweiterung gesetzt wird, beim Setzen der Belichtungszeit als Abbildungsbedingung entsprechend dem ausgewählten Fotografiemodus des synthetisierten Bildes.
Ein Verfahren zum Fotografieren eines vergrößerten Bildes, welches die Schritte umfasst: Setzen einer Abbildungsbedingung, welche eine Belichtungszeit einer Abbildungseinheit (10) umfasst; Abbilden einer Vielzahl von Originalbildern in der Abbildungseinheit (10) gemäß der Abbildungsbedingung; Synthetisieren der Vielzahl von Originalbildern und Erzeugen von synthetisierten Bilddaten, wobei der Schritt des Setzens der Abbildungsbedingung umfasst: vor dem Abbilden einer Vielzahl von Originalbildern in der Abbildungseinheit (10), Bestimmen, ob oder ob nicht ein gesättigter Bereich in einer Vielzahl von temporären Bildern existiert, die abgebildet werden unter einer zuvor gesetzten Bedingung des temporären Abbildens, und Schalten zu einem Fotografiemodus der Tonwertumfangserweiterung, wenn der gesättigte Bereich existiert, und zu einem Fotografiemodus der Auflösungsverbesserung, wenn der gesättigte Bereich nicht existiert; und Setzen der Belichtungszeit, so dass der Veränderungsumfang in der Belichtungszeit, der in dem Fotografiemodus der Auflösungsverbesserung gesetzt wird, kleiner wird als der Veränderungsumfang, der in dem Fotografiemodus der Tonwertumfangserweiterung gesetzt wird, beim Setzen der Belichtungszeit als Abbildungsbedingung entsprechend dem ausgewählten Fotografiemodus des synthetisierten Bildes.
Ein Verfahren zum Fotografieren eines vergrößerten Bildes, welches die Schritte umfasst: Abbilden einer Vielzahl temporärer Bilder in einer Abbildungseinheit (10) gemäß einer Vielzahl von zuvor gesetzten Bedingungen des temporären Abbildens; Erzeugen eines temporären synthetisierten Bildes durch Synthetisieren der Vielzahl temporärer Bilder; Bestimmen, ob oder ob nicht ein Tonwertumfang, welcher ein Verhältnis zwischen minimaler Luminanz und maximaler Luminanz ist, des temporären synthetisierten Bildes größer ist als der Tonwertumfang der Abbildungseinheit (10) basierend auf dem temporären synthetisierten Bild; Auswählen eines Fotografiemodus der Tonwertumfangserweiterung, wenn der Tonwertumfang des temporären synthetisierten Bildes größer ist, und eines Fotografiemodus der Auflösungsverbesserung, wenn der Tonwertumfang des temporären synthetisierten Bildes kleiner ist; Einstellen einer Belichtungszeit, um Originalbilder, die größer an Zahl sind als die temporären Bilder, gemäß dem ausgewählten Fotografiemodus des synthetisierten Bildes abzubilden; Abbilden der Vielzahl von Originalbildern in der Abbildungseinheit (10) gemäß der Einstellung der Belichtungszeit; Erzeugen von synthetisierten Bilddaten durch Synthetisieren der Vielzahl von Originalbildern; und Konvertieren des synthetisierten Bildes in Niedertonwertbilddaten oder Konvertieren der synthetisierten Bilddaten in Niedertonwertbilddaten, die eine Tonwertbreite haben, die zum Anzeigen geeignet ist, und Anzeigen des Bildes auf einer Anzeigeeinheit (52).