DE3931934A1 - Bild-ein-/ausgabevorrichtung - Google Patents

Bild-ein-/ausgabevorrichtung

Info

Publication number
DE3931934A1
DE3931934A1 DE3931934A DE3931934A DE3931934A1 DE 3931934 A1 DE3931934 A1 DE 3931934A1 DE 3931934 A DE3931934 A DE 3931934A DE 3931934 A DE3931934 A DE 3931934A DE 3931934 A1 DE3931934 A1 DE 3931934A1
Authority
DE
Germany
Prior art keywords
image
images
input
fourier
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE3931934A
Other languages
English (en)
Other versions
DE3931934C2 (de
Inventor
Toshio Honda
Nagaaki Ohyama
Susumu Kikuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Publication of DE3931934A1 publication Critical patent/DE3931934A1/de
Application granted granted Critical
Publication of DE3931934C2 publication Critical patent/DE3931934C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Description

Diese Erfindung betrifft eine Bild-Ein-/Ausgabevorrichtung zum Ein-/Ausgeben von Bildinformation.
Zum optischen Lesen eines Bildes wird ein optisches Fokussiersystem mit einem optischen Element mit großer Apertur benötigt, das eine große Auflösung, eine große Vergrößerung und eine große Helligkeit aufweist. Bekannte optische Fokussiersysteme mit Linsen haben kleinere Brennweiten bei Vergrößerung der Apertur bzw. Blende. Bei den ein Bildsystem verwendenden Anwendungsgebieten wie Mikroskope, Kameras und Endoskope, weisen die resultierenden Bilder vorzugsweise große Auflösungen und Helligkeiten auf, und haben gleichzeitig große Brennweiten.
Ein bekanntes Verfahren zum Erhalten eines Bildes mit großer Brennweite ist in "W. T. Welford, Journal of Optical Society of America, Vo. 50, S. 749 (1960)" beschrieben. Dieses Verfahren beschreibt eine Vorrichtung, welche ein optisches Fokussiersystem mit einer bestimmten Apertur wie beispielsweise einer Zonenplatte verwendet. Mit dieser Vorrichtung kann vorteilhafterweise ein Bild mit einer großen Brennweite erhalten werden. Als Nachteil ergibt sich jedoch, daß die Auflösung und die Lichtmenge erheblich verringert wird.
Eine weitere technische Maßnahme stellt ein Verfahren dar, das eine in "S. A. Sugimoto und Y. Ichioka, Applied Optics Vol. 24, S. 2076 (1985)" oder "Takatoshi OTA, Kokichi SUGIHARA, und Noboru SUGIE, Journal of the Institute of Electronic and Communication Engineers (D), J66-D, 1245, (1983)" beschriebene Bildverarbeitungstechnik verwendet. Gemäß diesem Verfahren werden eine Vielzahl von Bildern mit verschiedenen Brennpunkten (als scharfeingestellte Positionen bzw. Fokussierpositionen bezeichnet) in einem Objektraum zum Erhalten von lokaler Dispersionsinformation, sowie Abschnitte in dem Fokussierzustand hergestellt. Entsprechend dieser Maßnahme kann ein Bild mit einer großen Brennweite hergestellt werden, ohne die Auflösung und Helligkeit zu verringern. Die obige Maßnahme kann diesbezüglich als wirkungsvolle Maßnahme betrachtet werden. Wenn jedoch ein Objekt eine glatte Oberfläche bzw. verschiedene Projektionen bei verschiedenen Positionen aufweist, ist es schwierig, das obige Verfahren auf ein derartiges Objekt anzuwenden. Zusätzlich ist zur Durchführung des Verfahrens eine umfangreiche Hardware erforderlich. Außerdem ist der Algorithmus kompliziert, was viele praktische Probleme aufwirft.
Die oben beschriebenen bekannten technischen Maßnahmen weisen die folgenden Rückschläge auf:
  • (1) Bei der Vorrichtung zum Vergrößern der Brennweite durch Verwenden eines optischen Fokussiersystems mit einer bestimmten Apertur wie beispielsweise einer Zonenplatte ist die Auflösung und die Lichtmenge erheblich verringert. Obwohl es möglich ist, ein Bild mit einer großen Brennweite zu erhalten, geht die Auflösung und Helligkeit des Bildes verloren. Daher kann diese Vorrichtung nicht als optisches System dienen, welches sämtliche Erfordernisse, beispielsweise nach Brennweite, Auflösung und Helligkeit befriedigt.
  • (2) Bei der Vorrichtung zum Eingeben einer Vielzahl von Bildern mit verschiedenen Fokussierpositionen und Herstellen von Teilbildern des Fokussierzustandes auf der Grundlage der lokalen Dispersionsinformation sind Anwendungen in Abhängigkeit der Objektbedingungen beschränkt, was praktische Probleme aufwirft.
Die Erfinder der vorliegenden Erfindung haben Studien zur Lösung der obigen Probleme des Standes der Technik unternommen, und sich erfolgreich eine neuartige Bild-Ein- /Ausgabevorrichtung ausgedacht, die ein Bild mit einer großen Brennweite reproduzieren kann, ohne die Auflösung und Helligkeit zu verringern, und die eine Vielzahl von praktischen Anwendungen für Objekte ermöglicht. Der Anmelder hat diese Vorrichtung bereits unter der Japanese Patent Application No. 63-0 39 936 eingereicht. Entsprechend der in diesem System verwendeten technischen Vorrichtung wird eine Vielzahl von Bildern mit verschiedenen scharfeingestellten Positionen bzw. Fokussierpositionen eingegeben und addiert, und die resultierenden Bilder werden einer geeigneten Erholungsverarbeitung unterworfen, um dabei ein Bild mit einer großen Brennweite zu bilden. Diese technische Vorrichtung kann bei einem einfachen Aufbau bemerkenswerte Vorteile mit sich bringen. Jedoch verbleibt das folgende Problem ungelöst: Es ist schwierig, schnell und exakt eine geeignete Erholungsverarbeitungsvorrichtung zu erhalten, die auf das addierte Bild angewendet werden soll. Mit anderen Worten, um einen optimalen Erholungsfilter zu erhalten, müssen komplizierte und mühsame Berechnungen oder vorhergehende Versuche durchgeführt werden.
Aufgabe der Erfindung ist es, eine Bild-Ein- /Ausgabevorrichtung zu schaffen, die verschiedene Vorteile bietet, d. h. die Vorrichtung kann ein Bild mit großer Brennweite reproduzieren, ohne die Auflösung und Helligkeit zu verringern, weist einen großen Bereich von praktischen Anwendungen für Objekte auf, und kann schnell und exakt in der Praxis verwendet werden.
Diese Aufgabe wird durch die im Anspruch 1 angegebene Vorrichtung gelöst.
Die erfindungsgemäße Vorrichtung kann durch die folgenden Schritte charakterisiert werden:
  • (1) Eine Vielzahl von Bildern mit unterschiedlichen Fokussierpositionen werden eingegeben;
  • (2) Die eingegebenen Bilder mit verschiedenen Fokussierpositionen werden Fourier-transformiert;
  • (3) Die Fourier-transformierten Bilder mit den verschiedenen Fokussierpositionen werden in Einheiten von räumlichen Frequenzen gewichtet, und die gewichteten Bilder werden hergestellt; und
  • (4) Das hergestellte Fourier-Spektrumbild wird dann invers- Fourier-transformiert.
Die obigen Schritte bewirken die folgende Funktion. Die Bilder mit verschiedenen Fokussierpositionen werden einzeln eingegeben, und die Herstellung der Fourier-transformierten Bilder wird durchgeführt. Das resultierende Fourier-Spektrumsbild wird dann invers-Fourier-transformiert. Damit kann ein Bild mit einer großen Brennweite erhalten werden, ohne die Auflösung und Helligkeit zu verringern. Zusätzlich kann die Verarbeitung ohne Schwierigkeit unabhängig von den verschiedenen Bedingungen und Eigenheiten der Oberflächen der Objekte durchgeführt werden, und kann in einer Vielzahl von Anwendungen verwendet werden. Ferner sind keine besonderen Vorbereitungen und bestimmte Eingabevorgänge notwendig. Damit kann die vorliegende Erfindung ohne Modifizierung entsprechend den praktischen Anwendungen verwendet werden.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
Weitere Merkmale und Zweckmäßigkeiten der Erfindung ergeben sich anhand der Beschreibung von Ausführungsbeispielen anhand der Figuren. Die Fig. 1 bis 16 zeigen Ausführungsbeispiele dieser Erfindung, wobei
Fig. 1 eine Darstellung eines Aufbaues eines ersten Ausführungsbeispieles zeigt;
Fig. 2 eine Darstellung zur Erläuterung der Betriebsweise des ersten Ausführungsbeispieles zeigt;
Fig. 3 eine Darstellung eines Aufbaues eines zweiten Ausführungsbeispieles zeigt;
Fig. 4 eine Darstellung zur Erläuterung der Betriebsweise des zweiten Ausführungsbeispieles zeigt;
Fig. 5 eine Darstellung eines Ausbaues eines dritten Ausführungsbeispieles zeigt;
Fig. 6 eine Darstellung des Aufbaues eines vierten Ausführungsbeispieles zeigt;
Fig. 7 eine Darstellung eines Aufbaues eines fünften Ausführungsbeispieles zeigt;
Fig. 8A bis 8C Darstellungen eines Aufbaues eines sechsten Ausführungsbeispieles zeigen;
Fig. 9 eine Draufsicht eines Aufbaues eines Erholungsfarbfilters bei dem sechsten Ausführungsbeispiel zeigt;
Fig. 10 eine Darstellung eines Aufbaues eines siebten Ausführungsbeispieles zeigt;
Fig. 11A bis 11D Darstellungen eines Aufbaues eines achten Ausführungsbeispieles zeigen;
Fig. 12 eine Darstellung zur Erläuterung der Betriebsweise des achten Ausführungsbeispieles zeigt;
Fig. 13 eine Darstellung eines Aufbaues eines neunten Ausführungsbeispieles zeigt;
Fig. 14 und 15 Darstellungen zur Erläuterung der Betriebsweise des neunten Ausführungsbeispieles zeigen; und
Fig. 16 eine Darstellung eines Aufbaues eines zehnten Ausführungsbeispieles zeigt.
Erstes Ausführungsbeispiel
Fig. 1 zeigt einen Aufbau eines ersten Ausführungsbeispieles dieser Erfindung. Ein Objektbild wird auf einen lichtempfangenden Abschnitt einer Abbildungsvorrichtung 2, welche aus einer CCD-Einrichtung (charge coupled device) oder einer Bildröhre besteht, über eine am oberen rechten Abschnitt in Fig. 1 gezeigten Linse 1 fokussiert. Ein optisches Eingabesystem weist normalerweise eine Vielzahl von Linsen auf, wobei hier lediglich eine Linse der Einfachheit halber dargestellt ist. Ein Ausgangssignal, d. h. ein Bildsignal von der Abbildungsvorrichtung 2, wird durch einen A/D-Wandler 3 in ein digitales Signal umgewandelt. Das digitale Signal wird in einem vorbestimmten, von einem Auswähler 4 ausgewählten Speicher von den Speicher 5-1 bis 5-m gespeichert. Die oben erwähnten Vorgänge werden so durchgeführt, daß die Fokussierposition, d. h. die Position der Scharfeinstellung, diskret durch eine Fokussierpositionssteuerung 6 bei vorbestimmten Intervallen innerhalb eines vorbestimmten Abstandsbereiches geändert wird. Die n (n m) Eingabebilder werden jeweils in den n Speichern der Speicher 5-1 bis 5-m gespeichert. Die in den Speichern 5-1 bis 5-m gespeicherten Bilder werden Fourier-transformiert, und die Fortschritte werden wiederum in den Speichern 5-1 bis 5-m gespeichert. Die in den Speichern 5-1 bis 5-m gespeicherten Fourier-transformierten Bildsignale werden an einen Komparator 8 angelegt. Der Komparator 8 vergleicht die Spektralintensitäten der Fouriertransformierten Bilder in Einheiten von räumlichen Frequenzen. Die Fourier-transformierten Bilder werden von den höher- bis zu den niedrigintensiven Bildern neu geordnet. Diese Bildsignale werden an Multiplizierer 10-1 bis 10-P (P m) übertragen. In einem Speicher 9 gesetzte Faktoren bzw. Koeffizienten werden als Multiplikanden an die Multiplizierer 10-1 bis 10-P angelegt. Die Multiplizierer 10-1 bis 10-P multipliziert die Koeffizienten mit den Fourier-transformierten Bildsignalen von dem Komparator 8. Die Ausgangssignale von den Multiplizierern 10-1 bis 10-P werden an einen Addierer 11 angelegt und von diesem addiert. Ein vom Addierer 11 erzeugtes Bildsignal wird in einem Speicher 12 gespeichert. Die gewichteten und in Einheiten von räumlichen Frequenzen addierten und in den Speichern 12 aufgenommenen Fourier-transformierten Bilder werden dann durch das FFT- Arithmetikelement 7 invers-Fourier-transformiert. Das Ergebnis von dem Arithmetikelement 7 wird wiederum in dem Speicher 12 gespeichert. Das in dem Speicher 12 gespeicherte verarbeitete Bildsignal wird durch einen A/D-Wandler 13 in ein Analogsignal umgewandelt. Das Analogsignal wird auf einem Anzeigemonitor 14 angezeigt. Die Steuerung der Zeitabläufe und Signalflüsse der oben genannten Vorgänge wird durch eine Steuerung 15 durchgeführt.
Anstelle des Faktorensetzspeicher und den Multiplizierern 10-1 bis 10-P kann eine Nachschlagetabelle verwendet werden, und die vorbestimmten Faktoren können durch die Tabellenumwandlung multipliziert werden. Die in den Speichern 5-1 bis 5-m aufgenommenen ursprünglichen Bildsignale können in einem weiteren Speichermedium wie beispielsweise ein Diskettenlaufwerk, ein Magnetband, einen optischen Speicher oder dergleichen aufgenommen werden. Die Bildeingabeaufnahme- und Reproduktionseinheiten können auch unabhängig arbeitend (Offline) verbunden sein, so daß das von diesem externen Aufnahmemedium ausgelesenen Bildsignal der Fourier-Transformation, den Additionen mit Gewichtung, und Umkehren der Fourier- Transformation während der Bildreproduktion unterzogen sein kann. Die während der Additionen mit der Gewichtung verwendeten Gewichtungsfaktoren bzw. -Koeffizienten in Einheiten von räumlichen Frequenzen können von Beginn an festgelegt sein, oder einer aus der Vielzahl der im Speicher 9 vorher gespeicherten Faktoren kann durch eine Bedienungsperson ausgewählt werden. Alternativ kann der Inhalt des Speichers 9 erneuert sein.
Das erste Ausführungsbeispiel mit dem obigen Aufbau bewirkt das folgende. Es wird angenommen, daß ein Objekt 20 einen in Fig. 2 gezeigten stufenförmigen Aufbau aufweist. Die jeweiligen Oberflächen der stufenförmigen Abschnitte des Objektes 20 haben Eigenfrequenzen. Wenn das Objekt 20 mit Hervorhebungen in Richtung der Tiefe mit einen optischen System mit relativ geringer Brennweite beobachtet wird, kann eine fokussierte Oberfläche scharf beobachtet werden, aber die anderen Oberflächen befinden sich außerhalb der Scharfeinstellung. Wenn eine bestimmte Oberfläche scharf eingestellt ist, weist dessen Eingabebild eine mit dieser Oberfläche identischen Frequenz auf. Daher weisen die Fourier-Spektren FS 1, FS 2, FS 3, . . . der auf die jeweiligen Oberflächen fokussierten Eingabebilder die räumlichen Eigenfrequenzdaten der jeweiligen Oberflächen auf. Wenn die Fourier-Spektren FS 1, FS 2, FS 3, . . . der Vielzahl von Eingabebildern in Einheiten der räumlichen Frequenzen gewichtet und addiert werden, während die fokussierte Position geändert wird, wird dadurch ein erzeugtes Fourier-Spektrum eines Bildes erhalten, das die räumlichen Frequenzdaten von sämtlichen Oberflächen enthält.
In diesem Fall wird das folgende Gewichtsverfahren verwendet. Eine bestimmte räumliche Frequenz wird in Betracht gezogen, und die Spektralintensitäten der Frequenzen werden zwischen den Bildern mit verschiedenen Fokussierpositionen verglichen. "10" wird mit dem Bild mit der größten Spektralintensität multipliziert, und "0" wird mit den restlichen Bildern multipliziert, bzw. "4", "3", "2" und "1" werden mit den Bildern von den höheren Spektralintensitäten der Frequenz gewichtet. Alternativ kann das Gewichten proportional zu den Spektralintensitäten durchgeführt werden. Wenn fast nur Rauschen in einem räumlich hohen Frequenzbereich auftritt, werden identische Gewichtsfaktoren bzw. -Koeffizienten verwendet, bzw. "0"en werden jeweils mit den Bildern multipliziert, wodurch das Rauschen verringert wird. Das Gewichtungsverfahren kann passend mit den Eigenschaften des Objektes bzw. des optischen Systems ausgewählt werden.
Das resultierende Fourier-Spektrumbild wird einer inversen Fourier-Transformation unterzogen, um ein Bild mit einer im wesentlichen großen Brennweite zu erhalten. Der einfacheren Beschreibung wegen wird ein eindimensionales Fourier-Transformationsverfahren verwendet. In Wirklichkeit wird jedoch eine zweidimensionale Fourier-Transformation verwendet.
Zweites Ausführungsbeispiel
Fig. 3 zeigt einen Aufbau eines zweiten Ausführungsbeispieles dieser Erfindung. Bei diesem Ausführungsbeispiel wird ein optisches Element, d. h. eine Linse 16, die zur chromatischen Aberration in einem optischen Bildeingabesystem konstruiert ist, verwendet. Zusätzlich sind hinter der Linse 16 dichroitische Spiegel 17-1 und 17-2 angeordnet. Bilder mit unterschiedlichen Wellenlängenbereichen werden durch die Abbildungsvorrichtung 2-1 bis 2-3 abgebildet. Die dichroitischen Spiegel 17-1 und 17-2 können Spiegel mit den in Fig. 4 gezeigten Filtereigenschaften sein.
Wie in Fig. 4 gezeigt, weist der Spiegel 17-1 einen Spiegel auf, der Licht eines blauen Bereiches reflektieren, und Licht mit einer Wellenlänge größer als der von grün übertragen kann. Der Spiegel 17-2 weist einen Spiegel auf, der Licht von einer Wellenlänge kleiner als der von grün reflektieren, und rotes Licht hindurch übertragen kann. Mit diesem Aufbau wird ein Bild eines blauen Bereiches an die Abbildungsvorrichtung 2-1, ein grünes Bild an die Abbildungsvorrichtung 2-2, und ein rotes Bild an die Abbildungsvorrichtung 2-3 eingegeben.
Unter erneuter Bezugnahme auf Fig. 3 werden die Bildsignale von den Abbildungsvorrichtungen 2-1 bis 2-3 jeweils durch A/D-Wandler 3-1 bis 3-3 in digitale Signale umgewandelt. Die digitalen Signale werden in Speichern 5-1 bis 5-m gespeichert. Die anderen Merkmale bei diesem Ausführungsbeispiel sind dieselben wie die beim ersten Ausführungsbeispiel, so daß deren genaue Beschreibung weggelassen werden kann.
Bei diesem Ausführungsbeispiel wird das Bild in die drei Komponenten, d. h. in blaue, grüne und rote Komponenten zerlegt. Jedoch ist diese Erfindung nicht darauf begrenzt. Beispielweise kann die Anzahl der Banden auf vier oder mehr erhöht sein, oder auf zwei begrenzt. Zusätzlich kann ein Interferenzfilter zur Eingabe eines Bildes mit einem engen, bestimmten Wellenlängenbereich verwendet werden. Anstelle der dichroitischen Spiegel 17-1 und 17-2 kann eine Vielzahl von unterschiedlichen Bandpaß- und Farbfiltern verwendet sein, wobei diese Filter so geschaltet sind, daß eine einzelne Abbildungsvorrichtung 2 die Eingabe von Bildern mit einem Mehrfachband bewirkt.
Das zweite Ausführungsbeispiel mit dem obigen Aufbau weist die folgende Wirkung auf. Die spektralen Reflexionseigenschaften eines allgemeinen Objektes sind in einem weiten Bereich verteilt, der im wesentlichen dem gesamten Bereich des sichtbaren Lichtes entspricht. Bilder bei den jeweiligen Wellenlängen weisen eine strenge Korrelation auf. D. h. durch Verwenden eines optischen Elementes, das vordergründig eine chromatische Aberation bewirkt, werden Bilder mit verschiedenen Fokussierpositionen entsprechend den Wellenlängen fokussiert, und Bilder mit im wesentlichen unterschiedlichen Fokussierpositionen können gleichzeitig eingegeben werden. Da die bei einer Vielzahl von Positionen fokussierten Bilder ohne Durchführung eines mechanischen Schrittes zum Ändern der Position der Scharfeinstellung eingegeben werden können, wird eine Vorrichtung erhalten, die frei von "Verwackeln" oder dergleichen ist, das durch mechanische Bewegung verursacht ist.
Drittes Ausführungsbeispiel
Fig. 5 zeigt einen Aufbau eines dritten Ausführungsbeispiels dieser Erfindung. Bei dem dritten Ausführungsbeispiel sind in einem optischen Bildeingabesystem hinter einer Linse 1 Halbspiegel 18-1 und 18-2 angeordnet, wobei die Abstände zwischen der Linse 1 und den Abbildungsvorrichtungen 2-1 bis 2-3 unterschiedlich voneinander eingestellt sind. Der weitere Aufbau ist der gleiche wie beim zweiten und ersten Ausführungsbeispiel, und braucht daher nicht mehr beschrieben zu werden.
Die Abbildungsvorrichtungen 2-1 bis 2-3 können zum geeigneten Einstellen deren Positionen entsprechend den Arten des Objektes bewegbar sein.
Das dritte Ausführungsbeispiel mit dem obigen Aufbau bewirkt den folgenden Effekt. Bei diesem Ausführungsbeispiel werden Bilder eingegeben, die auf der Vielzahl von unterschiedlichen Ebenen fokussiert sind, wobei die Vielzahl von Bildern mit unterschiedlichen Fokussierpositionen gleichzeitig eingegeben werden kann. Daher kann eine einfache Vorrichtung erhalten werden, bei der der mechanischen Vorgang zum Ändern der Fokussierposition nicht durchgeführt werden muß, wodurch die Anwendungsbereiche der Vorrichtung erweitert werden können.
Viertes Ausführungsbeispiel
Fig. 6 zeigt einen Aufbau eines vierten Ausführungsbeispiels dieser Erfindung. Dieses Ausführungsbeispiel stellt eine Anwendung dar, bei der diese Erfindung auf ein Reflexionsmikroskop angewendet ist. Wie in Fig. 6 gezeigt, wird das von einer Beleuchtungsquelle 100 ausgehende Licht durch die nach unten gerichtete Beleuchtungsvorrichtung 101 geführt und trifft auf die Oberfläche einer Probe über eine Objektivlinse 102. Ein von der Probe reflektiertes Lichtbild wird durch die Objektivlinse 102 fokussiert und durch eine am oberen Ende eines Objektivtubus 103 angeordneten TV-Kamera 104 abgebildet. Bei diesem Fall wird eine Fokussierebene für die Probe kontinuierlich durch einen Fokussierhöhentreiber 105 innerhalb einer bestimmten Zeitperiode geändert. Die Bildeingaben während dieser Periode werden in einem lichtempfangenden Element der TV-Kamera 104 gesammelt. Die Probe wird durch eine X-Y-Stufensteuerung 106 in X- und Y-Richtung bewegt. Die innerhalb der bestimmten Bildperiode gespeicherten Bilder 20 werden durch einen Leser in der TV-Kamera 104 gelesen und auf einen Kameratreiber 107 als ein elektrisches Signal übertragen. Der Kameratreiber 107 steuert ebenfalls die Leistungsversorgung oder dergleichen der TV-Kamera 104. Ein an den Kameratreiber 107 übertragenes Bildsignal wird an einen Prozessor 108 angelegt. Der Prozessor 108 weist einen A/D-Wandler, einen Bildspeicher, ein FFT-Arithmetikelement, einen Komparator, eine Gewichtungs- und Addiervorrichtung und einen D/A-Wandler auf. Der Prozessor 108 unterzieht die Eingabebilder mit verschiedenen Fokussierpositionen der Verarbeitung gemäß dieser Erfindung. Das verarbeitende Ergebnis wird an einen TV-Monitor 109 angelegt und darauf angezeigt. Die obigen Vorgänge werden wiederholt für die verschiedenen Abschnitte der Probe unter der Steuerung der X-Y-Stufensteuerung 106 durchgeführt, und die verarbeiteten Ergebnisse werden aufeinanderfolgend angezeigt. Das Mikroskop gemäß diesem Ausführungsbeispiel wird vollständig durch eine Steuerung 110 gesteuert, und die Bedingungen werden vom Beobachter über eine Schnittstelle 111 eingegeben.
Entsprechend diesem Ausführungsbeispiel kann die Herstellung von Bildern mit großen Brennweiten relativ leicht durchgeführt werden, während die Auflösung und Helligkeit des Objektes in dem Mikroskop konstant gehalten werden. Wenn eine sehr kleine Struktur mit einem Mikroskop beobachtet werden soll, muß eine Objektivlinse mit großer Vergrößerung verwendet werden. Im allgemeinen wird die numerische Apertur NA umso größer und die Brennweite wird umso kleiner, je größer die Vergrößerung wird. In diesem Fall kann dieses Ausführungsbeispiel als ein effektives Verfahren zum Anzeigen eines Bildes mit einer kleinen Brennweite verwendet werden. Insbesondere ist bei der Beobachtung mittels einem Mikroskop der mühsame Vorgang der Fokussiererhöhungseinstellung, die aufgrund der geringen Brennweite benötigt wird, unnötig. Daher kann die Beobachtung bemerkenswert vereinfacht werden. Der Aufbau dieser Erfindung kann bei einer Vielzahl von Anwendungen zum Beobachten verschiedener Arten von Objekten in vielen Bereichen wie Bergbau-, Papier-, Faser-, Bioindustrien zusätzlich zum Testen von ICs und LSIs verwendet werden.
Dieses Ausführungsbeispiel stellt die Anwendung auf ein Reflexionsmikroskop dar. Diese Erfindung ist jedoch ebenso auf ein Transmissionsmikroskop, ein Fluoreszensmikroskop und dergleichen anwendbar. Ein Addierer kann in dem Prozessor 108 zur Eingabe und Addition der Bilder auf die gleiche Weise wie bei dem ersten Ausführungsbeispiel dieser Erfindung angeordnet sein.
Fünftes Ausführungsbeispiel
Fig. 7 zeigt einen Aufbau des fünften Ausführungsbeispieles dieser Erfindung. Dieses Ausführungsbeispiel stellt eine elektronische Kamera dar, die diese Erfindung verwendet. Dieses Ausführungsbeispiel entspricht einer Anordnung, bei der die Bildeingabeeinheit und die Bildverarbeitungs/ Anzeigeeinheit bei den ersten bis dritten Ausführungsbeispielen unabhängig arbeitend über ein Aufnahmemedium verbunden sind. Wie in Fig. 7 gezeigt, wird eine Vielzahl von Bildern, die durch eine elektronische Kamera 200 erhalten worden sind und bei unterschiedlichen Fokussierpunkten fokussiert sind, als elektrische Signale in die Kamera 200 eingegeben. Sämtliche elektrischen Eingangssignale werden in einem Aufnahmemedium 201 in der Kamera 200 aufgenommen. Das Aufnahmemedium 201 weist ein Diskettenlaufwerk, ein Magnetband, einen optischen Speicher, einen Festkörperspeicher unter Verwendung eines Halbleiter-IC oder eines Dünnfilmes oder dergleichen auf. Die in dem Aufnahmemedium 201 aufgenommenen Bildsignale werden durch einen Leser 202 gelesen. Die in dem Bildaufnahmemedium aufgenommenen Bildsignale stellen Analogsignale dar. Ein A/D-Wandler ist im Leser 202 angeordnet, um das Bildsignal in ein digitales Signal umzuwandeln. Ein Prozessor 203 weist die Speicher 5-1 bis 5-m, das FFT-Arithmetikelement 7, den Komparator 8, den Speicher 9, den Multiplizierer 10, den Addierer 11, den Speicher 12, den D/A-Wandler 13 und die Steuerung 15 auf, die sämtlich in den ersten bis dritten Ausführungsbeispielen gezeigt sind. Dieselbe Verarbeitung wie bei den ersten bis dritten Ausführungsbeispielen wird für ein digitales Bildsignal durchgeführt, das vom Leser 202 in den Prozessor übertragen worden ist. Das verarbeitete Bildsignal wird auf einen TV-Monitor 204 übertragen und darauf angezeigt. Die verschiedenen Verarbeitungsbedingungen des Prozessors 203 werden durch einen Beobachter über eine Schnittstelle 205, die mit einer Steuerung in dem Prozessor 203 verbunden ist, festgelegt.
Entsprechend diesem Ausführungsbeispiel wird die Vielzahl von Bildern mit unterschiedlichen Fokussierpositionen, die durch die elektronische Kamera 200 abgebildet worden sind, erhalten, um denselben Effekt wie bei den ersten bis dritten Ausführungsbeispielen zu bewirken. Wenn insbesondere ein Objekt fotografiert worden ist, ohne dem Scharfeinstellen der Linse oder der Blendeneinstellung große Aufmerksamkeit zu schenken, kann ein Bild des Objektes durch freies Einstellen der Brennweite reproduziert werden. Damit kann ein Bild mit großer Brennweite, hoher Helligkeit und Auflösung erhalten werden, was bisher in einem optischen Eingabesystem einer bekannten elektronischen Kamera nicht realisiert worden ist. Folglich kann die Funktionsweise des optischen Eingabesystems der elektronischen Kamera außerordentlich verbessert werden.
Sechstes Ausführungsbeispiel
Die Fig. 8A bis 8C zeigen Darstellungen eines Aufbaues eines sechsten Ausführungsbeispieles, bei dem diese Erfindung auf ein elektronisches Oberflächensequentialendoskop angewendet wird. Das elektronische Endoskop weist hauptsächlich eine Endoskopsonde 300, eine Bildeingabeeinheit 301, eine Farbfehlerfassungskorrektureinheit 302, eine Farbinformationsrecoder 303, eine Brennweitenvergrößerungseinheit 304, eine Bildanzeigeeinheit 305 und eine Steuerung 306 auf. Eine monochromatische Festkörperabbildungsvorrichtung 310 wie beispielsweise CCD ist beim distalen Ende der Endoskopsonde 300 angeordnet. Ein Bild, das durch eine Objektivlinse in einer Fokussierpositionssteuerung 311 fokussiert ist, wird abgebildet. Bei diesem Fall wird das Beleuchtungslicht wie folgt erhalten. Licht von einer weißen Beleuchtungsquelle 313 wie beispielsweise einer Xe-Lampe, das über einen in der Bildeingabeeinheit 301 angeordneten Rotationsfarbfilter 312 gesendet wird, wird über den Lichtleiter 314 aus einer optischen Faser oder dergleichen in die Endoskopsonde 300 geführt. Licht wird dann vom distalen Ende der Sonde ausgegeben.
Fig. 9 zeigt eine Draufsicht eines Aufbaues des Rotationsfarbfilters 312. Wie in Fig. 9 gezeigt, sind rote (R), grüne (G), und blaue (B) Spektraltransmissionsfilterelemente 312 R, 312 G, und 312 B absatzweise in einer Drehrichtung angeordnet.
Unter erneuter Bezugnahme auf Fig. 8 wird der Rotationsfarbfilter 312 durch einen Motor 312 M in der Bildeingabeeinheit 301 angetrieben, und die Beleuchtungslichtfarben werden in einer Reihenfolge R, G und B geändert. Aus diesem Grunde wird ein mit Lichtkomponenten mit diesen Farben beleuchtetes Objekt durch die Abbildungsvorrichtung 301 als ein monochromatisches Bild abgebildet. Ein Ausgabebildsignal von der Abbildungsvorrichtung 310 wird durch einen A/D-Wandler 315 in der Bildeingabeeinheit 301 in ein digitales Signal umgewandelt, und das digitale Signal wird in einem entsprechend vorbestimmten Farbbereich der Rahmenspeicher 317-1 bis 317-3 gespeichert. Die obigen Vorgänge werden durch eine Bildeingabesteuerung 318 gesteuert. Die R- und G-Komponenten bzw. die G- und B-Komponenten der ursprünglichen Farbbilder, d.h. die R-, G-, und B-Komponenten, die aufeinanderfolgend in den Rahmenspeichern 317 gespeichert sind, werden durch einen Auswähler 319 ausgewählt. Die ausgewählten Bildsignale werden an einen Bereichsdetektor 320 für ein Ursprungsbild in der Farbfehlerfassungskorrektureinheit 302 eingegeben, und die Fehlerfassungsbeträge des R- bzw. B-Bildes bezüglich des G-Bildes werden lokal erfaßt. Ein Adreßerzeuger 321 erzeugt Adressen zum Korrigieren der von dem Bereichsdetektor 320 für das Ursprungsbild berechneten Fehlerfassungsbeträge, und diese Adreßsignale werden an die Rahmenspeicher 317-1 bis 317-3 angelegt. Die Rahmenspeicher 317-1 bis 317-3 korrigieren die R- und B-Bilder unter Verwendung der Adreßsignale und eines Pufferspeichers 317-4.
Das resultierende Einfarbenbild wird über den Auswähler 319 in die Farbinformationsaufnahmeeinheit 303 eingegeben. In der Farbinformationsaufnahmeeinheit 303 werden die entsprechenden Farbkomponenten miteinander durch einen Addierer 322 zum Erhalten einer Helligkeit Y=R+G+B addiert. Gleichzeitig werden die Farbkomponenten R, G und B durch die Dividierer 323-1 bis 323-3 durch Y geteilt. Die Quotienten R/Y, G/Y und B/Y von den Dividierern 323-1 bis 323-3 werden jeweils in den Speichern 324-1 bis 324-3 gespeichert.
Die R-, G- und B-Bilder werden eingegeben, während die Fokussierposition durch die Fokussierpositionssteuerung 311 in der Endoskopsonde 300 geändert wird, d. h. die in den Rahmenspeichern 317-1 bis 317-3 in der Bildeingabeeinheit 301 gespeicherten R-, G- und B-Bilder werden in die Rahmenspeicher 325-1 bis 325-3 in der Brennweitenvergrößerungseinheit 304 aufgenommen. Zusätzlich zu den Rahmenspeichern 325-1 bis 325-3 weist die Brennweitenvergrößerungseinheit 304 ein FFT- Arithmetikelement 326, einen Komparator 327, Multiplizierer 328-1 bis 328-3, einen Speicher 329, einen Addierer 330 und einen Rahmenspeicher 331 auf. Die Brennweitenvergrößerungseinheit 304 wird auf die gleiche Weise wie beim ersten Ausführungsbeispiel betrieben, und das verarbeitete Resultat wird im Rahmenspeicher 331 als Helligkeit Y=R+G+B gespeichert.
Die in den Speichern 324-1 bis 324-3 gespeicherte Farbinformation und das im Rahmenspeicher 331 gespeicherte Bildsignal werden durch die Multiplizierer 332-1 bis 332-3 in Einheiten der Farbkomponenten multipliziert. Die Produkte von den Multiplizierern 332-1 bis 332-3 werden an die Bildanzeigeeinheit 305 angelegt.
Die von den Multiplizierern 332-1 bis 332-3 an die Bildanzeigeeinheit 305 angelegten Signale werden jeweils über D/A- Wandler 331-1 bis 333-3 in Analogsignale umgewandelt. Die Analogsignale werden auf einem TV-Monitor 334 angezeigt. Die Bildverarbeitungs- und Anzeigeeinheiten werden durch die Steuerung 306 gesteuert.
Dieses Ausführungsbeispiel verwendet die strenge Korrelation zwischen den drei Grundfarben (R, G und B)-Endoskopbildern und der beinahen Abhängigkeit der Bilddefokussierung von der Beleuchtung der Farbbildkomponenten. Bilder mit verschiedenen Fokussierpositionen in Einheiten der drei Grundfarben werden in das elektronische Oberflächensequentialendoskop eingegeben, und die Verarbeitung wird durch die vorliegende Erfindung durchgeführt.
Eine Betriebsweise dieses Ausführungsbeispieles wird im folgenden beschrieben. Durch die Bildeingabeeinheit 301 werden aufeinanderfolgend R-, G-, und B-Komponentenbilder eingegeben. Wenn in diesem Fall das Objekt bzw. die Endoskopsonde 300 selbst abrupt bewegt wird, werden die relativen Positionen der drei Grundbilder von den richtigen Positionen abweichen, und somit eine sog. Farbfehlerfassung verursachen. Die Farbfehlerfassungskorrektureinheit 302 berechnet die Fehlerfassungsbeträge der R- und B-Bilder bezüglich des G-Bildes durch Abgleichen zwischen lokalen Teilbildern. Die R- und B- Bilder werden auf der Grundlage der berechneten Farbfehlerfassungsbeträge korrigiert. Durch das obige Verfahren wird ein Farbbild bei einer festgelegten Fokussierposition eingegeben. Die durch Normieren der R-, G- und B-Werte durch die Helligkeit Y=R+G+B erhaltenen Daten R/Y, G/Y und B/Y werden durch die Farbinformationsaufnahmeeinheit 203 aufgenommen. Die Grundfarbenbilder werden eingegeben, während die Fokussierposition geändert wird, und die eingegebenen Bilddaten werden der Farbfehlerfassungskorrektur unterzogen. Die korrigierten Daten werden durch die Brennweitenvergrößerungseinheit 304 unter Verwendung der R-, G- und B-Bilder hergestellt, wodurch ein Bild mit einer großen Brennweite erhalten wird. Das resultierende Bild wird als neues Helligkeits- Y′-Bild definiert. Schließlich wird das Y′-Bild mit den Daten R/Y, G/Y und B/Y multipliziert, um ein Farbbild mit einer großen Brennweite zu erhalten.
Dieses Ausführungsbeispiel weist den Vorteil auf, daß ein Endoskopbild mit einer großen Brennweite erzeugt werden kann. Da zusätzlich eine Objektivlinse mit großer Apertur verwendet werden kann, kann die Leistung der Beleuchtungsquelle verringert werden. Zusätzlich kann die Lichtspeicherzeit der Abbildungsvorrichtung verkürzt werden, und ein Einfluß der Farbfehlerfassung kann minimiert werden.
Siebtes Ausführungsbeispiel
Fig. 10 zeigt eine Darstellung eines Aufbaues eines siebten Ausführungsbeispieles, bei dem diese Erfindung auf ein elekttronisches Endoskop angewendet ist, das eine Einzelplatten- Farbbildungsvorrichtung verwendet. Wie in Fig. 10 gezeigt, ist beim distalen Ende einer Endoskopsonde 400 eine mit einem Farbmosaikfilter 401 bedeckte Festkörperabbildungsvorrichtung 402, eine aus R-, G- und B-Filterelementen bestehende, lichtempfangende Oberfläche befestigt. Ein durch eine Objektivlinse in einer Fokussierpostionssteuerung 403 fokussiertes Bild wird abgebildet. In diesem Fall wird das Beleuchtungslicht wie folgt erzeugt. Das von einer Weißbeleuchtungsquelle 405 im Vorrichtungsgehäuse ausgesandte Licht wird über einen Lichtleiter 404 zur Endoskopsonde 400 geführt und vom distalen Ende der Sonde ausgegeben. Ein Ausgangssignal von der Abbildungsvorrichtung 402 wird durch eine Farbtrennschaltung 406 in R-, G- und B-Farbsignale getrennt. Bei diesem Ausführungsbeispiel weist das Farbmosaikfilter 401 R-, G-, B-Filterelemente auf. Das Filter 401 kann jedoch auch komplementäre Farbfilterelemente wie beispielsweise Cyan- und Gelbfilterelemente aufweisen. In jedem Fall trennt die Farbtrennschaltung 406 die Farbsignale, die die Farbkomponenten repräsentieren, die den Farbmosaikfilter 401 darstellen. Durch eine Matrixschaltung 407 werden die R-, G- und B-Komponentensignale in Y-, R-Y-, und G-Y-Signale umgewandelt. Die Y-, R-Y- und B-Y-Signale werden durch einen NTSC-Decoder 408 in eine NTSC-Signal umgewandelt. Das NTSC- Signal wird durch einen A/D-Wandler 409 in ein digitales Signal umgewandelt. Dieses digitale Signal wird durch einen Auswähler 410 in einem der Rahmenspeicher 411-1 bis 411-m gespeichert.
Die n (n m) Bildeingaben werden in n Speichern der Speicher 411-1 bis 411-m gespeichert, während die Fokussierposition geeignet geändert wird. Die Vorrichtung weist ebenfalls ein FFT-Arithmetikelement 411, einen Komparator 413, Multiplizierer 414-1 bis 414-P, einen Speicher 415, einen Addierer 416, einen Rahmenspeicher 417, einen D/A-Wandler 418, einen TV-Monitor 419, und eine Steuerung 420 auf. Bei dem siebten Ausführungsbeispiel wird dieselbe Verarbeitung wie beim ersten Ausführungsbeispiel durchgeführt.
Beim siebten Ausführungsbeispiel wird das von der Einzelplattenfarbabbildungsvorrichtung 402 unter Verwendung des Farbmosaikfilters 401 erhaltene Endoskopbild in das NTSC-Signal umgewandelt. Das umgewandelte Farbbildsignal wird durch diese Erfindung verarbeitet. Entsprechend diesem Ausführungsbeispiel kann daher die Vorrichtungsgröße verringert werden, und dieselbe Wirkung auf das Endoskopbild wie bei dem sechsten Ausführungsbeispiel dieser Erfindung kann erhalten werden.
Achtes Ausführungsbeispiel
Die Fig. 11A bis 11D zeigen einen Aufbau eines achten Ausführungsbeispieles. Dieses Ausführungsbeispiel ist zur Reproduktion eines Bildes mit einer großen Brennweite von einem kleinen Eingabebild konstruiert. Die von Bildern mit unterschiedlichen Fokussierebenen erhaltenen Fourier-transformierten Bildern werden in Einheiten von räumlichen Frequenzen gewichtet, durch Verwenden eines gewichteten Koeffizienten, der so berechnet worden ist, daß eine Erholungsverarbeitung mit gewünschten S/N durchgeführt wird. Beim achten Ausführungsbeispiel wird die Erfindung vorteilhafterweise auf ein Mikroskop vom Reflexionstyp angewendet, durch das ein Halbleiter-IC mit einer geschichteten Struktur geprüft wird. Zum Einstellen der Bedingungen für die Prüfung wird ein "Vorverarbeitungs"-Schritt und ein "Hauptverarbeitungs"- Schritt durchgeführt.
Beim "Vorverarbeitungs"-Schritt beobachtete ein Beobachter ein mikroskopisches Bild eines Objektes, während eine Stufe 501 eines Mikroskops 500 in Richtung einer optischen Achse bewegt wird. Die Stufe 501 wird vertikal durch einen Motor 502 bewegt. Der Motor 502 wird durch einen Motortreiber 503 angetrieben. Der Motortreiber 503 wird durch eine in einem Prozessor 601 angeordnete Stufentreibersteuerung 601 gesteuert. Die Stufentreibersteuerung 601 ist mit einer Schnittstelle 510 verbunden. Damit kann der Beobachter die Stufe 501 frei in vertikaler Richtung bewegen. Während der Betrachtung des Mikroskopbildes des Objektes bzw. des Halbleiter- IC, setzt der Beobachter einen Fokussierpunkt auf die zuoberste Schicht, und anschließend auf die aufeinanderfolgenden unteren Schichten. Wenn der Fokussierpunkt auf jede Schicht gesetzt worden ist, betätigt der Beobachter eine vorbestimmte Taste auf der Schnittstelle 510. Folglich wird ein Fokussiersignal von der Schnittstelle 510 an die Stufentreibersteuerung 601 angelegt. Der Motortreiber 503 weist eine Vorrichtung zum Erfassen der Position der Stufe 501 auf. Die von dieser Vorrichtung erfaßten Positionsdaten, die die Position darstellen, werden an die Stufentreibersteuerung 601 zurück eingegeben. Die Positionsdaten, die erhalten worden sind, wenn die Stufentreibersteuerung 601 das Fokussiersignal von der Schnittstelle 510 empfangen hat, werden in einem internen Speicher der Stufentreibersteuerung 601 gespeichert.
Auf der anderen Seite wird ein Mikroskopbild, das erhalten worden ist, wenn das Fokussiersignal von der Schnittstelle 501 erzeugt worden ist, durch eine oberhalb eines Objektivtubus des Mikroskopes 500 angeordnete TV-Kamera fotografiert. Ein Bildaufnahmesignal wird von der TV-Kamera 520 an einen A/D-Wandler 611 angelegt und wird in digitale Daten umgewandelt. Die digitalen Daten werden über einen Auswähler 612 in einem Speicher 613-1 gespeichert. Der im Speicher 613-1 gespeicherte Wert wird über einen Auswähler 621 an ein FFT-Arithmetikelement zugeführt und einer zweidimensionalen Fourier-Transformation unterzogen. Schließlich wird eine Realzahlkomponente des Wertes in dem Speicher 613-1 gespeichert, und eine Imaginärzahlkomponente des Wertes wird in einem Speicher 613-2 gespeichert. Die in den Speichern 613-1 und 613-2 gespeicherten Fourier-transformierten Bilddatenkomponenten werden jeweils über Auswähler 614-1 und 614-2 an Multiplizierer 615-1 und 615-2 angelegt. Jede der Realzahlkomponente und Imaginärzahlkomponente wird quadriert. Die beiden resultierenden quadrierten Werte werden durch einen Addierer 616 addiert. Damit ergibt sich ein Potenzspektrum des Fourier-transformierten Bildes wie folgt:
Φ (fx, fy) = F(fx, fy) · F*(fx, fy)
        = {F R (fx, fy)+iFi(fx, fu))(F R fx, fy) - iFi(fx, fy)}
        = F R (fx, fy) ²+Fi(fx, fy) ²
(wobei F(fx, f/)= F R (fx, fy)+iFi(fx, fy) ein Fourier- transformiertes Bild darstellt).
Im folgenden wird in einigen Fällen zur Vereinfachung der Formeln Φ (fx, fy) als "Φ" abgekürzt, und F(fx, fy) wird als "F" abgekürzt.
Der addierte Wert wird über einen Auswähler 617 in einem Speicher 618 gespeichert. In ähnlicher Weise werden Potenzspektren von Bildern, die auf den entsprechenden Schichten des IC fokussiert sind, aufeinanderfolgend in dem Speicher 618 gespeichert. Gleichzeitig wird der Wert von Positionen der Fokussierebenen der Stufe 501 in dem Speicher in der Stufentreibersteuerung 601 gespeichert. Es wird angenommen, daß die Gesamtzahl von Fokussierebenen des IC, die vom Beobachter ausgewählt werden, gleich n beträgt.
Der in der Stufentreibersteuerung 601 gespeicherte Wert von Positionen der Fokussierebenen wird an einen Adreßsignalerzeuger 602 angelegt und in ein vorbestimmtes Adreßsignal umgewandelt. Das Adreßsignal wird in einem Nur-Lese-Speicher (ROM) 603 gespeichert. Das ROM 603 speichert vorher einige Bildqualitätsverlustfunktions- (z. B. "Verwacklungs"-Funktions)- Werte H jk . Jeder der Bildqualitätsverlust-funktionswerte H jk repräsentiert einen Grad des Qualitätsverlustes des Bildes einer k-ten Schicht, wenn eine j-te Schicht (Ebene der Scharfeinstellung bzw. Fokussierebene) fokussiert ist. Der Qualitätsverlust des Bildes hängt vom Abstand zwischen der j-ten Schicht und der k-ten Schicht ab. Wenn nämlich z eine optische Achsenkoordinate bezeichnet, Z j die Position der j-ten Schicht bezeichnet, und Z k die k-te Schicht bezeichnet, kann die folgende Gleichung (1) angegeben werden:
H jk = H(Z j , Z k ) = H(|Z j -Z k |) (1)
Aufgrund der Position Z j (i= 1, 2 . . . n) der ausgewählten Fokussierebene wird daher der Bildqualitätsverlust-Funktionswert H jk entsprechend den beiden Ebenen (j-te Schicht und k- te Schicht) gefunden. Da die Anzahl von in dem ROM 603 gespeicherten Bildqualitätsverlustfunktionswerten begrenzt ist, ist die Anzahl von Qualitätsverlust-Funktionswerten entsprechend eines Abstandes zwischen zwei frei gewählten Schichten (|Z j -Z k |) ebenfalls begrenzt. Es gibt jedoch in der Praxis keine Probleme, falls ein Qualitätsverlust- Funktionswert ausgewählt wird. Wenn eine i-te Schicht scharf eingestellt wird, wird ein räumlicher Frequenzwert H ip (fx, fy) entsprechend eines Bildqualitätsverlustfunktionswertes H ip einer ausgewählten p-ten Schicht von dem ROM 603 ausgegeben. Der Wert H ip (fx, fy) wird über einen Auswähler 604 in einer Verriegelungsschaltung 605 gehalten. Während die i- te Schicht fokussiert wird, wird ein räumlicher Frequenzwert H iq (fx, fy) entsprechend eines Bildqualitätsverlustfunktionswertes H iq einer weiteren ausgewählten q-ten Schicht von dem ROM 603 ausgegeben. Der Wert H iq (fx, fy) wird über den Auswähler 604 an einen Multiplizierer 606 angelegt. In dem Multiplizierer 606 wird der Wert H iq (fx, fy) mit dem in der Verriegelungsschaltung 605 gehaltenen Wert H ip (fx, fy) multipliziert. Das Multiplikationsergebnis wird über einen Auswähler 607 an einen Multiplizierer 631 angelegt.
Der räumliche Frequenzwert Φ i (fx, fy) des i-ten Spektrums Φ i der Potenzspektren entsprechend den jeweiligen Schichten wird von einem Speicher 618 ausgelesen. Der ausgelesene Wert Φ i wird über einen Auswähler 619 an den Multiplizierer 631 gesendet und mit dem Ausgang des Auswählers 632 multipliziert. Ein Ausgang des Multiplizierers 631 wird über einen Auswähler 632 an einen Addierer 633 geliefert. Auf der anderen Seite wird ein in einem Pufferspeicher 635 gespeicherter Wert über einen Auswähler 636 an den Addierer 633 eingegeben. Damit werden die Ausgänge von den Auswählern 632 und 636 durch den Addierer 633 addiert. Das addierte Ergebnis wird über einen Auswähler 634 in den Pufferspeicher 635 eingegeben, und die Inhalte in dem Pufferspeicher 635 werden erneuert. Dieser Vorgang wird bezüglich der verschiedenen Werte von i (= 1, 2, . . . n) wiederholt. Daran anschließend wird der Wert in dem Pufferspeicher 635 an einen Teiler 637 eingegeben. Der im Pufferspeicher 635 gespeicherte Wert wird mit dem Teiler 637 mit einem in einem ROM 638 gespeicherten Wert S dividiert. Der von dem ROM 638 ausgegebenen Wert S repräsentiert einen Spektrumsrauschpegel. Das Verhältnis {(Φ i (fx, fy)/S)} des Spektrumswertes Φ i (fx, fy) zu dem Wert S entspricht einem S/N bei der räumlichen Frequenz (fx, fy). Der Spektrumsrauschpegel S wird vorher als "a priori"-Wert geschätzt und in dem ROM 638 gespeichert. Ein Ausgang des Teilers 637 wird als ein Eingang an den Addierer 633 über den Auswähler 632 angelegt. Ein Wert "1" wird von dem ROM 638 ausgelesen und als der weitere Eingang an den Addierer 633 über den Auswähler 636 angelegt. Die beiden Eingänge werden durch den Addierer 633 addiert, und das addierte Ergebnis wird über den Auswähler 634 in einem Speicher 639 gespeichert. Nachfolgend zu diesem obigen Vorgang speichert der Speicher 639 drei Werte, die sich durch die Gleichungen (2) bis (4) ergeben:
Auf der anderen Seite werden die Bildqualitätsverlustfunktionswerte H ip (fx, fy) und H iq (fx, fy) der Schichten p und q bei der räumlichen Frequenz (fx, fy), die in dem ROM 603 gespeichert sind, und die sich ergeben, wenn die i-te Schicht fokussiert wird, über die Auswähler 604 und 607 in den Multiplizierer 631 eingegeben. In dem Multiplizierer 631 werden die Funktionswerte H ip (fx, fy) und H iq (fx, fy) mit dem Potenzspektrum Φ i (fx, fy) multipliziert. Das Ergebnis der Multiplikation wird unter Verwendung des Addierers 633 und des Pufferspeichers 635 n-maligen kumulativen Additionsvorgängen unterzogen. Daran anschließend wird das resultierende Signal durch den von dem ROM 638 in dem Teiler 637 ausgelesenen Spektrumrauschpegel S geteilt. Das dividierte Ergebnis wird im Speicher 639 gespeichert. Auf diese Weise speichert der Speicher 639 zwei neue, durch die Gleichungen (5) und (6) sich ergebenden Werte:
Zwei vom Beobachter ausgewählte Schichten in einem mittleren Bereich der n Schichten werden als die beiden Schichten p und q ausgewählt. Es ist ebenso möglich, die Schichten p und q auf der Grundlage des Wertes des Potenzspektrums Φ i auszuwählen.
Der im Speicher 639 gespeicherte Wert wird über einen Auswähler 640, eine Verriegelungsschaltung 641 und einen Multiplizierer 642 einem Multipliziervorgang unterzogen. Folglich werden sechs Werte A pp · A qq , A pq ², A qq B p , A pq B q , A pp B q und A pq B p in einem ersten Stufenspeicher 643 gespeichert. Der im Speicher 643 gespeicherte Wert wird über einen Auswähler 644, einer Verriegelungsschaltung 645, und einen Subtraktor 646 einem Subtraktionsvorgang unterzogen. Die resultierenden drei Werte A pp · A pp -A pq ², A qq B p -A pq B q , und A pp B q -A pq B p werden in einem zweiten Stufenspeicher 647 gespeichert. Der im Speicher 647 gespeicherte Wert wird über einen Auswähler 648, einen Verriegelungsschalter 649 und einen Teiler 650 einem Divisionsvorgang unterzogen. Einer der resultierenden Werte, der sich durch
ergibt, wird über einen Auswähler 651 in einem Speicher 652-1 gespeichert.
Der andere der resultierenden Werte, der sich durch
ergibt, wird über den Auswähler 651 in einem Speicher 652-2 gespeichert. Nach Vervollständigung des obigen Vorganges werden die Koeffizientenwerte ω p und ω q für sämtliche räumlichen Frequenzen der Eingabedigitalbilder berechnet. Die berechneten Koeffizientenwerte werden in den Speichern 652-1 und 652-2 gespeichert.
Es wird nun die "Hauptverarbeitung" im achten Ausführungsbeispiel beschrieben. Nach der oben beschriebenen "Vorverarbeitung" bewegt der Beobachter die Stufe 501 in einer horizontalen Richtung, d. h. eine Richtung senkrecht zur optischen Achse, um einen bestimmten Punkt auf dem Objekt zu prüfen. In diesem Fall wird von der Stufentreibersteuerung 601 ein Befehl an den Motortreiber 503 geliefert, so daß ein Fokussierpunkt auf der Schicht p gesetzt wird. Ein von der TV-Kamera 520 erhaltenes Bild wird durch den A/D-Wandler 611 in digitale Bilddaten umgewandelt. Der digitale Bildwert wird über den Auswähler 612 in dem Speicher 613-1 gespeichert. Auf diese Weise wird ein von der TV-Kamera 520 erhaltenes Bild, wenn der Fokussierpunkt auf der Schicht p gesetzt wird, in dem Speicher 613-2 gespeichert. Diese digitalen Bilddateneinheiten werden durch das FFT-Arithmetikelement 622 einer zweidimensionalen Fourier-Transformation unterzogen. Die Fourier-transformierten Bilddateneinheiten werden wiederum in den Speichern 613-1 und 613-2 gespeichert. Die Fourier-transformierten Bilddateneinheiten werden in Einheiten von räumlichen Frequenzen ausgelesen. Die ausgelesenen Dateneinheiten werden über die Auswähler 614-1 und 614-2 in die Multiplizierer 615-1 und 615-2 eingegeben. Die Koeffizientenwerte ω p und ω q entsprechend den in den Speichern 652-1 und 652-2 gespeicherten räumlichen Frequenzen werden ebenfalls in die Multiplizierer 615-1 und 615-2 eingegeben. Die Fourier-transformierten Bilddateneinheiten werden durch die Koeffizientenwerte multipliziert, und die Multiplikationsergebnisse der Multiplizierer 615-1 und 615-2 werden von dem Addierer 161 addiert. Das addierte Ergebnis wird in dem Speicher 618 gespeichert. Mit anderen Worten, Fourier-Komponenten von Bilddaten, die erhalten werden, wenn Fokussierpunkte auf der Schicht p und der Schicht q gesetzt sind, werden in Einheiten von bestimmten Frequenzen mit den Koeffizientenwerten ω p und ω q gewichtet. Dieser Vorgang wird durch die folgende Gleichung repräsentiert:
Fa = ω p Fp+ω q Fq;
wobei Fp und Fq Fourier-transformierte Bilddateneinheiten bezeichnen, die erhalten werden, wenn Fokussierpunkte auf den Schichten p und q gesetzt sind.
Das errechnete Ergebnis der Gewichtung wird in dem Speicher 618 gespeichert. Der im Speicher 618 gespeicherte gewichtete Fourier-transformierte Bildwert wird dann von dem FFT-Arithmetikelement 622 einer invertierten Fourier-Transformation unterzogen. Dann wird der resultierende Wert wiederum in dem Speicher 618 gespeichert. Der gespeicherte Wert wird durch einen D/A-Wandler 620 in ein Analogvideosignal umgewandelt, und das Analogvideosignal wird auf einem TV-Monitor 600 angezeigt.
Diese "Hauptverarbeitung" wird jedesmal, wenn die Position der Stufe 501 geändert wird, wiederholt, und die verarbeiteten Bilder werden aufeinanderfolgend angezeigt. Es ist möglich, die horizontale Position der Stufe 501 automatisch durch Verwenden eines Motors, der zur Steuerung der horizontalen Bewegung der Stufe 501 ausgebildet ist, zu ändern.
Die oben beschriebene Verarbeitung wird durch eine in dem Prozessor 600 enthaltene Steuerung 660 gesteuert. Auf eine Beschreibung der Leitungsverbindung der Steuerung 660 kann verzichtet werden.
Entsprechend dem achten Ausführungsbeispiel, bei dem ein Halbleiter-IC 530 mit n-Schichten, wie in Fig. 12 gezeigt, geprüft wird, wird ein Bild des IC, das erhalten wird, wenn Fokussierpunkte lediglich auf beliebig ausgewählten zwei Schichten pL und qL gesetzt sind, eingegeben und verarbeitet, wodurch ein Bild mit scharf eingestellten Punkten bei jeder Schicht angezeigt werden kann. Im folgenden wird die Betriebsweise der Vorrichtung gemäß dem achten Ausführungsbeispiel beschrieben.
Es wird angenommen, daß ein Bild der k-ten Schicht durch fk (x, y) dargestellt wird, und ein Bild, das durch Unterziehen des Bildes fk einer Fourier-Transformation erhalten ist, durch F k (fx, fy) dargestellt ist. Es wird ferner angenommen, daß eine Qualitätsverlustfunktion (d. h. OTF: Optical Transfer Function) der k-ten Schicht, die beobachtet wird, wenn ein Fokussierpunkt auf einer j-ten Schicht gesetzt ist, durch das Symbol H jk (fx, fy) dargestellt wird, und zusätzlich mit dem Eingabebild, das erhalten wird, wenn der Fokussierpunkt auf der j-ten Schicht gesetzt ist, vermischtes Rauschen durch N j (fx, fy) dargestellt wird. In diesem Fall ergibt sich der Fourier-transformierte Bildwert G j (fx, fy), der von dem Eingabebild erhalten wird, wenn der Fokussierpunkt auf der j-ten Schicht gesetzt ist, durch
Ebenso ergibt sich der Fourier-transformierte Bildwert F₀ eines Bildes, das schließlich erhalten wird, durch
In der vorliegenden Erfindung werden Fourier-transformierte Bilder, die eingegeben sind, wenn die Fokussierpunkte auf verschiedenen Schichten gesetzt sind, in Einheiten von räumlichen Frequenzen gewichtet. Falls ein Gewichtungskoeffizient für das Eingabebild G j ω j beträgt, ergibt sich das verarbeitete Bild durch
Es ist daher notwendig, den Koeffizienten ω j zu finden, der einen Unterschied im Wert zwischen den Gleichungen (10) und (11) auf ein Minimum reduzieren kann. Ein gemittelter quadrierter Fehler E zwischen den Werten der Gleichungen (10) und (11) wird durch
dargestellt, wobei ein statistisches mittleres Potenzspektrum Φ k der k-ten Schicht sich durch die folgende Gleichung ergibt:
k (fx, fy) =< |F k (fx, fy) |²< = < |F k (fx, fy) · F k * (fx, fy) |²< (13)
Bei den obigen Gleichungen (12) und (13) wird angenommen, daß das zusätzliche Rauschen ein weißes Rauschen ist, eine Spektrumsdichte S beträgt, und die Bilder der Schichten in keiner Beziehung zueinander stehen (Fu · Fu*=δ uu). Das Symbol <·< bezeichnet einen Operator, der einen mittleren Wert der Häufung darstellt.
Um in der Gleichung 12 einen Minimalwert zu erhalten, wird der Wert Φ i nach ω j differenziert, und mit 0 gleichgesetzt.
wobei j=p, q; l=p, q(j≠1).
Die optische Übertragungsfunktion OTF bzw. der Wert H wird als reelle Variablenfunktion angesehen, die keine Phase aufweist. Die Gleichung (14) kann wie folgt entwickelt sein:
Aus der Gleichung (15) ergeben sich zwei Gleichungen, bei denen j=p und j=q eingerichtet sind. Diese Gleichungen werden durch eine Matrix wie folgt dargestellt:
Falls die Matrixelemente in Gleichung (16) entsprechend den räumlichen Frequenzen wie in den Gleichungen (2) bis (6) dargestellt werden, ergibt sich die folgende Gleichung:
Die Lösungen der Gleichung (17) sind wie folgt:
Die oben beschriebene "Vorverarbeitung" wird so durchgeführt, daß die durch die Gleichungen (18) und (19) dargestellten Lösungen berechnet werden. In den Gleichungen (16) und (19) bezeichnet das Symbol i/S eine Größe S/N. Obwohl dieser Wert im Prinzip aufgrund statistischer Schätzung gefunden wird, ist die Schätzung tatsächlich schwierig. Daher wird der Wert k durch ein Potenzspektrum k einer Bildeingabe ersetzt, wenn der Beobachter einen Fokussierpunkt auf jede Schicht des Objektes in der "Vorverarbeitung"- Stufe setzt. Die Spektrumrauschdichte wird ebenfalls auf einen geeigneten Wert eingestellt, wobei die Eigenschaften der TV-Kamera, usw. vorher berücksichtigt werden.
Beim achten Ausführungsbeispiel ergibt sich der Gewichtungskoeffizient entsprechend jeder räumlichen Frequenz durch Berücksichtigen der Qualitätsverlustfunktion von jeder Schicht, die auftritt, wenn ein Fokussierpunkt auf jede Schicht gesetzt wird, und des S/N und der Verwendung eines Verfahrens des minimalen Quadratfilters. Aufgrund der Eingabebilder einer kleinen Anzahl von Schichten kann damit ein Bild mit scharfeingestellten Punkten auf allen Schichten reproduziert werden. Bei diesem Ausführungsbeispiel wurde ein Halbleiter-IC mit vier bis fünf Schicht verwendet, und die Anzahl der Eingabebilder war zwei. Wenn die Anzahl der Schichten des Objektes sehr groß ist, kann die Anzahl der Eingabebilder auf die Anzahl m vergrößert werden. In diesem Fall wird die Matrix der Gleichungen (16) und (17) eine aus m Gleichungen bestehende Gleichung. Ein Prozessor zur Lösung von gleichzeitig Gleichungen mit m Elementen wird dann benötigt.
Wie oben beim achten Ausführungsbeispiel beschrieben, wird der Gewichtungskoeffizient so gesetzt, daß der Effekt der Erholungsverarbeitung mit einem verbesserten S/N erhalten wird. Damit kann ein Bild mit einer großen Brennweite reproduziert werden, aufgrund einer kleinen Anzahl von Eingabebildern. Falls die benötigten Bedingungen in der "Vorverarbeitung" gesetzt werden, kann die Bildverarbeitung in der "Hauptverarbeitungs"-Stufe in kurzer Zeit durchgeführt werden.
Neuntes Ausführungsbeispiel
Fig. 13 zeigt einen Aufbau eines neunten Ausführungsbeispieles, das sich auf eine Vorrichtung zum Auswählen einer Fokussierebene eines Eingabebildes bezieht. In einer Vorverarbeitungsstufe wird die Position einer Fokussierpositionssteuerungsvorrichtung 806 eingestellt, und ein durch ein Linsensystem 801 fokussiertes Bild durch ein Bildaufnahmeelement 802 fotografiert. Ein Ausgang von dem Bildaufnahmeelement 802 geht über einen Bandpaßfilter 803, und lediglich ein Signal mit einem vorbestimmten Frequenzband wird extrahiert. Die Spektrumsintensität des extrahierten Signales wird in einem Speicher 804 gespeichert. Der Speicher 804 speichert Spektrumsintensitäten in dem Frequenzband von Bildern mit verschiedenen Fokussierebenen. Ein Prozessor 805 setzt eine Fokussierebene eines Eingabebildes zum Durchführen der "Hauptverarbeitung" aufgrund der jeweiligen Spektrumsintensitäten. Ein diese Fokussierebene repräsentierendes Befehlssignal wird vom Prozessor 805 an die Fokussierpositionssteuerungsvorrichtung 806 geliefert. Die Fokussierpositionssteuerungsvorrichtung 806 ist mit einem Decoder zum Erhalten von Fokussierpositionsdaten des Linsensystems 801 ausgestattet. Der Fokussierpositionswert wird an den Prozessor 805 zurückgeführt.
Die Fig. 14 und 15 zeigen Darstellungen zur Erklärung einer Betriebsweise des neunten Ausführungsbeispieles. Ein Objekt 810 weist eine wie in Fig. 14 gezeigte Oberflächenstruktur auf. Falls das Bild des Objektes 810 durch ein optisches System mit geringer Brennweite aufgenommen wird, werden ein Bild mit einem Fokussierpunkt bei einer bestimmten Fläche auf dem Objekt 810 und ein Bild mit keinem Fokussierpunkt erhalten. Ein Fourier-Spektrum des erstgenannten Bildes weist eine relativ hohe räumliche Frequenzkomponente auf, während ein Fourier-Spektrum des zuletztgenannten Bildes lediglich eine niedrige räumliche Frequenzkomponente aufweist. Diese Eigenschaft ist im rechten Seitenabschnitt der Fig. 14 veranschaulicht. Der rechte Abschnitt von Fig. 14 zeigt nämlich Fourier-Spektren F (u) von Bildern, die erhalten werden, wenn Fokussierebenen in Positionen des Objektes 810 gesetzt sind, die durch unterbrochene Linien angedeutet sind. Bei Betrachten der in Fig. 14 gezeigten Spektren veranschaulicht Fig. 15, wie ein Wert F (u 1, u 2), der durch Integrieren lediglich einer gestrichelten Fläche der Spektren eines bestimmten räumlichen Frequenzbereiches (u 1, u 2) erhalten wird, variiert, wenn die Position der Fokussierebene sich ändert.
Aus Fig. 15 ist ersichtlich, daß Bilder von anderen Bereichen als einem Bereich (z 1-z 2), wo der Wert F (u 1, u 2) einen vorbestimmten Schwellwert überschreitet, d. h., die Bilder haben keinen Fokussierpunkt, aus dem Umfang der zu addierenden Bilder ausgeschlossen werden können. Als Ergebnis kann ein klareres Bild mit einer größeren Brennweite erhalten werden.
Da der Umfang der Fokussierebenen der Eingabebilder durch die Vorverarbeitung vorbestimmt ist, kann entsprechend dem neunten Ausführungsbeispiel die Hauptverarbeitung wirksam durchgeführt werden, und ein klareres Bild reproduziert werden.
Wie in den ersten bis dritten Ausführungsbeispielen gezeigt, ist die Vorrichtung dieser Erfindung mit den Bildspeichern und dem FFT-Arithmetikelement ausgestattet. Damit kann die Verarbeitung in dem neunten Ausführungsbeispiel ebenso durchgeführt werden, ohne den in Fig. 13 gezeigten Aufbau zu verwenden, und lediglich durch Fourier-Transformation der digitalen Eingabebilder und Herausfinden der Spektrumsintensität eines bestimmten Frequenzbereiches.
Zehntes Ausführungsbeispiel
Fig. 16 zeigt einen Aufbau eines zehnten Ausführungsbeispieles, das sich auf eine Vorrichtung zum Auswählen einer Fokussierebene eines Eingabebildes bezieht, ähnlich wie beim neunten Ausführungsbeispiel.
Ein Bild eines Objektes, das über einen Mittenbereich eines Linsensystems 901 übertragen wird, wird durch einen Spiegel 902 reflektiert, und wird in einen Autofokus- (im folgenden als "AF" bezeichnet)-Sensor eingegeben. Der AF-Sensor 903 verwendet ein Phasenfehler-AF-System. Mit anderen Worten, der AF-Sensor 903 erzeugt Daten, die einen Phasenfehler zwischen zwei mit einer Parallaxe fokussierten Bilder repräsentieren, und liefert die Daten an eine Bereichsberechnungsschaltung 904. Aufgrund der vom AF-Sensor 903 gesendeten Daten berechnet die Bereichsberechnungsschaltung 904 einen Abstand zwischen einer Kamera und dem Objekt. Der den berechneten Abstand darstellende Wert wird in einem Speicher 905 gespeichert. Dieser Vorgang wird bezüglich mehrerer Objekte, die von der Bedienungsperson ausgewählt werden, wiederholt. Der Entfernungswert bezüglich mehreren Stellen auf dem Objekt, das in dem Speicher 905 gespeichert ist, wird an eine Steuerung 906 gesendet. Damit sind die Bedingungen für den "Hauptbildaufnahme"-Vorgang festgelegt.
Wenn ein Bereichsberechnungsknopf in dem Fall betätigt wird, bei dem eine Vielzahl von Objekten, die gleichzeitig scharf eingestellt werden sollen, in einem Mittenbereich eines Suchers gesetzt sind, wird der eine Erfindung zwischen jedem Objekt und der Kamera repräsentierende Wert in dem Speicher 905 gespeichert. Dann bestimmt die Steuerung 906 aufgrund des gespeicherten Entfernungswertes die Eingabebedingungen.
Entsprechend dem zehnten Ausführungsbeispiel können die Eingabebedingungen so bestimmt werden, daß sämtliche von der Bedienungsperson ausgewählten Objekte scharfeingestellt werden.
Als Modifikation des zehnten Ausführungsbeispieles ist es möglich, die Vorverarbeitungsvorrichtung lediglich durch die Steuerung 906 und die Fokussierpunktsteuerungsvorrichtung 907 auszubilden. In diesem Falle stellt wie auf obige Weise die Bedienungsperson die Objekte aufeinanderfolgend durch einen manuellen Vorgang scharf ein, und betätigt gleichzeitig den Bereichsberechnungsknopf. Daran anschließend wird der die Fokussierebenen repräsentierende Positionswert von einem in der Fokussierpunktsteuervorrichtung 907 vorgesehenen Decoder an die Steuerung 906 geliefert. Aufgrund des Positionswertes wird die Steuerung 906 so betrieben, daß die Bilder der ausgewählen Objekte aufeinanderfolgend fokussiert, eingegeben, und beim "Hauptbildaufnahme"-Vorgang verarbeitet werden.

Claims (6)

1. Bild-Ein-/Ausgabevorrichtung zum Eingeben/Ausgeben von Bildinformation, welche aufweist:
  • - eine Fokussiervorrichtung (1, 6) zum Durchführen von Vorgängen zum Scharfstellen auf eine Vielzahl von verschiedenen Objektebenen;
  • - eine Eingabevorrichtung (2) zum Eingeben einer Vielzahl von Bildern, die auf die verschiedenen Objektebenen durch die Fokussiervorrichtung (1, 6) fokussiert sind;
  • - eine Vorrichtung zum Fouriertransformieren der Vielzahl von Bildern, die durch die Eingabevorrichtung (2) eingegeben sind;
  • - eine Vorrichtung (8, 9, 10-1 bis 10-P, 11) zum Gewichten und Addieren der von der Fouriertransformationsvorrichtung (7) fouriertransformierten Bilder; und
  • - eine Vorrichtung (12, 7) zum Durchführen einer inversen Fouriertransformation der von der Fouriertransformationsvorrichtung (7) fouriertransformierten Bilder.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Fokussiervorrichtung aufweist:
  • - eine weitere Eingabevorrichtung (300) zum Eingeben einer Vielzahl von Bildern mit verschiedenen scharfeingestellten Objektebenenpositionen und verschiedenen Wellenlängenbereichen, wobei die weitere Eingabevorrichtung mit einer Vorrichtung (6) zum Ändern der scharfeingestellten Objektebenenposition und einer Vorrichtung (17-1, 17-2) zum Ändern des Wellenlängenbereiches des Lichtes versehen ist;
  • - eine weitere Fouriertransformationsvorrichtung (326) zum Fouriertransformieren der Mehrzahl von Bildern, die durch die weitere Eingabevorrichtung (300) eingegeben sind;
  • - eine weitere Gewichtungs- und Addiervorrichtung (327, 328-1 bis 328-3, 329, 330) zum Gewichten und Addieren der Bilder, die von der weiteren Fouriertransformationsvorrichtung (326) fouriertransformiert sind;
  • - eine weitere Invers-Fouriertransformationsvorrichtung (331, 326) zum Durchführen einer inversen Fouriertransformation der Bilder, die von der weiteren Gewichtungs- und Addiervorrichtung (327, 328-1 bis 328-3, 329, 330) gewichtet und addiert sind; und
  • - eine weitere Erzeugungsvorrichtung (303) zum Multiplizieren des von der weiteren Invers- Fouriertransformationsvorrichtung (331, 326) invers fouriertransformierten Bildes mit jedem Bild, das einer Division durch ein Bild, das durch Addieren der Eingabebilder erhalten ist, unterworfen ist, und zum Erzeugen eines Bildes aus den resultierenden Bildern.
3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Eingabevorrichtung zum Eingeben einer Vielzahl von Bildern, die auf den verschiedenen Objektebenen fokussiert sind, so ausgebildet ist, daß eine Vielzahl von Bildaufnahmevorrichtungen (2-1 bis 2-3) auf einer Vielzahl von Bildflächen angeordnet sind, und die auf den verschiedenen Objektebenen fokussierten Bilder gleichzeitig durch die Bildaufnahmevorrichtungen (2-1 bis 2-3) eingegeben werden.
4. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Vorrichtung zum Gewichten und Addieren der von der Fouriertransformationsvorrichtung fouriertransformierten Vielzahl von Bildern eine Vorrichtung (600) zum Berechnen solcher Gewichtungskoeffizienten zur Durchführung einer Erholungsverarbeitungswirkung aufweist, wobei das Signal-Rausch-Verhältnis (S/N) der Eingabebilder und ein Verwacklungskoeffizient (Qualitätsverlustkoeffizient) berücksichtigt sind.
5. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Eingabevorrichtung zum Eingeben einer Vielzahl von auf die verschiedenen Objektebenen fokussierten Bilder eine Vorrichtung (803) zum Durchführen einer Bandpaßfilterung aufweist, und die Fokussiervorrichtung zum Durchführen der Vorgänge des Scharfstellens auf verschiedene Objektebenen eine Vorrichtung (805) zum Auswählen eines Variationsbereiches der Position der scharfeingestellten Objektebenen aufweist, aufgrund eines Ausganges von der Vorrichtung (803) zum Durchführen der Bandpaßfilterung.
6. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Fokussiervorrichtung zum Durchführen der Vorgänge des Scharfeinstellens auf verschiedene Objektebenen aufweist:
  • - eine Entfernungsberechnungsvorrichtung (903, 904) zum Berechnen einer Entfernung zwischen einem Objekt und einer Bildaufnahmevorrichtung (908); und
  • - eine Vorrichtung (906) zum Auswählen eines Variationsbereiches der Position der scharfeingestellten Objektebenen, aufgrund eines Entfernungswertes, der von der Entfernungsberechnungsvorrichtung (903, 904) erhalten wird.
DE3931934A 1988-10-03 1989-09-25 Bild-Ein/Ausgabevorrichtung Expired - Fee Related DE3931934C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24943188 1988-10-03

Publications (2)

Publication Number Publication Date
DE3931934A1 true DE3931934A1 (de) 1990-04-05
DE3931934C2 DE3931934C2 (de) 1994-11-10

Family

ID=17192868

Family Applications (1)

Application Number Title Priority Date Filing Date
DE3931934A Expired - Fee Related DE3931934C2 (de) 1988-10-03 1989-09-25 Bild-Ein/Ausgabevorrichtung

Country Status (2)

Country Link
US (1) US5124842A (de)
DE (1) DE3931934C2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4133619A1 (de) * 1990-10-31 1992-05-07 Hewlett Packard Co Verfahren und vorrichtung zur messung des einschwingverhaltens
US7142706B2 (en) 2002-03-06 2006-11-28 Siemens Aktiengesellschaft Method for processing a radiation image sequence composed of a number of successively acquired radiation images acquired with a dynamic image converter

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300391B2 (ja) * 1991-10-11 2002-07-08 株式会社東芝 画像処理装置
JP3182015B2 (ja) * 1993-01-27 2001-07-03 テキサス インスツルメンツ インコーポレイテツド 光学像の合成方法
US5557097A (en) * 1994-09-20 1996-09-17 Neopath, Inc. Cytological system autofocus integrity checking apparatus
US5838425A (en) * 1995-11-23 1998-11-17 Carl Zeiss Jena Gmbh Exposure control for the photographic recording of a microscope image
JP3206420B2 (ja) * 1996-02-22 2001-09-10 株式会社デンソー カメラ装置
JP4136011B2 (ja) * 1996-04-30 2008-08-20 オリンパス株式会社 焦点深度伸長装置
DE19837249A1 (de) * 1998-08-17 2000-02-24 Siemens Ag Mikroskop mit hoher Schärfentiefe
US7054504B2 (en) * 1999-02-25 2006-05-30 Ludwig Lester F Relative optical path phase reconstruction in the correction of misfocused images using fractional powers of the fourier transform
JP2001141988A (ja) * 1999-08-31 2001-05-25 Canon Inc 焦点調節装置及びその制御方法及びその制御プログラムを供給する媒体
US6940555B2 (en) * 2000-05-19 2005-09-06 Minolta Co., Ltd. Image taking apparatus having focus control
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
US7046279B2 (en) * 2000-09-06 2006-05-16 Minolta Co., Ltd. Image taking apparatus
JP2002158919A (ja) * 2000-11-17 2002-05-31 Minolta Co Ltd 撮像装置及び画像取得ステップ
US20030011700A1 (en) * 2001-07-13 2003-01-16 Bean Heather Noel User selectable focus regions in an image capturing device
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
JP4415162B2 (ja) * 2004-10-20 2010-02-17 富士フイルム株式会社 電子内視鏡装置
GB0814297D0 (en) * 2008-08-05 2008-09-10 Ge Healthcare Uk Ltd Microscopy
US8412036B2 (en) 2009-12-07 2013-04-02 Panasonic Corporation Imaging apparatus and method of controlling the apparatus
EP2512117B1 (de) 2009-12-07 2015-08-05 Panasonic Corporation Abbildungsvorrichtung und steuerverfahren dafür
EP2640056A4 (de) 2010-11-08 2015-07-15 Panasonic Ip Man Co Ltd Bildgebungsvorrichtung, bildgebungsverfahren sowie programm und integrierter schaltkreis dafür
WO2012105222A1 (ja) 2011-01-31 2012-08-09 パナソニック株式会社 画像復元装置、撮像装置及び画像復元方法
JP5882898B2 (ja) 2011-03-14 2016-03-09 パナソニック株式会社 撮像装置、撮像方法、集積回路、コンピュータプログラム
WO2012157250A1 (ja) 2011-05-16 2012-11-22 パナソニック株式会社 レンズユニット及び撮像装置
JP2015219282A (ja) 2014-05-14 2015-12-07 ソニー株式会社 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム
WO2016166871A1 (ja) 2015-04-16 2016-10-20 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2020618A1 (de) * 1970-04-28 1971-11-11 Bosch Gmbh Robert Fernsehmikroskop grosser Schaerfentiefe
DE3905619A1 (de) * 1988-02-23 1989-08-31 Olympus Optical Co Bildeingabe-/ausgabevorrichtung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462046A (en) * 1982-07-02 1984-07-24 Amaf Industries Incorporated Machine vision system utilizing programmable optical parallel processing
JPH0748795B2 (ja) * 1982-07-09 1995-05-24 富士写真フイルム株式会社 画像入出力装置
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
JPS6169011A (ja) * 1984-09-07 1986-04-09 Canon Inc 自動焦点調節装置
US4903204A (en) * 1987-12-01 1990-02-20 Duke University Matrix inversion tomosynthesis improvements in longitudinal X-ray slice imaging
JP3191928B2 (ja) * 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JP2883648B2 (ja) * 1988-10-03 1999-04-19 オリンパス光学工業株式会社 画像入出力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2020618A1 (de) * 1970-04-28 1971-11-11 Bosch Gmbh Robert Fernsehmikroskop grosser Schaerfentiefe
DE3905619A1 (de) * 1988-02-23 1989-08-31 Olympus Optical Co Bildeingabe-/ausgabevorrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUGIMOTO, S.A., ICHIOKA, Y.: Digital Composition of Images with increased depth of focus conside- ting depth information, in: Applied Optics, Vol. 24, No. 14, 15.7.1985, S. 2076-2080 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4133619A1 (de) * 1990-10-31 1992-05-07 Hewlett Packard Co Verfahren und vorrichtung zur messung des einschwingverhaltens
US7142706B2 (en) 2002-03-06 2006-11-28 Siemens Aktiengesellschaft Method for processing a radiation image sequence composed of a number of successively acquired radiation images acquired with a dynamic image converter

Also Published As

Publication number Publication date
DE3931934C2 (de) 1994-11-10
US5124842A (en) 1992-06-23

Similar Documents

Publication Publication Date Title
DE3931934C2 (de) Bild-Ein/Ausgabevorrichtung
DE3905619C2 (de) Bildeingabe-/Ausgabevorrichtung
DE69704554T2 (de) Konfokales mikroskop
DE69511903T2 (de) System zur kontinnierlichen räumlichen Abbildung für Abtastmikroskopie
DE602005000296T2 (de) Projektor mit automatischer Fokuseinstellung
DE69225303T2 (de) Abbildungsvorrichtung
DE69132203T2 (de) System und Verfahren zur Echtzeit-Mischung von Videobildern aus mehreren Quellen
EP0076866B1 (de) Interpolierendes Lichtschnitt-Verfahren
DE69210869T2 (de) Ausscheidung von Vordergrund-Bereichen mit Rücksicht auf einen Hintergrund aus der Differenz von zwei Bildern
DE102012106584B4 (de) Verfahren und Vorrichtung zur Bildrekonstruktion
DE69909635T2 (de) Gerät und verfahren zur elektronischen bildverbesserung
DE3824968A1 (de) Polarisationsbild-Detektorsystem
DE102010031535A1 (de) Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
DE69216207T2 (de) Farbeinstellung zur Glättung der Grenzen zwischen Farbbildern
WO2011038817A1 (de) Verfahren zur erzeugung eines mikroskopbildes und mikroskop
DE112017007695T5 (de) Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE10109130B4 (de) Verfahren zur Aufzeichnung und Darstellung von Fluoreszenzbildern mit hoher räumlicher Auflösung
DE69628654T2 (de) Messsystem zur bestimmung der globalen modulationsübertragungsfunktion
DE19536691B4 (de) Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung
DE69829313T2 (de) Dreidimensionales abbildungssystem durch zeilenweise bildabtastung
DE19546780A1 (de) Transmissionselektronenmikroskop und Verfahren zum Untersuchen einer Elementeverteilung unter Verwendung desselben
DE102010063960A1 (de) Kamera mit einem Farbbildsensor sowie Aufnahmeverfahren mit einer solchen Kamera
DE112019004373T5 (de) Spektroskopische bildgebungsvorrichtung und fluoreszenzbeobachtungsvorrichtung
DE102011006985A1 (de) Verfahren und Einrichtung zur optischen Fokussierung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee