DE60317472T2

DE60317472T2 - Optimierte bildverarbeitung für wellenfrontkodierte abbildungssysteme

Info

Publication number: DE60317472T2
Application number: DE60317472T
Authority: DE
Inventors: Gregory Edward Boulder JOHNSON; Edward R. Lafayette DOWSKI; Ashley K. Longmont MACON; Hans B. Longmont WACH
Original assignee: CDM Optics Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2002-02-27
Filing date: 2003-02-27
Publication date: 2008-09-04
Anticipated expiration: 2023-02-28
Also published as: US7379613B2; CN101118317A; WO2003073153A1; US8111937B2; CN1650216A; ATE378619T1; CN101118317B; US20080131023A1; CN100338499C; JP2005519361A; US7995853B2; EP1478966B1; EP1478966A1; DE60317472D1; US20080107354A1; JP5318027B2; US20030169944A1; AU2003213651A1; US20080044103A1; JP2010183638A

Description

Die Wellenfrontkodierung ist ein Zusammenspiel aus spezieller asphärischer Optik, Detektion und Signalverarbeitung. Im Stand der Technik ist die Signalverarbeitung durch die asphärische Optik bestimmt, derart, dass die durch die Wellenfrontkodierung hervorgerufene räumliche Unschärfe behoben wird. Die asphärische Optik "kodiert" die Wellenfront so, dass das abgetastete Bild verhältnismäßig unempfindlich bezüglich durch Fehlfokussierungen bedingte Aberrationen ist. Das Zwischenbild von der kodierten Wellenfront (d. h. das durch den Detektor abgetastete Bild) ist nicht scharf und klar. Die Signalverarbeitung verarbeitet Daten von dem Detektor, um die durch die asphärische Optik hervorgerufene räumliche Unschärfe zu beseitigen, um die Wellenfrontkodierung zu "dekodieren".
Als Beispiel zeigt 1 ein wellenfrontkodiertes optisches Abbildungssystem 100 des Standes der Technik. Das System 100 enthält eine Optik 101 und ein wellenfrontkodiertes, asphärisches optisches Element 110, die zusammenwirken, um im Detektor 120 ein Zwischenbild entstehen zu lassen bzw. zu bilden. Das Element 110 bewirkt das Kodieren der Wellenfront in dem System 100. Ein Datenstrom 125 vom Detektor 120 wird durch die Bildverarbeitungsschaltung 140 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 141 zu erzeugen. Ein Digitalfilter (ein "Filterkern") 130 ist mittels der Bildverarbeitungsschaltung 140 verwirklicht. Der Filterkern 130 besteht aus Filtertags oder "Gewichten", reellen oder ganzzahligen Werten mit einem maximalen Dynamikbereich, wegen den Grenzen der Verarbeitungs-Hardware und -Software, beispielsweise einer auf 128 Bit erweiterte Gleitkommaarithmetik, einer Mathematik mit reellen Zahlen und einem Skalieren/Trunkieren ganzzahliger Werte. Das Skalieren kann beispielsweise gewöhnliche Aufeinanderfolgen von Teilproduktberechnungen und -akkumulationen einschließen.
Beim Stand der Technik passen das optische Element 110 und der Detektor 120 nicht unbedingt mit dem verfügbaren Verarbeitungsvermögen der Bildverarbeitungsschaltung 140 zusammen; dementsprechend ist im endgültigen Bild 141 eine Bildverschlechterung festzustellen. Wenn das optische Element 110 und der Detektor 120 an das verfügbare Verarbeitungsvermögen angepasst werden, kann das eine sehr komplexe und aufwändige Hardware-Implementierung im Hinblick auf die Detektorleistungsfähigkeit, das Optikdesign des Elements 110 und/oder Computer-Verarbeitungsarchitekturen in Verbindung mit der Bildverarbeitungsschaltung 140 erfordern.
ZUSAMMENFASSUNG DER ERFINDUNG
Wie nachstehend beschrieben werden wellenfrontkodierende Abbildungssysteme mit gemeinsam optimierter asphärischer Optik und Elektronik offenbart. In einem Beispiel werden die Optik und die Elektronik für gewünschte optische und/oder mechanische Eigenschaften gemeinsam so optimiert, dass Aberrationen eingeschränkt, die Zahl materieller Linsen minimiert, mechanische Toleranzen gelockert werden usw. In einem weiteren Beispiel werden die Optik und die Elektronik gemeinsam optimiert, und zwar gezielt mit dem Schwerpunkt auf Elektronikparametern, um die Menge an Halbleiterbauelementen und/oder an Speicher, die bei einer hardwaremäßigen Verarbeitung erforderlich sind, zu reduzieren; dies dient dazu, die Bildgüte in Gegenwart von Detektoren, die nicht ideal sind, zu optimieren und/oder die Bildgüte bei einer unveränderlichen hardwaremäßigen Verarbeitungslösung (z. B. einer Billiglösung) zu optimieren.
Ein Schwerpunkt auf der Optimierung der elektronischen Verarbeitung ist zum Beispiel bei Bilderzeugungsanwendungen wichtig, die mit großen Einheitsmengen und mit einer speziellen hardwaremäßigen Verarbeitung verknüpft sind. Beispiele für solche Anwendungen schließen Kleinbildkameras für Mobiltelephone, Videokonferenz- und persönliche Kommunikationseinrichtungen ein. Durch ein gemeinsames Optimieren der Optik und Mechanik zusammen mit den elektronischen Parametern werden hochwertige Abbildungssysteme geschaffen, die hinsichtlich der Hardware-Komponenten, der Montage und der Bildverarbeitung preisgünstig sind.
Folglich werden wellenfrontkodierte optische Abbildungssysteme mit optimierter Bildverarbeitung unter bestimmten Aspekten offenbart. Unter einem Aspekt ist die Bildverarbeitung für Hardeware-Implementierungen optimiert, bei denen Digitalfilter Filtertag-Werte aufweisen, die eine spezielle, beschränkte Menge ganzer Zahlen sind. Diese ganzen Zahlen wiederum wirken sich so auf die Verarbeitungs-Hardware aus, dass die Komplexität, die Größe und/oder die Kosten reduziert werden. Beispiele für solche beschränkten Mengen Filtertag-Werte schließen "Zweierpotenz"-Werte, Summen und Differenzen von Zweierpotenzwerten und Filter, bei denen Differenzen von benachbarten Filterwerten Zweierpotenzen sind, ein. Die Beschränkungen, die mit diesem Beispiel für beschränkte Mengen verbunden sind, wirken sich so aus, dass die Anzahl der Multiplikationen (oder verallgemeinert der Teilprodukt-Summationen), die mit der Bildverarbeitung verbunden sind, reduziert wird.
Die Filtertag-Werte können der räumlichen Verortung des Filterkerns zugeordnet sein. Der Dynamikbereich der Filtertag-Werte kann ebenfalls eine Funktion der räumlichen Verortung relativ zur Positionierung der optischen Elemente und des Wellenfrontkodierungselements sein. In einem Beispiel haben Werte in der Nähe des geometrischen Zentrums des Filterkerns einen größeren Dynamikbereich und Werte in der Nähe des Randes des Filterkerns haben einen kleineren Dynamikbereich, was zweckmäßig ist, wenn das Wellenfrontkodierungsverhalten dazu tendiert, zu kleinen Werten zu konvergieren, wenn der Abstand von der optischen Achse zunimmt. Die Filtertag-Werte können auch eine Funktion der Kanaleigenschaften bei mehrfarbigen Abbildungen sein, da sich verschiedene Wellenlängenbänder unterschiedlich verhalten, wenn sie durch einen Detektor oder ein menschliches Auge verarbeitet werden.
Als Beispiel können zwei einfach zu beschreibende optische Formen der wellenfrontkodierten Optik, die für die Systemoptimierung, wie hier angegeben, geeignet sind, gewichtete Summen zerlegbarer Potenzen p(x,y) = Sum ai [sign(x)|x|^bi + sign(y)|y|^bi] bzw. die Cosinusformen p(r,theta) = Sum ai r^bi·cos(ci·theta + phii) enthalten.
Unter einem Aspekt wird ein Bildverarbeitungsverfahren geschaffen, das die folgenden Schritte umfasst: Wellenfrontkodierung einer Wellenfront, die ein optisches Bild bildet; Umwandlung des optischen Bildes in einen Datenstrom und Verarbeitung des Datenstroms mit einem Filterkern mit reduzierter Menge bzw. einem Reduced-Set-Filterkern zur Umkehrung der Effekte einer Wellenfrontkodierung und Erzeugung eines abschließenden Bildes.
Der Verarbeitungsschritt kann den Schritt der Verwendung eines Filterkerns umfassen, der komplementär zu einer MTF des optischen Bildes ist.
Die Schritte der Wellenfrontkodierung, der Umwandlung und der Verarbeitung können derart auftreten bzw. ablaufen, dass die MTF örtlich korreliert zu der mathematischen Verarbeitung des Datenstroms mit dem Reduced-Set-Filterkern ist.
Unter einem Aspekt umfasst das Verfahren den Schritt der Formulierung des Reduced-Set-Filterkerns für eine MTF des optischen Bildes, welches sich aus einer Phasenmodifikation der Wellenfront durch die Konstantprofilwegoptik ergibt.
Das Verfahren kann den Schritt der Verarbeitung der Daten mit einem Reduced-Set-Filterkern, der aus einer Anzahl von Regionen besteht, wobei wenigstens eine der Regionen Null-Werte aufweist, umfassen.
Der Schritt der Wellenfrontkodierung kann den Schritt der Wellenfrontkodierung der Wellenfront umfassen, derart, dass eine Punktstreuungsfunktion bzw. PSF des optischen Bildes örtlich korreliert ist mit den Regionen des Reduced-Set-Filterkerns, wobei eine wesentliche Menge an Informationen der PSF innerhalb des abschließenden Bildes vorliegt bzw. ist.
Unter einem weiteren Aspekt umfasst das Verfahren den Schritt des Modifizierens des Wellenfrontkodierungs- und/oder des Umwandlungs- und/oder des Verarbeitungsschrittes, und dann des Optimierens und Wiederholens eines anderen der Wellenfrontkodierungs-, Umwandlungs- oder Verarbeitungsschritte (in einer Design-Schleife). Beispielsweise kann der Schritt der Verarbeitung die Verwendung eines Reduced-Set-Filterkerns mit einer Gewichts- bzw. Gewichtungsmatrix umfassen.
Unter einem weiteren Aspekt wird ein Bildverarbeitungsverfahren geschaffen, das die folgenden Schritte umfasst: Wellenfrontkodierung einer Wellenfront, die ein optisches Bild bildet; Umwandlung des optischen Bildes in einen Datenstrom und Verarbeitung des Datenstrom mit einem farbspezifischen Filterkern zur Umkehrung der Effekte einer Wellenfrontkodierung und zur Erzeugung eines abschließenden Bildes.
Unter einem weiteren Aspekt wird ein Bildverarbeitungsverfahren geschaffen, das die folgenden Schritte umfasst: Wellenfrontkodierung einer Wellenfront, die ein optisches Bild bildet; Umwandlung des optischen Bildes in einen Datenstrom; Farbraumumwandlung des Datenstroms, Trennen der Ortsinformationen und der Farbinformationen des Datenstroms, der eine Farbraumumwandlung erfahren hat, in einen oder mehrere separate Kanäle, Deblurring der Ortsinformationen und/oder der Farbinformationen, Rekombinieren der Kanäle, um die Ortsinformationen, die ein Deblurring erfahren haben, mit den Farbinformationen, die ein Deblurring erfahren haben, zu rekombinieren, und Farbraumumwandlung der nach einem Deblurring rekombinierten Orts- und Farbinformationen, um ein Ausgangsbild zu erzeugen. Das Verfahren kann einen ersten Schritt des Herausfilterns von Rauschen aus dem Datenstrom umfassten. Unter einem Aspekt erzeugt das Verfahren bei dem ersten Schritt der Rauschfilterung eine MTF des optischen Bildes so, dass eine Ortskorrelation vorhanden ist. Ein zweiter Schritt der Rauschfilterung kann durch Verarbeitung der nach einem Deblurring rekombinierten Orts- und Farbinformationen stattfinden. Dieser zweite Schritt der Rauschfilterung kann den Schritt der Verwendung eines Komplements einer MTF des optischen Bildes umfassen.
Unter einem weiteren Aspekt wird ein optisches Abbildungssystem zur Erzeugung eines optischen Bildes geschaf fen. Dabei kodiert ein Wellenfrontkodierungselement eine Wellenfront, welche das optische Bild bildet. Ein Detektor wandelt das optische Bild in einen Datenstrom um. Ein Bildverarbeiter bzw. Bildprozessor verarbeitet den Datenstrom mit einem Filterkern mit reduzierter Menge bzw. einem Reduced-Set-Filterkern zur Umkehrung der Effekte der Wellenfrontkodierung und zur Erzeugung eines abschließenden Bildes. Der Filterkern kann örtlich komplementär zu einer PSF des optischen Bildes sein. Eine Ortsfrequenzbereichsversion des Filterkerns kann komplementär zu einer MTF des optischen Bildes sein.
Unter einem weiteren Aspekt wird ein elektronisches Gerät geschaffen, das eine Kamera umfasst, mit: (a) einem Wellenfrontkodierungselement, das die Phase einer Wellenfront, die ein optisches Bild in der Kamera bildet, modifiziert, (b) einem Detektor zum Umwandeln des optischen Bildes in einen Datenstrom und (c) einem Bildprozessor zum Verarbeiten des Datenstroms mit einem Reduced-Set-Filterkern zur Umkehrung der Effekte der Wellenfrontkodierung und Erzeugung eines endgültigen Bildes. Das elektronische Gerät ist beispielsweise ein Mobiltelephon oder eine Telephonkonferenzausrüstung.
Unter einem weiteren Aspekt umfasst ein Bildverarbeitungsverfahren die folgenden Schritte: Wellenfrontkodierung einer Wellenfront mit einer Konstantprofilwegoptik, die ein optisches Bild bildet; Umwandlung des optischen Bildes in einen Datenstrom und Verarbeitung des Datenstroms, um Effekte einer Wellenfrontkodierung umzukehren und ein abschließendes Bild zu erzeugen.
KURZBESCHREIBUNG DER ZEICHNUNG
1 zeigt ein wellenfrontkodiertes optisches Abbildungssystem des Standes der Technik;
2 zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung;
3 zeigt ein weiteres wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung;
4 zeigt ein weiteres wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung;
5 veranschaulicht schematisch einen Filterkern und eine zugeordnete Bildverarbeitungsschaltung;
6A zeigt einen Filterkern bei einer generalisierten Menge bzw. einen General-Set-Filterkern und 6B zeigt einen Filterkern bei einer beschränkten Menge bzw. einen Reduced-Set-Filterkern;
7A zeigt eine Arithmetik- und Logikeinheit (ALE) mit einer generalisierten Logik für einen General-Set-Filterkern; 7B und 7C zeigen eine alternative, spezielle Logik für einen Reduced-Set-Filterkern;
8 zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit einem optimierten Filterkern;
9A zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung und einem Filterkern bei Anwendung einer diagonalen Rekonstruktion;
9B zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung und einem Filterkern bei Anwendung einer kreisförmigen Rekonstruktion;
10 zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit einer Bildverarbeitung und einem Filterkern, die farboptimiert sind;
11A zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung mit Single-Shift-Differentialtags und einem Gradientenfilterkern;
11B zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung mit Skalierungstaps und einem Skalierungsfilterkern;
11C zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung mit Skalierungs-/Akkumulierungstaps und einem Distributivfilterkern;
11D zeigt ein wellenfrontkodiertes optisches Abbildungssystem mit optimierter Bildverarbeitung mit Akkumulierungs/Skalierungstaps und einem Distributivfilterkern;
12 zeigt zur Verdeutlichung ein durch das System von 1 verarbeitetes, endgültiges Bild und ein durch das System von 2 verarbeitetes, endgültiges Bild;
13 zeigt zur Verdeutlichung ein durch das System von 1 verarbeitetes, endgültiges Bild und ein durch das System von 2 verarbeitetes, endgültiges Bild, wobei ein Filter wie in 11 angewendet wurde; und
14 zeigt Frequenzgangkurven für die in 12 und 13 verwendeten Filterkerne;
15 zeigt ein optisches Abbildungssystem mit optimierter Farbbildverarbeitung;
16A zeigt ein optisches Abbildungssystem mit optimierter Farbbildverarbeitung;
16B veranschaulicht eine Korrelations- und Farbkomponentenanalyse, die 16A zugeordnet ist;
17 bis 23 demonstrieren Bildkomponenten auf verschiedenen Stufen der Verarbeitung in 16A;
24 zeigt ein Blockschaltbild eines elektronischen Geräts, das Eigenschaften bestimmter wellenfrontkodierter Abbildungssysteme nutzt;
25 veranschaulicht in einer Prinzipskizze Auswahloptimierungs-Zielkonflikte zwischen Systemkomponenten, die in einer Design-Phase gemeinsam optimiert werden, um das optische Abbildungssystem zu konstruieren;
26 veranschaulicht Auswahlprofile für Konstantprofilwegoptiken;
27 veranschaulicht Auswahlprofile für Konstantprofilwegoptiken;
28 veranschaulicht Auswahlprofile für Konstantprofilwegoptiken;
29 veranschaulicht Auswahlprofile für Konstantprofilwegoptiken;
30 zeigt ein Oberflächenprofil, die resultierende MTF, Oberflächenformen längs und quer zum Weg für ein Profil von 16;
31 zeigt ein weiteres Oberflächenprofil, die MTF und Oberflächenformen längs und quer zum Weg;
32 zeigt ein weiteres Oberflächenprofil, die MTF und Oberflächenformen längs und quer zum Weg;
33 zeigt ein weiteres Oberflächenprofil, die MTF, Oberflächenformen längs und quer zum Weg, ein Profil von 26 betreffend;
34 zeigt abgetastete PSFs von dem Beispiel von 32 ohne Wellenfrontkodierung;
35 zeigt abgetastete PSFs von dem Beispiel von 32 bei einer Wellenfrontkodierung;
36 und 37 zeigen und vergleichen Querschnitte durch die abgetasteten PSFs von 34 und 35;
38 zeigt ein Beispiel für ein 2D-Digitalfilter;
39 zeigt eine durch das Filter von 38 verarbeitete PSF;
40 veranschaulicht den Betrag der Rang-Leistung für die im Fokus abgetastete PSF und das Digitalfilter von 35 bzw. 38;
41 zeigt entsprechende MTFs vor und nach einer Filterung und im Ortsfrequenzbereich; und
42 zeigt ein Designverfahren zum Optimieren von Optik, Detektor, Wellenfrontkodierungsoptik, Digitalfilter (Filterkern) und/oder Bildverarbeitungs-Hardware.
AUSFÜHRLICHE BESCHREIBUNG VERANSCHAULICHTER AUSFÜHRUNGSFORMEN
2 zeigt ein wellenfrontkodiertes optisches Abbildungssystem 200 mit optimierter Bildverarbeitung. Das System 200 enthält eine Optik 201 und ein wellenfrontkodiertes, asphärisches optisches Element 210, die zusammenwirken, um im Detektor 220 ein Zwischenbild entstehen zu lassen. Das Element 210 bewirkt das Kodieren der Wellenfront in dem System 200; beispielsweise ist das Element 210 eine Phasenmaske, die die Phase der Wellenfront modifiziert. Ein Datenstrom 225 vom Detektor 220 wird durch die Bildverarbeitungsschaltung 240 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 241 zu erzeugen. Das System 200 hat einen Filterkern 230 mit einer beschränkten Menge Filterkernwerte, die optimal mit der besonderen Bildverarbeitungsimplementierung der Bildverarbeitungsschaltung 240 zusammenpassen. Der Filterkern 230 kann mit der beschränkten Menge Kernwerte so konstruiert und eingerichtet sein, dass ein endgültiges Bild 241 des Systems 200 im Wesentlichen dem endgültigen Bild 141 des Systems 100 äquivalent ist. Wie nachstehend ausführlicher beschrieben ist, schließen bestimmte Beispiele für die beschränkte Menge Kernwerte (d. h. Tap- oder Gewichtungswerten), die zur Verwendung mit dem Filterkern 230 geeignet sind, ein: (i) Zweierpotenz, (ii) Summen und Differenzen von Zweierpotenzen, (iii) eine Differenz zwischen benachbarten Taps, beschränkt auf eine Zweierpotenz, und (iv) Taps mit einem Bereich von Werten, der durch die räumliche Verortung oder die Farbe des zu verarbeitenden Bildes bestimmt ist.
3 zeigt ein weiteres wellenfrontkodiertes optisches Abbildungssystem 300 mit optimierter Bildverarbeitung. Das System 300 enthält eine Optik 301 und ein wellenfrontkodiertes, asphärisches optisches Element 310, die zusammenwirken, um im Detektor 320 ein Zwischenbild entstehen zu lassen. Das Element 310 bewirkt das Kodieren der Wellenfront in dem System 300. Ein Datenstrom 325 vom Detektor 320 wird durch die Bildverarbeitungsschaltung 340 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 341 zu erzeugen. Die Bildverarbeitungsschaltung 340 verarbeitet den Datenstrom 325 unter Verwendung eines Filterkerns 330. Der Detektor 320, der Datenstrom 325, der Filterkern 330 und die Bildverarbeitungsschaltung 340 sind so konstruiert und eingerichtet, dass das System 300 im Hinblick auf Komplexität, Größe und/oder Kosten optimiert wird. Das endgültige Bild 341 kann dem endgültigen Bild 141, 1, im Wesentlichen äquivalent sein. Wie nachstehend ausführlicher beschrieben ist, können der Detektor 320 und der Datenstrom 325 diagonale Auslesungen für eine letzte diagonale Rekonstruktion und/oder Mehrkanal-Auslesungen für Farbfilter-Flächendetektoren einschließen. Eine diagonale Rekonstruktion ist zweckmäßig, wenn eine Verarbeitung bei Farbfilteranordnungen durchgeführt wird, da viele Farbinterpolationsalgorithmen auf Diagonalkomponenten in dem Bild einwirken. Farbspezifische Filterkerne und eine farbspezifische Verarbeitung ermöglichen gegenüber einer Verarbeitung aller Farben in gleicher Weise reduzierte Kosten und eine verbesserte Leistungsfähigkeit. Der Filterkern 330 kann dem Filterkern 230 von 2 gleichen; allerdings wird für den Fachmann einsichtig sein, dass der Filterkern 230 Wirkungen einer Farb- und Richtungs-(z. B. Diagonalfaltung), wie nachstehend beschrieben, einschließen kann.
4 zeigt ein weiteres wellenfrontkodiertes optisches Abbildungssystem 400 mit optimierter Bildverarbeitung. Das System 400 enthält eine Optik 401 und ein wellenfrontkodiertes, asphärisches optisches Element 410, die zusammenwirken, um im Detektor 420 ein Zwischenbild entstehen zu lassen. Das Element 410 bewirkt das Kodieren der Wellenfront in dem System 400. Ein Datenstrom 425 vom Detektor 420 wird durch die Bildverarbeitungsschaltung 440 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 441 zu erzeugen. Die Bildverarbeitungsschaltung 440 verarbeitet den Datenstrom 425 unter Verwendung eines Filterkerns 430. Die Bildverarbeitungsschaltung 440 kann so optimiert sein, dass das endgültiges Bild 441 im Wesentlichen dem endgültigen Bild 141, 1 äquivalent ist. Die Optik 401 und die Bildverarbeitungsschaltung 440 sind gemeinsam optimiert, und zwar für alternative Rekonstruktionsalgorithmen, wie etwa eine diagonale Verarbeitung oder eine Verarbeitung mit einer beschränkten Menge Kernwerte – das erleichtert eine höhere Leistungsfähigkeit bei niedrigeren Kosten, einer geringeren Größe usw.
5 demonstriert eine Ausführungsform eines Filterkerns 530 und einer Bildverarbeitungsschaltung 540; der Kern 530 und die Schaltung 540 können beispielsweise im Rahmen bestimmter Ausführungen der obigen Systeme 200–400 verwendet werden (z. B. um als Filterkern 430 und Bildverarbeitungsschaltung 440 von 4 wirksam zu werden). Wie gezeigt ist, nimmt ein Detektor 520 ein Zwischenbild des optischen Systems auf, ähnlich dem Detektor 220, 320, 420 oben; der Datenstrom 525 wird in die Bildverarbeitungsschaltung 540 eingegeben, ähnlich dem Datenstrom 225, 325, 425 oben. Der Filterkern 530 ist ein Reduced-Set-Filterkern mit Werten, die auf Absolutwerte beschränkt sind, die eine Zweierpotenz sind (einschließlich null), wie etwa {-2^N, ... –4, –2, 1, 0, 1, 2, 4, ..., 2^N}. Wie nachstehend ausführlicher beschrieben ist, führt die Bildverarbeitungsschaltung 540 die Multiplikation für den Filterkern 530 nur durch Verschieben aus, wie veranschaulicht ist; nur diese Operation wird gebraucht, da der Filterkern 530 auf Zweierpotenzen begrenzt ist. In einer Ausführungsform kann der Filterkern 530 durch den Exponenten oder auf äquivalente Weise die Verschiebung für diesen Koeffizienten repräsentiert sein.
Insbesondere ist die digitale Filterung eine Summe aus Produkten für sowohl die lineare als auch die nichtlineare Filterung. In dem Beispiel von 5 wird der Filterkern 530 auf das durch den Detektor 520 abgetastete unscharfe Zwischenbild angewendet. Der Filterkern 530 und das unscharfe Zwischenbild werden als separate zweidimensionale Objekte erachtet, wobei der Filterkern 530 auf ein bestimmtes, von dem Detektor 520 ausgegebenes Bildpixel zentriert ist. Bei jeder Kernüberlappung mit einem Bildpixel wird ein Produkt aus dem zugeordneten Filterkernwert und dem Bildpixel gebildet; diese Produkte werden dann summiert. Bei einer linearen Filterung ist diese Summe das endgültige, gefilterte Bildpixel. Um die Faltung zu vervollständigen, wird der Filterkern 530 dann auf ähnliche Weise über jedem weiteren Pixel in dem gesamten Bild zentriert, um für jedes Pixel einen ähnlichen Wert zu erzeugen. Bei einer linearen Filterung mit einem zweidimensionalen N×N-Filterkern hat folglich jedes gefilterte Bildpixel N² Produkte und N² – 1 Summen dieser Produkte. Die Wellenfrontkodierten optischen Abbildungssysteme 200, 300, 400 können folglich mit entsprechenden Optiken und Filterkernen optimiert werden, die an besondere Hardware-Implementierungen der Bildverarbeitungsschaltung angepasst sind, um die Anzahl der Multiplizierer, der Summen und die damit zusammenhängenden Implementierungskosten zu reduzieren. Es sei angemerkt, dass ein Kernwert von 0 nur eine Speicherung erfordert, somit eine Seltenheit der Einstellung innerhalb eines Kerns die Implementierungskosten ebenfalls reduziert.
6A und 6B zeigen eine schematische Darstellung eines General-Set-Filterkerns bzw. eine schematische Darstellung eines Reduced-Set-Filterkerns (basierend auf Zweierpotenzwerten). In 6A ist der General-Set- Filterkern nicht auf Koeffizienten begrenzt, die Potenzen von zwei sind; er erfordert folglich eine generalisierte Arithmetik-Logik-Einheit (ALE 550), um das Produkt aus jedem Filterkoeffizienten (d. h. dem Kernwert) und dem Bildpixel zu bilden, wie gezeigt ist. Die generalisierte ALE 550 führt eine ausgedehnte Folge von Zwischenlogiken (bekannt als Teilprodukte 552) und Akkumulationen der Zwischenergebnisse (in Akkumulatoren 554) aus, um das Endprodukt (Pixelausgabe) zu bilden. Andererseits kann in 6B, da der Reduced-Set-Filterkern mit Kernwerten, die Zweierpotenzen sind, implementiert ist, die Arithmetik-Logik, die verwendet wird, um das Produkt zu bilden, ein Schieber bzw. eine Schiebeeinrichtung 560 sein. Die Menge Bits, die für jedes Bildpixel verschoben wird, ist durch den Exponenten des Zweierpotenz-Filterwerts bestimmt. Wenn beispielsweise der Reduced-Set-Filterkern aus einer Summe von zwei Zweierpotenz-Kernwerten besteht, dann werden in der Arithmetik-Logik nur zwei Verschiebeeinrichtungen und ein Addierer verwendet. Akkumulationen aller Verschiebeeinrichtungen 560 ergeben das Endprodukt (Pixelausgabe). Die Ausführung von 6B ist folglich, verglichen mit der generalisierten ALE 550 von 6A, vereinfacht, da die Verschiebungs- und Additionslogik als eine Verschiebe-Addiere-Sequenz und nicht als eine generalisierte Teilprodukt-Summation vordefiniert ist.
Für den Fachmann wird einsichtig sein, dass die Arithmetik-Logik von 6B im Vergleich zu anderen Multiplikationsausführungen oder generalisierten Skalierungsausführungen vorteilhaft ist. Ein Beispiel ist eine auf ganzen Zahlen basierende Nachschlagtabellen-(LUT: Look-Up-Table)Multiplikation. ALEs mit einer geringen Bit-Tiefe implementieren oft skalare Operanden in der Nachschlagtabelle, um die Geschwindigkeit zu verbessern und die Befehlssätze zu vereinfachen, da eine Serie von Teilprodukt-Summationen im Vergleich zu Nachschlagtabellen- Ressourcen mehr Zeit und Registerspeicher verbrauchen kann. Wie der generalisierte Teilprodukt-Akkumulator-Multiplizierer belegt der Nachschlagtabellen-Multiplizierer folglich Ressourcen für generalisierte Skalierungsoperationen. Die Arithmetik-Logik von 6B verwendet einerseits eine beschränkte Menge Skalierungsoperationen durch eine Bit-Verschiebungslogik unter Verwendung von Koeffizienten, die Zweierpotenzen sind. Die Arithmetik-Logik von 6B ist deshalb um ein Vielfaches kleiner und schneller als die generalisierte ALE 550, die erforderlich ist, um generalisierte Filterkernwerte zu verarbeiten.
7A, 7B und 7C zeigen eine weitere Einzelheit der Arithmetik-Logik von 6A und 6B, um generalisierte und spezialisierte Arithmetik-Logik-Funktionen zu vergleichen, die bei jedem Tap in einem linearen Filter verwendet werden: 7A stellt die generalisierte ALE 550 schematisch dar; 7B und 7C stellen alternative Konfigurationen einer spezialisierten ALE 560 schematisch dar. Bei diesem Beispiel werden ein Filterkern mit einer generalisierten Menge und ein Filterkern mit einer beschränkten Menge, die sich über positive ganze Zahlen zwischen 1 und 128 erstreckt, betrachtet. Der Filterkern mit der generalisierten Menge bzw. Generalized-Set-Filterkern kann alle Werte zwischen 1 und 128 annehmen. Der Reduced-Set-Filterkern kann nur die Werte in diesem Bereich haben, die eine Zweierpotenz sind, d. h. 1, 2, 4, 8, 16, 32, 64 und 128. Nun wird das Produkt eines Bildpixels p mit einem Generalized-Set-Filterkern mit einem Wert von 7 betrachtet. Bei Verwendung der generalisierten ALE 550 sind insgesamt drei Verschiebungen erforderlich, (4 + 2 + 1)xp oder wie in 7A: Q = 3. Diese drei Verschiebungen werden benötigt, um Teilprodukte mit den Faktoren 4 (Verschiebung um zwei Stellen), dann 2 (Verschiebung um eine Stelle) und dann 1 (keine Verschiebung) zu bilden. Eine Ausführung eines Generalized-Set-Filterkerns mit einem Wert von 127 erfordert folglich sieben Verschiebungen und sieben Zwischensummen.
Im Vergleich dazu hat die ALE 560A bei Verwendung des Reduced-Set-Filterkerns mit Werten, die Zweierpotenzen sind, genau eine Verschiebung. Auch eine höherentwickelte Ausführung der generalisierten ALE 550, wie etwa eine Vektormaschine oder eine Einrichtung mit Pipeline-Verarbeitung, würde wahrscheinlich mehr Betriebsmittel als solch eine einzige Verschiebung erfordern.
Eine weitere spezialisierte ALE 560B von 7C stellt eine Verschiebe-Subtrahiere-Sequenz für einen von einer Zweierpotenz verschiedenen Koeffizienten dar. Um das vorhergehende Beispiel fortzusetzen: Wenn für einen Pixelwert p der Koeffizient 127 ist, dann beträgt die Summe der Zweierpotenz-Ausführung von 127xp: 64 + 32 + 16 + 8 + 4 + 2 + 1 = 127. In der ALE 560B subtrahiert folglich die Logik und ermöglicht, 128 – 1 = 127 als die Summation negativer Zweierpotenzen auszuführen, wobei nur eine Verschiebung und eine Subtraktion erforderlich sind, um das Endergebnis (Pixelausgabe) zu erzeugen.
8 stellt ein wellenfrontkodiertes optisches Abbildungssystem 800 unter dem Aspekt eines Reduced-Set-Filterkerns dar. Das System 800 enthält eine Optik 801 und ein wellenfrontkodiertes, asphärisches optisches Element 810, die zusammenwirken, um im Detektor 820 ein Zwischenbild entstehen zu lassen. Das Element 810 bewirkt das Kodieren der Wellenfront in dem System 800. Ein Datenstrom 825 vom Detektor 820 wird durch die Bildverarbeitungsschaltung 840 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 841 zu erzeugen. Die Bildverarbeitungsschaltung 840 verarbeitet den Datenstrom 825 unter Verwendung eines Filterkerns 830. Durch Verkleinern der Menge der Filterkerne im Filterkern 830 in Abhängigkeit von dem Wert und von der räumlichen Verortung kann die Hardware-Implementierung der Bildverarbeitungsschaltung 840 für die Optik 801, das wellenfrontkodierende, asphärische optische Element 810 und den Detektor 820 optimiert werden. Die Regionen A, B, C und D des Filterkerns 830 veranschaulichen die beschränkte geometrische Menge. Bei diesem Beispiel sind die Werte des Filterkerns 830 in den Regionen A und D auf Nullwerte, in der Region B auf einen mäßig großen Wertebereich (oder Dynamikbereich) und in der Region C auf einen großen Wertebereich beschränkt. Jeder einzelne Kernwert innerhalb der vorgeschriebenen Bereiche wird auf effiziente Weise aus Zweierpotenzwerten, Summen und Differenzen von Zweierpotenzwerten usw. verwirklicht.
Das wellenfrontkodierte optische Abbildungssystem 800 ist folglich für die beschränkte, geometrische Menge von Filterkernen, implementiert als Hardware (z. B. mittels des Filterkerns 830 und der Bildverarbeitungsschaltung 840), optimiert. Kerne mit einer beschränkten, geometrischen Menge sind besonders wichtig in Systemen mit spezialisierten Hardware-Prozessoren und werden mit einer Vielfalt von verschiedenen wellenfrontkodierten Optiken und Detektoren verwendet oder werden mit Optiken verwendet, die Eigenschaften ändern, wie wellenfrontkodierte Zoomoptiken. Zum Beispiel stellen die Optik 801 und das optische Element 810 die Schärfentiefe und außerdem die Skalierung im Rahmen der Kerngröße ein. Der vorgeschriebene Dynamikbereich wird folglich durch Positionieren der Koeffizientenwerte des Filterkerns 830 an einem geeigneten Ort im Raum erzielt. Indem die Optik 801 und das optische Elements 810 so gestaltet werden, dass die skalierten Kernwerte innerhalb von Regionen eines ange messeneu Dynamikbereichs liegen, wird die Bildverarbeitungsschaltung 840 für diese Optik 801 und das Element 810 optimiert, wobei die Randbedingung des größten Kerns gegeben ist. Obwohl verschiedene Filterkerne unterschiedliche Werte innerhalb der geometrischen Regionen A bis D aufweisen, wird die Anordnung der Werte hinsichtlich der Leistungsfähigkeit der Bildverarbeitungsschaltung 840 optimiert. Zur Veranschaulichung: Die Drehung des optischen Elements 810 (z. B. um 45 Grad) würde eine äquivalente Drehung des Kerns gebieten; dies würde nicht zugelassen werden, da dann die Regionen B in einem Verarbeitungsraum mit nur Koeffizienten nahe null und eben nicht mit dem mäßigen Dynamikbereich der Koeffizienten der Region B liegen würden. Die Drehung würde nur dann zugelassen werden, wenn beide, der Verarbeitungsraum und der Kernraum gedreht werden würden.
9A zeigt ein wellenfrontkodiertes optisches Abbildungssystem 900A, das hinsichtlich seines Detektors und seiner Datenstrom-Auslesung optimiert ist. Das System 900A enthält eine Optik 901A und ein wellenfrontkodiertes, asphärisches optisches Element 910A, die zusammenwirken, um im Detektor 920A ein Zwischenbild entstehen zu lassen. Das Element 910A bewirkt das Kodieren der Wellenfront in dem System 900A. Ein Datenstrom 925A vom Detektor 920A wird durch die Bildverarbeitungsschaltung 940A verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 941A zu erzeugen. Die Bildverarbeitungsschaltung 940A verarbeitet den Datenstrom 925A unter Verwendung des Filterkerns 930A. In dieser Ausführungsform werden der Detektor 920A und der Datenstrom 925A nicht im typischen Zeile-und-Spalte-Format ausgelesen, sondern vielmehr ist das Ausgabeformat beispielsweise eine diagonale Auslesung. Bei solch einem diagonalen Ausleseformat wendet die Bildverarbeitungsschaltung 940A nicht die geradlinige Verarbeitung (d. h. die orthogonal zerlegbare Verarbeitung oder Verarbeitung vom Rang N) an, da das Bildformat nicht auf Zeile und Spalte basiert. Falls das Datenformat diagonal ist, werden die Optik 901A und das wellenfrontkodierte, asphärische optische Element 910A so eingerichtet, dass das resultierende Bild eines Punktobjekts (oder seine Punktstreuungsfunktion) im Wesentlichen alle Informationen längs von Diagonalen in einer Art und Weise enthält, die zu den Datenstromdiagonalen äquivalent ist. Der entsprechende Filterkern 930A und der Bildverarbeitungsabschnitt 940A wirken dann optimal auf Bilddaten 925A in einem Diagonalformat ein, wie gezeigt, und es kann eine der Diagonalen verarbeitet werden oder es können beide verarbeitet werden. In einer Ausführungsform werden die Diagonalen wieder auf die Zeilen-Spalten-Anordnung abgebildet, auf eine geradlinige Weise bearbeitet und dann wieder auf die diagonal geordnete Ausgangssequenz abgebildet. Bei einer Ausführung sind die Optik 901A und das optische Element 910A mit der Bildverarbeitungsschaltung 940A so optimiert, dass Informationen in einer geometrischen Orientierung bereitgestellt werden, welche die Kosten reduziert. Ein Beispiel ist ein optisches Element 910A, das in einer Weise gedreht ist, die dem Diagonalenwinkel der Datenstrom-Auslesung 925A entspricht.
9B zeigt ein wellenfrontkodiertes optisches Abbildungssystem 900B, das hinsichtlich des Detektors und der Datenstrom-Auslesung optimiert ist. Das System 900B enthält eine Optik 901B und ein wellenfrontkodiertes, asphärisches optisches Element 910B, die zusammenwirken, um im Detektor 920B ein Zwischenbild entstehen zu lassen. Das Element 910B bewirkt das Kodieren der Wellenfront in dem System 900B. Ein Datenstrom 925B vom Detektor 920B wird durch die Bildverarbeitungsschaltung 940B verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 941A zu erzeugen. Die Bildverarbeitungsschaltung 940B verarbeitet den Datenstrom 925B unter Verwendung eines Filterkerns 930B. Der Detektor 920B und der Datenstrom 925B sind nicht von der typischen geradlinigen Gestaltung und werden nicht im typischen Zeilen-und-Spalten-Format ausgelesen. Stattdessen ist das Ausgabeformat beispielsweise eine Auslesung auf ring- oder strahlenförmiger Basis aus einem Log-Polar-Detektor. Bei diesem Ausleseformat wendet die Bildverarbeitungsschaltung 940B wieder nicht die geradlinige Verarbeitung (d. h. die orthogonal zerlegbare oder Rang-N-Verarbeitung) an, da das Bildformat nicht auf Zeile und Spalte basiert. Falls das Datenformat kreis- oder ringförmig ist, werden die Optik 901B und das wellenfrontkodierte, asphärische optische Element 910B so eingerichtet, dass das resultierende Bild eines Punktobjekts (oder seine Punktstreuungsfunktion) im Wesentlichen alle Informationen längs von ring- oder strahlenförmigen Regionen in einer Art und Weise enthält, die zu dem Datenstrom 925 äquivalent ist. Der entsprechende Filterkern 830B und die Bildverarbeitungsschaltung 940B wirken dann optimal auf die Bilddaten 925B in einem kreisförmigen Format ein, wie gezeigt. In einer Ausführungsform werden die konzentrischen Ringe wieder auf eine Zeilen-Spalten-Anordnung abgebildet, auf eine geradlinige Weise bearbeitet und dann wieder auf die kreisförmig geordnete Ausgangssequenz abgebildet. In einer Ausführung können die Optik 901B und das Element 910B mit der Bildverarbeitungsschaltung 940B so optimiert sein, dass Informationen in einer geometrischen Orientierung bereitgestellt werden, welche die Kosten reduziert.
10 stellt ein wellenfrontkodiertes optisches Abbildungssystem 1000 dar, das hinsichtlich einer Farbbilderzeugung optimiert ist. Das System 1000 enthält eine Optik 1001 und ein wellenfrontkodiertes, asphärisches optisches Element 1010, die zusammenwirken, um im Detektor 1020 ein Zwischenbild entstehen zu lassen. Das Element 1010 bewirkt das Kodieren der Wellenfront in dem System 1000. Ein Datenstrom 1025 vom Detektor 1020 wird durch die Bildverarbeitungsschaltung 1040 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 1041 zu erzeugen. Die Bildverarbeitungsschaltung 1040 wendet bei der Verarbeitung des Datenstroms 1025 ein farbspezifisches Kernfilter 1030 an. Die Optik 1001, das asphärische optische Element 1010, der Detektor 1020, der Datenstrom 1025, der Filterkern 1030 und die Bildverarbeitungsschaltung 1040 wirken so zusammen, dass bei der Herstellung des endgültigen Ausgabebildes 1041 jeder Farbkanal eigene Eigenschaften besitzt. In Abhängigkeit von der Farbe nutzt das wellenfrontkodierte optische Abbildungssystem 1000 beispielsweise die Tatsache aus, dass ein menschliches Auge jede Farbe anders "sieht". Das menschliche Auge reagiert am empfindlichsten auf grüne Beleuchtung und am wenigstens empfindlich auf blaue Beleuchtung. Entsprechend können die Ortsauflösung, die Ortsbandbreite und der Dynamikbereich, die mit dem Filterkern 1030 und der Bildverarbeitungsschaltung 1040 verbunden sind, im Blau-Kanal viel geringer als für den Grün-Kanal sein, ohne dass die wahrgenommene Abbildung des Bildes 1041 verschlechtert ist, wenn sie von einem Menschen gesehen wird. Durch Herabsetzen der Anforderungen in Abhängigkeit von der Farbe wird die optomechanische und optoelektrische Ausführung des Systems 1000, verglichen mit einer Gleichbehandlung aller Farbkanäle, weiter optimiert.
11A bis 11D zeigen verwandte Ausführungsformen eines wellenfrontkodierten optischen Abbildungssystems 1100, das mit einer speziellen Filterung (d. h. innerhalb einer Bildverarbeitungsschaltung 1140) optimiert ist. Jedes System 1100A bis 1100D enthält eine Optik 1101 und ein wellenfrontkodiertes, asphärisches optisches Element 1110, die zusammenwirken, um im Detektor 1120 ein Zwi schenbild entstehen zu lassen. Das Element 1110 bewirkt das Kodieren der Wellenfront in dem System 1100. Ein Datenstrom 1125 vom Detektor 1120 wird durch die Bildverarbeitungsschaltung 1140 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 1141 zu erzeugen. Die Bildverarbeitungsschaltung 1140 verarbeitet den Datenstrom 1125 mit einem Filterkern 1130. Die Optik 1101, das asphärische optische Element 1100, der Detektor 1120 und der Datenstrom 1125 wirken so zusammen, dass ein Filterkern 1130 eine spezielle Filterungsschaltung verwendet und die Bildverarbeitungsschaltung 1140 spezielle Taps 1145 verwendet, wodurch die angestrebten Kosteneinsparungen und/oder Designeigenschaften geliefert werden.
Insbesondere veranschaulichen die optischen Systeme von 11A bis 11D vier einzelne Optimierungen, die einen beliebigen gegebenen Koeffizienten oder eine beliebige gegebene Untergruppe Koeffizienten einrechnen können, um eine bestimmte Konfiguration am besten zu implementieren. Eine beliebige Kombination oder beliebige Kombinationen der Ausführungsformen von 11A bis 11D können mit einer effizienten Bildverarbeitungsschaltung implementiert werden.
11A zeigt speziell eine Ausführungsform einer Gradientenfilterung. Die Optik 1101A, das asphärische optische Element 1110A, der Detektor 1120A und der Datenstrom 1125A wirken so zusammen, dass der Filterkern 1130A eine Gradientenfilterung anwendet und die Bildverarbeitungsschaltung 1140A spezielle Differentialtags verwendet. Der Reduced-Set-Filterkern des Filterkerns 1130A ist derart, dass die Differenz zwischen benachbarten Koeffizienten eine effiziente Ausführung begünstigt. Beispielsweise können der Filterkern 1130A und die Bildverarbeitungsschaltung 1140A so konfiguriert sein, dass die Differenz zwischen dem ersten und zweiten Tap, zwischen dem zweiten und dritten Tap, zwischen dem dritten und vierten Tap usw. jeweils eine Zweierpotenz (oder eine anderer effizient zur Anwendung gebrachter Wert oder eine effizient zur Anwendung gebrachte Menge Werte) ist. Wenn jede Differenz des Filterkerns 1130A eine beschränkte Menge Zweierpotenzwerte ist, dann ist die Geometrie jedes implementierten Filtertags ein Differentialtag 1145. Ein Differentialfiltertap 1145 ist eine effiziente Ausführung, da für einen beliebigen Koeffizientenwert im Kern 1130A nur eine einzige Summation erforderlich ist. Bei einer linearen Filterung des Standes der Technik, wie beispielsweise durch FIR-Tag-Verzögerungsleitungen, wird nur der ursprüngliche Bildpixelwert zum nächsten Tap übertragen, während der vorher skalierte Wert für die nächste Stufe nicht zur Verfügung steht. Ein Retten des vorher skalierten Wertes 1146A in den Differentialtag 1145A ermöglicht eine einzige Addition oder Subtraktion, um den nächsten Wert zu erzeugen. Da das frühere Ergebnis 1146A auf das nächste Tap übertragen wird, werden ferner Einsparungen bei der Größe und den Kosten der Hardware-Implementierung der Bildprozessorschaltung 1140A erzielt. In einem Differentialtag 1145A können weitere Kombinationen aus Additionen und Subtraktionen zusammengefasst sein; ein Differentialtag 1145A ist nicht auf eine einzige Addition (oder Subtraktion) beschränkt, vielmehr kann der Fachmann erkennen, dass eine beliebige Kombination von Additionen und Subtraktionen im Zusammenhang mit einem Vorwärtsübertrag des vorhergehenden Ergebnisses 1146A verwendet werden kann. Es ist dieses Vorwärtsübertragen 1146A, das für die Leistungsfähigkeit sorgt, um eine optimale Lösung zu schaffen – im Gegensatz zu dem besonderen gewählten Design des Differentialtags.
Zahlenwerte liefern ein noch deutlicheres Beispiel für einen Einzeladdierer-Differentialtag. Es wird die Koeffizientensequenz [3, –5, 11, 7, –1, 0] betrachtet. Wenn der Eingangspixelwert p ist, dann erzeugt das erste Tap 3p. Das nächste Tap erzeugt –5p, oder erzeugt alternativ unter Verwendung von 3p aus dem vorhergehenden Schritt –8p und addiert die zwei Werte, um 3p – 8p = –5p zu erhalten. Der Koeffizient 11 wird auf ähnliche Weise aus den vorhergehenden –5p erhalten, indem 16p addiert werden. Es sei angemerkt, dass in diesem Fall eine einzige Verschiebung (p zu 16p) und eine einzige Addition einen Skalierungsfaktor von 11x verwirklichen, wohingegen einen herkömmliche Umsetzung von 11x, basierend auf Teilprodukten, 8 + 2 + 1 oder zwei Verschiebungen und zwei Summationen erfordert. Das Beispiel geht mit 7p = (11p – 4p) und –1p = (7p – 8p) weiter. In einigen Fällen kann die Differenz null sein, wobei in diesem Fall der Gradientenkern dem Detail des Skalierungskerns zuzurechnen ist, das in 11B dargestellt ist.
11B zeigt eine Ausführungsform einer Skalierungsfilterung. Die Optik 1101B, das asphärische optische Element 1110B, der Detektor 1120B und der Datenstrom 1125B wirken so zusammen, dass der Filterkern 1130B eine skalierte Filterung anwendet und die Bildverarbeitungsschaltung 1140B spezielle Skalierungstaps 1145B verwendet. Der Reduced-Set-Filterkern des Filterkerns 1130B ist derart, dass der Skalenfaktor zwischen benachbarten Koeffizienten eine effiziente Ausführung begünstigt. Beispielsweise können der Filterkern 1130B und die Bildverarbeitungsschaltung 1140B so konfiguriert sein, dass der Skalenfaktor zwischen dem ersten und zweiten Tap, zwischen dem zweiten und dritten Tap, zwischen dem dritten und vierten Tap usw. jeweils Faktoren von Zweierpotenzen (oder eine anderer effizient zur Anwendung gebrachter Wert oder eine effizient zur Anwendung gebrachte Menge Werte) ist. Wenn jeder Skalenfaktor des benachbarten Filterkern-Koeffizienten beispielsweise eine beschränkte Menge Zweierpotenzwerte repräsentiert, dann ist die Geometrie jedes implementierten Filtertags ein Skalierungstap 1145B und kann mit einer einfachen Verschiebung auf einem binären Rechner ausgeführt werden (oder es können andere Skalenfaktoren effizient verwirklicht werden, nämlich durch andere Einrichtungen in einer effizienteren Weise als Zweierpotenzen). Ungeachtet des gewählten Skalierungsfaktors ist das Skalierungsfiltertap 1145B eine effiziente Ausführung, da nur der skalierte Wert eines Bildpixels jedes Taps sowohl zum nächsten Tap als auch zum Kern-Akkumulator weitergegeben wird. Bei einer linearen Filterung des Standes der Technik, wie beispielsweise durch FIR-Tap-Verzögerungsleitungen, muss der ursprüngliche Bildpixelwert zum nächsten Tap übertragen werden, während außerdem der skalierte Wert zum Akkumulator übertragen wird. Die Speicherung von zwei Werten (des verzögerten Pixelwerts und des skalierten Pixelwerts) erfordert zwei Register. In 11B wird wegen der skalierten Filterung des Filterkerns 1130B nur ein Register gebraucht, um den skalierten Pixelwert (vom vorhergehenden Tap skaliert) zu speichern. Da die ursprünglichen Bildpixelinformationen nicht zu allen nachfolgenden Taps übertragen werden, wird ferner eine Einsparung bei der Größe und/oder den Kosten der Hardware-Implementierung der Bildprozessorschaltung 1140B realisiert. Ein Beispiel für einen Filterkern, bei dem die Skalierungen zwischen benachbarten Pixeln Faktoren von Zweierpotenzen sind, ist [3, –12, 6, 0, –3, 0]
11C zeigt eine Ausführungsform einer Filterung mit distributiv-arithmetischer Eigenschaft. Die Optik 1101C, das asphärische optische Element 1110C, der Detektor 1120C und der Datenstrom 1125C wirken so zusammen, dass der Filterkern 1130C die distributive Eigenschaft einer arithmetischen Filterung nutzt und die Bildverarbeitungsschaltung 1140C spezielle distributive, arithmetische Taps 1145C verwendet. Das Tap 1145C führt eine Akkumulation skalierter Werte aus. Der Reduced-Set-Filterkern des Filterkerns 1130C ist derart, dass die Verteilung aller Koeffizienten eine effiziente Ausführung begünstigt. Beispielsweise können der Filterkern 1130 und die Bildverarbeitungsschaltung 1140C so konfiguriert sein, dass es nur zwei Skalenfaktoren oder Multiplizierer, die implementiert sind, gibt, wodurch fünf verschiedene Koeffizienten bereitgestellt werden, die für eine Rekonstruktion verfügbar sind (5 durch Berücksichtigung positiver und negativer Werte der zwei Koeffizienten, zuzüglich des Nullkoeffizienten). Das Skalierungsfiltertap 1145C begünstigt eine effiziente Ausführung, da ein einzelnes Tap "übertaktet" werden kann, um für viele Pixel zur Verfügung zu stehen. Bei bestimmten Ausführungen kann es vorzuziehen sein, einen Multiplizierer zu übertakten, wie bei 1145C, oder bei einigen kann es vorzuziehen sein, einen Akkumulator zu übertakten, wie bei 1145D, 11D. Bei einer linearen Filterung des Standes der Technik, wie beispielsweise durch FIR-Tap-Verzögerungsleitungen, war für jedes Pixel und jeden Koeffizienten ein separater und verschiedener Operator erforderlich.
11D zeigt eine Ausführungsform einer Filterung mit distributiv-arithmetischer Eigenschaft. Die Optik 1101D, das asphärische optische Element 1110D, der Detektor 1120D und der Datenstrom 1125D wirken so zusammen, dass der Filterkern 1130D eine distributiv-arithmetische Filterung anwendet und die Bildverarbeitungsschaltung 1140D spezielle distributiv-arithmetische Taps 1145D verwendet. Das Tap 1145D führt ein Skalieren akkumulierter Werte aus. Der Reduced-Set-Filterkern des Filterkerns 1130D ist derart, dass die Verteilung aller Koeffizienten eine effiziente Ausführung begünstigt. Beispielsweise können der Filterkern 1130D und die Bildverarbeitungsschaltung 1140D so konfiguriert sein, dass es nur zwei Skalenfaktoren oder Multiplizierer, die implementiert sind, gibt, wodurch 5 verschiedene Koeffizienten bereit gestellt werden, die für eine Rekonstruktion verfügbar sind (5 durch Berücksichtigung positiver und negativer Werte der zwei Koeffizienten, zuzüglich des Nullkoeffizienten). Wie in 11C begünstigt das Skalierungsfiltertap 1145D eine effiziente Ausführung, da ein einzelnes Tap "übertaktet" werden kann, um für viele Pixel zur Verfügung zu stehen. Bei bestimmten Ausführungen kann es vorzuziehen sein, einen Akkumulator zu übertakten, wie bei 1145D. Bei einer linearen Filterung des Standes der Technik, wie beispielsweise durch FIR-Tap-Verzögerungsleitungen, war für jedes Pixel und jeden Koeffizienten ein separater und verschiedener Operator erforderlich.
Ein Verfahren zum Designen bestimmter wellenfrontkodierter, asphärischer optischer Elemente (z. B. verschiedener Elemente 1110 von 11A bis D) und bestimmter Filterkerne (z. B. verschiedener Kerne 1130 von 11A bis D) verwendet mehrere gewichtete Matrizen, die auf die Bildverarbeitung abzielen. Weitere Ziele des Systemdesigns, wie etwa Bildgüte, Aberrationsempfindlichkeit usw. können ebenfalls zugeordnete Gewichtungsmatrizen besitzen. Als Teil des Design- und Optimierungsprozesses können die gewichteten Matrizen auf optimale Weise verknüpft werden, um die ausgewählten Ziele zu erreichen. Da die Optik und die Signalverarbeitung gemeinsam optimiert werden können, sind vielfältige Lösungen erzielbar, die ansonsten schwer oder unmöglich zu erkennen sind, wenn beispielsweise nur die Optik oder nur die Signalverarbeitung optimiert wird.
Beispielsweise hat eine gewichtete Matrix für ein generalisiertes Ganzzahlfilter (z. B. durch die Logik von 6A verwendet) Werte von null für alle möglichen ganzzahligen Werte. Hingegen hat eine gewichtete Matrix für einen Filterkern mit einer beschränkten Menge Zweierpotenzen (z. B. durch die Logik von 6 verwendet) Werte von null nur für ganze Zahlen, die eine Zweierpo tenz sind. Die ganze Zahl Null hat einen Nullgewichtswert, da dieser Wert trivial zu verwirklichen ist. Andere ganze Zahlen haben höhere Gewichtswerte. Wenn Gewichtswerte für ganze Zahlen bestimmt sind, die keine Zweierpotenz sind, aber über null sind, kann die Optimierung zwischen Optik, Filterkern, Bildverarbeitung und endgültigem Bild so geschehen, dass Kosten gegen die Leistungsfähigkeit abgewogen werden, wobei entsprechende Gewichte auf Werte über null gesetzt werden.
In einem Beispiel, bei einem Reduced-Set-Filterkern, der Summen von Zweierpotenzen anwendet, kann die gewichtete Matrix Nullwerte für ganze Zahlen, die eine Zweierpotenz sind, einen größeren Wert für ganze Zahlen, die aus der Summe oder der Differenz zweier Zweierpotenzwerte konstruiert sind (wie etwa 6 = 4 + 2 oder 7 = 8 – 1), und noch größere Werte für ganze Zahlen, die aus drei Zweierpotenzwerten konstruiert sind (wie etwa 11 = 8 + 2 + 1 oder 11 = 8 + 4 –1 ) aufweisen. Wenn sowohl positive als auch negative Zweierpotenzwerte verwendet werden, ist das Gewicht für ganze Zahlen wie etwa sieben geringer, da 7 = 8 – 1. Hingegen erfordert die allgemeine Ausführung (z. B. 6A) drei Summationen, d. h. 7 = 4 + 2 + 1.
Die gewichtete Matrix kann auch verwendet werden, um ein Gradientenfilter (z. B. Filter 1130A, 11A) oder ein Skalierungsfilter (z. B. Filter 1130B, 11B) zu optimieren. Benachbarten ganzzahligen Werten kann ein Gewicht gegeben werden, das auf ihrer Differenz oder ihrem Gradienten oder auf einem Skalenfaktor basiert. In einem Beispiel wird jedem Paar ganzzahliger Werte ein Nullwert zugewiesen, wenn ihre Differenz oder ihr Größenverhältnis eine Zweierpotenz ist oder andernfalls ein großer Wert. Die Paarung von Koeffizienten hängt außerdem von der Auslesung der Pixel ab, da die Art und Weise des Auslesens die Adjazenzregeln für benachbarte Pixel be stimmt und da die Orientierung sowohl der Auslesung als auch des Kerns in der gewichteten Matrix enthalten ist. Für den Fachmann wird einsichtig sein, dass andere Gradienten-Kernfilter kleine Werte zuweisen können, wenn die Differenz der ganzen Zahlen eine Summe von Zweierpotenzen ist, usw.
12 zeigt zur Verdeutlichung ein durch das System 100 von 1 verarbeitetes, endgültiges Bild 1201 und ein durch das System 200 von 2 verarbeitetes, endgültiges Bild 1202. In diesem Beispiel haben die beiden Systeme 100, 200 die gleiche Optik 101 bzw. 201 und den gleichen Detektor 120 bzw. 200, jedoch verschiedene Filterkerne und Bildverarbeitungsschaltungen (wobei jeweils eindimensionale Kernfilter im Rahmen einer orthogonal zerlegbaren Verarbeitung verwirklicht sind). Das Bild 1201 wurde mit einem Filterkern 130 ausgebildet, der ein generalisiertes Ganzzahlfilter ist. Das Bild 1202 wurde mit einem Filterkern 230 ausgebildet, der ein Reduced-Set-Filterkern ist, der Zweierpotenzwerte verwendet. Die beiden Bilder 1201, 1202 sind ähnlich, aber das Bild 1202 hat einen verbesserten Kontrast, wie gezeigt ist. Außerdem stellt der Reduced-Set-Filterkern 230 eine vergleichsweise kleinere und preiswertere Ausführung als das generalisierte Ganzzahlfilter des Filterkerns 130 dar.
13 zeigt zur Verdeutlichung ein durch das System 100 von 1 verarbeitetes, endgültiges Bild 1301 und ein durch das System 200 von 2 verarbeitetes, endgültiges Bild 1302. Wie in 12 haben beide Systeme 100, 200 äquivalente Optiken und Detektoren 101, 201 bzw. 120, 220, weisen jedoch verschiedene Filterkerne und Bildverarbeitungsschaltungen auf (wobei jeweils eindimensionale Kernfilter im Rahmen einer orthogonal zerlegbaren Verarbeitung verwirklicht sind). Das System 200 verwendet ein Kernfilter 1130A, 11A, als Kernfilter 230, 2. Das System 100 verwendet ein generalisiertes Ganzzahlfilter als Kernfilter 130; folglich wurde das Bild 1301 mit dem generalisierten Ganzzahlfilter ausgebildet. Die beiden Bilder 1301, 1302 sind ähnlich, nur dass das Bild 1302 einen schwächeren Kontrast hat. Da der Kontrast ebenfalls ein mögliches Ziel der Bilderzeugung ist, kann der schwächere Kontrast so eingestellt werden, dass dieses Ziel erreicht wird. Außerdem kann der Reduced-Set-Gradientenfilterkern, der verwendet wird, um das Bild 1302 zu verarbeiten, kleiner und preiswerter umzusetzen sein als das generalisierte Ganzzahlfilter.
14 zeigt den Frequenzgang bzw. die Frequenzantwort für die drei Digitalfilter, die in 12 und 13 verwendet werden. Jedes Filter hat einen etwas anderen Frequenzgang und eine andere Implementierung Bei bestimmten Bilderzeugungsanwendungen ist ein Frequenzgang zu bevorzugen, während bei anderen ein anderer Frequenzgang zu bevorzugen sein kann. Der spezielle Frequenzgang bei einer beschränkten Menge Zweierpotenzen (z. B. im Filterkern 230, 2 verwendet) weist den stärksten Kontrast auf. Der generalisierte Ganzzahl-Frequenzgang weist den nächststärksten Kontrast auf und der Reduced-Set-Gradienten-Zweierpotenz-Filterkern 1130 weist in diesem Beispiel den niedrigsten Frequenzgang auf. Dies braucht nicht der Normalfall zu sein. Dementsprechend wird in Abhängigkeit von der Anwendung der geeignete Gang gewählt; wenn der Filterkern außerdem eine beschränkte Menge Filterkernwerte verwendet, dann kann die Ausführung außerdem bei reduzierten Kosten und mit verminderter Komplexität erfolgen.
Des weiteren im Hinblick auf 10 kann ein Optimieren der Bildverarbeitung für Farbe bestimmte Vorteile haben. 15 veranschaulicht deshalb ein weiteres optisches Abbildungssystem mit optimierter Farbbildverarbeitung. Das System 1500 enthält eine Optik 1501 und ein wellenfrontkodiertes, asphärisches optisches Element 1510, die zusammenwirken, um im Detektor 1520 ein Zwischenbild entstehen zu lassen. Das Element 1510 bewirkt das Kodieren der Wellenfront in dem System 1500. Ein Datenstrom 1525 vom Detektor 1520 wird dann durch eine Reihe von Verarbeitungsblöcken 1522, 1524, 1530, 1540, 1552, 1554, 1560 verarbeitet, um die Wellenfront zu dekodieren und ein endgültiges Bild 1570 zu erzeugen. Der Block 1522 und der Block 1524 werden wirksam, um den Datenstrom 1525 für eine Rauschminderung vorzuverarbeiten. Insbesondere korrigiert der FPN-Block 1522 ein festes Muster aufweisendes Rauschen (z. B. Pixelverstärkung und systematische Fehler sowie Nichtlinearität im Gang) des Detektors 1510; der Vorfilterungsblock 1524 nutzt die Kenntnisse über das wellenfrontkodierte optische Element 1510, um das Rauschen des Datenstroms 1525 weiter zu vermindern. Der Farbwandlungsblock 1530 wandelt RGB-Farbkomponenten (aus dem Datenstrom 1515) in einen neuen Farbraum um. Der Unschärfe- und Filterungsblock 1540 beseitigt Unschärfe aus den Bildern im neuen Farbraum durch Filtern eines oder mehrerer Kanäle des neuen Farbraums. Der Block 1552 und der Block 1554 bewirken eine Nachverarbeitung von Daten vom Block 1540 für eine weitere Rauschminderung. Insbesondere filtert der SC-Block 1552 Rauschen innerhalb jedes einzelnen Datenkanals unter Verwendung des Wissens über die digitale Filterung im Block 1540; der MC-Block 1554 filtert Rauschen aus mehreren Datenkanälen unter Verwendung des Wissens über die digitalen Filterung im Block 1540. Bevor das Bild 1570 erhalten wird, wandelt ein weiterer Farbwandlungsblock die Farbraum-Bildkomponenten wieder in RGB-Farbkomponenten zurück.
16A stellt schematisch ein Farbverarbeitungssystem 1600 dar, das ein endgültiges Dreifarbenbild 1660 von einem Farbfilter-Flächendetektor 1602 erzeugt. Das System 1600 verwendet eine Optik 1601 (mit einem oder mehreren wellenfrontkodierten optischen Elementen oder Oberflächen), um die Wellenfront des Systems 1600 zu kodieren und ein optisches Zwischenbild im Detektor 1602 zu erzeugen. Die Wellenfrontkodierung der Optik 1601 lässt folglich ein unscharfes Bild auf dem Detektor 1602 entstehen. Dieses Zwischenbild wird dann durch den NRP- und Farbraumumwandlungsblock 1620 verarbeitet. Die Rauschminderungsverarbeitung des Blocks 1620 bewirkt beispielsweise eine Beseitigung der Detektor-Nichtlinearität und des additiven Rauschens, während die Farbraumumwandlung des Blocks 1620 eine Beseitigung der Ortskorrelation zwischen zusammengesetzten Bildern bewirkt, um die Menge an Halbleiterbauelementen und/oder Speicher, die für die Verarbeitung zur Beseitigung der Unschärfe (in den Blöcken 1642, 1644) erforderlich sind, zu reduzieren. Außerdem werden die Daten vom Block 1620 in zwei Kanäle getrennt: einen Orts-Bildkanal 1632 und einen oder mehrere Farbkanäle 1634. Der Orts-Bildkanal 1632 weist mehr räumliche Einzelheiten als die Farbkanäle 1634 auf. Dementsprechend hat der vorherrschende Ortskanal 1632 den überwiegenden Teil der Unschärfebeseitigung innerhalb des Verarbeitungsblocks 1642. Die Farbkanäle haben wesentlich weniger Unschärfebeseitigungsverarbeitung innerhalb des Verarbeitungsblocks 1644. Nach den Prozessen zur Unschärfebeseitigung werden die Kanäle 1632 und 1634 wieder vereint und in dem Rauschminderungsverarbeitungs- und Farbraumumwandlungsblock 1650 verarbeitet. Dies beseitigt ferner Bildrauschen, das durch die Unschärfebeseitigung hervorgehoben wurde; und die Farbraumumwandlung transformiert das Bild in RGB – für das endgültige Bild 1660.
17 bis 23 veranschaulichen ferner Farbraumumwandlungs- und Unschärfebeseitigungsprozesse für eine besondere Ausführungsform des Systems 1600. Der Detektor 1602 ist ein CCD-Detektor mit einer Bayer-Farbfilter-Anordnung. 17 zeigt Rot-, Grün- und Blaukomponentenbilder 1700, 1702 bzw. 1704 eines realen Objekts, abgebildet durch das System 1600, aber ohne Wellenfrontkodierung in der Optik 1601 (d. h. die wellenfrontkodierte Optik ist bei dem optischen System 1601 nicht vorhanden). Bei den Bildern 1700, 1702, 1704 ist offensichtlich, dass jedes Farbbild einen hohen Grad an Ortsähnlichkeit mit jedem anderen Bild hat und dass viele Teile des Bildes unscharf sind. Die unscharfen Bilder sind ohne Wellenfrontkodierung nicht korrigierbar, wie nachstehend beschrieben ist.
18 zeigt rohe bzw. unbearbeitete Rot-, Grün- und Blaukomponentenbilder 1800, 1802 bzw. 1804 desselben Objekts, abgebildet durch das System 1600 mit der wellenfrontkodierten Optik 1601. Die Bilder 1800, 1802 und 1804 stellen vom Datenstrom 1625 abgeleitete Bilder vor einer Verarbeitung durch den Block 1620 dar. Jedes Komponentenbild 1800, 1802, 1804 ist abermals jedem anderen Bild ziemlich ähnlich; und jedes Bild ist durch die asphärische Optik 1601 unscharf.
19 zeigt die Farbkomponentenbilder von 18 nach der Unschärfebeseitigungsverarbeitung des Blocks 1642; das Bild 1900 ist das Bild 1800 nach dem Block 1642; das Bild 1902 ist das Bild 1802 nach dem Block 1644 und das Bild 1904 ist das Bild 1804 nach dem Block 1644. Bei diesem Beispiel führte der Verarbeitungsblock 1644 keine Verarbeitung aus. Ferner wurden die Verarbeitungsblöcke 1620 und 1650 nicht verwendet. Jedes Komponentenbild 1900, 1902 und 1904 ist scharf und klar; und die Kombination aller drei Komponentenbilder führt zu einem scharfen und klaren Dreifarbenbild.
20 zeigt Komponentenbilder 2000, 2002, 2004 nach einer Farbraumumwandlung (Block 1620) aus dem RGB- in den YIQ-Farbraum, bevor der Ortskanal 1632 und der Farbkanal 1634 verarbeitet werden. Die Komponentenbilder 2000, 2002, 2004 stellen folglich Komponentenbilder von 18 nach dem Verarbeiten durch den Block 1620 auf dem Kanal 1632 und dem Kanal 1634 dar. Es ist festzustellen, dass das Y-Kanal-Bild 2000 den Rot- und Grünbildern 1800, 1802 von 18 ähnlich ist. Die I- und Q-Kanalbilder 2002, 2004 sind jedoch von allen Kanälen von 18 sehr verschieden. Die YIQ-Farbraumumwandlung (Block 1620) führte zu dem Y-Kanal-Komponentenbild 2000, das den überwiegenden Teil der Ortsinformationen enthält. Das I-Kanal-Komponentenbild 2002 enthält viel weniger Ortsinformationen als der Y-Kanal, obwohl einige Ortsinformationen sichtbar sind. Es sind die Unterschiede bei den Intensitätsskalen rechts von jedem Bild zu beachten. Das Q-Kanal-Komponenten-Bild 2004 hat im Wesentlichen keine Ortsinformationen auf der Intensitätsskala, die für diese Bilder gezeigt ist.
21 zeigt die wellenfrontkodierten Bilder 2100, 2102, 2104 der Komponenten Y, I und Q nach dem Prozess 1642 der Beseitigung der Unschärfe des Ortskanals 1632. Das I-Kanal-Bild 2002 und das Q-Kanalbild 2004 wurden im Block 1644 nicht gefiltert, wodurch an Verarbeitung und an Speicherplatz gespart wird; folglich sind die Bilder 2102, 2104 mit den Bildern 2002, 2004 identisch. Für den Fachmann wird einsichtig sein, dass die Bilder 2002, 2004 im Block 1644 mit Filtern, die eine niedrige Auflösung und eine geringe Bit-Tiefe aufweisen, gefiltert werden könnten. Nachdem das gefilterte YIQ-Bild von 21 in den RGB-Raum rücktransformiert worden ist (Block 1650), ist das endgültige Dreifarbenbild 1660 scharf und klar, bei viel weniger Verarbeitung als erforderlich ist, um das endgültige Bild basierend auf 19 zu erzeugen.
Der YIQ-Farbraum ist einer von vielen linearen und nichtlinearen Farbraumumwandlungen, die zur Verfügung stehen. Ein Verfahren zum Ausführen einer Farbraumumwandlung ist, einen einzigen Raum auszuwählen, um das gesamte Bild darzustellen. Wellenfrontkodierte Optiken und Prozessoren können so zusammenwirken, dass eine optimale, dynamische Farbraumumwandlung erzielt werden kann, die den Umfang der Signalverarbeitung reduziert und die Bildgüte verbessert. Beispielsweise kann in 16 das wellenfrontkodierte System 1600 einen Farbraum-Verarbeitungsblock 1620 verwenden, der örtlich über dem gesamten Bild variiert. Eine solche örtliche Variation kann als "dynamischer Farbraum" (DCS: Dynamic Color Space) bezeichnet werden. Diese örtlich variierende Farbraumumwandlung 1620 führt eine einzige Transformation an einer Region aus, wobei die Region dynamisch und nicht gezwungenermaßen abgeschlossen ist. Beispielsweise ist ein Bild mit blauem Himmel in der oberen Hälfte und einem Sandstrand in der unteren Hälfte gut für die folgende Aufteilung des Farbraums geeignet: eine "Blau-Ortsinformationen bewahrende" Farbraumumwandlung für die obere Hälfte des Bildes und eine "Braunsprenkel-Informationen bewahrende Farbraumtransformation für die untere Hälfte. Solche örtlich variierenden Regionen können als eine geordnete Menge geradliniger Blöcke definiert sein oder als willkürlich zugewiesene Pixel oder als dynamisch zugeordnete Konturen, die auf optimale Weise definiert werden, wenn jede Szene wechselt. Dynamische Blockzuweisungsverfahren bei dem Umwandlungsprozess 1620 können empfindlich bezüglich der Gesamtrechenleistung und des gewünschten Durchsatzes sowie der Genauigkeitskompromisse, die bei dem Abbildungssystem gewünscht sind, sein und können mittels des Wissens über die örtlich korrelierenden Wirkungen der Optik 1601 geleitet oder eingeschränkt werden.
Im Allgemeinen kann ein dynamischer Farbraum (DCS) für eine Rauschminderung zusammen mit einer Farbebenen-Interpolation und einem preiswerteren Bild-Deblurring sorgen. Der DCS-Algorithmus ist für eine Vielfalt von Verarbeitungsmethoden in Systemen auf Software- und Hardwarebasis geeignet. Eine DCS-Version führt eine dynamische lineare Farbraumumwandlung aus. Andere DCS-Versionen verwirklichen dynamische nichtlineare Farbräume. DSC kann mit nichtlinearen Farbraumumwandlungen oder anderen Transformationen, wie etwa HSV, kombiniert werden oder solche können vorausgehen, je nach Verarbeitungssystemressourcen und Anwendungsziel.
Der allgemeine DSC-Algorithmus kann durch Korrelations- und Hauptkomponentenanalyse von 16B verstanden werden. 16B passt vollständig in den Block 1620 in 16A. Der Bayer-Sensor 1602 und das Ausgangsbild 1632 sind genauso wie in 16A bezeichnet, um den Zusammenhang hervorzuheben. Da die DCS eine umkehrbare Transformation ist, erkennt der Fachmann, dass ein inverser, exakter oder approximierter DCS-Prozess vollständig innerhalb des Blocks 1650 von 16A abläuft. Die Bestimmung der Hauptkomponenten (oder Hauptfarbe oder -farben) aus der geschätzten Korrelation der Farben in Mehrkanal-Bildern einer willkürlichen Region von Pixeln bei einer willkürlichen Anzahl von Farbkanälen (mehr als einer) bestimmt die (im Sinne der kleinsten Fehlerquadrate) optimale Farbraumtransformation für diese spezielle Region. Mit anderen Worten: Eine DCS-Transformation ermöglicht, dass die Blöcke 1620 (und 1650 mittels der DCS-Rücktransformation) in 16A zusammen mit allen anderen Parametern des wellenfrontkodierenden Systems optimiert werden. Im Fall des Bayer-Detektors mit dem Detektor 1602 von 16B wird eine Farbkanal-Matrix gebildet, indem die abgetasteten Farbkanäle in Spalten einer Matrix 1603A aufgenommen werden. Es können verschiedene Schemata angewendet werden, um Schätzungen der Bild-Farbkanäle an jedem gewünschten Ort zu liefern. Für die gesamte Region brauchen nicht alle Pixelorte geschätzt zu werden. Als ein Beispiel zeigt 16B ein Halteverfahren nullten Grades, das im Wesentlichen nahe gelegene rote und blaue Pixelwerte auf jeden grünen Pixelort kopiert und 8 Reihen Daten in der 8×3-Matrix aus 16 Pixeln im 4×4-Bereich erzeugt. Eine Hauptkomponentenzerlegung der Korrelationsschätzung 1603B der Farbkanalmatrix 1603A liefert die Farbraumtransformation 1603C. Dies ist nur ein solches Beispiel für ein Stapeln von Werten, um eine Farbkanalmatrix für Mehrkanal-Farbsysteme zu bilden; für den Fachmann wird einsichtig sein, dass weitere Anordnungen möglich sind, ohne vom Anwendungsbereich der Erfindung abzuweichen.
Eine Schätzung der Hauptkomponenten 1603C der Korrelationsmatrix 1603B bildet die optimale Farbraum-Transformationsmatrix für diese spezielle Region und diese spezielle Kanalauswahl. Das Erlangen des Bildes 1632 der räumlichen Intensitäten von 16A wird durch Anwenden der ersten Hauptkomponente auf die Farbkanalmatrix 1603A in 16B erzielt, wodurch das transformierte, Ortsinformationen enthaltende Bild 1632 von 16A entsteht. Die Deblurring-Funktion 1642 von 16A wirkt dann auf das Ortsinformationen enthaltende Bild 1632 ein, wodurch eine Bildrekonstruktion und gleichzeitig eine Bayer-Musterinterpolation geliefert werden. Die Rückkehr in den ursprünglichen Farbraum erfolgt dann im Block 1650 durch Rücktransformieren des rekonstruierten Ortskanals unter Verwendung einer Form einer Inversen der Farbkanaltransformationsmatrizen 1603C, die für jede Region bestimmt wird, um das endgültige Bild 1660 zu erzeugen. Farbkanalbilder 1634 können auch aus dem dynamischen Farbraum (DCS) extrahiert werden, und zwar, in diesem Beispiel, unter Verwendung der sekundären und tertiären Hauptkomponenten.
Bei einer DCS-Transformation ist es jedoch nicht gewährleistet, dass nur der Ortskanal 1632 durch die Funktion 1642 zur Unschärfebeseitigung im Ortskanal zu verarbeiten ist. Jeder Block oder jede Region, der bzw. die transformiert wurde, enthält seine bzw. ihre eigene, eindeutige Abbildungsmatrix, aber alle Regionen haben an einem gemeinsamen Ortsinformationen enthaltenden Bild 1642 teil. In vielen Fällen erzielt die optimale Transformation für eine gegebene Region nicht die vollständige Transformation aller Ortsinformationen in das Ortsinformationen enthaltende Bild 1642. In solch einem Fall kann ein Deblurring der Farbkanäle durch den Verarbeitungsblock 1644 zur Unschärfebeseitigung vorgenommen werden. Die endgültige Bildanordnung wird dann durch "Einfärben" der Dynamikbereiche unter Verwendung entsprechender Matrizen der Farbrauminversion 1650 erbracht.
22 zeigt die Komponentenbilder von 18 nach einer Farbraumumwandlung mit dem DCS-Algorithmus. Nach einer Umwandlung mit dem sich dynamisch ändernden Farbraum sind im Wesentlichen alle Ortsinformationen im Kanal 1 (2200) enthalten. Die anderen zwei Farbkanäle 2 (2202), 3 (2204) weisen entsprechend der gezeigten Intensitätsskala im Wesentlichen keine Ortsinformationen auf. 23 zeigt diese Komponentenbilder nach einer Filterung, um Bildunschärfe zu beseitigen. In diesem Beispiel wurde nur der Kanal 1 (2300) gefiltert – wiederum wegen der niedrigen Auflösung in den Kanälen 2 (2302), 3 (2303). Nach einer Umwandlung von DCS in RGB (Verarbeitungsblock 1650) ist das endgültige Bild wieder scharf und klar sowie mit weniger Farbartefakten als das endgültige Bild von 21 (und bei weniger strengen Verarbeitungs- und Speicheranforderungen).
Die hier erörterten wellenfrontkodierten Abbildungssysteme können bestimmte Vorteile aufweisen, wenn sie in elektronischen Geräten wie etwa Mobiltelephonen, Videokonferenzausrüstungen und Kleinbildkameras verwendet werden. 24 zeigt ein solches elektronisches Gerät 2400, um solche Vorteile zu veranschaulichen. Das Gerät 2400 hat eine Linse bzw. optische Linse 2402, die ein Bild vom Objektraum 2404 auf einem digitalen Detektor 2406 (z. B. einem 3-Farben-CMOS-Array) entstehen lässt, wie gezeigt ist. Der Detektor 2406 wandelt das Bild in einen Datenstrom 2408 um. Ein Mikroprozessor 2410 verarbeitet den Datenstrom, um ein endgültiges Bild 2412 zu erzeugen.
Die Linse 2402 ist ebenfalls wellenfrontkodiert; beispielsweise ist eine Oberfläche 2414 der Linse 2402 ein wellenfrontkodiertes, asphärisches optisches Element. Dementsprechend können die Linse 2402 und das Element 2404 als die Optik und die wellenfrontkodierten Elemente, die weiter oben erörtert wurden (z. B. Optik 201, Element 210 von 2), fungieren. Der Mikroprozessor 2410 ist beispielsweise eine weiter oben schon erörterte Verarbeitungsschaltung (z. B. Bildverarbeitungsschaltung 240, 2). Der Mikroprozessor 2410 verwendet einen Filterkern bei der Verarbeitung des Datenstroms 2408, wodurch die Wellenfront infolge der Phasenmanipulation durch die Linse 2402 dekodiert und ein scharfes bzw. kontrastreiches Bild 2412 erzeugt wird. Das Bild 2412 kann beispielsweise auf einem Flüssigkristallbildschirm 2415 oder auf einem anderen Bildschirm angezeigt werden.
Die Effekte der Wellenfrontkodierung der Linse 2402 und die Nachverarbeitung durch den Mikroprozessor 2410 sind beispielsweise so ausgebildet und eingerichtet, dass durch Fehlfokussierung bedingte Aberrationen, wie etwa ein Fokussierungsfehler, eine Bildfeldwölbung oder eine herstellungs- und montagebedingte Fehlfokussierung, reduziert sind. Folglich kann das elektronische Gerät 2400 ein einziges optisches Element 2402 (aus Kunststoff) verwenden, ohne dass weitere komplexe optische Elemente benötigt werden.
Außerdem kann durch Auswählen des geeigneten Filterkerns (z. B. eines Reduced-Set-Filterkerns mit Kernwerten, die Zweierpotenzen sind) und der entsprechenden Phasenmaske (z. B. oberflächenwellenfrontkodiertes Element 2414) der Mikroprozessor 2410 mit reduzierter Prozessorlast- und Speicheranforderung wirksam werden. In einem Beispiel verwendet der Mikroprozessor 2410 die Bildverarbeitungsschaltung 540 und den Kern 530, 5, um eine solche Prozessorlast- und Speicheranforderung zu reduzieren. In einem weiteren Beispiel verwendet der Mikroprozessor 2410 die Logikarchitekturen von 6B und/oder 7, um solche Prozessorlast- und Speicheranforderungen zu reduzieren. Ebenso kann der Mikroprozessor 2410 die Bildverarbeitungsschaltung 840 und den Kern 830 verwenden, um bestimmte weitere Vorteile, wie bei 8 erörtert, zu erzielen. In Abhängigkeit von Designerwägungen, Farbverarbeitungsziele eingeschlossen, kann der Mikroprozessor 2410 beispielsweise Verarbeitungstechniken anwenden, die in Verbindung mit 10, 16A und/oder 16B offenbart sind. In einem weiteren Beispiel kann das elektronische Gerät 2400 optoelektronische Bauelemente verwenden, welche die bilderzeugenden Architekturen von 9A oder 9B oder eine von 11A bis 11D umsetzen. Durch das Reduzieren der Verarbeitungsanforderungen kann die elektronische Vorrichtung 2400 mit einem weniger aufwändigen Prozessor oder mit weniger Speicher ausgeführt sein. Für den Fachmann wird einsichtig sein, dass Speicherplatzeinsparungen sich ebenso auf weitere Speichereinrichtungen oder -karten 2416 auswirken können, was zu weiteren Einsparungen führt.
Wie für den Fachmann einsichtig sein wird, kann das elektronische Gerät 2400 ferner weitere Elektronik 2420 enthalten, um eine weitere gewünschte Funktionsweise und Funktionalität, beispielsweise eine Mobiltelephon-Funktionalität, zu integrieren.
Es ist folglich offensichtlich, dass bestimmte Kompromisse oder "Optimierungen" innerhalb der oben beschriebenen wellenfrontkodierten optischen Abbildungssysteme vorgenommen werden müssen, um beispielsweise Ziele im Hinblick auf Bildeigenschaften und/oder Kosten zu erreichen. Als ein Beispiel zur Veranschaulichung von Komponenten in einem wellenfrontkodierten Abbildungssystem sei 25 betrachtet. Die Komponente Optik 2501 ist beispielsweise die Optik 201 von 2. Die Phasenmaske 2410 ist beispielsweise das wellenfrontkodierte, asphärische optische Element 210, 2. Die Detektorkomponente 2520 ist beispielsweise der Detektor 220, 2, während das Kernfilter 2530 beispielsweise der Filterkern 230, 2 ist. Die Bildverarbeitungsschaltung 2540 ist beispielsweise die Schaltung 240, 2.
25 veranschaulicht eine drei Komponenten umfassende Optimierung 2570 bei Verwendung eines Reduced-Set-Filterkerns 2530 (z. B. 8); die Optimierung 2570 verknüpft folglich (im Design) die wellenfrontkodierte Optik 2510, den Filterkern 2530 und die Bildverarbeitungsschaltung 2540. Ein üblicher Detektor 2520 und eine Optik 2501 werden, falls gewünscht, nicht unbedingt mit der Optimierung 2570 optimiert. In einem weiteren Beispiel verwendet eine vier Komponenten umfassende Optimierung 2572 einen Detektor 2520 mit einem besonderen Ausleseformat (z. B. wie in 9A, 9B). Folglich werden bei der Optimierung 2572 die wellenfrontkodierte Optik 2510, der Filterkern 2530 und die Bildverarbeitungsschaltung 2540 ebenfalls (im Design) verknüpft. In einem Beispiel für ein Optimieren von Farbbildern (z. B. wie in 10) kann eine zwei Komponenten umfassende Optimierung 2574 einen farbspezifischen Detektor 2520 einschließen, der (im Design) mit der Bildverarbeitungsschaltung 2540 verknüpft wird. Wie für den Fachmann einsichtig sein wird, kann die Optik 2501 mit irgendeiner der Optimierungen 2570, 2572, 2574 optimiert werden, um Abbildungseigenschaften zu erzielen, die beispielsweise weitere Optimierungen unterstützen.
In bestimmten Ausführungsformen, die hier angeführt sind, wird die Form der Optiken und der optischen Elemente, die in den oben beschriebenen Abbildungssystemen verwendet werden, ebenfalls optimiert. Eine solche Form soll beispielsweise für eine geringe Variabilität von fehlfokussierungsartigen Aberrationen, hohe MTFs und niedrige Rauschverstärkungswerte sorgen. Wie nachstehend ausführlicher beschrieben ist, können diese Optiken und optischen Elemente Abbildungssysteme wie etwa Mikroskope, Endoskope, Teleskope, Maschinen-Bilderkennungssysteme, Kleinbildkameras und Mobiltelephon-Kameras, Videokameras, digitale Kameras, Strichkode-Scanner, biometrische Systeme usw. bilden oder dazu gehören. Zwei einfach zu beschreibende Beispiele für optische Formen einer wellenfrontkodierten Optik, die für die Systemoptimierung, wie hier angegeben, geeignet sind, können gewichtete Summen zerlegbarer Potenzen p(x,y) = Sum ai [sign(x)|x|^bi + sign(y)|y|^bi] und die Cosinusformen p(r,theta) = Sum ai r^bi·cos(ci·theta + phil) enthalten. Wie nachstehend ausführlicher beschrieben ist, können die Optiken außerdem spezielle Hüllflächen aufweisen (hier mitunter als "Konstantprofilwegoptik" bezeichnet), die für eine Phasenänderung innerhalb des wellenfrontkodierten optischen Elements (z. B. Element 210, 2) sorgen. Wiederum können das wellenfrontkodierte optische Element und die Optik (z. B. Element 210 bzw. Optik 201) (z. B. unter Verwendung von Linsen und/oder Spiegeln) zu einem einzigen optischen Element oder System kombiniert werden. In einem Beispiel erzeugt die Optik in dem optischen Abbildungssystem eine MTF mit einem Frequenzbereich, der zu dem Kernfilter komplementär ist; beispielsweise bedeutet eine hohe Leistung in der MTF eine niedrige Leistung im Filterkern. Die MTF und der Filterkern können einen Grad der Ortskorrelation (z. B. zwischen dem Filterkern und dem wellenfrontkodierten, asphärischen optischen Element) wie hier beschrieben liefern.
Wie oben erwähnt weisen diese wellenfrontkodierten Abbildungssysteme eine asphärische Optik und Bildverarbeitung auf, die von den herkömmlichen verschieden sind. Ein mögliches Ziel für solche Systeme ist die Erzeugung eines endgültigen Bildes, das im Wesentlichen unempfindlich bezüglich fehlfokusartiger Aberrationen ist. Diese Unempfindlichkeit begünstigt (a) eine große Schärfentiefe oder Abbildungstiefe, (b) Toleranz gegenüber Herstellungs- und/oder Montagefehlern, die beispielsweise fehlfokusartige Aberrationen erzeugen, und/oder (c) optisch erzeugten fehlfokusartigen Aberrationen (z. B. sphärische Aberrationen, Astigmatismus, Petzval-Krümmung, chromatische Aberration, temperaturbedingte Fehlfokussierung). Die interne Optik solcher Abbildungssysteme lässt Bilder mit einer speziellen Unschärfe entstehen, die ebenfalls unempfindlich für diese fehlfokusartigen Aberrationen ist. Außerdem können die Komaeffekte in solchen wellenfrontkodierten optischen Abbildungssystemen ebenfalls reduziert werden. Nach der Aufnahme durch einen Detektor (z. B. einen digitalen Detektor 220, der das Zwischenbild aufnimmt, um einen digitalen Datenstrom 225, 2, zu erzeugen) kann die Bildverarbeitung wirksam werden, um die Unschärfe zu beseitigen, die mit dem Zwischenbild verbunden ist, um ein endgültiges Bild zu erzeugen, das scharf und klar ist und einen großen Signal/Rausch-Abstand (SRA) aufweist.
Das Designverfahren, um solche wellenfrontkodierten Abbildungssysteme zu ermöglichen, kann derart sein, dass das optische System unempfindlich bezüglich fehlfokusartigen Aberrationen ist, die Größe und Form der Punktstreuungsfunktion (PSF) kompakt und konstant als eine. Funktion der Wellenlänge, des Bildfeldwinkels, der Objektposition usw. ist und die resultierende MTF hohe Werte aufweist. Die folgende Konstantprofilwegoptik liefert effiziente Designs zur Verwendung in solchen Systemen.
Bestimmte Konstantprofilwegoptiken basieren auf parametereffizienten Darstellungen (z. B. geringe Anzahl von Parametern) der optischen Gestaltung; eine solche Gestaltung kann beispielsweise hochleistungsfähige optische Abbildungssysteme mit ausgewählten Abbildungs- und/oder Kosteneigenschaften unterstützen. Im Allgemeinen sind diese parametereffizienten Gestaltungen nicht gefordert. Das heißt, die Flächenhöhe jedes Teils der asphärischen Oberfläche kann als eine unabhängige Variable bestimmt werden, die beim Design und beim der Optimierung verwendet wird; jedoch ist die Anzahl der Variablen, um diesen allgemeinen Fall zu optimieren, extrem groß und unpraktisch. Eine Konstantprofilwegoptik erleichtert folglich eine leistungsfähige und allgemeine optische Gestaltung zur Verwendung beim Design und bei der Optimierung.
In einer Ausführungsform enthält die Konstantprofilwegoptik asphärische optische Elemente, bei denen die Flächenhöhe längs von Wegen definiert ist und bei denen die Funktionsform oder das Profil der Oberfläche längs der normierten Version der Wege gleich ist. Die tatsächliche Oberflächenhöhe variiert von Weg zu Weg, aber die Funkti onsform oder das Profil längs jedes Weges variiert nicht. Solche Oberflächenprofile an einem optischen Element bewirken eine Phasenmodifikation einer Wellenfront in dem optischen System. Durch diese Phasenänderungen hervorgerufene Bildeffekte werden dann bei der Bildverarbeitung, z. B. durch das Wirken des Filterkerns, umgekehrt bzw. aufgehoben. Wenn beispielsweise bestimmte Konstantprofilwegoptiken eine modifizierte Wellenfrontphase in dem optischen Abbildungssystem aufweisen, korreliert die resultierende MTF im Zwischenbild (durch einen Detektor aufgenommen) mit den Funktions- und Ortseigenschaften des bei der Bildverarbeitung verwendeten Filterkerns. Die Konstantprofilwegoptik und der Filterkern können folglich komplementär zueinander sein, um die gewünschten Abbildungseigenschaften zu liefern.
In 26 sind vier Beispiele 2600A bis 2600D für Konstantprofilwegoptiken gezeigt. Es seien beispielsweise die Wege im Profil 2600A betrachtet. Diese Wege sind längs der quadratischen Konturen der Optik; bei dieser Optikgestaltung ist die normierte Flächenhöhe über normierten Versionen der quadratischen Konturen gleich. Die Wege des Profils 2600B sind fünfeckförmig; die Funktionsform der Flächenhöhe längs einer normierten Version jedes Fünfecks ist gleich. Die Wege der Profile 2600C und 2600D sind kreuz- bzw. sternförmig. Ähnlich wie die Profile 2600A, 2600B haben solche Funktionsformen bekannte normierte Oberflächenhöhen längs bekannter Wege.
27 zeigt weitere Varianten 2700A, 2700B von Konstantprofilwegoptiken. Das Profil 2700B stellt eine wellenfrontkodierte Optik dar, bei der die Wege/Spuren geschlossene Konturen aufweisen können; wie durch die Region Nr. 1 dargestellt ist. Die Wege im Profil 2700A zeichnen dagegen offene Konturen nach. Bei beiden Profilen enthält die Region Nr. 1 eine Menge zusammenhängender Wege. Die Funktionsform der Flächenhöhe längs einer normierten Version jedes Weges in der Region Nr. 1 ist gleich. Das Gleiche gilt für die Regionen 2, 3, 4 und 5. Die tatsächliche Flächenhöhe längs jedes Weges innerhalb jeder Region kann unterschiedlich sein. Die Funktionsformen über verschiedenen Regionen können zusammenhängend sein oder nicht. Die Optik des Profils 2700B zeigt eine Kombination aus offenen Wegen und geschlossenen Wegen; die Wege der Region Nr. 1 zeichnen geschlossene Konturen nach, während die Wege der anderen vier Regionen offene Konturen nachzeichnen. Folglich kann die Funktionsform der Flächenhöhe längs jedes Weges für jede Region gleich sein, doch die tatsächliche Flächenhöhe kann sich innerhalb der Region ändern.
Wie für den Fachmann einsichtig sein wird, kann eine der verschiedenen Varianten der Wegprofile, die in 26 und 27 gezeigt sind, ungeradlinige Wege umfassen. Das heißt, geradlinige Wege, wie in den Profilen von 26 und 27 gezeigt, können andere Formen annehmen, wobei die Wege aus Kurvensegmenten zusammengesetzt sind. Beispielsweise kann die fünfeckförmige Gestaltung des Profils 2700A, die sich in geradlinige Regionen aufteilt, stattdessen kreisförmig mit separaten Regionen sein, die Bögen als Wege definieren.
Der Wegtyp, der in Konstantprofilwegoptiken nachgezeichnet wird, kann sich also über verschiedene Regionen hinweg ändern, wie in 28. Die Wege in der Außenregion des Profils 2800A zeichnen geschlossene quadratische Konturen nach, während die Wege seiner Innenregion geschlossene kreisförmige Konturen nachzeichnen. Die Innenregionen und die Außenregionen können umgekehrt werden, wie durch das Profil 2800B gezeigt ist. Es brauchen nur einige der Wege in der Außenregion geschlossen zu sein, wie bei 2800B gezeigt ist.
29 zeigt zwei Profile 2900A, 2900B, wobei wenigstens ein Bereich der Optik nicht mit einer Konstantprofilwegoptik verändert ist. Bei den Profilen 2900A, 2900B bilden die Wege nur in der Außenregion der Optik Konturen; die Innenregion weist keine Wege auf und hat folglich keine spezielle Oberflächengestalt. Die Optik der Profile 2900A, 2900B kann als die zu den Profilen 2600A, 2600B zugehörige Optik aufgefasst werden, jedoch mit einer Amplitude von null, die bei den Wegen in der Innenregion Anwendung findet.
Die Parameter, welche die speziellen Oberflächen in 26 bis 29 beschreiben, können als eine Zusammensetzung aus zwei Komponenten angesehen werden: 1) den Parametern, die das Höhenprofil der optischen Oberfläche längs der Wege der jeweiligen Optik beschreiben, und 2) den Parametern, die die Flächenhöhe quer zu den Wegen beschreiben. Die zweite Menge Komponenten kann zum Beispiel eine Amplitudenänderung für jeden Weg in einer gegebenen Region beschreiben. Wenn die Amplitude der Menge der Wege in einer Region auf null gesetzt ist, dann kann sich eine Optik wie in 29 ergeben.
In einer Ausführungsform lässt sich die mathematische Beschreibung einer Region einer Konstantprofilwegoptik wie folgt darstellen: S (R, theta, a, b) = C(a)D(b),wobei die optische Oberfläche längs jedes Weges in der Region durch C(a) parametrisiert und bei D(b) für den bestimmten Weg in der Region berechnet ist. Die Parameter 'a' und 'b' definieren die Eigenschaften der besonderen Oberfläche. Die Beiträge von C(a) sind über alle Wege in einer Region konstant. Die Beiträge von D(b) ändern sich für jeden Weg in einer Region. Die Parameter C(a) können die Oberfläche längs jedes Weges und die Gesamtoberfläche, die zwischen oder quer zu den Wegen in einer Region von D(b) moduliert ist, definieren. Die optische Oberfläche einer Konstantprofilwegoptik kann für die besondere Optik auch in Terme längs der Wege und quer zu den Wegen zerlegbar sein.
Es sei die optische Oberfläche von 2600A betrachtet, bei der die Wege offene Seiten quadratischer Konturen definieren. Dies führt zu vier Regionen, der linken Seite, der rechten Seite, der Oberseite und der Unterseite. Ein Beispiel für eine mathematische Beschreibung des Oberflächenprofils längs des Weges der vier Regionen ist: C(a) = a0 + a1x + a2x2 + .... |x| < 1Folglich bildet ein Satz Parameter a_i eine polynomiale Beschreibung der Flächenhöhe längs jedes normierten Weges der vier Regionen der Optik. In diesem Fall ist die Länge jedes Weges in den Regionen auf Eins normiert, sodass ein "Dehnen" des grundlegenden Oberflächenprofils C(a) auf jeden Weg angewendet wird. Die Weglänge muss nicht als eine normierte Länge angesehen werden, obwohl dies zweckmäßig sein kann.
Jeder Weg kann durch einen Zugewinn- oder Konstantenterm modifiziert werden, ohne die Funktionsform der Oberfläche längs jedes Weges zu verändern. Ein Beispiel für den Zugewinn, der quer zu den Wegen in einer Region angewendet wird, kann mathematisch als D(b) = b0 + bl (WegNummer) + b2 (WegNummer)2 + + b3 (WegNummer)3 + ... WegNummer = 0, 1, 2, 3.beschrieben werden, wobei der Parameter WegNummer eine Folge von Werten ist, die die Menge der Wege in einer Region beschreibt. Die Anzahl der Wege in einer Region kann groß sein. Beispielsweise kann dem Weg der Region Nr. 1 (Profil 2700A), der dem optischen Zentrum am nächsten gelegen ist, WegNummer = 0 zugewiesen werden, dem benachbarten Weg, der etwas entfernt vom optischen Zentrum ist, kann WegNummer = 1 zugewiesen werden, dem nächsten benachbarten Weg kann WegNummer = 2 zugewiesen werden usw. Die Gesamtoberfläche setzt sich dann mathematisch aus dem Produkt der Oberflächenbeschreibung "längs der Wege" und der Oberflächenbeschreibung "quer zu den Wegen" zusammen. Mathematisch kann die Oberflächenbeschreibung in einer Region durch S(R,theta,a,b) = C(a)D(b)gegeben sein, wobei die optische Oberfläche nun durch die Parametervektoren a und b parametrisiert ist.
Wenn die Funktionsform der Oberfläche längs der Wege ein Polynom zweiten oder niedrigeren Grades ist, dann ist die zweite Ableitung längs der normierten Wege eine Konstante. In diesem speziellen Fall kann die Konstantprofilwegoptik beispielsweise als "Optik mit konstantem Wirkungsweg" bezeichnet werden. Optiken mit konstantem Wirkungsweg sind besonders effektive Formen der wellenfrontkodierten Optik. Mittels der optischen Parameter kann das Polynom zweiten Grades C(a) wie folgt beschrieben werden: C(a) = Dicke + Neigung + optische Wirkung,wobei der Term nullten Grades a₀ den Betrag der Dicke beschreibt, der Term ersten Grades a₁x den Betrag der Neigung beschreibt und der Term zweiten Grades a₂x² den Betrag der optischen Wirkung beschreibt. Wenn Terme höheren Grades verwendet werden, dann kann sich der Betrag der optischen Wirkung oder die zweite Ableitung längs der Kontur ändern. Außerdem können Terme höheren Grades die optische Wirkung genauer modellieren, da ein Polynom zweiten Grades eine Approximation an eine Kugel ist.
Bei bestimmten optischen Abbildungssystemen können Terme höheren Grades wichtig sein. Wenn der Neigungsparameter ungleich null ist, dann können optische Oberflächen mit Diskontinuitäten beschrieben werden. Angesichts des hohen Genauigkeitsgrades, mit dem Freiform-Oberflächen heutzutage hergestellt werden können, brauchen Oberflächen mit Diskontinuitäten nicht vermieden zu werden. Bei bestimmten optischen Systemen ist der Term D quer zu den Wegen so gewählt, dass der zentrale Bereich der optischen Oberfläche eben (oder nahezu eben) ist. Oft kann die Steigung von D nahe dem Rand der Oberfläche recht groß werden. Außerdem kann die zentrale Region optisch abbildende Strahlen verarbeiten, die nicht verändert zu werden brauchen, um Aberrationen durch Fehlfokussierung zu beherrschen, da typisch Strahlen außerhalb der zentralen Region Fehlfokussierungseffekte in Abbildungssystemen verursachen.
Da Zentralstrahlen weniger zu Fehlfokussierungseffekten beitragen als Randstrahlen, kann die Form der Konturen für die zentrale Region und die Außenregionen wechseln, um diese Strahlen unterschiedlich zu beeinflussen. Dies ermöglicht ein Formen der PSFs im Fokus und außerhalb des Fokus, hohe MTFs und eine spezifische Anpassung des Leistungsspektrums für die digitale Filterung. Das Leistungsspektrum des Digitalfilters modifiziert das Leistungsspektrum des additiven Rauschens nach der Filterung. Rauschminderungstechniken nach der Filterung werden folglich zunehmend effektiver, dadurch dass die Optik und die digitale Verarbeitung zur Rauschminderung und Bilderzeugung, wie oben beschrieben, gemeinsam entwickelt werden.
Beispiele für Konstantprofilwegoptiken
Bestimmte Beispiele für Konstantprofilwegoptiken, die nachstehend beschrieben sind, folgen der Form S(R,theta,a,b) = C(a)D(b), wobei die bestimmten Wege, die verwendet werden, jene des Profils 2600A sind, wobei jede Seite der quadratischen Kontur eine von vier Regionen definiert. 30 zeigt ein Oberflächenprofil 3000, seine MTF 3002 im Fokus und die Oberflächenform C(a) 3004 längs des Weges sowie die Amplitude D(b) 3006 quer zum Weg. Für die Amplitude 3006 quer zum Weg ist ein Polynom dritten Grades verwendet worden und für die Oberflächenform 3004 längs des Weges ist ein Polynom zweiten Grades verwendet worden. Diese Typen von Optik haben einen näherungsweise konstanten Betrag der optischen Wirkung längs der normierten quadratischen Wegkonturen. Das Oberflächenprofil 3000 und die MTF 3002 im Fokus sind mittels Konturen konstanter Fläche und MTF-Höhe gezeichnet worden. Es ist zu beachten, dass die Konturen konstanter Höhe sich entlang dem Durchmesser der Oberfläche von ungefähr kreisförmig zu rechtwinklig ändern. Die resultierende MTF im Fokus hat nicht-kreisförmige Konturen, die ungefähr einer "+"-Form folgen. Die Funktionsform in Wellen längs der Wege und die Amplitude quer zum Weg sind in den unteren Diagrammen 3004, 3006 gezeigt. Ungefähr eine Welle der optischen Leistung wird längs der Seiten der Wege (wie durch das Minimum von 2,8 und ein Max von 3,8 Wellen gezeigt) bei einer Amplitudenschwankung zwischen –0,1 und –0,4 über den Wegen verwendet.
Ein weiteres Beispiel für Konstantprofilwegoptiken ist in 31 gezeigt. Es wird die Polynomform S(R,theta,a,b) = C(a)D(b) verwendet, wobei C(a) ein die konstante optische Wirkung repräsentierendes Polynom zweiten Grades ist und D(b) ein Polynom dritten Grades ist. Es ist zu beachten, dass das Oberflächenprofil 3100 und die MTF 3102 von jenen in 30 sehr verschieden sind. Die MTF 3102 für dieses Beispiel ist kompakter als die MTF 3002 von 30, wobei außerdem die Asymmetrie weniger ausgeprägt ist. Es werden ungefähr sechs Wellen der optischen Leistung längs der Seiten der Wegkonturen wie in 3104 gezeigt gebraucht, wobei eine zunehmende Amplitude quer zu den Wegen mit einem Maximalwert von ungefähr 4 wirksam wird.
32 zeigt ein weiteres Beispiel, das der Form von 30, 31 mit einem Polynom zweiten Grades für die konstante optische Wirkung, das die Funktionsform längs der Wege beschreibt, und einem Polynom dritten Grades, das die Amplitude quer zum Weg beschreibt, folgt, ausgenommen die Form der Amplitudenfunktion, die geändert ist, um eine ebene Zentralregion zu ermöglichen. Das Oberflächenprofil 3200 ist vierseitig und mit einem ebenen Zentrum beschaffen, während seine resultierende MTF 3202 ungefähr eine vierseitige Pyramide ist. Solch eine MTF-Form 3200 eignet sich für ein ungleichmäßiges Abtasten, wie es bei dem Grün-Kanal der Dreifarben-Bayer-Farbfilter-Flächendetektoren (siehe 16 bis 23) angetroffen wird. Weniger als eine Welle der optischen Leistung wird längs der Wege 3204 verwendet, wobei quer zu den Wegen 3206 eine Amplitudenschwankung von 0 bis –9 wirksam wird.
33 zeigt ein Beispiel für Konstantprofilwegoptiken mit fünfeckförmigen Wegen wie im Profil 2700A, 27. Bei diesem Beispiel ist die Funktionsform der Oberfläche für jedes geradlinige Segment innerhalb der fünf Fünfeckwegregionen die gleiche. Ein Polynom zweiten Grades beschreibt die Oberfläche längs der Wege (3304), während ein Polynom dritten Grades die Amplitude quer zu den Wegen (3306) beschreibt. Die optische Oberfläche (Profil 3300) hat zehn ungleich geformte Keulen und eine nahezu ebene Zentralregion. Die entsprechende MTF 3302 hat fast Kreisform um das Zentrum der 2D-MTF-Ebene. Ungefähr 1,5 Wellen der optischen Leistung werden längs der Wege 3304 verwendet, wobei quer zu den Wegen 3306 eine Amplitude von null bis 18 wirksam wird.
34 zeigt die abgetasteten PSFs von dem Beispiel von 32 ohne Wellenfrontkodierung und für eine Auswahl von Defokuswerten. Die kleinen Quadrate in jeder Netzzeichnung jeder PSF repräsentieren einzelne Pixelabtastungen (Ausgabe vom Detektor). Die physikalischen Parameter, die verwendet wurden, um diese PSFs zu erzeugen, sind: 10 Mikrometer Beleuchtungswellenlänge; Grauwertpixel mit 25,4 Mikrometer-Zentren und 100% Füllfaktor; effektive Blendenzahl der Optik von 1,24; Fehlfokus-Aberrationskoeffizient W₂₀ schwankt zwischen 0 und 2 Wellen. Folglich ist offensichtlich, dass ohne Wellenfrontkodierung die abgetasteten PSFs durch Fehlfokussierungseffekte eine unvermeidliche, große Änderung im Ausmaß zeigen.
35 zeigt auf die gleiche Weise die abgetasteten PSFs von dem Beispiel von 32, jedoch mit Wellenfrontkodierung. Es ist zu beachten, dass die abgetasteten PSFs (für die Auswahl der Defokuswerte) eine scharfe Spitze und einen breiten Sockel, der mit der Entfernung von der scharfen Spitze niedriger wird, aufweisen. Die PSFs sind einander ähnlich und im Wesentlichen unabhängig von einer Fehlfokussierung. Die kleinen Quadrate in der Netzzeichnung repräsentieren wiederum einzelne Pixel.
36 und 37 zeigen und vergleichen Querschnitte durch abgetastete PSFs von 34 und 35. Die PSFs von 36 und 37 sind mit fünf Fehlfokuswerten gezeigt, die in regelmäßigen Abständen zwischen 0 und 2 Wellen angeordnet sind. Die abgetasteten PSFs in 36 sind auf konstantes Volumen normiert, während die PSFs in 37 für einen konstanten Spitzenwert normiert sind. 36 und 37 veranschaulichen folglich Änderungen bei den abgetasteten PSFs des Systems ohne Wellenfrontkodierung und das Fehlen einer Änderung bei den abgetasteten PSFs mit Wellenfrontkodierung.
38 zeigt ein Beispiel für ein 2D-Digitalfilter (gezeichnet als ein Bild und basierend auf einer Null-Fehlfokus-PSF), das verwendet werden kann, um die Unschärfe durch die Wellenfrontkodierung von den abgetasteten PSFs von 35 zu entfernen. Dieses Digitalfilter wird beispielsweise im Rahmen der Bildverarbeitung (z. B. innerhalb der Schaltung 240, 2) als ein Filterkern verwendet. Es ist zu beachten, dass dieser Kern nur nahe dem Zentrum des Filters hohe Werte aufweist und die Werte mit der Entfernung vom Zentrum abnehmen. Das Filter und die abgetasteten PSFs von 35 sind räumlich kompakt.
Nach der Anwendung des 2D-Filters von 38 auf die abgetasteten PSFs von 35 ergeben sich die PSFs von 39. Es ist zu beachten, dass diese PSFs (die PSFs mit Wellenfrontkodierung und nach einer Filterung innerhalb einer Bildverarbeitungsschaltung darstellen) eine nahezu ideale Form haben und über dem Fehlfokusbereich im Wesentlichen gleichbleibend sind.
40 veranschaulicht einen Betrag der Leistung, die bei einem als "Rang" bzw. "Rank" bekannten geometrischen Konzept für die im Fokus abgetastete PSF und das Digitalfilter von 35 bzw. 38 enthalten ist. Eine orthogonal zerlegbare Optik, wie etwa eine kubische, durch P(x)P(y) = exp(j[X^3 + Y^3]) beschrieben, erzeugt eine PSF, die in als p(x)p(y) gut approximiert ist, wobei die unabhängigen Variablen x und y die horizontale Achse und die vertikale Achse sind, die bei einem Raster definiert sind. Diese Zerlegbarkeit ermöglicht eine orthogonal zerlegbare Filterung, die rechnerisch effizient ist. Ein Nachteil von orthogonal zerlegbaren Optiken ist, dass die PSF bei einem Fehlfokus die Lage ändern kann. Ein nützliches Merkmal bestimmter Konstantprofilwegoptiken ist, dass sie keine Lageänderung der PSF hervorrufen. Konstantprofilwegoptiken können ebenfalls PSFs, MTFs und entsprechende Digitalfilter erzeugen, die in etwa einem niedrigen Rang entsprechen, um eine effiziente Verarbeitung weiter zu erleichtern. Die obere graphische Darstellung von 39 zeigt, dass es nur zwei geometrische Ränge gibt, die einen nennenswerten Wert für diese besondere abgetastete PSF liefern; dieses System wird folglich durch ein System mit einem Rang von 2 approximiert. Das entsprechende Digitalfilter für dieses Beispiel (die untere graphische Darstellung von 39) ist ebenfalls von niedrigem Rang und kann wenigstens so niedrig wie die abgetastete PSF ausgebildet sein. In der Praxis kann die Filterung dieser Beispiel-PSF mit einer rechnerisch effizienten, zerlegbaren Filterung durchgeführt werden.
41 zeigt die entsprechenden MTFs vor und nach einer Filterung sowie im Ortsfrequenzbereich. Zu Vergleichszwecken sind außerdem die MTFs des identischen physikalischen Systems ohne Wellenfrontkodierung gezeigt. Beide Systeme sind mit Fehlfokuswerten von 0 bis 2 Wellen bei fünf Schritten gezeigt. Es ist zu sehen, dass sich die MTFs des Systems ohne Wellenfrontkodierung bei einem Fehlfokus drastisch ändern. Die MTFs des Systems mit Konstantprofilwegoptik vor einer Filterung weisen im Wesentlichen keine Änderung bei einem Fehlfokus auf. Die gefilterten MTFs resultieren aus einer Filterung mittels des 2D-Digitalfilters von 38; solche MTFs haben hohe Werte und bauen nur für den größten Fehlfokuswert ab. Wie für den Fachmann einsichtig sein wird, können andere Formen der Konstantprofilwegoptik das MTF-Profil über größere Fehlfokusbeträge steuern, wobei sie ein höheres Verarbeitungsvermögen und/oder niedrigere MTFs vor der Filterung anwenden.
Die mathematische Form der Konturoptiken von 32 kann wie folgt sein. Die polynomiale Beschreibung der Funktionsform längs der Wege in vier Regionen: C(x) = 0,4661 – 0,7013 x^2, |x| < 1
Die polynomiale Beschreibung der Amplitude quer zum Weg ist: D(y) = –1,8182 + 0,5170y + 2,520y^2 – 10,1659y^3, 0,25 < y < 1 = –1,8182, 0 < y < 0,25.
In diesem Beispiel ist die Form der Konturen längs der Wegkonturen durch ein gerades Polynom zweiten Grades gegeben und die Amplitude quer zum Weg ist durch ein Polynom dritten Grades gegeben, das die Form so ändert, dass der Zentralbereich verhältnismäßig eben ist. Eine Verwendung von Polynomen höheren Grades für längs des Weges und für die Amplitude quer zum Weg begünstigt eine höhere Leistungsfähigkeit als in diesen Beispielen gezeigt.
Eine Konstantprofilwegoptik kann mit speziellen Techniken entwickelt werden, die eine Optimierung bei nicht-idealen Optiken ermöglichen, die große Mengen Aberrationen, Vignettierungen und weite Toleranzen haben können. Diese Techniken ermöglichen ein Designen des optischen Systems, das mittels herkömmlicher analytischer Verfahren nicht durchführbar ist. 42 stellt ein Designverfahren 4200 dar, das bestimmte dieser Techniken veranschaulicht.
Bei dem Verfahren 4200 werden Optiken (im Design) abgewandelt, wobei die Schleife wiederholt werden kann, wie gezeigt ist. Beispielsweise umfasst das Verfahren 4200 den Schritt 4202 zum Designen bzw. Gestalten von Konstantprofilwegoptiken. Mit einem Modell für die optischen Oberflächen (Schritt 4202) können die Effekte der Linsenverzeichnung hinzugefügt werden (Schritt 4204), wie auch Informationen über den digitalen Detektor (Schritt 4206), um die abgetastete PSF und die MTF genau zu simulieren. Diese Linsenverzeichnungen sind im Allgemeinen eine Funktion des Bildfeldwinkels, der Wellenlänge, der Objektposition und der Zoomstellung; die Aberrationen können auch eine Funktion der besonderen Oberflächenform der Konstantprofilwegoptik sein (Schritt 4202). Eine Aberration, die im Designverfahrensschritt 4204 berücksichtigt wird, ist die Vignettierung. Während die Vignettierung beim Design von herkömmlichen Optiken oft verwendet wird, um einen Kompromiss zwischen Lichterfassung und Schärfe zu finden, kann eine Vignettierung in wellenfrontkodierten Optiken zu einer mangelhaften Übereinstimmung von Optikdesign und tatsächlichem optischen System führen. Die optischen Oberflächen und Aberrationen, die zu den abgetasteten PSFs führen, können entweder durch auf Strahlen basie rende Verfahren oder Fourier-Transformationsverfahren, je nach der Geschwindigkeit der Linse, die entwickelt wird und der Ortsauflösung des digitalen Detektors, simuliert werden. Diese beiden allgemeinen Typen der PSF-Simulationsverfahren sind dem Fachmann für optische Simulationen wohlbekannt.
Nachdem die abgetasteten PSFs und MTFs simuliert worden sind (Schritte 4204, 4206), wird ein Digitalfilter verwendet (Schritt 4208), um die Unschärfe durch die Wellenfrontkodierung zu entfernen. Dieses Digitalfilter kann allgemein und für jede Iteration im Designverfahren 4200 berechnet sein oder kann fest oder in der Form beschränkt sein. Ein Beispiel für ein Digitalfilter beschränkter Form ist ein orthogonal zerlegbares Filter. Wenn das Digitalfilter auf diese Weise beschränkt ist, kann das Design der Konstantprofilwegoptik für PSFs und MTFs mit einem minimalen Rang optimiert werden, da der Rang des zerlegbaren Filters 1 ist. Weitere beschränkte Digitalfilter sind Filter, bei denen bestimmten Filterwerten und Folgen von Filterwerten Kosten zugeordnet sind, um die Implementierung (z. B. Hardware) der Bildverarbeitungsschaltung zu optimieren. Diese Kosten können als Teil des Designverfahrens 4200 reduziert oder erhöht werden. Weitere Beispiele für beschränkte digitale Filter sind jene, die bestimmte Eigenschaften des Leistungsspektrums aufweisen. Da das additive Rauschen durch das Leistungsspektrum des Digitalfilters modifiziert wird, beeinflusst eine Beeinflussung der Eigenschaften des Filters die Eigenschaften des additiven Rauschens nach der digitalen Filterung. Rauschminderungstechniken können zusammen mit den Eigenschaften des durch das Digitalfilter begrenzten Rauschens optimiert werden.
Nachdem die abgetasteten PSFs/MTFs gefiltert worden sind (Schritt 4208), wird eine Gütebewertung vorgenommen (Schritt 4210). Die Bewertung 4210 ist typisch system- und anwendungsspezifisch, kann aber (a) die Güte der gefilterten PSFs/MTFs sowohl innerhalb als auch außerhalb des Designbereichs und/oder (b) die Eigenschaften des Digitalfilters (und/oder seine Ausführung und/oder Rauschwirkungen) einschließen. Die Gütebewertung wird dann bei einer nichtlinearen Optimierung benutzt, um die Optik zu modifizieren und die Iteration durch das Verfahren 4200 zu wiederholen. Die modifizierte Optik kann sowohl besondere Oberflächen aufweisen, welche die Wellenfrontkodierung enthalten, als auch andere Oberflächen und/oder Dicken und Abstände von Elementen in dem optischen System. Die Parameter der Funktionsform längs der Wege und der Amplitude können auf eine ähnliche Weise optimiert werden.
An den obigen Verfahren und Systemen können Änderungen vorgenommen werden, ohne von ihrem Anwendungsbereich abzukommen. Es sei angemerkt, dass der Inhalt der obigen Beschreibung oder der beigefügten Zeichnung als veranschaulichend und nicht in einem beschränkenden Sinne interpretiert werden sollte. Beispielsweise wird für den Fachmann einsichtig sein, dass, obwohl das wellenfrontkodierte Element oft getrennt von der Optik in einem Abbildungssystem gezeigt ist (z. B. das Element 210 getrennt von der Optik 201), diese Komponenten zu einem einzigen Bauelement oder einer Baugruppe zusammengefasst werden können, ohne vom Anwendungsbereich der Erfindung abzukommen, wie beispielsweise in 24 gezeigt ist.

Claims

Bildverarbeitungsverfahren, mit den folgenden Schritten: Wellenfrontkodierung einer Wellenfront, die ein optisches Bild bildet; Umwandlung des optischen Bildes in einen Datenstrom; und Verarbeitung des Datenstroms mit einem Filterkern mit reduzierter Menge bzw. einem Reduced-Set-Filterkern zur Umkehrung bzw. Aufhebung der Effekte einer Wellenfrontkodierung und Erzeugung eines endgültigen Bildes.
Bildverarbeitungsverfahren nach Anspruch 1, wobei der Verarbeitungsschritt den Schritt der Verwendung eines Filterkerns umfasst, der komplementär zu einem Ortsfrequenzspektrum des optischen Bildes ist.
Bildverarbeitungsverfahren nach Anspruch 2, bei dem die Schritte der Wellenfrontkodierung, der Umwandlung und der Verarbeitung derart auftreten bzw. ablaufen, dass das Ortsfrequenzspektrum örtlich korreliert zu der mathematischen Verarbeitung des Datenstroms mit dem Reduced-Set-Filterkern ist.
Verfahren nach Anspruch 1, bei dem der Schritt der Wellenfrontkodierung den Schritt der Verwendung eines asphärischen, wellenfrontkodierten optischen Elements umfasst.
Verfahren nach Anspruch 1, bei dem der Schritt der Wellenfrontkodierung ein Wellenfrontkodieren der Wellenfront mit einer Konstantprofilwegoptik umfasst.
Verfahren nach Anspruch 5, ferner mit dem Schritt der Formulierung des Reduced-Set-Filterkerns bezüglich eines Ortsfrequenzspektrums des optischen Bildes, welches sich ergibt aus einer Phasenmodifikation der Wellenfront durch die Konstantprofilwegoptik.
Verfahren nach Anspruch 1, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung des Bildes, für jedes Pixel, mit Filter-Tap-Logik, welche aus einem Schieber bzw. Shifter besteht, umfasst.
Verfahren nach Anspruch 1, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung des Bildes, für jedes Pixel, mit einer Filter-Tap-Logik, welche aus einem Schieber und einem Addierer besteht, umfasst.
Verfahren nach Anspruch 9, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung des Datenstroms mit einem Reduced-Set-Filterkern umfasst, der aus (a) Zweierpotenzkoeffizienten und/oder (b) Summen von Zweierpotenzkoeffizienten und/oder (c) Differenzen von Zweierpotenzkoeffizienten besteht.
Verfahren nach Anspruch 1, wobei der Schritt der Verarbeitung den Schritt der Verarbeitung des Datenstroms mit einem Reduced-Set-Filterkern, der aus einer Anzahl von Regionen besteht, wobei wenigstens eine der Regionen Null-Werte aufweist, umfasst.
Verfahren nach Anspruch 10, bei dem der Schritt der Wellenfrontkodierung den Schritt der Wellenfrontkodierung der Wellenfront derart, dass eine Punktstreuungsfunktion (PSF) örtlich korreliert ist mit den Regionen des Reduced-Set-Filterkern, umfasst, wobei eine wesentliche Menge an Information der PSF innerhalb des endgültigen Bildes vorliegt bzw. ist.
Verfahren nach Anspruch 1, bei dem der Schritt der Umwandlung des optischen Bildes in einen Datenstrom die Ausgabe von Daten von einem Detektor in einem nicht-geradlinigen Format umfasst.
Verfahren nach Anspruch 12, bei dem das Format ein diagonales Auslesen oder ein kreisförmiges Auslesen umfasst.
Verfahren nach Anspruch 12, bei dem der Schritt der Verarbeitung die Verarbeitung des Datenstroms mit einem Reduced-Set-Filterkern umfasst, der mit dem nicht-geradlinigen Format gematched bzw. angepasst ist.
Verfahren nach Anspruch 14, ferner mit dem Schritt des Neukartographierens bzw. Remappings von Daten in ein geradliniges Format.
Verfahren nach Anspruch 12, bei dem der Schritt der Wellenfrontkodierung die Kodierung der Wellenfront derart umfasst, dass das optische Bild an dem Detektor im Wesentlichen übereinstimmt mit dem nicht-geradlinigen Format des Detektors.
Verfahren nach Anspruch 1, bei dem der Schritt der Verarbeitung die Schritte der Verwendung eines Reduced-Set-Gradientenfilterkerns und einer Serie bzw. Folge von Single-Shift-Differentialtags umfasst.
Verfahren nach Anspruch 17, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung einer einzigen bzw. einzelnen Summation für einen beliebigen Koeffizientenwert des Filterkerns umfasst.
Verfahren nach Anspruch 17, bei dem der Schritt der Wellenfrontkodierung den Schritt der Wellenfrontkodierung der Wellenfront derart umfasst, dass eine PSF im Wesentlichen Informationen des optischen Bildes innerhalb eines örtlichen Musters aufweist, welches dem Filterkern entspricht.
Verfahren nach Anspruch 1, bei dem der Schritt der Verarbeitung die Schritte der Verwendung eines Reduced-Set-Skalierungsfilterkerns und einer Serie von Skalierungstaps umfasst.
Verfahren nach Anspruch 20, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung mit einer einzigen Summation für irgendeinen bzw. einen beliebigen Koeffizientenwert des Filterkerns umfasst.
Verfahren nach Anspruch 20, bei dem der Schritt der Wellenfrontkodierung den Schritt der Wellenfrontkodierung der Wellenfront derart umfasst, dass eine PSF im Wesentlichen Informationen innerhalb eines räumlichen bzw. örtlichen Musters, welches dem Filterkern entspricht, beinhaltet bzw. umfasst.
Verfahren nach Anspruch 1, bei dem der Schritt der Verarbeitung die Schritte der Verwendung eines Reduced-Set-Distributivfilterkerns und einer Serie bzw. Folge von Scale-Add-Taps bzw. Skaliere-Addiere-Taps mit distributiver Eigenschaft umfasst.
Verfahren nach Anspruch 23, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung einer einzigen Summation für einen beliebigen Koeffizientenwert des Filterkerns umfasst.
Verfahren nach Anspruch 23, bei dem der Schritt der Wellenfrontkodierung den Schritt der Wellenfrontkodierung der Wellenfront derart umfasst, dass eine Punktstreuungsfunktion (PSF) im wesentlichen Informationen bezüglich des optischen Bildes innerhalb eines örtlichen Musters, welches dem Filterkern entspricht, aufweist.
Verfahren nach Anspruch 1, bei dem der Schritt der Verarbeitung die Schritte der Verwendung eines Reduced-Set-Distributivfilterkerns und einer Serie von Add-Scale-Taps bzw. Addiere-Skaliere-Taps mit distributiver Eigenschaft umfasst.
Verfahren nach Anspruch 26, bei dem der Schritt der Verarbeitung den Schritt der Verarbeitung mit einer einzigen Summation für einen beliebigen Koeffizientenwert des Filterkerns umfasst.
Verfahren nach Anspruch 26, bei dem der Schritt der Wellenfrontkodierung den Schritt der Wellenfrontkodierung der Wellenfront derart umfasst, dass eine PSF im Wesentlichen Informationen des optischen Bildes innerhalb eines örtlichen Musters, welches dem Filterkern entspricht, aufweist.
Verfahren nach Anspruch 1, ferner mit dem Schritt der Auswahl einer gewünschten Frequenzantwort bzw. eines gewünschten Frequenzgangs des endgültigen Bildes durch Auswahl des Reduced-Set-Filterkerns.
Verfahren nach Anspruch 1, ferner mit dem Schritt des Modifizierens des Wellenfrontkodierungs- und/oder des Umwandlungs- und/oder des Verarbeitungsschrittes, und dann des Optimierens und Wiederholens eines anderen der Wellenfrontkodierungs-, Umwandlungs- oder Verarbeitungsschritte.
Verfahren nach Anspruch 30, bei dem der Schritt der Verarbeitung die Verwendung eines Reduced-Set-Filterkerns mit einer Gewichts- bzw. Gewichtungsmatrix umfasst.
Optisches Abbildungssystem zur Erzeugung eines optischen Bildes, mit: einem Wellenfrontkodierungselement, welches eine Wellenfront, welche das optische Bild bildet, kodiert; einem Detektor zur Umwandlung des optischen Bildes in einen Datenstrom; und einem Bildprozessor zum Verarbeiten des Datenstroms mit einem Filterkern mit reduzierter Menge bzw. einem Reduced-Set-Filterkern zur Umkehrung bzw. Aufhebung der Effekte der Wellenfrontkodierung und zur Erzeugung eines endgültigen Bildes.
Optisches Abbildungssystem nach Anspruch 32, bei dem der Filterkern örtlich komplementär zu einer Punktstreuungsfunktion (PSF) ist.
Optisches Abbildungssystem nach Anspruch 32, bei dem eine Ortsfrequenzbereichsversion des Filterkerns komplementär zu einem Ortsfrequenzspektrum des optischen Bildes ist.
Optisches Abbildungssystem nach Anspruch 32, bei dem das Wellenfrontkodierungselement, der Detektor und der Bildverarbeiter derart zusammenwirken, dass das optische Bild örtlich korreliert ist zu einer mathematischen Verarbeitung des Datenstroms mit dem Reduced-Set-Filterkern.
Optisches Abbildungssystem nach Anspruch 32, mit Mitteln zur Durchführung der Schritte wenigstens eines der Ansprüche 4 bis 30.
Optisches Abbildungssystem nach Anspruch 32, bei dem das Wellenfrontkodierungselement eine Konstantprofilwegoptik aufweist.
Optisches Abbildungssystem nach Anspruch 37, bei dem der Reduced-Set-Filterkern komplementär zu einer PSF ist, die aus einer Phasenmodifikation der Wellenfront durch die Konstantprofilwegoptik resultiert.
Optisches Abbildungssystem nach Anspruch 32, bei dem der Reduced-Set-Filterkern eine Gewichts- bzw. Gewichtungsmatrix aufweist.