-
Diese Erfindung betrifft allgemein
digitale Bilderzeugungsvorrichtungen und insbesondere Techniken
und Schaltungen zum Filtern von fehlerhaften Bildelementen. Der
Ausdruck Pixel wird nachfolgend verwendet, um Bildelemente zu bezeichnen.
-
Digitale Bilderzeugungsvorrichtungen
werden in einer Vielzahl von Anwendungen, die digitale Kameras,
die Fingerabdruckerkennung, digitale Scanner und Kopierer und dergleichen
enthalten, immer bekannter. Typische digitale Bilderzeugungsvorrichtungen
des Standes der Technik basieren auf der Technologie der ladungsgekoppelten
Vorrichtung (Charge Coupled Device, CCD). CCD-Vorrichtungen besitzen
eine Matrix aus CCD-Zellen, wobei jede Zelle ein Pixel umfaßt. Jedes
CCD-Pixel gibt ein Spannungssignal aus, das der Intensität des auf
der Zelle auftreffenden Lichts proportional ist. Dieses analoge Spannungssignal
kann zur weiteren Verarbeitung, zur digitalen Filterung, zur Speicherung
und dergleichen in ein digitales Signal umgesetzt werden. Es ist in
der Technik wolilbekannt, daß ein
zweidimensionales digitales Bild aus den Spannungssignalen aufgebaut
werden kann, die aus einer zweidimensionalen Matrix aus CCD-Zellen
ausgegeben werden, die gewöhnlich
als eine Sensormatrix bezeichnet wird.
-
CCD-Matrizen besitzen einen Nachteil
dahingehend, daß die
CCD-Herstellung einen speziellen Prozeß erfordert, der mit Standard-CMOS-Prozessen
nicht kompatibel ist. Daher kann die CCD-Matrix nicht in einfacher
Weise mit anderen logischen Schaltungen, wie etwa eine CCD-Steuerlogik,
Analog/Digital-Umsetzer und dergleichen, integriert werden. Außerdem erfordert
eine CCD-Matrix im Betrieb mehrere Hochspannungsversorgungen von
5 V bis 12 V und CCD-Matrizen neigen dazu, während des Betriebs eine große Leistung
zu verbrauchen.
-
Eine Alternative zu CCD-Matrizen
besteht in der Verwendung einer Matrix, die aus CMOS-Zellen gebildet
ist. Eine CMOS-Sensormatrix kann unter Verwendung der Standard-CMOS-Verarbeitung
hergestellt werden und kann daher auf einem einzelnen Chip mit anderen
Schaltungen, wie etwa eine Matrix-Steuerlogik, Analog/Digital-Umsetzer
(A/D), Kerne der digitalen Signalverarbeitung (DSP-Kerne) und dergleichen,
integriert werden. CMOS-Matrizen besitzen den zusätzlichen
Vorteil, daß sie
bei einer einzigen geringen Versorgungsspannung arbeiten, wie etwa
3,3 V oder 5 V, und weniger Leistung verbrauchen als eine vergleichbare
CCD-Matrix. Schließlich kann
eine CMOS-Matrix bei geringeren Kosten als eine ähnliche CCD-Matrix hergestellt
werden.
-
Ein gemeinsames Problem sowohl bei CCD-Bilderzeugungsvorrichtungen
als auch bei CMOS-Bilderzeugungsvorrichtungen ist das Problem von
Punktdefekten, die "Punktstörungen"
auf dem Bild bewirken, wie etwa weiße Punkte auf einem dunklen
Abschnitt des Bildes oder einen dunklen Punkt auf einem weißen Abschnitt
des Bildes. In CMOS-Bilderzeugungsvorrichtungen ergeben sich weiße Punkte
infolge von Pixeln (d. h. CMOS-Zellen) mit einem übermäßigen Verluststrom.
Dunkle Punkte ergeben sich entweder infolge von Partikeln, die das Pixel
bedecken, oder aus einem Defekt der Pixelelektronik, der bewirkt,
daß das
Pixel nicht eingeschaltet wird. Punktstörungen begrenzen die Ausbeute
von CMOS-Bilderzeugungsvorrichtungen
ernsthaft, was erhöhte
Kosten zur Folge hat.
-
Ein Verfahren zur elektronischen
Beseitigung von Punktstörungen
wurde von Younse u. a. im US-Patent 4.805.023 vorgeschlagen. Die
Implementierung von Younse u. a. erfordert einen teuren EPROM-Speicher
und beinhaltet ein kompliziertes Hardwaresystem, wodurch sich die
Kosten der Bilderzeugunsvorrichtung weiter erhöhen. Ferner kann die von Younse
u. a. vorgeschlagene Lösung
temperaturabhängige
Punktstörungen
nicht beseitigen, wie etwa weiße
Punkte, die lediglich bei hohen Temperaturen auftreten.
-
Die europäische Patentanmeldung Nr. 0
496 573 offenbart eine Schaltung zur Beseitigung von Bildelementdefekten,
die ein Bildelement und seine benachbarten Bildelemente in einem
M × N-Block
auswählt,
wobei der minimale Wert von M und N 2 beträgt, von den benachbarten Bildelementen
die maximalen und minimalen Werte bestimmt und aus den maximalen
und minimalen Werten, zwei willkürlichen Schwellenwerten
und dem Wert des ausgewählten Bildelements festlegt,
ob bei dem Wert des ausgewählten
Bildelements eine Änderung
erforderlich ist. Die Schaltung zur Beseitigung von Bildelementdefekten
führt mehrere
Vergleichs- und Auswahloperationen aus, um einen Wert zur Verwendung
als das ausgewählte
Bildelement zu bestimmen, und ist dementsprechend komplex.
-
Es besteht deswegen ein Bedarf an
einem verhältnismäßig kostengünstigen
Filter, das die Wirkungen von fehlerhaften Pixeln, die Punktstörungen enthalten,
aus einem Bildsignal schnell und zuverlässig ausfiltern kann.
-
Die Erfindung ist in den Ansprüchen 1 oder 24
definiert. Sie schafft ein Filter zum Filtern eines Bildes, das
mehrere Bildelemente enthält,
wovon jedes durch einen Luminanz- oder einen Chrominanzwert repräsentiert
wird, mit:
Mitteln, die ein Dreibildelement-Fenster enthalten, die
ein Bildelement und seine zwei benachbarten Bildelemente in einem
Bildelement-Datenstrom auswählen,
Mitteln,
die bestimmen, ob das ausgewählte
Bildelement seinem Wert nach zwischen den zwei benachbarten Bildelementen
liegt,
Mitteln, die bestimmen, ob sich das ausgewählte Bildelement
seinem Wert nach von den beiden benachbarten Bildelementen um mehr
als einen bestimmten Betrag unterscheidet,
Mitteln, die das
ausgewählte
Bildelement seinem Wert nach durch einen Wert ersetzen, der von
den zwei benachbarten Bildelementen abhängt, wenn das ausgewählte Bildelement
seinem Wert nach nicht zwischen den zwei benachbarten Bildelementen
liegt und sich von den beiden benachbarten Bildelementen um mehr
als den bestimmten Betrag unterscheidet, und
Mitteln, die die
Prozedur für
das neu ausgewählte
Bildelement wiederholen.
-
Eine Ausführungsform der Erfindung ist
eine digitale Bilderzeugungsvorrichtung mit einem Substrat, einer
Sensormatrix, die auf dem Substrat ausgebildet ist und ein elektrisches
Signal erzeugt, das der auf die Matrix auftreffenden Licht menge
entspricht, und einer Bilderzeugungslogik, die auf dem Substrat ausgebildet
ist, mit der Sensormatrix gekoppelt ist und das elektrische Signal
empfängt.
Die Bilderzeugungslogik enthält
einen Analog/Digital-Umsetzer, der das elektrische Signal empfängt und
digitale Pixelwerte ausgibt, und ein Fehlerpixelfilter, das die
digitalen Pixelwerte empfängt
und fehlerhafte Pixel anhand von Veränderungen zwischen einem ausgewählten Pixelwert
und seinen benachbarten Pixelwerten erfaßt.
-
Eine weitere Ausführungsform der Erfindung ist
eine digitale Abbildungsvorrichtung mit einem Linsenmechanismus,
einer Sensormatrix, die in. einer Brennebene des Linsenmechanismus
positioniert ist, und einem analogen Puffer und einem Verstärker, die mit
einem Ausgang der Sensormatrix gekoppet sind, sowie einer Abbildungslogik,
die mit dem Verstärker gekoppelt
ist. Die Abbildungslogik enthält
ein Fehlerpixelfilter mit Mitteln, die erfassen, ob ein erstes Pixel außerhalb
eines annehmbaren Bereichs liegt, der durch den Luminanzwert des
ersten benachbarten Pixels und des zweiten benachbarten Pixels definiert ist,
Mitteln, die bestimmen, ob das erste Pixel vom ersten benachbarten
Pixel um mehr als einen Schwellenwert abweicht und Mitteln, die
bestimmen, ob das erste Pixel von dem zweiten benachbarten Pixel
um mehr als einen Schwellenwert abweicht, Mitteln, die einen korrigierten
Pixelwert berechnen, und Mitteln, die den korrigierten Pixelwert
für das
erste Pixel einsetzen, falls das erste Pixel außerhalb des annehmbaren Bereichs
liegt und das erste Pixel von dem ersten benachbarten Pixel um mehr
als einen Schwellenwert abweicht und das erste Pixel von dem zweiten
benachbarten Pixel um mehr als einen Schwellenwert abweicht.
-
Die Erfindung schafft außerdem ein
Verfahren zum Filtern eines Bildes, das mehrere Bildelemente umfaßt, wovon
jedes durch einen Luminanz- oder einen Chrominanzwert repräsentiert
wird, mit den folgenden Schritten:
Auswählen eines Bildelements und
seiner zwei benachbarten Bildelemente aus einem Pixel-Datenstrom
durch ein Dreibildelement-Fenstermittel,
Bestimmen, ob das
ausgewählte
Bildelement seinem Wert nach zwischen den zwei benachbarten Bildelementen
liegt,
Bestimmen, ob sich das ausgewählte Bildelement seinem Wert
nach von beiden benachbarten Bildelementen um mehr als einen bestimmten
Betrag unterscheidet, und
wenn das ausgewählte Bildelement seinem Wert nach
nicht zwischen den zwei benachbarten Bildelementen liegt und sich
von den beiden benachbarten Bildelementen um mehr als den bestimmten
Betrag unterscheidet, und
Wiederholen der Prozedur für das neu
ausgewählte Bildelement.
-
Es wird ein Verfahren geschaffen
zum Erfassen eines fehlerhaften Pixels anhand der Luminanzwerte,
die durch das Pixel und seine beiden nächsten Nachbarn erzeugt werden.
Das Verfahren enthält
das Bestimmen eines ersten Differenzwertes zwischen dem Luminanzwert
des Pixels und dem Luminanzwert eines ersten benachbarten Pixels
und das Vergleichen des ersten Diferenzwertes mit einem im voraus
bestimmten Schwellenwert. Das Verfahren enthält außerdem das Bestimmen eines
zweiten Differenzwertes zwischen dem Luminanzwert des Pixels und
dem Luminanzwert eines zweiten benachbarten Pixels und das Vergleichen
des zweiten Differenzwertes mit dem im voraus festgelegten Schwellenwert.
Das Verfahren enthält
schließlich
das Erfassen, ob der Luminanzwert für das Pixel in einem annehmbaren
Bereich fällt,
der durch den Luminanzwert für das
erste benachbarte Pixel und den Luminanzwert für das zweite benachbarte Pixel
definiert ist, und das Bestimmen des Pixels als fehlerhaft, wenn
der Lurninanzwert für
das Pixel nicht in den annehmbaren Bereich fällt und weder der erste Differenzwert
noch der zweite Differenzwert kleiner oder gleich dem Schwellenwert
ist.
-
Die obigen Merkmale der vorliegenden
Erfindung werden deutlicher verstanden aus der Betrachtung der folgenden
Beschreibung in Verbindung mit der beigefügten Zeichnung, in der:
-
– 1 eine digitale Bilderzeugungsvorrichtung
darstellt, bei der bevorzugte Ausführungsformen der Erfindung
verwendet werden können;
-
– 2 ein Blockschaltplan einer
bevorzugten Ausführungsform
einer Einzelchip-CMOS-Bilderzeugungsvorrichtung ist;
-
die 3a bis 3j verschiedene annehmbare und
nicht annehmbare Änderungen
zwischen benachbarten Pixeln darstellen; und
-
die 4a bis 4c das Filter für fehlerhafte
Pixel der bevorzugten Ausführungsform
darstellen, das als ein bewegliches Analysefenster arbeitet;
-
– 5 eine Schaltung einer ersten
bevorzugten Ausführungsform
zum Ausfiltern von fehlerhaften Pixeln schematisch darstellt; und
-
– 6 einen Abschnitt einer
Farbsensormatrix darstellt.
-
Die Herstellung und die Verwendung
der verschiedenen Ausführungsformen
werden nachfolgend genau erläutert.
Es sollte jedoch erkannt werden, daß die vorliegende Erfindung
viele anwendungsfähige erfinderische
Konzepte schafft, die in einer großen Vielzahl spezifischer Zusammenhänge ausgeführt werden
können.
Die erläuterten
speziellen Ausführungsformen
veranschaulichen lediglich spezifische Arten der Herstellung und
Verwendung der Erfindung und schränken den Umfang der Erfindung
nicht ein.
-
1 stellt
eine digitale Bilderzeugungsvorrichtung 2 dar, die bevorzugte
Ausführungsformen der
vorliegenden Erfindung verwendet. Die digitale Bilderzeugungsvorrichtung 2 enthält einen
Linsenmechanismus 4, der Licht empfängt, das von einem darzustellenden
Objekt ausgeht oder reflektiert wird, und fokussiert das ankommende
Licht auf einen Matrixsensor 6. Der Matrixsensor 6 ist
vorzugsweise eine CMOS-Sensormatrix des Typs, der in der gleichzeitig
anhängigen
Patentanmeldung 09/223.166 mit dem Titel "Fast Frame Readout Architecture
for Array Sensors with Integrated Correlated Double Sampling System"
vollständig
beschrieben ist. Wie es einem Fachmann bekannt sein wird, enthält die Sensor matrix 6 eine
zweidimensionale Matrix aus CMOS-Sensoren, von denen jeder Sensor
einem Pixel des resultierenden Bildes entspricht. Jeder Sensor gibt
ein analoges Spannungssignal aus, wobei das Signal der Intensität des auf
dem jeweiligen Sensor auftreffenden Lichts proportional ist. Das
Spannungssignal von jedem Sensor kann in einem Rasterformat abgetastet
werden, wie in der Technik wohlbekannt ist, um ein analoges Bildsignal
zu erzeugen. Dieses analoge Bildsignal wird zur Bilderzeugungslogik 8 geleitet,
wo das analoge Signal gepuffert und verstärkt wird, bevor es in ein digitales
Signal umgesetzt wird. Das dligitale Signal kann gefiltert oder
weiterverarbeitet werden, bevor es in der Form von Pixelintensitätsdaten zu
einem Eingabe/Ausgabe-Anschluß 10 (I/O-Anschluß) geleitet
wird. Bei einer zusätzlichen
Signalverarbeitung kann das digitale Signal alternativ in der Form
einer Rastergraphik (Bitmap) oder in einem anderen wohlbekannten
digitalen Bildformat ausgegeben werden.
-
Das digitale Signal kann alternativ
zur Speicherung zu einem Speicher 12 geleitet werden. Der Speicher 12 ist
vorzugsweise ein dynamischer RAM oder ein statischer RAM. Der Speicher 12 könnte alternativ
eine magnetische oder optische Speichervorrichtung sein, wie etwa
eine magnetische Diskettenspeichervorrichtung, ein CD-ROM oder eine
andere Speichervorrichtung. In jedem Fall würden in dem Speicher 12 eine
geeignete Steuereinrichtung und eine Schnittstelle der Vorrichtung
(nicht gezeigt) enthalten sein. Die Bilde rzeugungslogik 8,
der Speicher 12 und der I/O-Anschluß 10 werden vorzugsweise
von einem Mikroprozessor 14 gesteuert, der vorzugsweise
ein digitaler Universal-Mikroprozessor ist, der gemäß den Befehlen
arbeitet, die im Speicher 12 oder in einem ROM 16 gespeichert
sind. Die gespeicherten Befehle könnten außerdem über den I/O-Anschluß 10 direkt
für den
Mikroprozessor 14 bereitgestellt werden oder im Speicher 12 oder
im ROM 16 gespeichert sein.
-
In der bevorzugten Ausführungsform
ist die Sensormatrix 6 aus einer Matrix aus CMOS-Sensorzellen
gebildet, wodurch möglich
ist, daß die
Bilderzeugungs- logik 8 gemeinsam mit der Sensormatrix 6 unter
Verwendung von CMOS-Prozessen auf einer einzelnen integrierten Schaltung
gebildet wird. 2 stellt
eine ein zelne integrierte Schaltung (IC) 20 dar, auf der
sowohl die Sensormatrix 6 als auch die Bilderzeugungslogik 8 gemäß der bevorzugten
Ausführungsform
der Erfindung realisiert sind. Weitere Merkmale und Schaltungen,
die iriterne Steuerregister, die Mikroprozessor-Schnittstellenlogik,
die Speicher-Schnittstellenlogik und dergleichen enthalten, können in
der IC 20 enthalten sein. Diese Merkmale sind nicht dargestellt,
da sie für
ein Verständnis
der vorliegenden Erfindung nicht erforderlich sind.
-
Weitere Einzelheiten der Bilderzeugungslogik 8 werden
nun unter Bezugnahme auf 2 beschrieben.
Der Hauptpfad für
Bilderzeugungssignale ist durch dicke Pfeile angegeben. Das analoge
Signal von der Sensormatrix 6 wird zum Puffer 22 geleitet, wo
das Signal zur Verstärkung
des Signals gepuffert wird und Störungen mit feststehendem Muster
entfernt werden. Vom Puffer 22 wird das gepufferte analoge
Signal zu einem ersten Eingang eines Differenzverstärkers 24 mit
programmierbarer Verstärkung
gesendet. Der zweite Eingang des Verstärkers 24 empfängt eine
Referenzspannung VREF, die unter der Steuerung
einer Digitalsignal-Steuereinheit 28 von einem Referenzsteuerblock 26 geliefert
wird. Der Verstärker 24 empfängt außerdem ein
Verstärkungssteuersignal
vom Verstärkungssteuerblock 30,
der unter der Steuerung einer Digitalsignal-Steuereinheit 28 arbeitet.
-
Der Verstärker 24 ordnet die
beiden Eingänge
vollständig
differentiellen Ausgängen 25 und 27 zu.
Mit anderen Worten entsprechen die Ausgänge 25 und 27 der
Differenz zwischen dem Wert der beiden Eingangssignale (d. h. das
analoge Bildsignal und die Referenzspannung VREF),
die mit dem Verstärkungswert
multipliziert ist und um einen Gleichtakt-Spannungspegel mittig
angeordnet ist. Diese vollständig
differentiellen Ausgänge 25 und 27 werden
dann zu den Eingängen
eines differentiellen Analog/Digital-Umsetzers 32 geführt, wo
der Differenzwert (d. h. die Differenz zwischen den Signalen 25 und 27)
in einen digitalen Wert umgesetzt wird. Das resultierende digitale
Bildsignal wird dann zu einem Fehlerpixelfilter 34 geleitet,
wo Bildfehler erfaßt und
korrigiert werden, wie später
genau beschrieben wird.
-
Das korrigierte digitale Bildsignal
wird dann zu einer digitalen Mikroschnittstelle 36 geleitet,
die eine Schnittstelle zwischen der IC 20 und weiteren Komponenten
der digitalen Abbildungsvorrichtung 2, wie etwa der Speicher,
der Mikroprozessor 14 oder der I/O-Anschluß 10,
darstellt.
-
Außerdem ist in 2 ein digitaler Taktgenerator 42 gezeigt,
der Taktsignale für
den Betrieb eines sequentiell korrelierten Doppelabtastblocks 44 liefert, um
Störungen
mit feststehendem Muster des CMOS-Sensors zu unterdrücken. Ein
Zeilen/Spalten-Informationsregister 46 liefert Informationen
an die Digitalsignal-Steuereinheit 28 und
an einen digitalen Mittelwertrechner 38 in Abhängigkeit
davon, wo das Signal, das gegenwärtig
verarbeitet wird, in der Sensormatrix erzeugt wird (d. h. es liefert
Zeilen- und Spalten-Informationen für jedes Pixel). Die Bilderzeugungslogik 8 enthält außerdem eine
Digitalsignal-Rückkopplungsschleife,
die den digitalen Mittelwertrechner 38, die Digitalsignal-Steuereinheit 28, den
Referenzsteuerblock 26, den Verstärkungssteuerblock 30 und
die Belichtungszeitsteuerung 40 enthält. Diese Rückkopplungsschleife wird verwendet, um
die optische Schwarzkalibrierung zu schaffen und zur Auflösungsverbesserung
durch Einstellen der Referenzspannung und der Verstärkung für den Verstärker 24.
-
Weitere Einzelheiten in bezug auf
den Aufbau und die Funktionsweise des Fehlerpixelfilters 34 werden
nun erläutert.
In den 3a bis 3j stellt zunächst jede
Zeichnung eine Gruppe aus drei benachbarten Pixeln in dem Bildsignal
dar. Die Pixel sind als Balken dargestellt, wobei die Balken dem
Luminanzwert des Pixels entsprechen. In 3a besitzt z. B. das Pixel B 52 einen
Luminanzwert, der größer ist
als der des Pixels A 50 und das Pixel C 54 besitzt
einen Luminanzwert, der größer ist
als der des Pixels B. Die Pixel A, B und C entsprechen drei benachbarten
Pixeln in der CMOS-Matrix 6. Unter normalen Umständen würde man
keine abrupten Unstetigkeiten bei der Veränderung der Luminanzwerte erwarten.
Wenn sich das Bild von dunkel nach hell verändert, würde man z. B. das in 3a gezeigte Muster erwarten, wobei
die Pixel ansteigende Werte besitzen. In 3b ist das Pixel B 52 gleichfalls
dunkler als das Pixel A 50 und das Pixel C 54 ist
dunkler als das Pixel B 52, wodurch ein normaler Übergang
von hell nach dunkel an gezeigt wird. Es wird angemerkt, daß in beiden 3a und 3b die Luminanz für das mittlere Pixel B 52 in
den Bereich von Werten fällt,
der durch die Luminanz für
seine benachbarten Pixel A 50 und C 54 definiert
ist. Dagegen besitzt in 3c das
mittlere Pixel B 52 eine Luminanz, die größer als
die Luminanz seiner beiden Nachbarn 50 und 54 ist,
wodurch eine Unstetigkeit im Luminanztrend für das Bild angegeben wird.
Es wird jedoch angemerkt, daß das
Pixel B 52 von 3c von
seinem nächsten
Nachbarpixel C 54 um einen Betrag t abweicht. Der Wert
t gibt eine Schwellenwertabweichung zwischen benachbarten Pixeln
an, die toleriert werden kann, bevor das mittlere Pixel als fehlerhaft
betrachtet wird. In den 3d bis 3f ist die Abweichung vom
nächsten
Pixelwert ebenfalls gleich oder kleiner als t, obwohl die Luminanz
des mittleren Pixels B 52 nicht zwischen die Luminanz seiner
benachbarten Pixel A 50 und C 54 fällt. Dagegen
fallt in den 3g bis 3j der Luminanzwert für das mittlere
Pixel B 52 nicht in. den Bereich von Werten zwischen den
benachbarten Pixeln A 50 und C 54 und weicht außerdem von
dem Wert des nächsten
Pixels um mehr als den Schwelleinwertbetrag t ab. Unter den in den 3g bis 3j dargestellten Umständen wird das Pixel B 52 als
fehlerhaft betrachtet werden.
-
In der Praxis wird eine Zeile aus
Pixeln, die das Bild erzeugt, mit einem beweglichen Dreipixel-Fenster
abgetastet, wie in den 4a und 4b gezeigt ist. Ein Pixeldatenstrom
enthält
vorzugsweise 10 Bit-Luminanzwerte für jedes Pixel der CMOS-Matrix 6,
wobei der Strom zum Fehlerpixelfilter 34 geleitet wird.
Das Fehlerpixelfilter 34 legt ein bewegliches Fenster 60 über den
Pixeldatenstrom, wenn dieser durch das Filter läuft. In 4a werden die ersten drei Pixel 50, 52, 54 des
Stroms analysiert, wobei das Pixel 52 das mittlere untersuchte
Pixel B ist (in der Darstellung bewegen sich die Pixeldaten von
rechts nach links). In 4b wurde
das bewegliche Fenster 60 um ein Pixel verschoben oder
genauer wurden die Pixel, die sich durch das Fehlerpixelfilter 34 bewegen,
um ein Pixel verschoben, und die Pixel 52, 54 und 56 werden
nun analysiert, wobei das Pixel 54 das mittlere untersuchte
Pixel B ist. Schließlich
wurde in 4c das bewegliche
Fenster wieder um ein Pixel verschoben und die Pixel 54, 56 und 58 werden analysiert,
wobei das Pixel 56 das mittlere untersuchte Pixel B ist.
-
Wenn festgestellt wird, daß das untersuchte Pixel
B aus dem Bereich von Luminanzwerten seiner benachbarten Pixel A
und C herausfällt
und von seinem nächsten
benachbarten Pixel um mehr als den Schwellenwert t abweicht, wird
dieses Pixel als fehlerhaft markiert. In den bevorzugten Ausführungsformen
wird der Luminanzwert für
das fehlerhafte Pixel durch einen interpolierten Luminanzwert anhand
der Werte der benachbarten Pixel A und C ersetzt.
-
Weitere Einzelheiten in bezug auf
das Fehlerpixelfilter 34 werden unter Bezugnahme auf 5 dargestellt. Die ankommenden
Pixeldaten werden zu einem Silo-Register (FIFO-Register) geleitet,
das die Registerzellen 70, 72, 74, 76 und 78 enthält. Während die
bevorzugte Ausführungsform
das vorteilhafte Merkmal besitzt, daß fehlerhafte Pixel in Echtzeit gekennzeichnet
und korrigiert werden, ohne daß große Speichervorrichtungen
benötigt
werden, könnten andere
Ausführungsformen
einen DRAM, SRAM oder einen anderen Speichertyp benötigen, zu
dem die ankommenden Pixeldaten geführt und darin gespeichert werden.
Es wird angemerkt, daß in
die FIFO-Register fünf
Pixel geladen werden, obwohl lediglich drei Pixel gleichzeitig analysiert
werden. Das ist der Fall, da das Fehlerpixelfilter 34 sowohl
für monochrome
Bilder als auch für
Farbbilder konfiguriert sein kann. Wie in der Technik bekannt ist,
verschachteln Farbbildsensoren die Pixelsensoren in jeder Zeile
nach einem Bayer-Muster, wie in 6 dargestellt ist,
die einen Abschnitt eines Farbbildsensor darstellt. In der ersten
Zeile 100 der Matrix sind Rot-Sensoren 102, 104, 106 mit
Grün-Sensoren 103, 105, 107 verschachtelt.
In der zweiten Zeile 101 sind Grün-Sensoren 108, 110, 112 mit
Blau-Sensoren 109, 111 und 113 verschachtelt.
Es ist jedoch erwünscht,
benachbarte Pixel desselben Typs zu vergleichen (d. h. Rot-Pixel
mit Rot-Pixeln zu vergleichen). Aus diesem Grund sollte für die Analyse
jedes zweite Pixel ausgewählt
werden, z. B. die Pixel 102, 104 und 106 werden
analysiert, um zu bestimmen, ob das Pixel 104 fehlerhaft
ist. Anschließend
würde das
Pixel 105 mit gleichen Pixeln 103 und 107 verglichen
werden. Wenn andernfalls der Wert für das Pixel 103 (Grün-Wert)
mit den Werten der Pixel 102 und 104 (Rot-Werte)
verglichen werden würde,
wäre es
sehr wahrscheinlich, daß abrupte
Unstetigkeiten auftreten, obwohl das Pixel 103 normal funktioniert.
Für einen
Abschnitt des Bildes, in dem das Bild hauptsäch lich rot ist, wäre z. B.
zu erwarten, daß die
Pixel 102 und 104 hohe Luminanzwerte besitzen
und das Pixel 103 sehr geringe Luminanzwerte besitzt.
-
Deswegen wird im Monochrommodus das Pixel
A vom Register 72 ausgewählt, das Pixel B wird vom Register 74 ausgewählt und
das Pixel C wird vom Register 76 ausgewählt. Im Farbmodus wird das Pixel
A vom Register 70 ausgewählt, das Pixel B wird vom Register 74 ausgewählt und
das Pixel C wird vom Register 78 ausgewählt,.um sicherzustellen, daß gleiche
Pixel verglichen werden.
-
Ein Multiplexer 80 wählt das
Pixel A entweder vom Register 72 oder vom Register 70 in
Abhängigkeit
davon, ob die Vorrichtung im Monochrom- oder Farbmodus ist, und
leitet den Pixelwert zu einem Komparator 82. Im Komparator 82 wird
der Wert des Pixels A mit dem Wert des Pixels B vom Register 74 verglichen.
Wenn der Vergleich angibt, daß das Pixel
A einen größeren Wert
als das Pixel B besitzt, wird ein gültiges logisches Signal (logischer
Hochpegel) auf einer Signalleitung 86 eingeschaltet, die
mit einem Eingang eines UND-Gatters 88 mit zwei Eingängen verbunden
ist. Der andere Eingang des UND-Gatters 88 wird vom Komparator 96 gespeist, indem
der Wert für
das Pixel B mit dem Wert für
das Pixel C verglichen wird. Das Pixel C wird durch einen Multiplexer 98 entweder
vom Register 78 oder vom Register 76 ausgewählt in Abhängigkeit
davon, ob die Vorrichtung im Monochrom- oder Farbmodus ist. Wenn
das Pixel B seinem Wert nach größer ist
als das Pixel C, wird der Komparator 96 ein gültiges Signal
auf einer Signalleitung 120 einschalten, die zum zweiten
Eingang des UND-Gatters 88 geführt wird. Wenn beide Eingänge des
UND-Gatters 88 auf Hochpegel sind (wodurch angegeben wird,
daß A größer als
B ist und B größer als
C ist), wird das UND-Gatter 88 ein gültiges Signal (logischer Hochpegel)
zu einem ODER-Gatter 122 mit vier Eingängen einschalten. Dieser Zustand
entspricht der Situation, die in 3b graphisch
dargestellt ist, die eine akzeptable Situation ist, wobei angegeben
wird, daß das
Pixel B gültig
ist. Das logische ODER-Gatter 122 wird ein gültiges Signal
(logischer Hochpegel) an einen Multiplexer 124 einschalten,
der wiederum ermöglicht,
daß der
Wert für
das Pixel B vom Register 74 vom Fehlerpixelfilter 34 zur
weiteren Verarbeitung ausgegeben wird. Es wird angemerkt, daß ein logisches
Hochpegelsignal zur Einfachheit als Anzeige eines gültigen Signals
behandelt wird, obwohl in anderen Ausführungsfonmen ein logisches
Tiefpegelsignal als gültiges
logisches Signal verwendet werden könnte.
-
Gleichzeitig wird in einem Block 90 die
Differenz der Werte des Pixels A und des Pixels B berechnet und
die Differenz wird in einem Komparator 92 mit dem Schwellenwert
t verglichen. Es wird angemerkt, daß der Wert für den Schwellenwert
t von einem Anwender ausgewählt
und in einem Register 94 gespeichert werden kann. Alternativ
oder dann, wenn durch den Anwender kein Wert für t ausgewählt wird, kann ein Vorzugswert
für t im
Register 94 gespeichert werden. In einigen Ausführungsformen
kann der Schwellenwert auf Grundlage eines iterativen Prozesses
automatisch erzeugt werden, bei dem ein Rückkoluplungssignal, das eine
Angabe der Bildqualität
ist, mit einem veränderlichen
Wert t verglichen wird, bis ein Schwellenwert erreicht wird, der
fehlerhafte Pixel wirkungsvoll auslöscht, ohne gewünschte Luminanzveränderungen
auszulöschen,
die in dem Bild natürlich vorkommen.
-
Wenn die Differenz zwischen den Pixeln
A und B kleiner oder gleich dem Schwellenwert ist, zeigt das ebenfalls
an, daß das
Pixel B gültig
ist in Übereinstimmung
mit dem Zustand in den 3d oder 3f. Es wird angemerkt, daß es gleichgültig ist,
ob das Pixel B größer oder
kleiner als das Pixel A ist, solange die Differenz kleiner oder
gleich dem Schwellenwert ist. Wenn dies der Fall ist, gibt der Komparator 92 einen
logischen Hochpegel an das ODER-Gatter 122 aus, der außerdem bewirkt,
daß der
Multiplexer 124 ermöglicht,
daß das
Pixel B durchgelassen wird.
-
Wenn die Differenz zwischen den Pixeln
B und C kleiner oder gleich dem Schwellenwert ist, was den 3c oder 3e entspricht, ist das Pixel B gleichfalls
gültig
(unabhängig
vom Wert der Differenz zwischen den Pixeln A und B). Dieser Zustand
wird durch einen Block 126 und einen Komparator 128 bestimmt,
und wenn die Differenz zwischen den Pixeln B und C kleiner als t
ist, wird ein logischer Hochpegel zu einem ODER-Gatter 122 eingeschaltet
und der Wert für
das Pixel B wird vom Register 74 über einen Multiplexer 124 zum
Ausgang geleitet.
-
Der vierte Eingang des ODER-Gatters 122 wird
von einem UND-Gatter 130 gespeist. Der erste Eingang des
UND-Gatters 130 ist der umgekehrte Ausgang des Komparators 82 (über einen
Inverter 132), und der zweite Eingang ist der umgekehrte Ausgang
des Komparators 96 (über
einen Inverter 134). Das UND-Gatter 130 gibt ein
gültiges
Signals (logischer Hochpegel) an das ODER-Gatter 122 aus, wenn
das Pixel C seinem Wert nach größer als
das Pixel B ist und das Pixel B seinem Wert nach größer als
das Pixel A ist. Dies entspricht der 3a.
-
Wenn keine der obigen Bedingungen
erfüllt ist,
sind die Eingänge:
des ODER-Gatters 122 logische
Tiefpegel und somit ist der Steuereingang des Multiplexers 124 ein
logischer Tiefpegel. Das zeigt an, daß das Pixel B fehlerhaft ist
(in Übereinstimmung
mit einem der Zustände
der 3g bis 3j). Unter diesen Umständen leitet
der Multiplexer 124 einen korrigierten Wert des Pixels
B zum Ausgang. Dieser korrigierte Pixelwert wird in einem Block 136 berechnet.
In der bevorzugten Ausführungsform
wird der korrigiere Wert des Pixels B aus dem Durchschnittswert
seiner benachbarten Pixel A und B berechnet, mit anderen Worten
gilt Bkorrigiert = (A + C)/2. Der Vorteil
der Verwendung einer einfachen Interpolation zwischen den Pixeln
A und C besteht darin, daß diese
Werte bereits im FIFO-Register gespeichert sind. Es könnten komplexere
Interpolationen verwendet werden, um den Wert für Bkorrigiert zu
erzeugen, wie etwa die Verwendung der Werte der nächsten zwei oder
drei Nachbarn auf jeder Seite von B, derartige Interpolationen würden jedoch
zusätzliche
Speicherelemente erfordern, in denen die Werte benachbarter Pixel
gespeichert werden, und würden
außerdem eine
zusätzliche
kombinatorische Logik erfordern (mit ihren zugehörigen kosten und ihrem Platzbedarf).
-
In den bevorzugten Ausführungsformen
ist die Schaltung von 5 in
einer kombinatorischen Logik auf einem Halbleiterchip unter Verwendung von
CMOS-Herstellungsprozessen
realisiert. Das Filter der bevorzugten Ausführungsform ist vorteilhaft auf
demselben Chip wie die Sensormatrix hergestellt, wenn diese mit
einer CMOS-Sensormatrix vorgesehen ist. Während außerdem andere Typen von Matrizen,
wie etwa eine CCD-Matrix, verwendet werden könnten, könnten sie aus den Gründen der
Verarbeitungsunterschiede nicht sehr erwünscht sein. In anderen Ausführungsformen
könnte
die Funktion durch einen Mikroprozessor erreicht werden, der eine
Folge von Programmbefehlen abarbeitet. Alternativ könnte die
Schaltungsanordnung in einer programmierbaren Gate-Array-Logik oder
in einer anderen programmierbaren Logik realisiert werden.
-
Aus der obigen Beschreibung ist klar,
daß die bevorzugten
Ausführungsformen
mehrere vorteilhafte Merkmale besitzen, einschließlich die
Fähigkeit, temperatur-
und zeitabhängige
Pixelfehler zu eliminieren, sowie die Fähigkeit, sowohl weiße Pixel
als auch dunkle Pixel mit einstellbaren Schwellenwerten zu filtern.
Das Merkmal des einstellbaren Schwellenwerts ermöglicht die Kompensation der
Bildraumfrequenz und des Grads der Matrixpixelfehler. Außerdem arbeiten
die bevorzugten Ausführungsformen bei
hoher Geschwindigkeit in Echtzeit und erfordern keinen Rahmen- oder
Zeilenspeicher für
die Speicherung eines gesamten Rahmens oder einer Zeile von Daten.
Sowohl die Logik als auch die Sensormatrix können auf einem einzelnen Chip
gebildet werden und sind mit CMOS-Operationen kompatibel. Das Verfahren
kann als ein Teil einer Wafer-Prüfoperation
verwendet werden, um die Wafer-Ausbeute zu bestimmen, und kann sowohl
im Farbbild- als auch Monochrommodus betrieben werden. Die beschriebenen
Ausführungsformen
halten hochfrequente Randkomponenten aufrecht, wie etwa einen schnellen Übergang
von einem dunklen zu einem sehr hellen Objekt oder von einem hellen
zu einem dunklen Objekt.
-
Obwohl diese Erfindung unter Bezugnahme auf
beispielhafte Ausführungsformen
beschrieben wurde, soll diese Beschreibung nicht einschränkend ausgelegt
werden. Verschiedene Modifikationen und Kombinationen der beispielhaften
Ausführungsformen
sowie weitere Ausführungsformen
der Erfindiung werden einem Fachmann bei Bezugnahme auf die Beschreibung
erscheinen. Es ist deswegen beabsichtigt, daß die beigefügten Ansprüche alle
derartigen Modifikationen oder Ausführungsformen umfassen.