DE4436426C1

DE4436426C1 - Sensor für eine CCD-Kamera

Info

Publication number: DE4436426C1
Application number: DE4436426A
Authority: DE
Inventors: Bernhard Prof Dr Wirnitzer; Konrad Prof Abel; Thomas Riester; Thomas Steiger
Original assignee: KARL VOELKER STIFTUNG DER FTH
Current assignee: KARL VOELKER STIFTUNG DER FTH
Priority date: 1994-10-12
Filing date: 1994-10-12
Publication date: 1996-09-26
Anticipated expiration: 2014-10-13

Description

Die Erfindung bezieht sich auf einen Sensor für eine CCD-Kamera nach dem Oberbegriff des Patentanspruchs 1.

Eine ähnliche Kamera ist aus der DE 39 42 615 A1 bekannt, je doch werden hier im Normalbetrieb die Signale benachbarter Fo todioden zusammengefaßt, nachdem zuvor der Halbbildtransfer er folgt ist. Ein getrenntes Auslesen am Ausgang der Treiberimpuls gruppen bewirkt ein Heranzoomen (Vergrößern) in horizontaler Richtung.

Eine vergleichbare Kamera ist sodann aus der US-PS 51 17 292 bekannt, ohne daß hier aber eine Aufgliederung der Ladungsver schiebung in Halbbild-, Vertikal- und Horizontaltransfers mit den zugehörigen, speziell aufeinander abgestimmten Funktions schritten zur Anwendung gelangt. Um die Lichtempfindlichkeit einzelner Sensorzellen herabzusetzen werden im Sensor Stop-Gates eingebaut. Damit ist jedoch nur eine Herabsetzung, aber keine Erhöhung der Lichtempfindlichkeit oder - gleichbedeutend - des Signalrauschabstandes des Sensors möglich, was bei schwa chen Lichtintensitäten oft sehr wünschenswert wäre.

Die Aufgabe der Erfindung wird in der Verbesserung der bekann ten CCD-Sensoren dahingehend gesehen, daß sich einmal Ortsauf lösung, Lichtempfindlichkeit und kurze Belichtungszeiten durch Software einstellen und zum anderen automatische Bildauswertun gen, Bildinformationen oder Teile derselben möglichst schnell (im Bereich 1 ms und weniger), direkt und dennoch ohne zusätz liche Bauteile einem Auswerterechner zuführen lassen. Diese Aufgabe wird erfindungsgemäß durch die Kennzeichnungsmerkmale des Patentanspruchs 1 gelöst. Hierdurch werden die Ladungen nicht nur in den vertikalen Schieberegistern während der bei den Halbbildtransfers, sondern auch in den horizontalen Schie beregistern durch mehrfach ausgeführte Vertikaltransfers zu sammengefaßt. Zusätzlich erfolgt das Zusammenfassen zu Makro zellen am Ausgang des horizontalen Schieberegisters durch wie derholte Horizontaltransfers ohne Auslesevorgang, viele Takte nach der Übernahme von den Sensoren in die Speicherzellen. Au ßerdem wird es dadurch möglich, im CCD-Sensor direkt ein digi tales Filtern durchzuführen. Diese Möglichkeit bringt - gegen über herkömmlichen Filtern - eine entscheidende und auch uner wartete Verbesserung in der Bildverarbeitung mit sich. Ein di gitales Filter bekannter Art läßt sich durch folgende Diffe renzgleichung darstellen:

y_k = Summe h_i·x_k-1

i = 0, . . ., N-1

mit

h_i = Gewicht
x_k = k-ter Eingangswert
y_k = k-ter Ausgangswert
N = Filterordnung

Für jeden Ausgangswert müssen N verzögerte und mit h_i gewich tete Eingangswerte x_i aufsummiert werden. Um ein digitalisier tes Bild mit 512×512 Bildpunkten - mit einem Filter mit nur N = 20 Gewichten - zu filtern, sind damit 512×512×20 = 5,24 Mio Multiplikationen und Additionen nötig. Bei einer Bildwie derholfrequenz von 25 Bildern pro Sekunde sind dies 131 Mio Multiplikationen und Additionen pro Sekunde. Es versteht sich, daß eine solche Rechenleistung nur sehr aufwendige und teuere Spezialrechner erbringen.

Weil gemäß der Erfindung zwischen wenigstens zwei Vertikaltrans fers wenigstens auch ein weiterer Halbbildtransfer mit einer vorausgehenden definierten Belichtung der Zelle vorgesehen ist, wird es möglich, ein digitales Filter bereits im CCD-Sensor ohne zusätzliche Bauteile durchzuführen. Hierfür werden zwischen den einzelnen Vertikaltransfers Belichtungen und zusätzliche Halb bildtransfers (von Sensoren in die vertikalen Schieberegister) ausgeführt. Entsprechend vorstehender Differenzgleichung bedeu tet dies, daß die Gewichte h_i über die Belichtungszeit, die ver zögerten Signalwerte X_k-1 über die entsprechenden Vertikaltrans fers erreicht wird.

In vielen Anwendungen der automatischen Bildauswertung werden digitale Filter in sogenannten Verarbeitungsstufen realisiert. Dazu wird oft teuere Spezialhardware eingesetzt. Der erfindungs gemäße Sensor ermöglicht diese Filterung dagegen ohne zusätzli che Hardware direkt im CCD-Sensor. Um auch hierzu einen konkret realisierten Sensor anzugeben, sei erwähnt, daß z. B. 750 Addi tionen in weniger als 10 Mikrosekunden durchgeführt werden kön nen, das sind mehr als 75 Gigaoperationen pro Sekunde. Die Steuerung, um eine solche Rechenleistung zu erzielen, erfolgt vorzugsweise in einem digitalen Signalprozessor, der auch noch für zusätzliche Auswertungen geeignet ist.

Schließlich kann dadurch, daß ein Digitalprozessor einmal für das voneinander unabhängige Steuern der Speicherzellen und zum anderen für die Verarbeitung des am CCD-Ausgang anstehenden Sig nals vorgesehen ist, letzteres von einem digitalen Signalpro zessor direkt verarbeitet werden; auch kann dieses Signal be reits digital gefiltert sein. Derselbe digitale Signalprozes sor kann Auswertung und Ansteuerung übernehmen. Von Vorteil ist hierbei, daß die an sich rechenintensive digitale Filterung di rekt im CCD-Sensor abläuft und der digitale Signalprozessor da bei nur Steueraufgaben übernimmt. Die Rechenleistung des digi talen Signalprozessors steht damit für weitere Signalverarbei tungen zur Verfügung.

Eine vorteilhafte Weiterbildung der Erfindung gemäß Patentan spruch 2 sieht die Zusammenfassung zu sehr großen Makrozellen vor, und damit auch die Möglichkeit, Ortsauflösung, Lichtemp findlichkeit und Belichtungszeit über sehr weite Bereiche soft waremäßig einzustellen. Die analoge Verarbeitung im Sensor ge währleistet hierbei Auswertezeiten, die bis zu einem Faktor 100 schneller sind als Auswertesysteme, die mit herkömmlichen Kameras arbeiten.

Um eine Entlastung des Signalprozessors zu bewirken, kann es sich als zweckmäßig erweisen, die konkreten Pulsfolgen für die diversen Transfers nach dem Patentanspruch 3 zu steuern.

Eine Ausgestaltung nach Patentanspruch 5 macht es möglich, daß mehrere Sensoren gleichzeitig in den Digitalsignalprozessor ein gelesen werden können. Schon mit einem vergleichsweise einfa chen Digitalsignalprozessor mit nur zwei Bussen mit 32 Bit Buß breite lassen sich acht Sensoren mit 8 Bit Grauauflösung gleichzei tig auslesen und verarbeiten.

Auch die restlichen Unteransprüche enthalten Weiterbildungen der Erfindung.

Im folgenden werden an Hand einer Zeichnung Ausführungsbeispie le der Erfindung näher erläutert, wobei die in den beiden Figuren einander entsprechenden Teile dieselben Bezugszahlen aufwei sen. Es zeigt

Fig. 1 den prinzipiellen Aufbau und das Auslesen eines bildgebenden Sensors einer CCD-Kame ra und

Fig. 2 Aufbau und Auslesen einer aus 1×4 Sensor zellen zusammengefügten Makrozelle.

Fig. 1 veranschaulicht den prinzipiellen Aufbau eines bildgeben den Sensors, wie er im Konsumgüterbereich für CCD-Kameras (char ge-coupled devices), aber auch als Sensor für automatische Bild auswertesysteme Verwendung findet. Hierbei entstehen durch die Einstrahlung von Licht z. B. in den lichtempfindlichen Zellen 1, 2, 4, 5, 7, 8, 9, 10, 12, 13, 15, 16, 18 und 19 der vertikal ver laufenden Zeilen 1, 2, 9, 10, 15, 16 bzw. 4, 5, 12, 13, 18, 19 Ladungen. Die CCD-Kameras lesen einen solchen Sensor wie folgt aus:
Die von den Zellen 1, 2, 4, 5, 7, 8, 9, 10, 12, 13, 15, 16, 18 und 19 gespeicherten Ladungen jeder zweiten Zelle, also im vor liegenden Ausführungsbeispiel der Zellen 1 und 9 sowie 4 und 12 werden in die danebenliegenden, lichtunempfindlichen Speicher zellen 3, 11, 6 und 14 transferiert, was durch die Pfeile 25 bis 28 angedeutet ist. Anschließend erfolgt entsprechend den Pfeilen 29-32 und 35, 36 ein Vertikaltransfer der Ladungen aus den Speicherzellen 3 und 6 in die jeweils darunterliegenden Spei cherzellen 11 und 14 sowie aus diesen ein Vertikaltransfer in die jeweils nachfolgenden, die aber zeichnerisch nicht mehr nä her dargestellt sind. Dieser Ladeverschiebungsvorgang setzt sich so lange fort, bis die Ladungen in der untersten Zeile 21-24 an gekommen sind, von wo aus sie durch hintereinander ausgeführte Horizontaltransfers 37-40 (im Anschluß an die Bezugszahl 40) ausgelesen werden.

Nach jedem Horizontaltransfer in der untersten Zeile 21-24 liegt die Ladung einer bestimmten lichtempfindlichen Zelle einer Bild zeile am CCD-Ausgang 40 an. Beim Auslesen werden entsprechend der gängigen Videonorm zuerst alle geraden und im Anschluß da ran alle ungeraden Bildzeilen ausgelesen.

Bis hierher entsprechen Aufbau und Ausleseverfahren dem an sich bekannten Stand der Technik. Auch sind für die CCD-Sensoren Vi deonorm-Bausteine bekannt, die mittels geeigneter zeitlicher Pulsmuster und Spannungsfolgen die vorbeschriebenen Ladungs transfers erst ermöglichen.

In Fig. 2 sind nun die zwei Sensoreinheiten 4′, 5′, 6′ und 12′ 13′, 14′ zu einer sogenannten Makrozelle 45 zusammengefaßt. Selbstverständlich können bei einem anderen Ausführungsbeispiel auch weniger oder wesentlich mehr Einheiten zu einer Makrozelle unter sich zu einer noch größeren Makrozelle zusammengefaßt wer den, ohne daß dadurch der Rahmen der Erfindung verlassen würde.

Die funktionelle Abfolge ist auch hier, daß zunächst die Zellen 4′ und 12′ belichtet werden und dann ein erster Halbbildtrans fer aus diesen Zellen - angedeutet durch die Pfeile 26′ und 30′ - nach den Speicherzellen 6′ und 14′ erfolgt. Dann werden sämtli che Zellen wieder belichtet und nun erfolgt der zweite Halbbild transfer, nämlich der Zellen 5′ und 13′, nach denselben Spei cherzellen 6′ und 14′. Schließlich folgen zwei Vertikaltrans fers 29′ und 36′ - sie müssen, wie man Fig. 2 zunächst entneh men könnte, keinesfalls jeweils doppelt ausgeführt werden -, be vor zuletzt über den Horizontaltransfer die Ladungen der unter sten Zeile 21′, 22′, symbolisiert durch die Pfeile 39′ und 40′, am CCD-Ausgang 40′ die ankommenden Ladungen dem Signalprozessor 46 zur Verarbeitung, gegebenenfalls einer Analog/Digital-Wand lung, zuführen.

Mittels eines Digitalsignalprozessors können sowohl bei den ein zelnen Sensoreinheiten 1′, 2′, 3′ bzw. 4′, 5′, 6′ bzw. 9′, 10′, 11′ bzw. 12′, 13′, 14′ als auch bei der Makroeinheit 45 Halb bild-, Vertikal- und Horizontaltransfers einmal von den licht empfindlichen Zellen 1′, 2′ bzw. 9′, 10′ bzw. 12′, 13′ nach den benachbarten Speicherzellen 3′, 6′, 11′ und 14′, und zum ande ren auch bei diesen Speicherzellen unter sich voneinander unab hängig gesteuert werden. Dies ist nur eine von vielen Möglich keiten, wie bei einem erfindungsgemäßen CCD-Sensor die Steue rung ausgelegt sein kann. Grundsätzlich können Zellen und Zel lenverbände auch in ganz anders abgestuften, den jeweiligen Be dürfnissen angepaßten Funktionsgruppen gesteuert und darüber hinaus auch gelöscht werden.

Im Bedarfsfall ist es sodann möglich, zwischen den einzelnen Vertikaltransfers 29′-30′ und 35′-36′ wenigstens einen weite ren Halbbildtransfer mit vorausgehender Belichtung der Zellen vorzusehen sowie die konkreten Pulsfolgen für den Halbbild transfer 25′-28′ und 41′-44′, den Vertikaltransfer 29′-30′ und 35′-36′ und den Horizontaltransfer 39′, 40′ über eine program mierbare Logik laufen zu lassen. In einem weiteren, zeichne risch nicht näher dargestellten Ausführungsbeispiel der Erfin dung kann die programmierbare Logik auch in den Digitalsignal prozessor integriert sein oder es kann ein Mikrokontroller ver wendet werden. In einem weiteren Ausführungsbeispiel der Erfin dung kann sodann auch ein Farbsensor verwendet werden, in dem auf den Sensorzellen unterschiedlich gefärbte optische Filter sitzen.

Schließlich ist es gemäß der Erfindung auch denkbar, daß der Digitalsignalprozessor ein Mehrbußsystem mit getrennten exter nen Speichern großer Bußbreite - eine sogenannte Harward-Archi tektur - besitzt. Außerdem kann die programmierbare Logik in dem Digitalsignalprozessor integriert sein.

Mit einer solchermaßen ausgelegten CCD-Kamera kann mit ver gleichsweise geringer Auflösung die Position eines Gegenstan des schnell festgestellt, das zugehörige Bild in weniger als 1 ms ausgewertet und um den interessierenden Gegenstand ein Fenster mit hoher Auflösung aufgenommen werden.

Weiterhin ist es mit einer solchen Kamera möglich, die Inten sitäten eines Bildes in Spaltenrichtung zu addieren, und zwar direkt durch analoge Addition von Ladungen im Sensor. Durch den erfindungsgemäßen Sensor können z. B. 782 Spalten mit je weils 582 Sensorzellen in weniger als 1 ms addiert werden. Das so erhaltene Projektionsbild kann in dem Digitalsignalprozes sor der Kamera ausgewertet und für schnelle Indikations- und Sichtprüfungsaufgaben verwendet werden. Es werden Auswertezei ten unter 1 ms erzielt, was beim Einsatz bekannter Sensoren nicht möglich ist. Insbesondere können damit auch Farbbild auswertungen erfolgen.

Claims

1. Sensor für eine CCD-Kamera mit mehreren parallel zueinander an geordneten und aus lichtempfindlichen Zellen bestehenden verti kalen Zeilen, in denen die CCD-Kamera die in zwei aufeinander folgenden Zellen gespeicherten Ladungen von ein und derselben Vertikalzeile mittels je eines Halbbildtransfers in zu diesen Zeilen parallel verlaufende, ihnen zugeordnete, lichtunempfind liche Speicherzellen transferiert, aus denen sie in einer an einem Ende des vertikalen Ladungsflusses angeordneten Zeile durch Horizontaltransfer am CCD-Ausgang ausgelesen werden, wobei die einzelnen Transfers direkt hintereinandergeschaltet sind und eine über Software einstellbare Einheit ergeben, dadurch gekennzeichnet, daß

a) die Ladungen der Speicherzellen (3′; 6′; 11′; 14′) in wenig stens zwei aufeinanderfolgenden Vertikaltransfers (29′, 35′; 30′, 36′) nach der orthogonalen Zeile (21′; 22′) transfe riert werden,
b) zwischen wenigstens 2 Vertikaltransfers (29′ und 35′ bzw. 30′ und 36′) wenigstens ein weiterer Halbbildtransfer mit einer vorausgehenden definierten Belichtung der Zellen vor gesehen ist,
c) die verschiedenen vertikal transferierten Ladungen - durch ei nen Horizontaltransfer ohne Auslesevorgang - zu wenigstens ei ner Makroeinheit (45) zusammengefaßt sind und
d) ein Digitalprozessor (46) einmal für das voneinander unab hängige Steuern der Speicherzellen und zum anderen für die Verarbeitung des am CCD-Ausgang (40) anstehenden Signals vorgesehen ist.

2. Sensor nach Patentanspruch 1, dadurch gekennzeichnet, daß die Ladungen der Makrozellen (45A; 45) nach einer Analog/Digital-Wandlung in einen Signalpro zessor (46) eingelesen werden und diese Einheiten zu ganzen Makrozellen-Verbänden zusammenfaßbar sowie Zellen und Zellen verbände - den jeweiligen Bedürfnissen angepaßt - in unter schiedlich abgestuften Funktionsgruppen steuerbar sind.

3. Sensor nach Patentanspruch 1, dadurch gekennzeichnet, daß die konkreten Pulsfolgen für den Halbbildtransfer (25′-28′ und 41′-44′), den Vertikaltrans fer (29′-30′ und 35′-36′) und den Horizontaltransfer (39′ und 40′) über eine programmierbare Logik erfolgen.

4. Sensor nach einem der vorausgehenden Patentansprüche, der gekennzeichnet ist durch die Verwendung zu sätzlicher, über den gemeinsamen Digitalsignalprozessor steuer- und verarbeitbarer sowie zu diesem Prozessor völ lig synchronisierter CCD-Sensoren.

5. Sensor nach Patentanspruch 4, dadurch gekennzeichnet, daß der Digitalsignalprozessor ein Mehr bußsystem mit getrenntem externen Speichern großer Bußbrei te - eine sogenannte Harward-Architektur - besitzt.

6. Sensor nach Patentanspruch 3 und 4 oder 3 und 5, dadurch gekennzeichnet, daß die program mierbare Logik in dem Digitalsignalprozessor integriert ist oder ein Mikrokontroller verwendet wird.

7. Verfahren unter Verwendung einer CCD-Kamera nach einem der vorausgehenden Patentansprüche, dadurch gekennzeichnet, daß

a) mit einer vergleichsweise geringen Auflösung die Position eines Gegenstandes sehr schnell festgestellt,
b) das Bild in weniger als 1 ms ausgewertet und
c) um den interessierenden Gegenstand ein Fenster mit hoher Auflösung aufgenommen wird.

8. Verfahren nach Patentanspruch 7, dadurch gekennzeichnet, daß ein Farbsensor mit unterschiedlich ge färbten optischen Filtern auf den einzelnen Sensorzellen ver wendet wird.

9. Verfahren nach Patentanspruch 7 oder 8, dadurch gekennzeichnet, daß die Ladungen einer Sensor spalte analog addiert werden und das resultierende Projek torbild im Digitalsignalprozessor für Sichtprüfung und Iden tifikationsaufgaben weiterverwendet wird.