DE4405865C2

DE4405865C2 - Verfahren zur Erfassung von Bildinhalten eines zeilenorientierten Bildsensors und zugehörige Einrichtung für Handhabungssysteme

Info

Publication number: DE4405865C2
Application number: DE4405865A
Authority: DE
Inventors: Heinrich Bednarek
Original assignee: LEONHARD WERNER 38302 WOLFENBUETTEL DE
Current assignee: LEONHARD, WERNER, 38302 WOLFENBUETTEL, DE
Priority date: 1994-02-23
Filing date: 1994-02-23
Publication date: 1998-03-19
Anticipated expiration: 2014-02-24
Also published as: DE4405865A1

Description

Das technische Gebiet der Erfindung sind Robotersysteme (Handhabungssysteme) und zugehörige zeilenorientierte Bildsensoren für deren Bahnplanung und -führung.

An heutige Robotersysteme (Handhabungssysteme) werden immer höhere Anforderungen bezüglich ihrer Bearbeitungsflexibilität gestellt. Aufgaben, für die der Roboter sämtliche sechs räumlichen Freiheitsgrade beherrschen muß, treten immer häufiger auf. Eine Bahnsteuerung, die die abzufahrende Kontur allein aus den Datenbeständen einer CAD-Anlage oder aus nachträglich gelernten Stützwerten (vgl. DE 36 13 096 A1) errechnet, kann den heutigen Anforderungen nicht mehr gerecht werden. Oft tritt das Problem auf, daß die zu bearbeitenden Teile prozeßbedingt unterschiedlich positioniert werden, so daß die Bahnkontur Streuungen unterworfen ist, oder die abzufahrende Kontur ist vorab überhaupt nicht bekannt. Spätestens dann ist eine sensorgestützte Bahnkorrektur (vgl. DE 33 06 888 A1) bzw. eine sensorgeführte Bahnverfolgung erforderlich. Für diesen Zweck werden auch Laserabstandssensoren oder CCD-Zeilenkameras eingesetzt. Diese Sensoren können jedoch entweder nur wenige Freiheitsgrade gleichzeitig messen oder haben eine für Echtzeitanforderungen zu geringe Meßrate. Um diese Defizite auszugleichen, werden manchmal Systeme mit mehreren gleichen oder unterschiedlichen Sensoren aufgebaut. Solche "Multi- Sensorsysteme" erreichen schnell eine kaum zu beherrschende Komplexität. Im Kleinen wird ein solches "Multi-Sensorsystem" auch durch einen CID-Sensor oder eine als Array in 2-D-Struktur aufgebaute Matrix aus diskreten Fotoelementen gebildet (vgl. DE 31 38 240 A1). Dort wird beschrieben, daß zur Veränderung der Helligkeit des Ladungsbildes die Integrationszeit verändert werden kann und dabei aufgesammelte Ladungen auf dem Chip "vernichtet" - also gelöscht - werden können. Ein solcher Sensor ist kostenintensiv und mit der Struktur und dem Aufbau von zeilenorientierten (CCD-) Sensoren nicht zu vergleichen, die von der Erfindung betroffen sind.

In US 5,185,771 ist dagegen ein zeilenorientierter CCD-Device beschrieben, um ein "Pushbroom spectrografic imager" in einer Luftfahrt-Anwendung zu bilden, auf die er allerdings nicht beschränkt sein soll (dort Spalte 1, Zeilen 22-25). In diesem Imager werden sichtbare und Infrarot-Bilder in digitaler Form gewonnen, wobei unerwünschte Ladungs-Reihen vom Sensor schnell gelöscht werden (dort Spalte 1, Zeilen 9-12), um gewünschte Ladungsreihen schneller lesen und damit digitalisieren zu können. Ausgangsergebnis des Spectrografic-Imagers ist kein realer Bildinhalt sondern eine Serie von Zeilenbildern, die senkrecht zueinander beabstandet sind, wobei jede Zeile eine einzelne bestimmte Wellenlänge des Lichtes repräsentiert (dort Spalte 1, Zeilen 40-45); allerdings ist die dortige Problemstellung (dort Spalte 2, Zeilen 41-54) der Beschleunigung des Auslesens vergleichbar derjenigen der Erfindung.

Es ist Aufgabe der Erfindung, die Geschwindigkeiten zur Erfassung von Bildinhalten (oder: Abtastraten) von bekannten Sensoren zu verbessern, ohne Nutzbereiche (Nutzzeilen) vor dem Auslesen zusammenzuschieben (zu "summieren") und sooft als möglich an bestimmte Bildbereiche (Zeilen, Teilzeilen oder Teilbilder) zu gelangen.

Zur Lösung schlägt die Erfindung vor zu vermeiden, Bildinhalte zeitintensiv aus dem CCD-Ladungsbild-Bereich (Bildzone) erst herauszulesen, um hinterher ein Großteil der zeitintensiv gelesenen Bildinformation gar nicht in Meßwerte umzusetzen; vielmehr wird nur der benötigte Teilbereich, dies können auch einzelne Zeilen oder Teile von Zeilen sein, ausgelesen (Anspruch 1). Der Rest des Bildes wird noch in der Bildzone des zeilenorientierten Bildsensors gelöscht.

Dieses Prinzip kann für eine autonome Bahnführung eines Roboters (Anspruch 2) mit schnellem Auslesen zweier Bildzeilen (für Vorsteuerung und Positionsbestimmung) oder für das zeitoptimale Auslesen von Bildbereichen in einem "Frame-Grabber" eingesetzt werden (Anspruch 13), insbesondere mit verschachteltem Belichtungs- und Löschvorgang (Anspruch 14).

Zum Löschen des nicht ausgelesenen Restbildes kann die Anti- Blooming-Elektrode entgegen ihrem eigentlichen Verwendungszweck eingesetzt werden (Anspruch 10, 11, 12).

(a) Beim Bahnführungsverfahren (Anspruch 2) wird ein flächiger Bildsensor und ein Projektor zur strukturierten Beleuchtung (Anspruch 2, 7) der Objektoberfläche verwendet. Damit kann die Position einer deutlich stärkeren, sich auf dem Objekt befindenden Linie (Bahnmarkierung oder Objektkontur) erkannt werden. Mit diesem Verfahren können fünf Freiheitsgrade im Raum in Echtzeit gemessen werden. Zwei beliebig wählbare Bildzeilen können im Millisekundentakt ausgelesen und verarbeitet werden (Anspruch 5).
Eine Einrichtung zur Durchführung des Verfahrens nach Anspruch 2 ist im Anspruch 18 umschrieben. Jede ausgelesene Bildzeile wird einem gesonderten Meßzweck zugeordnet (Anspruch 23) und dynamisch angepaßt.
(b) Beim zeitoptimalen Auslesen von Bildbereichen (Anspruch 13) oder beim verschachtelten Belichtungs/Löschvorgang (Anspruch 14) kann sich der für die Messung wesentliche Bildausschnitt verändern (Anspruch 15), er kann in seiner Größe und in seiner Position nachgeführt werden. Die dabei gebildeten "dynamisch veränderbaren Bildfenster" werden jeweils so ausgelesen, daß ein zeitintensives Auslesen und Verschieben aus der Bildzone in die Speicherzone so kurz als nur irgend möglich gehalten wird. Zur weiteren Beschleunigung kann auch die Änderung der Ausleserichtung des Ausleseregisters (Anspruch 17) dienen.

In der eingangs erwähnten US 5,185,771 (Itres Research) werden auf dem Chip schon Nutzzeilen zusammengeschoben zu "wanted groups" (dort Spalte 2, Zeile 65) und zu "unwanted groups" oder "discard groups" (dort Spalte 3, Zeilen 24-26), beide werden in der obersten Zeile des Speicherbereichs des CCD oder im Ausleseregister summiert (dort Spalte 8, Zeilen 46-51 und 60-63). Soweit die einleitenden Spalten dieser Druckschrift den Eindruck erwecken, daß Ladungen auf dem Chip gelöscht werden (cleared from the chip), erweist sich dieser Eindruck unter Berücksichtigung der dortigen Ausführungsbeispiele als unrichtig. "Dumped away from the chip" ist dort so zu verstehen, daß die nicht gewollten Zeilen ebenso wie die gewollten Zeilen zusammengeschoben und über das Ausleseregister ausgelesen werden. Der Unterschied zwischen "Gewolltem" und "Ungewolltem" besteht nur darin, daß das eine digitalisiert wird und das andere nicht. Ausgelesen statt dessen werden beide (vgl. dort Spalte 8, Zeilen 46-63 oder Spalte 10, Ziffer 11).

Anders die Erfindung, die Ungewolltes schon auf dem Chip löscht, also gar nicht erst aus der Bild- oder Speicherzone des Bildsensors ausliest.

Mit dem hier vorgeschlagenen Verfahren oder der zugehörigen Meßeinrichtung können zwei beliebige Bildzeilen eines zeilenorientierten Bildsensors in einem Zeitraster von < 1 ms ausgelesen werden. Darüber hinaus ist der Bildsensor mit höchster Flexibilität ausgestattet, so daß er universell einsetzbar ist: Mustererkennung, Qualitätskontrolle und andere typische Aufgaben für CCD-Bildsensoren sind Anwendungsgebiete der Erfindung. Die hohe Flexibilität eröffnet zusätzlich neue Anwendungsgebiete, teilweise auf Gebieten, die bisher nur den CCD-Zeilensensoren vorbehalten waren. Die große Kluft zwischen Bild- und Zeilensensoren kann mit der Erfindung fast vollständig beseitigt werden.

Die Verwendung eines Transputers als Mikrocontroller bietet mittels einer Link-Verbindung eine einfache und schnelle Schnittstelle zur Kopplung des Sensors an ein Transputernetzwerk oder an jedes andere Gerät, das über ein Link-Interface verfügt (z. B. ein PC mit Link-Adapter).

Als Sensor kann eine Kamera Einsatz finden, die entsprechend den Vorschlägen der Erfindung modifiziert und adaptiert ist, ebenso kann auch eine bloße Optik mit dahinter angeordnetem CCD-Chip vorgesehen sein.

Die Ansteuerelektronik läßt sich mit wenigen Änderungen auch für andere CCD-Sensoren verwenden, was in praktischen Versuchen mit dem TH 7864A (von Thomson) gezeigt werden konnte. Ein "Universal-Sequenzer" wird realisierbar, der die meisten gängigen CCD-Sensoren flexibel unterstützt. Hardwareänderungen ergäben sich dann lediglich bei der Realisierung unterschiedlicher Sensor-Interface-Komponenten.

Den Kern der Kamera bildet ein CCD-Bildaufnehmer mit z. B. 768_*576 Bildpunkten, eine für den CCD-Chip speziell entwickelte Ansteuerelektronik sowie eine darauf abgestimmte digitale Auswerteelektronik. Diese Komponenten ermöglichen das gezielte und zeitoptimale Auslesen der jeweils benötigten Bildausschnitte aus der Bildmatrix (Anspruch 13). Damit kann z. B. die erste Bildzeile bis zu 2500 mal pro Sekunde ausgelesen werden (Abtastrate von 0.4 msec). Alle weiteren Bildzeilen werden dabei bereits im Sensor gelöscht, um die sonst erforderliche Auslesezeit einzusparen.

Das Meßverfahren (Anspruch 2) wird für die autonome Verfolgung von Bahnmarkierungen auf räumlichen Oberflächen mit einem Industrieroboter eingesetzt. Hierfür können fünf räumliche Freiheitsgrade gemessen und für die Regelung im kartesischen Regelkreis bzw. für eine Bahnplanung bereitgestellt werden.

Sind die Koordinaten mehrerer Objektpunkte in der Nähe dieser Linie gemessen worden, können durch Interpolation zwischen den entsprechenden Bildpunkten und dem Schnittpunkt der Linie mit einer Bildzeile auf dem Sensor die Koordinaten eines Linienpunktes auf dem Objekt mit hoher Genauigkeit ermittelt werden (Anspruch 3, 7).

Die Meßeinrichtung für Handhabungssysteme (Anspruch 18) zur Durchführung der erwähnten Verfahrens projiziert z. B. sechs zu den Bildzeilen im wesentlichen senkrecht angeordnete (dünne) Meßlinien auf die Oberfläche des zu vermessenden Objekts (Anspruch 19, 20). Ein Linienerkennungsalgorithmus ermittelt die hochaufgelösten Positionen der Meßlinienmittelpunkte. Aus den Schnittpunkten zwischen den auf dem Sensor abgebildeten Meßlinien l_i und den ausgewerteten Bildzeilen lassen sich mit einem einfachen Triangulationsverfahren - ähnlich wie bei einem Laserabstandssensor - die Koordinaten von Punkten auf der Objektoberfläche berechnen. Die Meßeinrichtung simuliert somit eine Matrix aus n_*m (teueren) Laserabstandssensoren, wobei n die Anzahl projizierter Meßlinien i = 1 . . . n und m die Anzahl ausgewerteter Bildzeilen ist (eine, zwei oder drei).

Die Erfindung wird anhand von Ausführungsbeispielen erläutert.

Fig. 1 sind Blickwinkel eines Projektors für Meßlinien und einer Kamera mit dem CCD-Sensor.

Fig. 2 verdeutlicht die Bewegung des Objektes mit seiner Oberfläche im Feld zwischen Kamera und Projektor für die Meßlinien. Die Blickrichtung der Kamera ist z.

Fig. 3 ist eine Vergrößerung in schematischer Darstellung des vorderen Endes einer Roboterhand 1.

Fig. 4 ist ein Blick auf die Meßoberfläche, bei denen die Meßlinien l_i (i = 1 . . . 6) als dunkle Linien erscheinen, während das Restfeld hell ausgeleuchtet ist. Die Bahnkontur ist mit B bezeichnet.

Fig. 5 ist ein Aufbau eines Frame-Transfer-Sensors (als vereinfachte Darstellung für den TH 7864 A (Thomson).

Fig. 6 zeigt die Bildaufnahme und den Auslesevorgang bei einem Frame-Transfer-Sensor.

Fig. 7 ist das Zusammenschieben von 96 nicht benötigten Bildzeilen in einem Sensor.

Fig. 8 demonstriert das Löschen eines Teilbildes in der Bildzone mit der Anti-Blooming-Einheit.

Fig. 9 ist der Aufbau des Frame-Transfer-Sensors THX 7868 A (Thomson).

Fig. 10 beschreibt die Tracking-Funktion mit dem THX 7868 A.

Fig. 11 ist das Blockschaltbild der CCD-Kamera.

Fig. 12 ist das Blockschaltbild des Kamera-Sequenzers.

Fig. 13 ist das Bild- und Zeilenparameter-Register der flexiblen CCD-Kamera.

Fig. 14 ist die Schnittstelle zwischen Kamera und Frame- Grabber.

Fig. 15 zeigt, daß jede Zeile gespiegelt oder ungespiegelt ausgelesen werden kann.

Fig. 16 zeigt die Überprüfung der Windowing-Funktion.

Fig. 17 zeigt, daß die Anzahl der auszulesenden Pixel für jede Zeile individuell programmierbar ist.

Fig. 18 ist ein mit einer Zeile eingescanntes Bild (mit einer Scan-Frequenz von 1000 Hz).

Fig. 19 zeigt den Zeitbedarf zum Auslesen von 1 bis 3 Zeilen.

Fig. 20 zeigt den Zeitbedarf zum Auslesen von n Bildzeilen.

Fig. 1 zeigt schematisch die Blickwinkel von Projektor für die Meßlinien und Kamera mit dem CCD-Sensor. Die Blickwinkel von Kamera und Projektor liegen in einem fest definierten Winkel und betrachten auf dem Objekt die Bahnverfolgungs-Linie, die es zu erkennen und nachzuführen gilt, mit einem im wesentlichen gleichen Ausschnitt. Der dunkel gezeichnete Bereich in Fig. 1 projiziert Meßlinien oder andere symmetrische Strukturen auf die Oberfläche des Meßobjektes. Die Kamera erfaßt diese Meßlinien zusammen mit der zwischen zwei der Meßlinien verlaufenden Bahnkurve (vgl. auch Fig. 4). Senkrecht zur Meßlinienrichtung und in etwa senkrecht zur Bahnlinienrichtung B verläuft die Abtastrichtung "a" des zeilenorientierten CCD-Chips. Der Blickwinkel der Optik der Kamera ist hellgrau in Fig. 1 dargestellt.

Fig. 2 verdeutlicht die Bewegung des Objektes mit seiner Oberfläche und die dabei entstehende Überlappung der Blickwinkel von Projektor und Kamera.

Fig. 3 ist eine Vergrößerung in schematischer Darstellung des vorderen Endes einer Roboter-Hand 1. An ihr ist die in den zuvor erwähnten Figuren skizzierte Kamera 4 mit CCD-Bildsensor 5 und Objektiv 6 angeordnet, während im Winkel zur Mittelachse der Kamera 4 das Meßlinien-Projektorgehäuse 8 angeordnet ist mit seiner Kondensorlinse 9, dem die Linien-Struktur definierenden Meßdia 10 und der Abbildungslinse 11. Hinter der Kondensorlinse 8 ist ein Feld mit einer Vielzahl von leuchtstarken LED-Dioden 7 angeordnet, die stroboskopartig die Meßlinien des Dias 10 auf die Objektoberfläche projizieren. Mit der stroboskopartigen Beleuchtung der Oberfläche ist die Auslesung der Bildzone des CCD-Chips 5 synchronisiert, so daß Fremdlichteinfluß unterdrückt werden kann.

Bewegt sich die Roboterhand 1, so bewegt sich die Meßeinrichtung 4 und 8 gemeinsam mit ihr, da Projektor und Kamera in einem gemeinsamen Gehäuse 3 oder an einer gemeinsamen Befestigungsplatte dieses Gehäuses 3 angeordnet sind. Die Befestigungsplatte 3 ist über einen Flansch 2 an der Roboterhand unbeweglich fixiert.

Der Blick auf die Meßoberfläche ist in Fig. 4 erläutert, die Meßlinien l₁ bis l₆ können dunkle Linien sein, während das Restfeld hell ausgeleuchtet ist. Die Kontur der Bahnkurve B verläuft dabei innerhalb von zwei Meßlinien, dargestellt ist der Verlauf zwischen den Meßlinien l₃ und l₄. Die Länge der Meßlinien in Bewegungsrichtung v der Roboterhand 1 kann abhängig davon gemacht werden, wie stark gekrümmt die Bahnkurve B ist.

Bei der Verwendung eines CCD-Zeilensensors für eine autonome Linienverfolgung stellt sich die Frage nach der Anbringung des Sensors - mit oder ohne Vorlauf, optimale Vorlaufdistanz. Die Art der Anbringung beeinflußt die Eigenschaften des Systems, wobei sie unter den Gesichtspunkten erzielbare Genauigkeit, maximale Verfahrgeschwindigkeit sowie Möglichkeiten für eine Bahnplanung und Vorsteuerung optimiert werden sollte. Eine dynamische Variation des Zeilenvorlaufs ist wünschenswert, technisch jedoch schwierig realisierbar.

Durch Auswertung von zwei Zeilen des CCD-Bildsensors können alle erforderlichen Informationen gewonnen werden, um die Lage und Orientierung der Roboterhand 1 bezüglich der Bahn B vollständig zu bestimmen. Die Nachteile der höheren Auslesezeit eines CCD- Bildsensors und seine vorgegebene starre (übliche) Ausleseprozedur zur Einhaltung der CCIR-TV-Norm des Ausgangssignalverlaufs würde die maximale erzielbare Bildfolge auf 25 Vollbilder bzw. 50 Halbbilder pro Sekunde reduzieren, wenn nicht mit der Erfindung die Geschwindigkeit beträchtlich erhöht würde. Auch die bei Bildsensoren anfallende große Datenmenge, die verarbeitet oder zumindest erfaßt werden muß, "handhabt" die Erfindung problemlos.

Nachfolgend werden die beschleunigenden Vorschläge beispielhaft vorgestellt, um ein zeitoptimales Auslesen nur wenigen benötigten Bildzeilen aus einem CCD-Bildsensor zu ermöglichen. Die Verfahren sind z. B. mit dem THX 7868A oder TH 7864A von Thomson besonders effizient.

Bildsensoren sind im allgemeinen an die Darstellungsdauer eines Fernsehbildes angepaßt. Das Bild wird in zwei aufeinanderfolgenden Halbbildern (Zwischenzeilenverfahren) ausgelesen, wobei die Auslesedauer für jedes Halbbild 20 ms beträgt. Für ein komplettes Bild werden somit 40 ms benötigt. Dieser Faktor allein beschränkt die Meßrate bereits auf maximal 25 Messungen pro Sekunde - theoretisch. Hinzu kommt die Verarbeitungszeit für die anfallenden Daten(un)mengen. Die Verarbeitung der Daten dauert meist ein Vielfaches der Auslesezeit. Für eine qualitativ hochwertige Robotersteuerung mit einem Interpolationstakt von wenigen Millisekunden waren diese Meßraten bislang nicht geeignet. Nötig wären Meßraten, die idealerweise dem Interpolationstakt entsprechen oder zumindest weniger als eine Größenordnung darunter liegen.

Durch eine flexible Ansteuerung eines geeigneten CCD-Bildsensors, d. h. durch Aufgabe der starren Ansteuerung gemäß dem CCIR-TV- Standard, läßt sich eine derart hohe Meßrate mit einem vertretbaren Aufwand erzielen. Dabei werden sämtliche nicht benötigten Bildinformationen bereits im Sensor gelöscht, um die Auslese- und Verarbeitungszeit einzusparen. Dadurch kann der Zugriff (nur) auf die benötigten Daten zeitoptimal erfolgen.

Mit einem sechsachsigen Gelenkarmroboter wurden die Vorschläge der Erfindungen erprobt. Für die Erfassung von fünf räumlichen Freiheitsgraden werden die Bildinformationen aus zwei bis drei (vorzugsweise beliebig wählbaren) Bildzeilen benötigt. Bei Vorschubgeschwindigkeiten von bis zu 1 m/sec (36 km/h) wird die Bahn-Kontur B bzw. Meßlinie noch hinreichend genau aufgelöst (1 Meßpunkt/mm). Daraus ergibt sich eine Meßrate von 1000 Messungen pro Sekunde. Diese Meßrate entspricht dem Interpolations-Takt der erwähnten Steuerung auf Transputerbasis.

Zum Hintergrund der CCD-Bildsensoren, die in drei Gruppen eingeteilt werden:

- Interline-Transfer-Sensoren
- Frame-Transfer-Sensoren
- Frame-Interline-Transfer-Sensoren

Ein typischer Frame-Transfer-Bildsensor ist in Fig. 5 vereinfacht dargestellt. Er besteht aus folgenden Funktionseinheiten:

- einer Bildzone, die aus einer zweidimensionalen Matrix einzelner Bildelemente (Pixel) gebildet wird;
- einer gleichgroßen Speicherzone;
- dem unmittelbar an die Speicherzone angrenzenden Ausleseregister, dessen Länge der Pixelzahl einer Pixelzeile der Bild- und Speicherzone entspricht;
- der an das erste Pixelelement des Ausleseregisters angeschlossenen Ausgangsstufe.

Die Bild- und die Speicherzone sind weitgehend identisch aufgebaut. Die Speicherzone ist jedoch durch eine lichtundurchlässige Schicht abgedeckt, so daß einfallendes Licht dort keine Wirkung zeigt. Ferner fehlen in der Speicherzone sämtliche Vorrichtungen für eine Belichtungssteuerung, da sie dort nicht benötigt werden.

Die in der Bildzone durch Lichteinwirkung generierten Ladungen (Ladungsbild) lassen sich innerhalb der beiden Zonen mit Hilfe von (zumeist vier um 90° phasenverschobenen) Taktsignalen nach dem Eimerkettenprinzip vertikal verschieben. Für Bild- und Speicherzone stehen jeweils getrennte Taktsignale (P-Takte und M-Takte) zur Verfügung, damit sich die Ladungen in der Speicherzone auch separat verschieben lassen ohne die Ladungen in der Bildzone zu beeinflussen.

Die Ladungen aus der Zeile, die sich unmittelbar an das Ausleseregister anschließt, können in einem einzigen Schritt in das Ausleseregister hineingeschoben werden. Im Ausleseregister können sie dann mittels weiterer Taktsignale (L-Takte) horizontal zu einer Ausgangsstufe transportiert werden. Die Ausgangsstufe wandelt die Ladungspakete in eine der Ladungsmenge proportionale Spannung um, die am Videoausgang des Sensors abgegriffen werden kann.

Fig. 6 zeigt den zeitlichen Ablauf einer Bildaufnahme und des sich anschließenden Auslesevorgangs.

Ausgehend von der Anfangssituation (a), in der sowohl die Bild- als auch die Speicherzone ladungsträgerfrei sind, wird der Sensor erstmalig belichtet. In der Bildzone werden während der Belichtungszeit die durch Lichteinwirkung generierten Ladungsträger in sog. Potentialtöpfen auf integriert (b bis d). Die Integrationsdauer beträgt nach CCIR-TV-Standard knappe 20 ms. Sie läßt sich jedoch bei vielen modernen Sensoren durch eine geeignete Taktsteuerung beliebig verkleinern (electronic shutter).

Nach Ablauf der Belichtungszeit erfolgt ein Vertikaltransfer der Ladungen aus der Bildzone in die Speicherzone (e und f). Der Transfer dauert typisch ca. 350 µs. Während des Vertikaltransfers werden weiterhin Ladungen durch Lichteinwirkung erzeugt, die ebenfalls aufintegriert werden und das Bild leicht verschmieren (smearing effect). Die Verschmutzung macht sich in der ersten Zeile natürlich nicht bemerkbar und ist in der letzten Bildzeile am stärksten. Sie ist idR. gering, weil das Verhältnis Transferzeit/Integrationszeit sehr klein ist (350/20 000 = 0,0175) Der Einfluß des Verschmiereffekts erlangt jedoch zunehmende Bedeutung, je weiter die Belichtungszeit mit Hilfe des Electronic Shutter reduziert wird. Extrem helle Bildpunkte können ebenfalls einen deutlich sichtbaren Schweif (Zieheffekt) verursachen.

Nach Abschluß des Vertikaltransfers befindet sich das Bild vollständig in der Speicherzone, wobei die erste Bildzeile unmittelbar am Ausleseregister zu liegen kommt. Es folgt das zeilenweise Auslesen des Bildes aus der Speicherzone über das Ausleseregister zur Ausgangsstufe. In der dafür benötigten Zeit - also parallel dazu - wird das nächste Bild in der Bildzone auf integriert (g bis i). Nach Beendigung des Ausleseprozesses ist wieder der in (d) dargestellte Zustand erreicht und der zyklische Ablauf beginnt von neuem.

Sind also in der Bildzone des Sensors durch Lichteinfall erst einmal Ladungen generiert worden, so können sie nur durch das zeitaufwendige, sequentielle Herausschieben aller Bildzeilen über das Ausleseregister in die Ausgangsstufe beseitigt werden.

Fig. 7 veranschaulicht die Ergebnisse wenn das gesamte mittlere Drittel des Bildes im Ausleseregister zusammengeschoben wird, um schneller an die Bildinhalte im letzten Drittel des Bildes heranzukommen. Die schwarz dargestellte Fläche im Bild stellt den zusammengeschobenen Bereich dar. Obwohl das Bild insgesamt recht dunkel ist, wird ein großer Teil des letzten Bildabschnitts von Ladungen "überflutet".

Um an die Informationen aus lediglich zwei beliebigen "Nutzzeilen" - den Bildausschnitt - schnellstmöglich heranzukommen ohne die Inhalte der Nutzzeilen zu zerstören oder zu beeinträchtigen werden ausgeführt:

1. Vertikaltransfer des Bildes aus der Bildzone in die Speicherzone.
2. Zusammenschieben der nicht benötigten Zeilen bis auf ca. acht Zeilen vor der ersten Nutzzeile. Währenddessen läuft ein schneller Horizontaltransfer ab.
3. Auslesen von sieben Zeilen mit schnellem Horizontaltransfer.
4. Auslesen der letzten Zeile vor der eigentlichen Nutzzeile mit normaler, qualitätsbewahrender Schiebefrequenz.
5. Auslesen der ersten Nutzzeile mit normaler Schiebefrequenz.
6. Wiederholung der Schritte 2. bis 5. für die zweite Nutzzeile.
7. Löschen sämtlicher evtl. noch folgender Bildzeilen auf irgendeine Weise.

Der letzte Schritt kann auch entfallen.

In der Bild- und in der Speicherzone werden horizontal benachbarte Pixel durch vertikal verlaufende ortsfeste Potentialbarrieren getrennt, die mittels eines Gatters erzeugt werden. Über das am Gatter anliegende Potential läßt sich die Höhe des Potentialwalls einstellen. Selbst wenn die Höhe des Potentialwalls groß eingestellt wird, kann es vorkommen, daß durch Überbelichtung des Sensors die Potentialtöpfe überquellen und Ladungen in benachbarte, weniger stark belichtete Bildelemente abfließen. Die damit zusammenhängenden störenden Beeinträchtigungen des Bildes werden als "Blooming" bezeichnet. In modernen CCD-Sensoren ist daher meistens eine sog. Anti- Blooming-Einheit zur Verhinderung dieses Effekts integriert. Das Gatter zwischen zwei benachbarten Pixelspalten ist hierzu in zwei Einzelelektroden unterteilt, wobei im Zwischenraum ein sog. Anti- Blooming-Drain eingefügt ist. Das Anti-Blooming-Drain nimmt die Überschußelektronen aus den überfüllten Potentialtöpfen auf, die sonst in die benachbarten Potentialtöpfe hineinfließen würden.

Mittels der das Drain steuernden Anti-Blooming-Einheit läßt sich ein Electronic Shutter zur Einstellung der Belichtungszeit realisieren. Durch die Anhebung der Potentialtopfböden auf das Niveau des Potentialwalls - die Potentialtöpfe verschwinden dann völlig - fließen sämtliche durch Lichteinwirkung generierten Ladungen sofort in das Anti-Blooming-Drain ab. Die Anhebung der Potentialtopfböden wird erreicht, indem alle vier P-Takte auf das gleiche, passend gewählte Potential gelegt werden. Erst wenn die Potentialtopfböden wieder abgesenkt werden, beginnt die Integration der optisch generierten Ladungen. Mit dem Electronic Shutter lassen sich extrem kurze Belichtungszeiten von einigen wenigen Mikrosekunden realisieren.

Das Aktivieren der Electronic-Shutter-Funktion unmittelbar vor dem Vertikaltransfer des Bildes aus der Bild- in die Speicherzone liefert ein absolut schwarzes Bild. Dies konnte anhand von Untersuchungen an den Sensoren TH 7864A und THX 7868A nachgewiesen werden. Damit eröffnet sich die Möglichkeit, während des Vertikaltransfers, unmittelbar nach der Übernahme einer bestimmten, frei wählbaren Zeile aus der Bildzone in die Speicherzone die Shutter-Funktion zu aktivieren, was das Löschen des sich noch in der Bildzone befindenden Restbildes zur Folge hat. Der sich bereits in der Speicherzone befindende Teil des Bildes wird dabei in keiner Weise beeinträchtigt. Die Shutter- Funktion läßt sich damit zur Einstellung der Anzahl in auszulesender Zeilen benutzen (0 m 292 beim TH 786A).

Da die Ladung der (292-m) restlichen Bildzeilen vollständig beseitigt werden kann, müssen auch nur die Ladungen der ersten in Zeilen aus der Speicherzone über das Ausleseregister herausgeschoben werden. Der Zeitaufwand zum Verarbeiten der letzten (292-m) nichtrelevanten Zeilen entfällt also gänzlich. Wird insbesondere nur die erste Bildzeile benötigt, d. h. der Bildsensor wird als Zeilensensor genutzt, sind auf diese Weise Bildfolgen von bis zu 2500 Bildern pro Sekunde erreichbar. Der "Mißbrauch" der Anti-Blooming-Elektrode zum Löschen der Bildzone ist vom Hersteller nicht vorgesehen.

Fig. 8 veranschaulicht den beschriebenen Auslesezyklus, bei dem beispielsweise nur die erste Hälfte des Bildes ausgelesen wird. Ausgehend von einem fertig belichteten Bild in der Bildzone (a) wird zunächst ein Vertikaltransfer der ersten 146 Zeilen in die Speicherzone durchgeführt (b). Sobald sich die letzte auszulesende Zeile in der Speicherzone befindet, werden die P- Takte angehalten und das restliche Teilbild in der Bildzone mit der Anti-Blooming-Einheit gelöscht (c). Während des nur wenige Mikrosekunden dauernden Löschvorgangs wird das auszulesende Teilbild weiter in Richtung Ausleseregister verschoben (d). Das Löschen trägt effektiv keinen Beitrag zur Gesamt-Auslesedauer bei.

Nach erfolgtem Löschvorgang beginnt in der Bildzone bereits die Integration des nächsten Bildes. Dieser Vorgang läuft wiederum zeitgleich mit dem Auslesen der ersten Bildhälfte aus der Speicherzone (e, f).

Mit den bisher diskutierten Maßnahmen wäre das Auslesen von zwei beliebigen Bildzeilen auch mit dem TH 7864 A in nur etwa drei bis sechs Millisekunden denkbar.

Der CCD-Bildsensor THX 7868 A bietet als besonderes Merkmal eine sog. Windowing-Einheit (windowing device), mit der beliebige Bildzeilen einzeln und in nur typisch 2 µs restlos gelöscht werden können. Das Auslesen einer Zeile dauert demgegenüber ca. 64 µs.

Die Windowing-Einheit ist eine parallel zum Ausleseregister angeordnete Löschvorrichtung. Sie besteht im wesentlichen aus dem Windowing-Drain, das durch das Windowing-Gate vom Ausleseregister getrennt ist. Während des normalen Betriebs wird an das Windowing-Gate ein Potential angelegt, das eine für die im Ausleseregister enthaltenen Ladungen unüberwindbare Potentialbarriere erzeugt. Bei Absenkung der Potentialbarriere durch eine geeignete Spannungsansteuerung des Windowing-Gate strömen die Ladungen aus dem Ausleseregister in das Windowing- Drain ab, was einem Löschen der Zeileninformation gleichzusetzen ist. Eine gezielte Ansteuerung des Windowing-Gate erlaubt folglich das schnelle Löschen einzelner Bildzeilen und Bereiche, wodurch der hohe Zeitaufwand zum seriellen Auslesen der betreffenden Bildzeilen eingespart werden kann.

In Experimenten hat sich herausgestellt, daß mit der Windowing- Einheit das Löschen von Teilen einer Zeile sauber bewerkstelligt werden kann. Es ergibt sich somit die Möglichkeit, nur die ersten n Pixel (0 n 845) einer Zeile auszulesen, die relevante Informationen enthalten. Der nicht benötigte Teil der Zeile (die 845-n letzten Pixel) kann gelöscht werden, um eine weitere Zeitersparnis zu realisieren.

Als weitere Besonderheit verfügt der THX 7868 A über eine zweite Ausgangsstufe, die analog zur ersten Stufe aufgebaut ist, jedoch mit dem Unterschied, daß sie mit dem letzten anstatt mit dem ersten Bildelement des Ausleseregisters verbunden ist. Durch geeignete Ansteuerung der Schiebetakte am Ausleseregister läßt sich die horizontale Transferrichtung beeinflussen. Durch Umkehr der normalen Schieberichtung gelangen die Zeileninformationen in umgekehrter Reihenfolge an die zweite Ausgangsstufe. Ein über diesen Ausgang ausgelesenes Bild erscheint horizontal gespiegelt. Befinden sich die gewünschten Bildinhalte mehr in der linken Hälfte des Bildes, so werden die Zeilen normal ausgelesen. Sind die Informationen jedoch überwiegend rechts im Bild, werden die Zeilen gespiegelt ausgelesen.

In Kombination mit der Option zum Löschen von Teilen einer Zeile kann die Spiegelungsfunktion dazu benutzt werden, noch schneller an die gewünschten Informationen eines Bildes heranzukommen.

Da für eine schnelle Konturverfolgung nur wenige, jedoch weit auseinanderliegende Zeilen in sehr kurzer Zeit ausgelesen werden müssen, ist die Windowing-Funktion des Sensors für die vorgesehene Anwendung vorteilhaft.

Als Beispiel sei hier die sog. Tracking-Funktion genannt. Mit der Tracking-Funktion kann ein z. B. besonders heller Punkt aufgrund der schnellen erzielbaren Bildfolge mit einer hohen zeitlichen und räumlichen Auflösung verfolgt werden. Der Bildausschnitt kann - der Position des Punktes folgend - in Echtzeit nachgeführt werden, wobei die erforderliche Fenstergröße und Position in Abhängigkeit von der aktuellen Geschwindigkeit und Bewegungsrichtung gewählt werden können (vgl. Fig. 10). Hierfür sind interessante Einsatzgebiete denkbar, beispielsweise die Motographie.

Da bei der geplanten Anwendung der Kamera aufgrund des selektiven Auslesens von Teilbildern nicht mehr die gesamte normalerweise zur Verfügung stehende Belichtungszeit für das jeweils nächste Bild verfügbar ist, kann eine stroboskopische Beleuchtung mit intensiven Lichtblitzen vorgesehen werden, um die Empfindlichkeit zu erhöhen.

Wird nur stroboskopartig beleuchtet kann die Speicherzone entfallen.

Eine Übersicht über die Schaltungskomponenten einer alle features kombinierenden Kameraelektronik ist im Blockschaltbild Fig. 11 gegeben. Zur technischen Realisierung des Kamera-Sequenzers sei angemerkt, daß die Ablaufsteuerwerke als einfache Mealy-Automaten entworfen wurden, die in insgesamt fünf PLD-Bausteinen vom Typ MACH210-15 der AMD untergebracht sind.

Die Kameraelektronik beinhaltet einen eigenen Mikrorechner auf Transputerbasis. Der IMS T222 ist über die Systemlogik in die hierarchische Struktur eines übergeordneten Transputerknotens (Up-System) als untergeordneter Knoten (Down-System) eingebettet. Der Transputer empfängt über Link 0 Steuerkommandos von einem kontrollierenden Transputer. Das ist im allgemeinen der Transputer der Frame-Grabber-Baugruppe. Die Kamera kann aber auch von beliebigen anderen Transputerbaugruppen oder von einem PC mit Link-Adapter kontrolliert werden. Einzige Voraussetzung dazu ist, daß die Link-Verbindung differentiell ausgeführt sein muß, da die Link-Treiber gemäß der RS422-Norm spezifiziert sind. Die differentielle Übertragung wurde gewählt, da sie besonders robust gegenüber elektromagnetischen Störeinflüssen ist. Sie gewährleistet einen störungsfreien Betrieb in der stark gestörten Umgebung.

Über den 2048 · 16 Bit (4 kByte) großen Zweitorspeicher und die vier 16-Bit-Register kann der Kamerasequenzer vom Transputer programmiert und kontrolliert werden. Für den praktischen Einsatz der Kamera bedeutet dies, daß das Auslesen eines jeden Bildes aus dem CCD-Sensor individuell programmiert werden kann. Die angesprochene Tracking-Funktion wird somit vom Sequenzer direkt unterstützt.

Die vom Sequenz er generierten digitalen Taktsignale für den CCD-Sensor werden über Koaxialkabel zur Kamera übertragen. Dort werden sie von dem Sensor-Interface auf die Spannungspegel umgesetzt, wie sie für die Sensoransteuerung im Datenblatt spezifiziert sind. Das Sensor-Interface sorgt insbesondere auch für die Einhaltung der geforderten Flankensteilheiten. Zur Generierung sämtlicher Taktsequenzen wurde ein Kamera-Sequenzer aufgebaut, der in drei Zeitebenen jeweils mehrere einfache Grundfunktionen ausführen kann, wobei deren Ablauf durch Programmierung modifiziert werden kann. Die drei Zeitebenen werden wie folgt begründet:

- Zyklen zum Verarbeiten einzelner Pixel (ca. 67 ns)
- Zyklen zum Verarbeiten einzelner Bildzeilen (bis ca. 61 µs)
- Zyklen zum Verarbeiten von Halbbildern (bis ca. 20 ms)

Fig. 12 gibt eine Übersicht über die Funktionsblöcke des Kamera- Sequenzers. Der Sequenzer ist aus zwei Steuerwerken gebildet, die hierarchisch angeordnet sind, ansonsten aber weitgehend unabhängig voneinander arbeiten. Er generiert 16 verschiedene digitale Ansteuertakte zum zeitoptimalen Auslesen der relevanten Bildausschnitte und zum Löschen aller nicht benötigten Bildbereiche. Unterschiedliche Teilfunktionen der Steuerwerke werden in Abhängigkeit von programmierbaren Eingangsparametern und Eingangs-Flip-Flops generiert.

Die Shutter-Register

Die beiden Shutter-Register werden für eine elektronische Belichtungszeitsteuerung benutzt. Zu Beginn eines Bildzyklus wird der Belichtungszähler mit dem Inhalt eines Shutter-Registers geladen. Anschließend wird der Belichtungszähler mit einem Taktzyklus von ca. 533 ns auf Null heruntergezählt. Solange der Zählerinhalt nicht Null ist, wird durch geeignete Ansteuerung der P-Takte die Ausbildung von Potentialtöpfen unterbunden, so daß alle generierten Ladungen in das Anti-Blooming-Drain abfließen und die Integration eines Bildes unterbunden wird (electronic shutter). Sobald der Wert Null erreicht ist, wird die Integration des Bildes freigegeben. Die Belichtungsfreigabe wird ferner als externes Signal zur Ansteuerung einer stroboskopischen Lichtquelle 7 genutzt, so daß das Blitzlicht exakt im richtigen Zeitpunkt - zu Beginn der Belichtung - gezündet werden kann.

Die beiden Shutter-Register können unabhängig voneinander auf unterschiedlich lange Verzögerungszeiten programmiert werden. So ist es beispielsweise denkbar, eine Szene in jeweils zwei aufeinanderfolgenden Halbbildern unter anderen Lichtverhältnissen aufzunehmen. Wird z. B. ein Shutter-Register mit dem Wert Null initialisiert und das andere mit einem Wert, der zu einer Belichtungszeit von nur 100 µs führt, so wird die Bildszene in dem einen Bild bei Tages- oder Umgebungslicht aufgenommen, während die Szene im darauffolgenden Bild mit - eventuell strukturiertem - Blitzlicht aufgenommen wird. Der Einfluß des Tages- und Umgebungslichts ist bei der Blitzlichtaufnahme aufgrund der kurzen Belichtungszeit praktisch vollständig unterdrückt.

Die Bildparameter-Register

Über die beiden 16 Bit breiten Bildparameter-Register lassen sich - abgesehen von der Belichtungsverzögerung - sämtliche Bildparameter programmieren. Fig. 13 zeigt die Belegung der einzelnen Bits eines Bildparameter-Registers.

Start

Die Initialisierung des Sequenzers durch Setzen dieses Bits nach dem Einschalten der Kamera oder nach einem Reset gewährleistet einen definierten Start der Steuerwerke und dient zur Synchronisation mit dem Transputer.

Reset

Rücksetzen des Sequenzers. Das Ablaufsteuerwerk, das Taktsteuerwerk und sämtliche Zähler werden in den Grundzustand versetzt. Dabei werden alle Takte und andere Ausgangssignale auf ein definiertes, unkritisches Ruhepotential gesetzt. Nach dem Reset muß für einen definierten Start des Sequenzers das Start- Bit gesetzt werden.

Fig. 13 zeigt die Belegung der Bits eines einzelnen Zeilenparameter-Registers.

Anzahl Pixel aus der Zeile (10 Bit)

Mit den niederwertigsten 10 Bit wird der Pixelzähler geladen, der über die Anzahl der Pixel-Ausgabezyklen für die aktuelle Zeile entscheidet. Nach der Ausgabe der programmierten Pixelzahl wird die Windowing-Einheit aktiviert und der Rest der Zeile gelöscht.

Links Shift

Jede Zeile kann wahlweise zum linken oder rechten Sensorausgang ausgegeben werden. Das Bit gibt dem Steuerwerk die gewünschte Schieberichtung bekannt. Ist das Bit gesetzt, wird die Zeile in normaler Richtung über VOS1 ausgelesen. Ist das Bit gelöscht, wird die Zeile in umgekehrter Richtung über VOS2 ausgelesen. Das Steuerwerk berücksichtigt automatisch die unterschiedliche Anzahl nichtrelevanter Pixel am Zeilenanfang und -ende. Eine Bildzeile setzt sich nämlich aus 845 Pixeln zusammen, wobei nur 768 Pixel Bildinformationen enthalten. Die restlichen Pixel werden als sog. Pre-Scan-, Post-Scan- und Dunkelreferenzpixel verwendet. In Abhängigkeit von der Schieberichtung erscheinen sie in einer anderen Reihenfolge am Sensorausgang:

Ausgang VOS1

- 14 Post-Scan-Pixel
- 50 Dunkelreferenzpixel
- 768 Bildpixel
- 13 Pre-Scan-Pixel

Ausgang VOS2

- 13 Pre-Scan-Pixel
- 768 Bildpixel
- 50 Dunkelreferenzpixel
- 14 Post-Scan-Pixel

Über die Schnittstelle zum "Frame-Grabber" (Teilbild-Erfasser) signalisiert der Sequenz er nur die Ausgabe der relevanten Bildpixel. Die nichtrelevanten Pixel werden vom Frame-Grabber daher überhaupt nicht verarbeitet.

Letzte Zeile

Das Bit muß in der letzten zu verarbeitenden Zeile gesetzt sein, da es den Sequenzer anweist, den Bildzyklus zu beenden und mit dem nächsten Bildzyklus zu beginnen.

Auslesen

Das Bit signalisiert dem Sequenzer, ob die Zeile ausgelesen oder gelöscht werden soll. Ist das Bit gesetzt, so wird die Bildzeile bis zu der programmierten Pixelzahl ausgelesen. Ansonsten wird die Zeile anstelle des Horizontaltransfers augenblicklich durch Aktivieren der Windowing-Einheit gelöscht. Anschließend wird die nächste Zeile abgearbeitet.

Das Bild wird vom Steuerwerk auf folgende Weise zeitoptimal aus dem CCD-Sensor ausgelesen:

- Ausschieben der Zeilen 1 bis 50 aus der Bildzone in die Speicherzone.
- Löschen der verbleibenden Zeilen in der Bildzone. Ab jetzt kann bereits parallel zu allen folgenden Ausleseoperationen die Belichtung des nächsten Bildes durchgeführt werden.
- Verschieben der 50 Zeilen in der Speicherzone bis zum Ausgaberegister.
- Auslesen der Zeile 1.
- Löschen der Zeilen 2 bis 49 mit Hilfe der Windowing-Einheit.
- Auslesen der Zeile 50.

Nach dem letzten Schritt ist die Speicherzone vollständig leergeräumt. In der Bildzone wurde zwischenzeitlich bereits das nächste Bild belichtet und kann ausgelesen werden.

Nach der Programmierung des Sequenzers läuft der geschilderte Auslesevorgang periodisch ab. Der externe Synchronisationsmechanismus zum Antriggern des Auslesevorgangs (Signal Start Bildzyklus in Fig. 11) und das Signal zur synchronen Ansteuerung einer stroboskopischen Beleuchtung können dafür genutzt werden, einen zum Abtast- und Regel-Takt der Robotersteuerung synchronisierten Betrieb zu realisieren.

Die beschriebenen Funktionen der flexiblen Kamera sind mit einem passend zugeschnittenen "Universal-Frame-Grabber" zur Digitalisierung der Bilddaten besonders wirksam. Ein derartiger Frame-Grabber muß in der Lage sein, abweichend vom "Grabben" eines Vollbildes auch die von der Kamera gelieferten und teilweise nicht zusammenhängenden Bildsegmente richtig zu verarbeiten. Um dieses Ziel zu erreichen wird eine geeignete Schnittstelle zwischen Kamera und Grabber ausgearbeitet (vgl. Fig. 14). Die Schnittstelle zwischen Kamera und Grabber besteht aus sieben Signalleitungen (vgl. Fig. 14). Neben dem eigentlichen Video-Signal werden fünf weitere Steuersignale von der Kamera zum Grabber übertragen, damit das Ablauf-Steuerwerk des Grabbers die Bildausgabe der Kamera bei allen möglichen Betriebsarten nachvollziehen kann. Die fünf Steuerleitungen haben folgende Funktionen:

(a) Neues Bild (Bild-Synchronsignal)

Zu Beginn eines jeden Bildzyklus (für ein Halbbild) wird ein Bild-Synchronsignal übertragen. Das Signal veranlaßt das Steuerwerk, mit dem "Grabben" eines neuen Bildes zu beginnen. Der Zeilenzähler des Steuerwerks wird zurückgesetzt.

(b) Halbbild 1

Das Signal wird benötigt, um zwischen den beiden aufeinanderfolgenden Halbbildern (mit geraden und ungeraden Bildzeilen im CCIR-TV-Modus) unterscheiden zu können. Ist Halbbild 1 aktiv, werden die digitalisierten Bilddaten in ungerade Zeilenpositionen des Bildspeichers geschrieben, ansonsten werden die geraden Zeilenpositionen beschrieben.

(c) Neue Zeile (Zeilen-Synchronsignal)

Zu Beginn eines jeden Zeilenzyklus wird ein Zeilen-Synchronsignal übertragen. Das Signal veranlaßt den Grabber, den Zeilenzähler zu inkrementieren und den Pixelzähler zurückzusetzen. Die nachfolgenden digitalisierten Bildpunkte werden somit in die nächste "Zeile" im Bildspeicher des Grabbers eingetragen.

(d) PHI (Pixel-Schiebetakt)

Um einen definierten Abtastzeitpunkt mit einem möglichst geringen Abtast-Jitter zu erhalten, wurde der Pixel-Schiebetakt PHI aus dem Signal F2L, das von der Kamera-Ansteuerelektronik generiert wird, abgeleitet. Dieses Synchronisationssignal wird direkt auf den Takteingang des A/D-Wandlers des Grabbers gelegt. Das Signal läßt sich in der Phasenlage variieren, um Laufzeiteffekte in der Übertragungsleitung von der Kamera zum Grabber zu kompensieren. Damit wird stets eine exakte pixelsynchrone Abtastung des Video- Signals gewährleistet.

(e) Pixel gültig

Das Signal wird zur Unterscheidung zwischen gültigen Bildpunkten und Pre-, Post- bzw. Dunkelreferenz-Pixeln benötigt. Nur wenn dieses Signal aktiv ist, handelt es sich bei den ankommenden Pixeln um relevante Bildpunkte. Während der Ausgabe der Pre-, Post- und Dunkelreferenz-Pixel einer Zeile wird das Signal deaktiviert, so daß diese Pixel vom Grabber nicht digitalisiert bzw. in den Bildspeicher übertragen werden.

Ein weiteres Steuersignal wird vom Grabber zur Kamera übertragen: Kamera Start

Ist das Signal aktiv, kann der Kamera-Sequenzer den CCD- Bildsensor zyklisch auslesen. Wird das Signal inaktiv geschaltet, bleibt der Kamera-Sequenzer nach der Abarbeitung des momentan laufenden Bildzyklus stehen. Mit einem kurzen Impuls auf dieser Signalleitung läßt sich ein einzelner Bildzyklus der Kamera vom Grabber aus antriggern. Damit kann die Bildfrequenz der Kamera beliebig eingestellt werden, sofern die Periodendauer nicht kleiner gewählt wird als die vom Kamera-Sequenzer benötigte Zeit für die Ausgabe aller gewünschten Bildteile.

Die Bildfolge läßt sich über diese Signalleitung z. B. mit dem Abtast und Regeltakt der Robotersteuerung synchronisieren, oder es kann eine extrem kurze Bildfolge realisiert werden, z. B. für Zeitraffer-Aufnahmen.

Der Frame-Grabber beinhaltet ein programmierbares, autonom arbeitendes Ablaufsteuerwerk zum zyklischen Erfassen der vom Sensor gelieferten Bildinformationen. Das Videosignal wird hierbei in 256 Graustufen digitalisiert. Der Frame-Grabber bildet die physikalische Pixel-Matrix des CCD-Sensors als virtuelle Pixel-Matrix in einem 1 MByte großen Zweitorspeicher ab. Zu jedem Bildpunkt der Pixel-Matrix im CCD-Sensor korrespondiert somit ein Byte im Speicher des Frame-Grabbers. Der Grabber ist ferner ebenfalls mit einem Transputer (IMS T805) sowie 4 MByte Arbeitsspeicher ausgestattet, so daß er per Link die Kamerafunktionen programmieren und überwachen kann. Der Transputer hat über den Zweitorspeicher unmittelbaren Zugriff auf die digitalisierten Bilddaten. Er kann sie über mehrere Link- Verbindungen mit einer beachtlichen Übertragungsbandbreite in ein weiteres Transputer-Netz zur Echtzeit-Datenverarbeitung transferieren (Transputer 1, 2, n).

Das vollständige Einlesen eines Bildes wird dem Transputer mittels eines vom Ablaufsteuerwerk generierten Bild-Interrupts bekanntgegeben, um geringe Laufzeiten und somit kurze Antwortzeiten der Regelung zu erreichen.

Das Einlesen der Bilddaten in den Speicher des Frame-Grabbers ist mit dem Beschreiben einer Papierseite mit einem Drucker (z. B. Typenraddrucker) vergleichbar:

- Der Grabber positioniert nach Empfang des Bild- Synchronsignals Neues Bild den Schreibzeiger auf die erste Pixel-Position in der ersten Zeile der virtuellen Pixel- Matrix - und zwar abhängig von dem Signal Halbbild auf die erste ungerade oder auf die erste gerade Zeile. Dieser Schritt ist mit dem Papiereinzug in den Drucker sowie dem Ausrichten des Druckkopfes auf die erste Schreibposition vergleichbar.
- Digitalisierte Bildpunkte werden so lange sequentiell in aufeinanderfolgende Byte-Positionen geschrieben, bis ein Zeilen-Synchronsignal Neue Zeile (entsprechend einem Zeilenrücklauf beim Drucker) empfangen wird. Es muß also keinesfalls stets eine komplette Bildzeile übertragen werden. Vielmehr darf die ausgelesene Anzahl Pixel in jeder Bildzeile beliebig variieren.
- Treffen mehrere Zeilen-Synchronsignale unmittelbar nacheinander ein, werden die entsprechenden Bildzeilen im Zweitorspeicher des Grabbers übersprungen. Dabei wird lediglich der Zeilenzähler inkrementiert (entsprechend dem Einfügen von Leerzeilen bei einem Druckvorgang).

Im Gegensatz zu herkömmlichen Frame-Grabbern ist der hier vorgestellte "Universal-Frame-Grabber" in der Lage, beliebige Bildformate von einer 1_*1-Bildmatrix bis zu einer 1024_*1024-Bild matrix ohne Umprogrammierung des Steuerwerks korrekt einzulesen. Er unterstützt damit direkt unterschiedliche CCD- Sensoren, speziell also auch den THX 7868A mit 768_*576 Bildpunkten. Aufeinanderfolgende Zeilen dürfen in der Länge beliebig variieren.

Die Bildinformationen werden vom Steuerwerk automatisch genau an die Positionen im Zweitorspeicher geschrieben, die den physikalischen Bildpunktpositionen im CCD-Bildaufnehmer entsprechen.

Grabber und Kamera bilden in Verbindung mit der Schnittstelle eine besonders leistungsfähige Einheit für eine fortschrittliche Echtzeit-Bilddatenerfassung und -Bildverarbeitung.

Aus dem Testbild in Fig. 15 geht hervor, daß jede Zeile individuell auf ungespiegeltes Auslesen über VOS1 oder gespiegeltes Auslesen über VOS2 programmiert werden kann. Im obersten Bildabschnitt wurden alle Zeilen normal ausgelesen, im zweiten Fünftel des Bildes wurde jede gerade Zeile gespiegelt ausgelesen. In der Bildmitte wurden alle Zeilen, im darauffolgenden Bildteil nur die ungeraden Zeilen spiegelverkehrt ausgelesen. Der unterste Abschnitt enthält schließlich wieder nur ungespiegelte Bildzeilen. Die Spiegelungsfunktion ist z. B. für die optimale Umsetzung der Tracking-Funktion von Interesse (vgl. Fig. 10).

In Fig. 16 ist die Funktion der Windowing-Einheit veranschaulicht. Die Ausschnittsvergrößerung eines Bildes zeigt den Übergangsbereich zwischen der komplett gelöschten Hälfte eines Kamerabildes und der sich daran anschließenden zweiten Bildhälfte, die ausgelesen wurde. Die erste ausgelesene Zeile ist nicht heller als die folgenden Zeilen, was darauf schließen läßt, daß sämtliche Ladungen aus den gelöschten Zeilen tatsächlich komplett gelöscht worden sind (vgl. Fig. 7; Probleme mit dem TH 7864 ohne Windowing-Einheit). Die erste ausgelesene Zeile ist aber auch nicht dunkler als die folgenden Zeilen, was belegt, daß die Windowing-Funktion rechtzeitig zwischen Löschen und Auslesen umschaltet, so daß die Information in der ersten Nutzzeile durch das Löschen der vorangehenden Zeile nicht in Mitleidenschaft gezogen bzw. nicht teilweise mit gelöscht wird.

Fig. 17 veranschaulicht, daß sich die auszulesende Pixel-Anzahl für jede Zeile individuell einstellen läßt. Die schwarzen Bereiche kennzeichnen Bildteile, die nicht aus dem CCD-Sensor ausgelesen sondern bereits im Sensor gelöscht wurden. Die eingesparten Auslesezeiten für jede unvollständig ausgelesene Zeile summieren sich auf, so daß die Auslesezeit um so kleiner ist, je größer die schwarzen Bereiche sind. Die interessierenden Bereiche eines Bildes können damit stets zeitoptimal ausgelesen werden. Insbesondere läßt sich die effektive Pixel-Matrix des Sensors je nach Aufgabe und Echtzeit-Anforderung beliebig zwischen 1_*1 und 768_*576 Bildpunkten programmieren.

Im Extremfall kann die Anzahl ausgelesener Zeilen Null betragen, was natürlich keinen Sinn ergibt. Das "Scannen" mit einer beliebigen Zeile - oder sogar nur mit einem Teil einer Zeile - ist hingegen eine sehr interessante Anwendung. Die Fig. 18 entstand durch das Scannen mit (nur) der Zeile 147. Die Bildfolge wurde dabei durch Synchronisation mit einer Robotersteuerung auf 1000 Bildzyklen pro Sekunde - das entspricht dem Interpolationstakt der Robotersteuerung - eingestellt. Vor der Kamera wurde die Spielkarte zügig von oben nach unten durchgezogen. Als der Kartenrand die "sensitive" Zeile 147 erreichte, wurde der Helligkeitsreflex vom Grabber registriert und damit die Auswertung von 1024 aufeinanderfolgenden Bildzeilen im Millisekundentakt getriggert. Der Frame-Grabber digitalisierte die eintreffenden Bildzeilen und kopierte sie aus dem Bildspeicher in aufeinanderfolgende Zeilenpositionen im Arbeitsspeicher. Die Aneinanderreihung der 1024 Bildzeilen ergab das dargestellte Scan-Bild mit 1024_*768 Bildpunkten.

Daß es sich tatsächlich um ein Scan-Bild handelt, ist daran zu erkennen, daß aufgrund der nicht konstanten Geschwindigkeit, mit der die Karte beim Scannen vor der sensitiven Bildzeile bewegt wurde, die obere Hälfte des Bildes gestaucht und die untere Hälfte gestreckt erscheint. Beim Scannen mit der ersten Bildzeile kann eine Scan-Frequenz von 2500 Hz erreicht werden, was in der Größenordnung gängiger CCD-Zeilensensoren liegt.

In Fig. 19 ist der Zeitbedarf zum Auslesen von 1 bis 3 Bildzeilen dargestellt, und zwar in Abhängigkeit von der Nummer der letzten ausgelesenen Bildzeile. In Fig. 20 ist schließlich der Zeitbedarf zum zeitoptimalen Auslesen von n beliebigen sowie der n ersten Zeilen dargestellt.

Das auf der Kamera basierende Meßsystem nutzt im Beispiel nur drei frei wählbare Bildzeilen des CCD-Bildsensors für die Messung von fünf räumlichen Freiheitsgraden mit einer Meßrate von 1000 Messungen pro Sekunde (Abtastfrequenz von 1 kHz).

(A) Aus einer vorlaufenden Bildzeile werden Daten für eine effiziente Bahnplanung und eine kartesische Vorsteuerung gewonnen werden.
(B) Die mittlere Zeile erfaßt die Ist-Position des Werkzeugbezugspunktes des Roboters, dessen Position relativ zu der Bahnlinie geregelt wird.
(C) Eine nachlaufende Zeile unterstützt schließlich die Messung einiger Parameter, wodurch die Meßgenauigkeit gesteigert werden kann.

Die Wahl der Vor- und der Nachlaufzeile kann dynamisch an den Bahnverlauf und an die momentane Bahngeschwindigkeit angepaßt werden.

Anhand der Fig. 4 ist das Prinzip erläutert worden, wie ein Linienerkennungs-Algorithmus mit hoher Abtastfrequenz die Position der Bahnkurve B zwischen zwei Meßlinien 13 und 14 bestimmen kann obwohl nur eine einzige querverlaufende Scan-Zeile aus dem CCD ausgelesen und verarbeitet wird.

Dieses Leistungsergebnis wird potenziert durch eine Interpolation. Mit ihr wird der Abstand des in der Abtastzeile a liegenden Punktes Z der Bahnkurve B zwischen verschiedenen der anderen Meßlinien l_i → l_j gemessen und verarbeitet. Im Beispiel der Fig. 4 bieten sich dazu gar 18 Möglichkeiten die Position von Z zu berechnen (von l₁ nach l₄, von l₂ nach l₄, von l₃ nach l₄; von l₁ nach l₅, von l₂ nach l₅, von l₃ nach l₅; usw.). Bildet man aus dieser Vielzahl von Meßwerten einen Mittelwert - interpoliert man - so kann die Position von Z sogar anhand des Mittelpunktes der Breite der Bahnkurve B angegeben werde. Selbst breite, sogar unregelmäßige Bahnlinien werden dadurch kompensiert. Einer (von vielen) Algorithmen zu Interpolation ist in Fig. 1 angegeben.

Aufgrund seiner enormen Flexibilität kann der Framegrabber auch für unterschiedlichste andere Aufgaben eingesetzt werden, vor allem für Aufgaben, bei denen es auf eine schnelle Bereitstellung der Daten aus selektierten Bildbereichen oder aus wenigen frei wählbaren Zeilen ankommt. Besonders für den Aufbau schneller und hochgenauer optischer Meßsysteme dürfte die Kamera aufgrund ihrer hohen Flexibilität entscheidende Vorteile gegenüber herkömmlichen CCD- Vollbild- und Zeilen-Kameras haben.

Claims

1. Verfahren zur Erfassung von Bildinhalten eines zeilenorientierten Bildsensors, insbesondere CCD- Bildsensors, bei dem

(a) nur die benötigten Bildbereiche (Zeilen, Teile von Zeilen oder Teilbilder) ausgelesen werden;
(b) der Rest des Bildes ohne Auslesen noch in der Bildzone des Bildsensors gelöscht wird.

2. Verfahren nach Anspruch 1 als autonome Erfassung von Bahnmarkierungen oder Objektkonturen räumlicher Oberflächen zur Steuerung von Robotern in kartesischen Koordinaten, bei dem

(a) Meßlinien (l₁ . . . l₆) im wesentlichen senkrecht zur Abtastung (a) eines Bildsensors, insbesondere CCD- Bildsensors, auf eine Oberfläche des räumlichen Objekts projiziert (7 bis 11) werden;
(b) zwei Bildzeilen des Bildsensors ausgelesen und verarbeitet werden sowie die nicht benötigten Bildzeilen des Bildsensors (bereits) im Sensor selbst gelöscht werden.

3. Verfahren nach Anspruch 2, bei dem eine dritte Bildzeile ausgelesen und - zur Erhöhung der Meßgenauig keit - interpolierend ausgewertet wird.

4. Verfahren nach Anspruch 2 oder 3, bei dem die erste Bildzeile eine Vorlaufzeile, die dritte Bildzeile eine Nachlaufzeile und die zweite Bildzeile zur Berechnung der Ist-Position des Werkzeug-Bezugspunktes der Roboterhand (1) ausgewertet wird, deren Position relativ zur Bahnlinie (B) zu steuern oder zu regeln ist.

5. Verfahren nach einem der Ansprüche 2 bis 4, bei dem der Bildsensor abweichend vom CCIR-Fernsehstandard etwa im Zeitraster des Interpolation- oder Abtasttaktes der Robotersteuerung und/oder Roboterregelung angesteuert bzw. ausgelesen wird, insbesondere in einem Zeitraster zwischen 0.5 msec und 1 msec.

6. Verfahren nach Anspruch 5, bei dem der Bildsensor im Zeitraster der Interpolation oder des Abtastens der Regelung gelöscht wird.

7. Verfahren nach einem der Ansprüche 2 bis 6, bei dem der Abstand zwischen verschiedenen Meßlinien (l₁ bis l₆) und der Bahnkurve (B) ermittelt wird, um mittels einer Interpolation das Zentrum (Z) der Bahnkurve (B) zu ermitteln.

8. Verfahren nach einem der Ansprüche 2 bis 7, bei dem die Meßlinien (l_i) geradlinig, parallel, insbesondere äquidistant sind.

9. Verfahren nach einem der Ansprüche 2 bis 8, bei dem beidseitig der Bahnkurve (B) eine gleiche Anzahl von Meßlinien (l_i) projiziert werden.

10. Verfahren nach einem der vorigen Ansprüche, bei dem die Anti-Blooming-Elektrode des CCD-Sensors zum Löschen des CCD-Inhaltes (der darauf befindlichen Ladung) eingesetzt wird, bevor der CCD-Inhalt (ganz) ausgelesen wurde.

11. Verfahren nach Anspruch 10, bei dem das Ladungsbild mit der Anti-Blooming-Elektrode nach Auslesen einiger Zeilen gelöscht wird.

12. Verfahren nach Anspruch 10 oder 11, bei dem das Ladungsbild des Sensors gelöscht wird, nachdem (nur) eine Zeile ausgelesen wurde.

13. Verfahren nach Anspruch 1 als zeitoptimales Auslesen beliebig wählbarer Bildausschnitte auf einem CCD-Chip ohne Auslesen des Gesamt-Bildes aus seiner Bildzone, bei dem

(a) eine oder mehrere Zeilen ganz oder teilweise ausgelesen werden;
(b) die ausgelesenen Analogwerte der Zeilen digitalisiert werden und die digitalisierten Werte in einem Digital- Bildspeicher in dem Adressenbereich gespeichert werden, der dem Ladungsbild-Bildausschnitt entspricht, der ausgelesen wurde;
(c) das Rest- oder Gesamt-Ladungsbild unmittelbar auf dem CCD-Chip gelöscht wird.

14. Verfahren nach Anspruch 1 oder 13, bei dem das Auslesen und das Aufintegrieren von Ladungsbildern in einem CCD-Chip verschachtelt wird, wobei

(a) das in die Speicherzone des CCD-Chips verschobene Teilbild (weiter) zum Ausleseregister verschoben wird;
(b) das (noch) in der Bildzone des CCD-Chips befindliche Rest-Ladungsbild über das "Anti-Blooming-Drain" des CCD-Chips gelöscht wird;
(c) (schon) während des Verschiebens oder Auslesens gemäß (a) ein neues Gesamt-Ladungsbild in der Bildzone des CCD-Chips aufgebaut wird.

15. Verfahren nach Anspruch 13 oder 14, bei dem der beliebig wählbare Bildausschnitt in seiner Größe und/oder seiner Lage auf der Bildzone des CCD-Chip verändert wird.

16. Verfahren nach einem der Ansprüche 13 bis 15, bei dem die Veränderung abhängig von der Bewegung einer mar kanten - insbesondere hellen - Stelle im Bildausschnitt erfolgt.

17. Verfahren nach einem der Ansprüche 13 bis 16, bei dem eine Ladungsbild-Zeile abhängig von der Lage des Bildausschnitts nach der einen oder anderen Seite aus dem Ausleseregister ausgelesen wird.

18. Einrichtung für Handhabungssysteme zur Durchführung des Verfahrens nach einem der Ansprüche 2 bis 12 bei der

(a) ein mit der Roboterhand (1) mitgeführter, zeilenorientierter Bildsensor (5), insbesondere ein CCD- Sensor, vorgesehen ist;
(b) eine Ausleseeinrichtung für einzelne Zeilen des zeilenorientierten Bildsensors vorgesehen ist;
(c) eine Ladungs-Löscheinrichtung den Gesamtinhalt des Sensors löscht, nachdem eine, zwei oder drei Zeilen ausgelesen wurden und bevor der gesamte Bildinhalt des Sensors (5) zeilenweise gelesen wurde.

19. Einrichtung nach Anspruch 18, bei der eine Projektions- Einrichtung (7 bis 11) dünne, im wesentliche gerade Meßlinien (l₁ bis l₆) auf das vom Handhabungssystem (1) zu bearbeitende oder zu ergreifende räumliche Objekt projiziert.

20. Einrichtung nach Anspruch 19, bei der die Meßlinien (l₁ bis l₆) impulsartig auf das Objekt projiziert werden.

21. Einrichtung nach einem der Ansprüche 19 bis 20, bei der die Projektion der Meßlinien und die "Belichtung" des CCD- Chips (Freigeben und Herausschieben) von einer Synchroneinheit synchronisiert werden.

22. Einrichtung nach Anspruch 21, bei der die Synchroneinheit zwei Schieberegister zur Steuerung der Verzögerung und des Zeitpunktes des Herausschiebens des Ladungsbildes aufweist.

23. Einrichtung nach einem der Ansprüche 18 bis 22, bei der die erste Bildzeile (Vorlaufzeile) und/oder die dritte Bildzeile (Nachlaufzeile) in ihrem Abstand von der zweiten Bildzeile (Ist-Positionszeile) dynamisch an den Bahnverlauf oder die Bahngeschwindigkeit der Roboterhand (1) angepaßt wird.