DE4405865A1

DE4405865A1 - CCD-Sensorsystem für Bahnverfolgung von Handhabungssystemen

Info

Publication number: DE4405865A1
Application number: DE4405865A
Authority: DE
Inventors: Heinrich Bednarek
Original assignee: GFR GES fur REGELUNGSTECHNIK
Current assignee: LEONHARD WERNER 38302 WOLFENBUETTEL DE
Priority date: 1994-02-23
Filing date: 1994-02-23
Publication date: 1995-08-24
Anticipated expiration: 2014-02-24
Also published as: DE4405865C2

Description

An heutige Robotersysteme werden immer höhere Anforderungen bezüglich ihrer Bearbeitungsflexibilität gestellt. Aufgaben, für die der Roboter sämtliche sechs räumlichen Freiheitsgrade beherrschen muß, treten immer häufiger auf. Eine Bahnsteuerung, die die abzufahrende Kontur allein aus den Datenbeständen einer CAD-Anlage oder aus nachträglich gelernten Stützwerten errechnet, kann den erhöhten Anforderungen an die Flexibilität nicht mehr gerecht werden. Oft tritt das Problem auf, daß die zu bearbeitenden Teile prozeßbedingt unterschiedlich positioniert werden, so daß die Bahnkontur Streuungen unterworfen ist, oder die abzufahrende Kontur ist vorab überhaupt nicht bekannt. Spätestens dann ist eine sensorgestützte Bahnkorrektur bzw. eine sensorgeführte Bahnverfolgung erforderlich. Für diesen Zweck werden z. B. Laserabstandssensoren oder CCD-Zeilenkameras eingesetzt. Diese Sensoren haben die Nachteile, daß sie entweder nur wenige Freiheitsgrade gleichzeitig messen können oder eine für Echtzeitanforderungen zu geringe Meßrate erreichen. Um diese Defizite auszugleichen, werden manchmal Systeme mit mehreren gleichen oder unterschiedlichen Sensoren aufgebaut. Solche "Multi-Sensorsysteme" erreichen schnell eine kaum zu beherrschende Komplexität.

Es ist daher u. a. eine Aufgabe der Erfindung, die Geschwindigkeiten (oder: Abtastraten) von bekannten Sensoren zu verbessern, ohne den Meß- oder Auswertungsaufwand zu vergrößern und so oft als möglich an bestimmte Bildbereiche zu gelangen; mithin nur die jeweils benötigten Bildinhalte (Zeilen oder Teilbilder) beschleunigt zu erfassen.

Dazu schlägt die Erfindung eine Vielzahl von Möglichkeiten vor (Anspruch 1, Anspruch 10, Anspruch 13, Anspruch 15, Anspruch 20 und Anspruch 21), die mit den jeweiligen abhängigen Ansprüchen weiter konkretisiert werden. All diese Lösungen haben gemeinsam, daß vermieden wird, diejenigen Bildinhalte zeitintensiv aus dem CCD-Ladungsbild-Bereich (Bildzone) erst herauszulesen, um hinterher ein Großteil der zeitintensiv gelesenen Bildinformation gar nicht in Meßwerte umzusetzen. Vielmehr wird nur der benötigte Teilbereich, dies können auch einzelne Zeilen oder Teile von Zeilen sein, ausgelesen, während der Rest des Bildes noch in der Bildzone gelöscht wird.

Zum Löschen kann die Anti-Blooming-Elektrode entgegen ihrem eigentlichen Verwendungszweck eingesetzt werden.

Zum Beschleunigen des Auslesens kann die Speicherzone des CCD- Bildsensors entfallen und das Ausleseregister unmittelbar an der Bildzone angeordnet werden (Anspruch 13).

Verändert sich der für die Messung wesentliche Bildausschnitt (Anspruch 22), so kann er in seiner Größe und in seiner Position nachgeführt werden. Die dabei gebildeten "dynamisch veränderbaren Bildfenster" werden jeweils so ausgelesen, daß ein zeitintensives Auslesen und Verschieben aus der Bildzone in die Speicherzone so kurz als nur irgend möglich gehalten wird. Zur Beschleunigung kann auch die Änderung der Ausleserichtung des Ausleseregisters (Anspruch 24) dienen.

Die Erfindung schlägt das schnelle Meßsystem für die autonome Erfassung von Bahnkurven von Robotern vor; das Meßsystem besteht aus einem Bildsensor und einem Projektor zur strukturierten Beleuchtung der Objektoberfläche. Mit diesem Meßsystem können fünf Freiheitsgrade im Raum in Echtzeit gemessen werden.

Mit dem hier vorgeschlagenen Bildsensor können zwei beliebige Bildzeilen in einem Zeitraster von 1 ms ausgelesen werden. Das anvisierte Ziel, ein schnelles Meßsystem für die (autonome) Konturverfolgung mit einem Industrieroboter aufzubauen wird erfindungsgemäß somit erreicht. Darüber hinaus ist die Kamera (der "Bildsensor") mit höchster Flexibilität ausgestattet, so daß der aufgebaute Sensor universell einsetzbar ist. Mustererkennung, Qualitätskontrolle und andere typische Aufgaben für CCD-Bildsensoren sind Anwendungsgebiete der Erfindung. Die hohe Flexibilität eröffnet zusätzlich neue Anwendungsgebiete für den Einsatz der CCD-Bildsensoren, teilweise auf Gebieten, die bisher nur den CCD-Zeilensensoren vorbehalten waren. Die große Kluft zwischen Bild- und Zeilensensoren kann damit fast vollständig beseitigt werden.

Die Verwendung eines Transputers als Mikrocontroller bietet mittels einer Link-Verbindung eine einfache und schnelle Schnittstelle zur Kopplung des Sensors an ein Transputernetzwerk oder an jedes andere Gerät, das über ein Link-Interface verfügt (z. B. ein PC mit Link-Adapter).

Als Sensor kann eine Kamera Einsatz finden, die entsprechend den Vorschlägen der Erfindung modifiziert und adaptiert ist, ebenso kann auch eine bloße Optik mit dahinter angeordnetem CCD-Chip vorgesehen sein.

Die Ansteuerelektronik läßt sich mit wenigen Änderungen auch für andere CCD-Sensoren verwenden, was in praktischen Versuchen mit dem TH 7864A (von Thomson) gezeigt werden konnte. Ein "Universal-Sequenzer" wird realisierbar, der die meisten gängigen CCD-Sensoren flexibel unterstützt. Hardwareänderungen ergäben sich dann lediglich bei der Realisierung unterschiedlicher Sensor-Interface-Komponenten.

Den Kern einer Kamera bildet ein CCD-Bildaufnehmer mit z. B. 768_*576 Bildpunkten, eine für den CCD-Chip speziell entwickelte Ansteuerelektronik sowie eine darauf abgestimmte digitale Auswerteelektronik. Diese Komponenten ermöglichen das gezielte und zeitoptimale Auslesen der jeweils benötigten Bildausschnitte aus der Bildmatrix. Damit kann z. B. die erste Bildzeile bis zu 2500 mal pro Sekunde ausgelesen werden. Alle weiteren Bildzeilen werden dabei bereits im Sensor gelöscht, um die sonst erforderliche Auslesezeit einzusparen (Anspruch 2). Zwei beliebig wählbare Bildzeilen können im Millisekundentakt ausgelesen und verarbeitet werden.

Der Projektor projiziert z. B. sechs zu den Bildzeilen im wesentlichen senkrecht angeordnete (dünne) Meßlinien auf die Oberfläche des zu vermessenden Objekts. Ein Linienerkennungsalgorithmus ermittelt die hochaufgelösten Positionen der Meßlinienmittelpunkte. Aus den Schnittpunkten zwischen den auf dem Sensor abgebildeten Meßlinien und den ausgewerteten Bildzeilen lassen sich mit einem einfachen Triangulationsverfahren - ähnlich wie bei einem Laserabstandssensor - die Koordinaten von Punkten auf der Objektoberfläche berechnen. Das Meßsystem simuliert somit eine Matrix aus n_*m Laserabstandssensoren, wobei n die Anzahl projizierter Meßlinien und m die Anzahl ausgewerteter Bildzeilen ist.

Zusätzlich kann die Position einer deutlich stärkeren, sich auf dem Objekt befindenden Linie (Bahnmarkierung oder Objektkontur) erkannt werden. Sind die Koordinaten mehrerer Objektpunkte in der Nähe dieser Linie gemessen worden, können durch Interpolation zwischen den entsprechenden Bildpunkten und dem Schnittpunkt der Linie mit einer Bildzeile auf dem Sensor die Koordinaten eines Linienpunktes auf dem Objekt mit hoher Genauigkeit ermittelt werden.

Das Meßverfahren wird für die autonome Verfolgung von Bahnmarkierungen auf räumlichen Oberflächen mit einem Industrieroboter eingesetzt. Hierfür können fünf räumliche Freiheitsgrade gemessen und für die Regelung im kartesischen Regelkreis bzw. für eine Bahnplanung bereitgestellt werden.

Die meßbaren Freiheitsgrade sind:

- die seitliche Abweichung der Roboterhand von der Bahnmarkierung (y-Komponente)
- die Entfernung der Roboterhand zur Objektoberfläche (z- Komponente)
- die vollständige Orientierung der Roboterhand bezüglich einer sich auf dem Objekt befindenden Bahnlinie (Winkel α, β und γ entsprechend den Drehungen um die Koordinatenachsen x_h, y_h und z_h des handspezifischen Koordinatensystems).

Der verbleibende sechste Freiheitsgrad - die Vorschubrichtung v längs der Bahnmarkierung B - wird nicht geregelt. Eine Vorschubgeschwindigkeit v wird von der Bahnsteuerung explizit vorgegeben. Die Orientierung der Roboterhand 1 kann z. B. so geregelt werden, daß ein Werkzeug stets senkrecht zur Objektoberfläche ausgerichtet ist und die x-Achse des handspezifischen Koordinatensystems genau in Bewegungsrichtung längs der Bahn B zeigt.

Zur Messung der fünf Freiheitsgrade genügt die Auswertung von nur zwei Bildzeilen. Mit der ersten Bildzeile wird die Ist position der Roboterhand 1 relativ zu der Bahnmarkierung B erfaßt. Aus der zweiten, vorauseilenden Bildzeile kann die Position eines weiter vorn liegenden Punktes der Bahn B bestimmt werden (Der Punkt bildet sich durch den Schnitt von Abtastzeile und Bahnkurve). Diese Daten können für Bahnplanungs- und Vorsteuerungskonzepte genutzt werden. Durch Auswertung einer dritten, nachlaufenden Zeile kann die Güte der Vorsteuerung erhöht werden.

Die mit dem Meßsystem erzielte Meßfrequenz von 1 kHz entspricht dem Interpolationstakt (1 ms) einer Experimental-Robotersteuerung auf Transputerbasis.

Nachfolgende Beispiele sollen das Verständnis der Erfindung vertiefen:

Fig. 1.1 zeigt schematisch die Blickwinkel von Projektor für die Meßlinien und Kamera mit dem CCD-Sensor. Die Blickwinkel von Kamera und Projektor liegen in einem fest definierten Winkel und betrachten auf dem Objekt die Bahnverfolgungs-Linie, die es zu erkennen und nachzuführen gilt, mit einem im wesentlichen gleichen Ausschnitt. Der dunkel gezeichnete Bereich in Fig. 1.1 projiziert Meßlinien oder andere symmetrische Strukturen auf die Oberfläche des Meßobjektes. Die Kamera erfaßt diese Meßlinien zusammen mit der zwischen zwei der Meßlinien verlaufenden Bahnkurve (vgl. auch Fig. 2.2). Senkrecht zur Meßlinienrichtung und in etwa senkrecht zur Bahnlinienrichtung B verläuft die Abtastrichtung a des zeilenorientierten CCD-Chips. Der Blickwinkel der Optik der Kamera ist hellgrau in Fig. 1.1 dargestellt.

Fig. 1.2 verdeutlicht die Bewegung des Objektes mit seiner Oberfläche und die dabei entstehende Überlappung der Blickwinkel von Projektor und Kamera.

Fig. 2.1 ist eine Vergrößerung in schematischer Darstellung des vorderen Endes einer Roboter-Hand 1. An ihr ist die in den zuvor erwähnten Figuren skizzierte Kamera 4 mit CCD-Bildsensor 5 und Objektiv 6 angeordnet, während im Winkel zur Mittelachse der Kamera 4 das Meßlinien-Projektorgehäuse B angeordnet ist mit seiner Kondensorlinse 9, dem die Linien-Struktur definierenden Meßdia 10 und der Abbildungslinse 11. Hinter der Kondensorlinse B ist ein Feld mit einer Vielzahl von leuchtstarken LED-Dioden 7 angeordnet, die stroboskopartig die Meßlinien des Dias 10 auf die Objektoberfläche projizieren. Mit der stroboskopartigen Beleuchtung der Oberfläche ist die Auslesung der Bildzone des CCD-Chips 5 synchronisiert, so daß Fremdlichteinfluß unterdrückt werden kann.

Bewegt sich die Roboterhand 1, so bewegt sich die Meßeinrichtung 4 und 8 gemeinsam mit ihr, da Projektor und Kamera in einem gemeinsamen Gehäuse 3 oder an einer gemeinsamen Befestigungsplatte dieses Gehäuses 3 angeordnet sind. Die Befestigungsplatte 3 ist über einen Flansch 2 an der Roboterhand unbeweglich fixiert.

Der Blick auf die Meßoberfläche ist in Fig. 2.2 erläutert, die Meßlinien l₁ bis l₆ können dunkle Linien sein, während das Restfeld hell ausgeleuchtet ist. Die Kontur der Bahnkurve B verläuft dabei innerhalb von zwei Meßlinien, dargestellt ist der Verlauf zwischen den Meßlinien l₃ und l₄. Die Länge der Meßlinien in Bewegungsrichtung v der Roboterhand 1 kann abhängig davon gemacht werden, wie stark gekrümmt die Bahnkurve B ist.

Bei der Verwendung eines CCD-Zeilensensors für eine autonome Linienverfolgung stellt sich die Frage nach der Anbringung des Sensors - mit oder ohne Vorlauf, optimale Vorlaufdistanz. Die Art der Anbringung beeinflußt die Eigenschaften des Systems, wobei sie unter den Gesichtspunkten erzielbare Genauigkeit, maximale Verfahrgeschwindigkeit sowie Möglichkeiten für eine Bahnplanung und Vorsteuerung optimiert werden sollte. Eine dynamische Variation des Zeilenvorlaufs ist wünschenswert, technisch jedoch schwierig realisierbar.

Durch Auswertung von zwei Zeilen des CCD-Bildsensors können alle erforderlichen Informationen gewonnen werden, um die Lage und Orientierung der Roboterhand 1 bezüglich der Bahn B vollständig zu bestimmen. Die Nachteile der höheren Auslesezeit eines CCD- Bildsensors und seine vorgegebene starre (übliche) Ausleseprozedur zur Einhaltung der CCIR-TV-Norm des Ausgangssignalverlaufs würde die maximale erzielbare Bildfolge auf 25 Vollbilder bzw. 50 Halbbilder pro Sekunde reduzieren, wenn nicht mit der Erfindung die Geschwindigkeit beträchtlich erhöht würde. Auch die bei Bildsensoren anfallende große Datenmenge, die verarbeitet oder zumindest erfaßt werden muß, "handhabt" die Erfindung problemlos.

Nachfolgend werden die beschleunigenden Vorschläge beispielhaft vorgestellt, um ein zeitoptimales Auslesen nur wenigen benötigten Bildzeilen aus einem CCD-Bildsensor zu ermöglichen. Die Verfahren sind z. B. mit dem THX 7868A oder TH 7864A von Thomson besonders effizient.

Bildsensoren sind im allgemeinen an die Darstellungsdauer eines Fernsehbildes angepaßt. Das Bild wird in zwei aufeinanderfolgenden Halbbildern (Zwischenzeilenverfahren) ausgelesen, wobei die Auslesedauer für jedes Halbbild 20 ms beträgt. Für ein komplettes Bild werden somit 40 ms benötigt. Dieser Faktor allein beschränkt die Meßrate bereits auf maximal 25 Messungen pro Sekunde - theoretisch. Hinzu kommt die Verarbeitungszeit für die anfallenden Daten(un)mengen. Die Verarbeitung der Daten dauert meist ein Vielfaches der Auslesezeit. Für eine qualitativ hochwertige Robotersteuerung mit einem Interpolationstakt von wenigen Millisekunden waren diese Meßraten bislang nicht geeignet. Nötig wären Meßraten, die idealerweise dem Interpolationstakt entsprechen oder zumindest weniger als eine Größenordnung darunter liegen.

Durch eine flexible Ansteuerung eines geeigneten CCD- Bildsensors, d. h. durch Aufgabe der starren Ansteuerung gemäß dem CCIR-TV-Standard, läßt sich eine derart hohe Meßrate mit einem vertretbaren Aufwand erzielen. Dabei werden sämtliche nicht benötigten Bildinformationen bereits im Sensor gelöscht, um die Auslese- und Verarbeitungszeit einzusparen. Dadurch kann der Zugriff (nur) auf die benötigten Daten zeitoptimal erfolgen.

Mit einem sechsachsigen Gelenkarmroboter wurden die Vorschläge der Erfindungen erprobt. Für die Erfassung von fünf räumlichen Freiheitsgraden werden die Bildinformationen aus zwei bis drei (vorzugsweise beliebig wählbaren) Bildzeilen benötigt. Bei Vorschubgeschwindigkeiten von bis zu 1 m/sec (36 km/h) wird die Bahn-Kontur B bzw. Meßlinie noch hinreichend genau aufgelöst (1 Meßpunkt/mm). Daraus ergibt sich eine Meßrate von 1000 Messungen pro Sekunde. Diese Meßrate entspricht dem Interpolations-Takt der erwähnten Steuerung auf Transputerbasis.

Zum Hintergrund der CCD-Bildsensoren, die in drei Gruppen eingeteilt werden:

- Interline-Transfer-Sensoren
- Frame-Transfer-Sensoren
- Frame-Interline-Transfer-Sensoren

Ein typischer Frame-Transfer-Bildsensor ist in Fig. 3.1 vereinfacht dargestellt. Er besteht aus folgenden Funktionseinheiten:

- einer Bildzone, die aus einer zweidimensionalen Matrix einzelner Bildelemente (Pixel) gebildet wird;
- einer gleichgroßen Speicherzone;
- dem unmittelbar an die Speicherzone angrenzenden Ausleseregister, dessen Länge der Pixelzahl einer Pixelzeile der Bild- und Speicherzone entspricht;
- der an das erste Pixelelement des Ausleseregisters angeschlossenen Ausgangsstufe.

Die Bild- und die Speicherzone sind weitgehend identisch aufgebaut. Die Speicherzone ist jedoch durch eine lichtundurchlässige Schicht abgedeckt, so daß einfallendes Licht dort keine Wirkung zeigt. Ferner fehlen in der Speicherzone sämtliche Vorrichtungen für eine Belichtungssteuerung, da sie dort nicht benötigt werden.

Die in der Bildzone durch Lichteinwirkung generierten Ladungen (Ladungsbild) lassen sich innerhalb der beiden Zonen mit Hilfe von (zumeist vier um 90° phasenverschobenen) Taktsignalen nach dem Eimerkettenprinzip vertikal verschieben. Für Bild- und Speicherzone stehen jeweils getrennte Taktsignale (P-Takte und M-Takte) zur Verfügung, damit sich die Ladungen in der Speicherzone auch separat verschieben lassen, ohne die Ladungen in der Bildzone zu beeinflussen.

Die Ladungen aus der Zeile, die sich unmittelbar an das Ausleseregister anschließt, können in einem einzigen Schritt in das Ausleseregister hineingeschoben werden. Im Ausleseregister können sie dann mittels weiterer Taktsignale (L-Takte) horizontal zu einer Ausgangsstufe transportiert werden. Die Ausgangsstufe wandelt die Ladungspakete in eine der Ladungsmenge proportionale Spannung um, die am Videoausgang des Sensors abgegriffen werden kann.

Fig. 3.2 zeigt den zeitlichen Ablauf einer Bildaufnahme und des sich anschließenden Auslesevorgangs.

Ausgehend von der Anfangssituation (a), in der sowohl die Bild- als auch die Speicherzone ladungsträgerfrei sind, wird der Sensor erstmalig belichtet. In der Bildzone werden während der Belichtungszeit die durch Lichteinwirkung generierten Ladungsträger in sog. Potentialtöpfen aufintegriert (b bis d). Die Integrationsdauer beträgt nach CCIR-TV-Standard knappe 20 ms. Sie läßt sich jedoch bei vielen modernen Sensoren durch eine geeignete Taktsteuerung beliebig verkleinern (electronic shutter).

Nach Ablauf der Belichtungszeit erfolgt ein Vertikaltransfer der Ladungen aus der Bildzone in die Speicherzone (e und f). Der Transfer dauert typisch ca. 350 µs. Während des Vertikaltransfers werden weiterhin Ladungen durch Lichteinwirkung erzeugt, die ebenfalls auf integriert werden und das Bild leicht verschmieren (smearing effect). Die Verschmutzung macht sich in der ersten Zeile natürlich nicht bemerkbar und ist in der letzten Bildzeile am stärksten. Sie ist idR. gering, weil das Verhältnis Transferzeit/Integrationszeit sehr klein ist (350/20 000=0,0175). Der Einfluß des Verschmiereffekts erlangt jedoch zunehmende Bedeutung, je weiter die Belichtungszeit mit Hilfe des Electronic Shutter reduziert wird. Extrem helle Bildpunkte können ebenfalls einen deutlich sichtbaren Schweif (Zieheffekt) verursachen.

Nach Abschluß des Vertikaltransfers befindet sich das Bild vollständig in der Speicherzone, wobei die erste Bildzeile unmittelbar am Ausleseregister zu liegen kommt. Es folgt das zeilenweise Auslesen des Bildes aus der Speicherzone über das Ausleseregister zur Ausgangsstufe. In der dafür benötigten Zeit - also parallel dazu - wird das nächste Bild in der Bildzone aufintegriert (g bis i). Nach Beendigung des Ausleseprozesses ist wieder der in (d) dargestellte Zustand erreicht und der zyklische Ablauf beginnt von neuem.

Sind also in der Bildzone des Sensors durch Lichteinfall erst einmal Ladungen generiert worden, so können sie nur durch das zeitaufwendige, sequentielle Herausschieben aller Bildzeilen über das Ausleseregister in die Ausgangsstufe beseitigt werden.

Fig. 3.3 veranschaulicht die Ergebnisse wenn das gesamte mittlere Drittel des Bildes im Ausleseregister zusammengeschoben wird, um schneller an die Bildinhalte im letzten Drittel des Bildes heranzukommen. Die schwarz dargestellte Fläche im Bild stellt den zusammengeschobenen Bereich dar. Obwohl das Bild insgesamt recht dunkel ist, wird ein großer Teil des letzten Bildabschnitts von Ladungen "überflutet".

Um an die Informationen aus lediglich zwei beliebigen "Nutzzeilen" - den Bildausschnitt - schnellstmöglich heranzukommen ohne die Inhalte der Nutzzeilen zu zerstören oder zu beeinträchtigen werden ausgeführt:

1. Vertikaltransfer des Bildes aus der Bildzone in die Speicherzone.
2. Zusammenschieben der nicht benötigten Zeilen bis auf ca. acht Zeilen vor der ersten Nutzzeile. Währenddessen läuft ein schneller Horizontaltransfer ab.
3. Auslesen von sieben Zeilen mit schnellem Horizontaltransfer.
4. Auslesen der letzten Zeile vor der eigentlichen Nutzzeile mit normaler, qualitätsbewahrender Schiebefrequenz.
5. Auslesen der ersten Nutzzeile mit normaler Schiebefrequenz.
6. Wiederholung der Schritte 2. bis 5. für die zweite Nutzzeile.
7. Löschen sämtlicher evtl. noch folgender Bildzeilen auf irgendeine Weise.

Der letzte Schritt kann auch entfallen.

In der Bild- und in der Speicherzone werden horizontal benachbarte Pixel durch vertikal verlaufende ortsfeste Potentialbarrieren getrennt, die mittels eines Gatters erzeugt werden. Über das am Gatter anliegende Potential läßt sich die Höhe des Potentialwalls einstellen. Selbst wenn die Höhe des Potentialwalls groß eingestellt wird, kann es vorkommen, daß durch Überbelichtung des Sensors die Potentialtöpfe überquellen und Ladungen in benachbarte, weniger stark belichtete Bildelemente abfließen. Die damit zusammenhängenden störenden Beeinträchtigungen des Bildes werden als "Blooming" bezeichnet. In modernen CCD-Sensoren ist daher meistens eine sog. Anti- Blooming-Einheit zur Verhinderung dieses Effekts integriert. Das Gatter zwischen zwei benachbarten Pixelspalten ist hierzu in zwei Einzelelektroden unterteilt, wobei im Zwischenraum ein sog. Anti-Blooming-Drain eingefügt ist. Das Anti-Blooming-Drain nimmt die Überschußelektronen aus den überfüllten Potentialtöpfen auf, die sonst in die benachbarten Potentialtöpfe hineinfließen würden.

Mittels der das Drain steuernden Anti-Blooming-Einheit läßt sich ein Electronic Shutter zur Einstellung der Belichtungszeit realisieren. Durch die Anhebung der Potentialtopfböden auf das Niveau des Potentialwalls - die Potentialtöpfe verschwinden dann völlig - fließen sämtliche durch Lichteinwirkung generierten Ladungen sofort in das Anti-Blooming-Drain ab. Die Anhebung der Potentialtopfböden wird erreicht, indem alle vier P-Takte auf das gleiche, passend gewählte Potential gelegt werden. Erst wenn die Potentialtopfböden wieder abgesenkt werden, beginnt die Integration der optisch generierten Ladungen. Mit dem Electronic Shutter lassen sich extrem kurze Belichtungszeiten von einigen wenigen Mikrosekunden realisieren.

Das Aktivieren der Electronic-Shutter-Funktion unmittelbar vor dem Vertikaltransfer des Bildes aus der Bild- in die Speicherzone liefert ein absolut schwarzes Bild. Dies konnte anhand von Untersuchungen an den Sensoren TH 7864A und THX 7868A nachgewiesen werden. Damit eröffnet sich die Möglichkeit, während des Vertikaltransfers, unmittelbar nach der Übernahme einer bestimmten, frei wählbaren Zeile aus der Bildzone in die Speicherzone die Shutter-Funktion zu aktivieren, was das Löschen des sich noch in der Bildzone befindenden Restbildes zur Folge hat. Der sich bereits in der Speicherzone befindende Teil des Bildes wird dabei in keiner Weise beeinträchtigt. Die Shutter- Funktion läßt sich damit zur Einstellung der Anzahl m auszulesender Zeilen benutzen (0m292 beim TH 786A).

Da die Ladung der (292-m) restlichen Bildzeilen vollständig beseitigt werden kann, müssen auch nur die Ladungen der ersten m Zeilen aus der Speicherzone über das Ausleseregister herausgeschoben werden. Der Zeitaufwand zum Verarbeiten der letzten (292-m) nichtrelevanten Zeilen entfällt also gänzlich. Wird insbesondere nur die erste Bildzeile benötigt, d. h. der Bildsensor wird als Zeilensensor genutzt, sind auf diese Weise Bildfolgen von bis zu 2500 Bildern pro Sekunde erreichbar. Der "Mißbrauch" der Anti-Blooming-Elektrode zum Löschen der Bildzone ist vom Hersteller nicht vorgesehen.

Fig. 3.4 veranschaulicht den beschriebenen Auslesezyklus, bei dem beispielsweise nur die erste Hälfte des Bildes ausgelesen wird. Ausgehend von einem fertig belichteten Bild in der Bildzone (a) wird zunächst ein Vertikaltransfer der ersten 146 Zeilen in die Speicherzone durchgeführt (b). Sobald sich die letzte auszulesende Zeile in der Speicherzone befindet, werden die P-Takte angehalten und das restliche Teilbild in der Bildzone mit der Anti-Blooming-Einheit gelöscht (c). Während des nur wenige Mikrosekunden dauernden Löschvorgangs wird das auszulesende Teilbild weiter in Richtung Ausleseregister verschoben (d). Das Löschen trägt effektiv keinen Beitrag zur Gesamt-Auslesedauer bei.

Nach erfolgtem Löschvorgang beginnt in der Bildzone bereits die Integration des nächsten Bildes. Dieser Vorgang läuft wiederum zeitgleich mit dem Auslesen der ersten Bildhälfte aus der Speicherzone (e, f).

Mit den bisher diskutierten Maßnahmen wäre das Auslesen von zwei beliebigen Bildzeilen auch mit dem TH 7864A in nur etwa drei bis sechs Millisekunden denkbar.

Der CCD-Bildsensor THX 7868A bietet als besonderes Merkmal eine sog. Windowing-Einheit (windowing device), mit der beliebige Bildzeilen einzeln und in nur typisch 2 µs restlos gelöscht werden können. Das Auslesen einer Zeile dauert demgegenüber ca. 64 µs.

Die Windowing-Einheit ist eine parallel zum Ausleseregister angeordnete Löschvorrichtung. Sie besteht im wesentlichen aus dem Windowing-Drain, das durch das Windowing-Gate vom Ausleseregister getrennt ist. Während des normalen Betriebs wird an das Windowing-Gate ein Potential angelegt, das eine für die im Ausleseregister enthaltenen Ladungen unüberwindbare Potentialbarriere erzeugt. Bei Absenkung der Potentialbarriere durch eine geeignete Spannungsansteuerung des Windowing-Gate strömen die Ladungen aus dem Ausleseregister in das Windowing- Drain ab, was einem Löschen der Zeileninformation gleichzusetzen ist. Eine gezielte Ansteuerung des Windowing-Gate erlaubt folglich das schnelle Löschen einzelner Bildzeilen und Bereiche, wodurch der hohe Zeitaufwand zum seriellen Auslesen der betreffenden Bildzeilen eingespart werden kann.

In Experimenten hat sich herausgestellt, daß mit der Windowing- Einheit das Löschen von Teilen einer Zeile sauber bewerkstelligt werden kann. Es ergibt sich somit die Möglichkeit, nur die ersten n Pixel (0n845) einer Zeile auszulesen, die relevante Informationen enthalten. Der nicht benötigte Teil der Zeile (die 845-n letzten Pixel) kann gelöscht werden, um eine weitere Zeitersparnis zu realisieren.

Als weitere Besonderheit verfügt der THX 7868A über eine zweite Ausgangsstufe, die analog zur ersten Stufe aufgebaut ist, jedoch mit dem Unterschied, daß sie mit dem letzten anstatt mit dem ersten Bildelement des Ausleseregisters verbunden ist. Durch geeignete Ansteuerung der Schiebetakte am Ausleseregister läßt sich die horizontale Transferrichtung beeinflussen. Durch Umkehr der normalen Schieberichtung gelangen die Zeileninformationen in umgekehrter Reihenfolge an die zweite Ausgangsstufe. Ein über diesen Ausgang ausgelesenes Bild erscheint horizontal gespiegelt. Befinden sich die gewünschten Bildinhalte mehr in der linken Hälfte des Bildes, so werden die Zeilen normal ausgelesen. Sind die Informationen jedoch überwiegend rechts im Bild, werden die Zeilen gespiegelt ausgelesen.

In Kombination mit der Option zum Löschen von Teilen einer Zeile kann die Spiegelungsfunktion dazu benutzt werden, noch schneller an die gewünschten Informationen eines Bildes heranzukommen.

Da für eine schnelle Konturverfolgung nur wenige, jedoch weit auseinanderliegende Zeilen in sehr kurzer Zeit ausgelesen werden müssen, ist die Windowing-Funktion des Sensors für die vorgesehene Anwendung vorteilhaft.

Als Beispiel sei hier die sog. Tracking-Funktion genannt. Mit der Tracking-Funktion kann ein z. B. besonders heller Punkt aufgrund der schnellen erzielbaren Bildfolge mit einer hohen zeitlichen und räumlichen Auflösung verfolgt werden. Der Bildausschnitt kann - der Position des Punktes folgend - in Echtzeit nachgeführt werden, wobei die erforderliche Fenstergröße und Position in Abhängigkeit von der aktuellen Geschwindigkeit und Bewegungsrichtung gewählt werden können (Fig. 3.6). Hierfür sind interessante Einsatzgebiete denkbar, beispielsweise die Motographie.

Da bei der geplanten Anwendung der Kamera aufgrund des selektiven Auslesens von Teilbildern nicht mehr die gesamte normalerweise zur Verfügung stehende Belichtungszeit für das jeweils nächste Bild verfügbar ist, kann eine stroboskopische Beleuchtung mit intensiven Lichtblitzen vorgesehen werden, um die Empfindlichkeit zu erhöhen.

Wird nur stroboskopartig beleuchtet kann die Speicherzone entfallen.

Eine Übersicht über die Schaltungskomponenten einer alle features kombinierenden Kameraelektronik ist im Blockschaltbild Fig. 4.1 gegeben. Zur technischen Realisierung des Kamera- Sequenzers sei angemerkt, daß die Ablaufsteuerwerke als einfache Mealy-Automaten entworfen wurden, die in insgesamt fünf PLD- Bausteinen vom Typ MACH210-15 der AMD untergebracht sind.

Die Kameraelektronik beinhaltet einen eigenen Mikrorechner auf Transputerbasis. Der IMS T222 ist über die Systemlogik in die hierarchische Struktur eines übergeordneten Transputerknotens (Up-System) als untergeordneter Knoten (Down-System) eingebettet. Der Transputer empfängt über Link 0 Steuerkommandos von einem kontrollierenden Transputer. Das ist im allgemeinen der Transputer der Frame-Grabber-Baugruppe. Die Kamera kann aber auch von beliebigen anderen Transputerbaugruppen oder von einem PC mit Link-Adapter kontrolliert werden. Einzige Voraussetzung dazu ist, daß die Link-Verbindung differentiell ausgeführt sein muß, da die Link-Treiber gemäß der RS422-Norm spezifiziert sind. Die differentielle Übertragung wurde gewählt, da sie besonders robust gegenüber elektromagnetischen Störeinflüssen ist. Sie gewährleistet einen störungsfreien Betrieb in der stark gestörten Umgebung.

Über den 2048·16 Bit (4 kByte) großen Zweitorspeicher und die vier 16-Bit-Register kann der Kamerasequenzer vom Transputer programmiert und kontrolliert werden. Für den praktischen Einsatz der Kamera bedeutet dies, daß das Auslesen eines jeden Bildes aus dem CCD-Sensor individuell programmiert werden kann. Die angesprochene Tracking-Funktion wird somit vom Sequenzer direkt unterstützt.

Die vom Sequenzer generierten digitalen Taktsignale für den CCD- Sensor werden über Koaxialkabel zur Kamera übertragen. Dort werden sie von dem Sensor-Interface auf die Spannungspegel umgesetzt, wie sie für die Sensoransteuerung im Datenblatt spezifiziert sind. Das Sensor-Interface sorgt insbesondere auch für die Einhaltung der geforderten Flankensteilheiten. Zur Generierung sämtlicher Taktsequenzen wurde ein Kamera-Sequenzer aufgebaut, der in drei Zeitebenen jeweils mehrere einfache Grundfunktionen ausführen kann, wobei deren Ablauf durch Programmierung modifiziert werden kann. Die drei Zeitebenen werden wie folgt begründet:

- Zyklen zum Verarbeiten einzelner Pixel (ca. 67 ns)
- Zyklen zum Verarbeiten einzelner Bildzeilen (bis ca. 61 µs)
- Zyklen zum Verarbeiten von Halbbildern (bis ca. 20 ms)

Fig. 4.4 gibt eine Übersicht über die Funktionsblöcke des Kamera-Sequenzers. Der Sequenzer ist aus zwei Steuerwerken gebildet, die hierarchisch angeordnet sind, ansonsten aber weitgehend unabhängig voneinander arbeiten. Er generiert 16 verschiedene digitale Ansteuertakte zum zeitoptimalen Auslesen der relevanten Bildausschnitte und zum Löschen aller nicht benötigten Bildbereiche. Unterschiedliche Teilfunktionen der Steuerwerke werden in Abhängigkeit von programmierbaren Eingangsparametern und Eingangs-Flip-Flops generiert.

Die Shutter-Register

Die beiden Shutter-Register werden für eine elektronische Belichtungszeitsteuerung benutzt. Zu Beginn eines Bildzyklus wird der Belichtungszähler mit dem Inhalt eines Shutter- Registers geladen. Anschließend wird der Belichtungszähler mit einem Taktzyklus von ca. 533 ns auf Null heruntergezählt. Solange der Zählerinhalt nicht Null ist, wird durch geeignete Ansteuerung der P-Takte die Ausbildung von Potentialtöpfen unterbunden, so daß alle generierten Ladungen in das Anti- Blooming-Drain abfließen und die Integration eines Bildes unterbunden wird (electronic shutter). Sobald der Wert Null erreicht ist, wird die Integration des Bildes freigegeben. Die Belichtungsfreigabe wird ferner als externes Signal zur Ansteuerung einer stroboskopischen Lichtquelle 7 genutzt, so daß das Blitzlicht exakt im richtigen Zeitpunkt - zu Beginn der Belichtung - gezündet werden kann.

Die beiden Shutter-Register können unabhängig voneinander auf unterschiedlich lange Verzögerungszeiten programmiert werden. So ist es beispielsweise denkbar, eine Szene in jeweils zwei aufeinanderfolgenden Halbbildern unter anderen Lichtverhältnissen aufzunehmen. Wird z. B. ein Shutter-Register mit dem Wert Null initialisiert und das andere mit einem Wert, der zu einer Belichtungszeit von nur 100 µs führt, so wird die Bildszene in dem einen Bild bei Tages- oder Umgebungslicht aufgenommen, während die Szene im darauffolgenden Bild mit - eventuell strukturiertem - Blitzlicht aufgenommen wird. Der Einfluß des Tages- und Umgebungslichts ist bei der Blitzlichtaufnahme aufgrund der kurzen Belichtungszeit praktisch vollständig unterdrückt.

Die Bildparameter-Register

Über die beiden 16 Bit breiten Bildparameter-Register lassen sich - abgesehen von der Belichtungsverzögerung - sämtliche Bildparameter programmieren. Fig. 4.5 zeigt die Belegung der einzelnen Bits eines Bildparameter-Registers.

Start

Die Initialisierung des Sequenzers durch Setzen dieses Bits nach dem Einschalten der Kamera oder nach einem Reset gewährleistet einen definierten Start der Steuerwerke und dient zur Synchronisation mit dem Transputer.

Reset

Rücksetzen des Sequenzers. Das Ablaufsteuerwerk, das Taktsteuerwerk und sämtliche Zähler werden in den Grundzustand versetzt. Dabei werden alle Takte und andere Ausgangssignale auf ein definiertes, unkritisches Ruhepotential gesetzt. Nach dem Reset muß für einen definierten Start des Sequenzers das Start- Bit gesetzt werden.

Fig. 4.5 zeigt die Belegung der Bits eines einzelnen Zeilenparameter-Registers.

Anzahl Pixel aus der Zeile (10 Bit)

Mit den niederwertigsten 10 Bit wird der Pixelzähler geladen, der über die Anzahl der Pixel-Ausgabezyklen für die aktuelle Zeile entscheidet. Nach der Ausgabe der programmierten Pixelzahl wird die Windowing-Einheit aktiviert und der Rest der Zeile gelöscht.

Links Shift

Jede Zeile kann wahlweise zum linken oder rechten Sensorausgang ausgegeben werden. Das Bit gibt dem Steuerwerk die gewünschte Schieberichtung bekannt. Ist das Bit gesetzt, wird die Zeile in normaler Richtung über VOS1 ausgelesen. Ist das Bit gelöscht, wird die Zeile in umgekehrter Richtung über VOS2 ausgelesen. Das Steuerwerk berücksichtigt automatisch die unterschiedliche Anzahl nichtrelevanter Pixel am Zeilenanfang und -ende. Eine Bildzeile setzt sich nämlich aus 845 Pixeln zusammen, wobei nur 768 Pixel Bildinformationen enthalten. Die restlichen Pixel werden als sog. Pre-Scan-, Post-Scan- und Dunkelreferenzpixel verwendet. In Abhängigkeit von der Schieberichtung erscheinen sie in einer anderen Reihenfolge am Sensorausgang:

Ausgang VOS1

- 14 Post-Scan-Pixel
- 50 Dunkelreferenzpixel
- 768 Bildpixel
- 13 Pre-Scan-Pixel

Ausgang VOS2

- 13 Pre-Scan-Pixel
- 768 Bildpixel
- 50 Dunkelreferenzpixel
- 14 Post-Scan-Pixel

Über die Schnittstelle zum "Frame-Grabber" (Teilbild-Erfasser) signalisiert der Sequenzer nur die Ausgabe der relevanten Bildpixel. Die nichtrelevanten Pixel werden vom Frame-Grabber daher überhaupt nicht verarbeitet.

Letzte Zeile

Das Bit muß in der letzten zu verarbeitenden Zeile gesetzt sein, da es den Sequenzer anweist, den Bildzyklus zu beenden und mit dem nächsten Bildzyklus zu beginnen.

Auslesen

Das Bit signalisiert dem Sequenzer, ob die Zeile ausgelesen oder gelöscht werden soll. Ist das Bit gesetzt, so wird die Bildzeile bis zu der programmierten Pixelzahl ausgelesen. Ansonsten wird die Zeile anstelle des Horizontaltransfers augenblicklich durch Aktivieren der Windowing-Einheit gelöscht. Anschließend wird die nächste Zeile abgearbeitet.

Das Bild wird vom Steuerwerk auf folgende Weise zeitoptimal aus dem CCD-Sensor ausgelesen:

- Ausschieben der Zeilen 1 bis 50 aus der Bildzone in die Speicherzone.
- Löschen der verbleibenden Zeilen in der Bildzone. Ab jetzt kann bereits parallel zu allen folgenden Ausleseoperationen die Belichtung des nächsten Bildes durchgeführt werden.
- Verschieben der 50 Zeilen in der Speicherzone bis zum Ausgaberegister.
- Auslesen der Zeile 1.
- Löschen der Zeilen 2 bis 49 mit Hilfe der Windowing-Einheit.
- Auslesen der Zeile 50.

Nach dem letzten Schritt ist die Speicherzone vollständig leergeräumt. In der Bildzone wurde zwischenzeitlich bereits das nächste Bild belichtet und kann ausgelesen werden.

Nach der Programmierung des Sequenzers läuft der geschilderte Auslesevorgang periodisch ab. Der externe Synchronisationsmechanismus zum Antriggern des Auslesevorgangs (Signal Start Bildzyklus in Fig. 4.1) und das Signal zur synchronen Ansteuerung einer stroboskopischen Beleuchtung können dafür genutzt werden, einen zum Abtast- und Regel-Takt der Robotersteuerung synchronisierten Betrieb zu realisieren.

Die beschriebenen Funktionen der flexiblen Kamera sind mit einem passend zugeschnittenen "Universal-Frame-Grabber" zur Digitalisierung der Bilddaten besonders wirksam. Ein derartiger Frame-Grabber muß in der Lage sein, abweichend vom "Grabben" eines Vollbildes auch die von der Kamera gelieferten und teilweise nicht zusammenhängenden Bildsegmente richtig zu verarbeiten. Um dieses Ziel zu erreichen, wird eine geeignete Schnittstelle zwischen Kamera und Grabber ausgearbeitet. Die Schnittstelle zwischen Kamera und Grabber besteht aus sieben Signalleitungen (Fig. 5.2). Neben dem eigentlichen Video-Signal werden fünf weitere Steuersignale von der Kamera zum Grabber übertragen, damit das Ablauf-Steuerwerk des Grabbers die Bildausgabe der Kamera bei allen möglichen Betriebsarten nachvollziehen kann. Die fünf Steuerleitungen haben folgende Funktionen:

(a) Neues Bild (Bild-Synchronsignal)

Zu Beginn eines jeden Bildzyklus (für ein Halbbild) wird ein Bild-Synchronsignal übertragen. Das Signal veranlaßt das Steuerwerk, mit dem "Grabben" eines neuen Bildes zu beginnen. Der Zeilenzähler des Steuerwerks wird zurückgesetzt.

(b) Halbbild 1

Das Signal wird benötigt, um zwischen den beiden aufeinanderfolgenden Halbbildern (mit geraden und ungeraden Bildzeilen im CCIR-TV-Modus) unterscheiden zu können. Ist Halbbild 1 aktiv, werden die digitalisierten Bilddaten in ungerade Zeilenpositionen des Bildspeichers geschrieben, ansonsten werden die geraden Zeilenpositionen beschrieben.

(c) Neue Zeile (Zeilen-Synchronsignal)

Zu Beginn eines jeden Zeilenzyklus wird ein Zeilen- Synchronsignal übertragen. Das Signal veranlaßt den Grabber, den Zeilenzähler zu inkrementieren und den Pixelzähler zurückzusetzen. Die nachfolgenden digitalisierten Bildpunkte werden somit in die nächste "Zeile" im Bildspeicher des Grabbers eingetragen.

(d) PHI (Pixel-Schiebetakt)

Um einen definierten Abtastzeitpunkt mit einem möglichst geringen Abtast-Jitter zu erhalten, wurde der Pixel-Schiebetakt PHI aus dem Signal F2L, das von der Kamera-Ansteuerelektronik generiert wird, abgeleitet. Dieses Synchronisationssignal wird direkt auf den Takteingang des A/D-Wandlers des Grabbers gelegt. Das Signal läßt sich in der Phasenlage variieren, um Laufzeiteffekte in der Übertragungsleitung von der Kamera zum Grabber zu kompensieren. Damit wird stets eine exakte pixelsynchrone Abtastung des Video-Signals gewährleistet.

(e) Pixel gültig

Das Signal wird zur Unterscheidung zwischen gültigen Bildpunkten und Pre-, Post- bzw. Dunkelreferenz-Pixeln benötigt. Nur wenn dieses Signal aktiv ist, handelt es sich bei den ankommenden Pixeln um relevante Bildpunkte. Während der Ausgabe der Pre-, Post- und Dunkelreferenz-Pixel einer Zeile wird das Signal deaktiviert, so daß diese Pixel vom Grabber nicht digitalisiert bzw. in den Bildspeicher übertragen werden.

Ein weiteres Steuersignal wird vom Grabber zur Kamera übertragen: Kamera Start.

Ist das Signal aktiv, kann der Kamera-Sequenzer den CCD- Bildsensor zyklisch auslesen. Wird das Signal inaktiv geschaltet, bleibt der Kamera-Sequenzer nach der Abarbeitung des momentan laufenden Bildzyklus stehen. Mit einem kurzen Impuls auf dieser Signalleitung läßt sich ein einzelner Bildzyklus der Kamera vom Grabber aus antriggern. Damit kann die Bildfrequenz der Kamera beliebig eingestellt werden, sofern die Periodendauer nicht kleiner gewählt wird als die vom Kamera-Sequenzer benötigte Zeit für die Ausgabe aller gewünschten Bildteile.

Die Bildfolge läßt sich über diese Signalleitung z. B. mit dem Abtast und Regeltakt der Robotersteuerung synchronisieren, oder es kann eine extrem kurze Bildfolge realisiert werden, z. B. für Zeitraffer-Aufnahmen.

Der Frame-Grabber beinhaltet ein programmierbares, autonom arbeitendes Ablaufsteuerwerk zum zyklischen Erfassen der vom Sensor gelieferten Bildinformationen. Das Videosignal wird hierbei in 256 Graustufen digitalisiert. Der Frame-Grabber bildet die physikalische Pixel-Matrix des CCD-Sensors als virtuelle Pixel-Matrix in einem 1 MByte großen Zweitorspeicher ab. Zu jedem Bildpunkt der Pixel-Matrix im CCD-Sensor korrespondiert somit ein Byte im Speicher des Frame-Grabbers. Der Grabber ist ferner ebenfalls mit einem Transputer (IMS T805) sowie 4 MByte Arbeitsspeicher ausgestattet, so daß er per Link die Kamerafunktionen programmieren und überwachen kann. Der Transputer hat über den Zweitorspeicher unmittelbaren Zugriff auf die digitalisierten Bilddaten. Er kann sie über mehrere Link-Verbindungen mit einer beachtlichen Übertragungsbandbreite in ein weiteres Transputer-Netz zur Echtzeit-Datenverarbeitung transferieren (Transputer 1, 2, n).

Das vollständige Einlesen eines Bildes wird dem Transputer mittels eines vom Ablaufsteuerwerk generierten Bild-Interrupts bekanntgegeben, um geringe Laufzeiten und somit kurze Antwortzeiten der Regelung zu erreichen.

Das Einlesen der Bilddaten in den Speicher des Frame-Grabbers ist mit dem Beschreiben einer Papierseite mit einem Drucker (z. B. Typenraddrucker) vergleichbar:

- Der Grabber positioniert nach Empfang des Bild- Synchronsignals Neues Bild den Schreibzeiger auf die erste Pixel-Position in der ersten Zeile der virtuellen Pixel- Matrix - und zwar abhängig von dem Signal Halbbild auf die erste ungerade oder auf die erste gerade Zeile. Dieser Schritt ist mit dem Papiereinzug in den Drucker sowie dem Ausrichten des Druckkopfes auf die erste Schreibposition vergleichbar.
- Digitalisierte Bildpunkte werden so lange sequentiell in aufeinanderfolgende Byte-Positionen geschrieben, bis ein Zeilen-Synchronsignal Neue Zeile (entsprechend einem Zeilenrücklauf beim Drucker) empfangen wird. Es muß also keinesfalls stets eine komplette Bildzeile übertragen werden. Vielmehr darf die ausgelesene Anzahl Pixel in jeder Bildzeile beliebig variieren.
- Treffen mehrere Zeilen-Synchronsignale unmittelbar nacheinander ein, werden die entsprechenden Bildzeilen im Zweitorspeicher des Grabbers übersprungen. Dabei wird lediglich der Zeilenzähler inkrementiert (entsprechend dem Einfügen von Leerzeilen bei einem Druckvorgang).

Im Gegensatz zu herkömmlichen Frame-Grabbern ist der hier vorgestellte "Universal-Frame-Grabber" in der Lage, beliebige Bildformate von einer 1_*1-Bildmatrix bis zu einer 1024_*1024- Bildmatrix ohne Umprogrammierung des Steuerwerks korrekt einzulesen. Er unterstützt damit direkt unterschiedliche CCD- Sensoren, speziell also auch den THX 7868A mit 768_*576 Bildpunkten. Aufeinanderfolgende Zeilen dürfen in der Länge beliebig variieren.

Die Bildinformationen werden vom Steuerwerk automatisch genau an die Positionen im Zweitorspeicher geschrieben, die den physikalischen Bildpunktpositionen im CCD-Bildaufnehmer entsprechen.

Grabber und Kamera bilden in Verbindung mit der Schnittstelle eine besonders leistungsfähige Einheit für eine fortschrittliche Echtzeit-Bilddatenerfassung und -Bildverarbeitung.

Aus dem Testbild in Fig. 6.1 geht hervor, daß jede Zeile individuell auf ungespiegeltes Auslesen über VOS1 oder gespiegeltes Auslesen über VOS2 programmiert werden kann. Im obersten Bildabschnitt wurden alle Zeilen normal ausgelesen, im zweiten Fünftel des Bildes wurde jede gerade Zeile gespiegelt ausgelesen. In der Bildmitte wurden alle Zeilen, im darauffolgenden Bildteil nur die ungeraden Zeilen spiegelverkehrt ausgelesen. Der unterste Abschnitt enthält schließlich wieder nur ungespiegelte Bildzeilen. Die Spiegelungsfunktion ist z. B. für die optimale Umsetzung der Tracking-Funktion von Interesse (vgl. Fig. 3.6).

In Fig. 6.2 ist die Funktion der Windowing-Einheit veranschaulicht. Die Ausschnittsvergrößerung eines Bildes zeigt den Übergangsbereich zwischen der komplett gelöschten Hälfte eines Kamerabildes und der sich daran anschließenden zweiten Bildhälfte, die ausgelesen wurde. Die erste ausgelesene Zeile ist nicht heller als die folgenden Zeilen, was darauf schließen läßt, daß sämtliche Ladungen aus den gelöschten Zeilen tatsächlich komplett gelöscht worden sind (vgl. Fig. 3.3; Probleme mit dem TH 7864 ohne Windowing-Einheit). Die erste ausgelesene Zeile ist aber auch nicht dunkler als die folgenden Zeilen, was belegt, daß die Windowing-Funktion rechtzeitig zwischen Löschen und Auslesen umschaltet, so daß die Information in der ersten Nutzzeile durch das Löschen der vorangehenden Zeile nicht in Mitleidenschaft gezogen bzw. nicht teilweise mit gelöscht wird.

Fig. 6.4 veranschaulicht, daß sich die auszulesende Pixel- Anzahl für jede Zeile individuell einstellen läßt. Die schwarzen Bereiche kennzeichnen Bildteile, die nicht aus dem CCD-Sensor ausgelesen, sondern bereits im Sensor gelöscht wurden. Die eingesparten Auslesezeiten für jede unvollständig ausgelesene Zeile summieren sich auf, so daß die Auslesezeit um so kleiner ist, je größer die schwarzen Bereiche sind. Die interessierenden Bereiche eines Bildes können damit stets zeitoptimal ausgelesen werden. Insbesondere läßt sich die effektive Pixel-Matrix des Sensors je nach Aufgabe und Echtzeit-Anforderung beliebig zwischen 1_*1 und 768_*576 Bildpunkten programmieren.

Im Extremfall kann die Anzahl ausgelesener Zeilen Null betragen, was natürlich keinen Sinn ergibt. Das "Scannen" mit einer beliebigen Zeile - oder sogar nur mit einem Teil einer Zeile - ist hingegen eine sehr interessante Anwendung. Die Fig. 6.5 entstand durch das Scannen mit (nur) der Zeile 147. Die Bildfolge wurde dabei durch Synchronisation mit einer Robotersteuerung auf 1000 Bildzyklen pro Sekunde - das entspricht dem Interpolationstakt der Robotersteuerung - eingestellt. Vor der Kamera wurde die Spielkarte zügig von oben nach unten durchgezogen. Als der Kartenrand die "sensitive" Zeile 147 erreichte, wurde der Helligkeitsreflex vom Grabber registriert und damit die Auswertung von 1024 aufeinanderfolgenden Bildzeilen im Millisekundentakt getriggert. Der Frame-Grabber digitalisierte die eintreffenden Bildzeilen und kopierte sie aus dem Bildspeicher in aufeinanderfolgende Zeilenpositionen im Arbeitsspeicher. Die Aneinanderreihung der 1024 Bildzeilen ergab das dargestellte Scan-Bild mit 1024_*768 Bildpunkten.

Daß es sich tatsächlich um ein Scan-Bild handelt, ist daran zu erkennen, daß aufgrund der nicht konstanten Geschwindigkeit, mit der die Karte beim Scannen vor der sensitiven Bildzeile bewegt wurde, die obere Hälfte des Bildes gestaucht und die untere Hälfte gestreckt erscheint. Beim Scannen mit der ersten Bildzeile kann eine Scan-Frequenz von 2500 Hz erreicht werden, was in der Größenordnung gängiger CCD-Zeilensensoren liegt.

In Fig. 6.6 ist der Zeitbedarf zum Auslesen von 1 bis 3 Bildzeilen dargestellt, und zwar in Abhängigkeit von der Nummer der letzten ausgelesenen Bildzeile. In Fig. 6.7 ist schließlich der Zeitbedarf zum zeitoptimalen Auslesen von n beliebigen sowie der n ersten Zeilen dargestellt.

Das auf der Kamera basierende Meßsystem nutzt im Beispiel nur drei frei wählbare Bildzeilen des CCD-Bildsensors für die Messung von fünf räumlichen Freiheitsgraden mit einer Meßrate von 1000 Messungen pro Sekunde (Abtastfrequenz von 1 kHz).

(A) Aus einer vorlaufenden Bildzeile werden Daten für eine effiziente Bahnplanung und eine kartesische Vorsteuerung gewonnen werden.
(B) Die mittlere Zeile erfaßt die Ist-Position des Werkzeugbezugspunktes des Roboters, dessen Position relativ zu der Bahnlinie geregelt wird.
(C) Eine nachlaufende Zeile unterstützt schließlich die Messung einiger Parameter, wodurch die Meßgenauigkeit gesteigert werden kann.

Die Wahl der Vor- und der Nachlaufzeile kann dynamisch an den Bahnverlauf und an die momentane Bahngeschwindigkeit angepaßt werden.

Anhand der Fig. 2.2 ist das Prinzip erläutert worden, wie ein Linienerkennungs-Algorithmus mit hoher Abtastfrequenz die Position der Bahnkurve B zwischen zwei Meßlinien l₃ und l₄ bestimmen kann, obwohl nur eine einzige querverlaufende Scan- Zeile aus dem CCD ausgelesen und verarbeitet wird.

Dieses Leistungsergebnis wird potenziert durch eine Interpolation. Mit ihr wird der Abstand des in der Abtastzeile a liegenden Punktes Z der Bahnkurve B zwischen verschiedenen der anderen Meßlinien l_i l_j gemessen und verarbeitet. Im Beispiel der Fig. 2.2 bieten sich dazu gar 18 Möglichkeiten, die Position von Z zu berechnen (von l₁ nach l₄, von l₂ nach l₄, von l₃ nach l₄; von l₁ nach l₅, von l₂ nach l₅, von l₃ nach l₅; usw.). Bildet man aus dieser Vielzahl von Meßwerten einen Mittelwert - interpoliert man - so kann die Position von Z sogar anhand des Mittelpunktes der Breite der Bahnkurve B angegeben werde. Selbst breite, sogar unregelmäßige Bahnlinien werden dadurch kompensiert. Einer (von vielen) Algorithmen zu Interpolation ist in Fig. 1.1 angegeben.

Aufgrund ihrer enormen Flexibilität kann der Framegrabber auch für unterschiedlichste andere Aufgaben eingesetzt werden, vor allem für Aufgaben, bei denen es auf eine schnelle Bereitstellung der Daten aus selektierten Bildbereichen oder aus wenigen frei wählbaren Zeilen ankommt. Besonders für den Aufbau schneller und hochgenauer optischer Meßsysteme hat die Kamera aufgrund ihrer hohen Flexibilität entscheidende Vorteile gegenüber herkömmlichen CCD-Vollbild- und Zeilen-Kameras.

Claims

1. Autonome Erfassung von Bahnmarkierungen oder Objektkonturen räumlicher Oberflächen zur Steuerung von Robotern in kartesischen Koordinaten, bei dem

(a) Meßlinien im wesentlichen senkrecht zur Abtastung eines Bildsensors, insbesondere CCD-Bildsensors, auf eine Oberfläche des räumlichen Objekts projiziert werden;
(b) zwei Bildzeilen des Bildsensors ausgelesen und verarbeitet werden.

2. Verfahren nach Anspruch 1, bei dem nicht benötigte Bildzeilen des Bildsensors (bereits) im Sensor selbst gelöscht werden.

3. Verfahren nach Anspruch 1 oder 2, bei dem eine dritte Bildzeile ausgelesen und - zur Erhöhung der Meßgenauigkeit - ausgewertet wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die erste Bildzeile eine Vorlaufzeile und die dritte Bildzeile eine Nachlaufzeile ist, während die zweite Bildzeile zur Berechnung der Ist-Position des Werkzeug- Bezugspunktes des Roboters verwendet wird, dessen Position relativ zur Bahnlinie zu steuern oder zu regeln ist.

5. Verfahren nach einem der erwähnten Ansprüche, bei dem der Bildsensor abweichend vom CCIR-Fernsehstandard etwa im Zeitraster des Interpolation- oder Abtasttaktes des Robotersteuerung und/oder Roboterregelung angesteuert bzw. ausgelesen wird.

6. Verfahren nach Anspruch 5, bei dem der Bildsensor im Zeitraster der Interpolation oder des Abtastens der Regelung gelöscht wird.

7. Verfahren nach einem der erwähnten Ansprüche; bei dem der Abstand zwischen verschiedenen Meßlinien und der Bahnkurve ermittelt wird, um mittels einer Interpolation das Zentrum (Z) der Bahnkurve (B) ermitteln zu können.

8. Verfahren nach einem der erwähnten Ansprüche, bei dem die Meßlinien (l_i) geradlinig, parallel und insbesondere äquidistant sind.

9. Verfahren nach einem der erwähnten Ansprüche, bei dem beidseitig der Bahnkurve (B) eine gleiche Anzahl von Meßlinien (l_i) projiziert werden.

10. Verwendung der Anti-Blooming-Elektrode eines CCD-Sensors zum Löschen des CCD-Inhaltes (der darauf befindlichen Ladung), bevor der CCD-Inhalt (ganz) ausgelesen wurde.

11. Verwendung nach Anspruch 10, wobei das Ladungsbild mit der Anti-Blooming-Elektrode nach Auslesen einiger Zeilen gelöscht wird.

12. Verwendung nach Anspruch 10 oder 11, wobei das Ladungsbild des Sensors gelöscht wird, nachdem (nur) eine Zeile ausgelesen wurde.

13. CCD-Bildsensor ohne Speicherzone und mit direkt an der (Ladungs-) Bildzone angeordnetem Seriell-Ausleseregister.

14. CCD-Bildsensor nach Anspruch 13, bei dem eine Fenster- Ausblendeinheit vorgesehen ist.

15. Meßeinrichtung für Handhabungssysteme, bei der

(a) ein mit der Roboterhand mitgeführter, zeilenorientierter Bildsensor, insbesondere ein CCD-Sensor, vorgesehen ist;
(b) eine Ausleseeinrichtung für einzelne Zeilen des zeilenorientierten Bildsensors vorgesehen ist;
(c) eine Ladungs-Löscheinrichtung den Gesamtinhalt des Sensors löscht, nachdem eine Zeile ausgelesen wurde und bevor der gesamte Bildinhalt des Sensors zeilenweise gelesen wurde.

16. Meßeinrichtung nach Anspruch 15, bei der eine Projektionseinrichtung dünne, im wesentliche gerade Meßlinien auf das vom Handhabungssystem zu bearbeitende oder zu ergreifende räumliche Objekt projiziert.

17. Meßeinrichtung nach Anspruch 15 oder 16, bei der die Meßlinien impulsartig auf das Objekt projiziert werden.

18. Meßeinrichtung nach einem der Ansprüche 15 bis 17, bei der die Projektion der Meßlinien und die "Belichtung" des CCD- Chips (Freigeben und Herausschieben) von einer Synchroneinheit synchronisiert werden.

19. Meßeinrichtung nach Anspruch 18, bei der die Synchroneinheit zwei Schieberegister zur Steuerung der Verzögerung und des Zeitpunktes des Herausschiebens des Ladungsbildes aufweist.

20. Verfahren zum zeitoptimalen Auslesen beliebig wählbarer Bildausschnitte auf einem CCD-Chip ohne ein Auslesen des Gesamt-Bildes aus der Bildzone des CCD-Chips, bei dem

(a) eine oder mehrere Zeilen ganz oder teilweise ausgelesen werden;
(b) die ausgelesenen Analogwerte der Zeilen digitalisiert werden und die digitalisierten Werte in einem Digital-Bildspeicher in den Adressenbereich gespeichert werden, der dem Ladungsbild-Bildausschnitt entspricht, das ausgelesen wurde;
(c) das Rest- oder Gesamt-Ladungsbild unmittelbar auf dem CCD- Chip gelöscht wird.

21. Verfahren insbesondere nach Anspruch 20, bei dem das Auslesen und das Aufintegrieren in einem CCD-Chip verschachtelt wird, wobei

(a) das in die Speicherzone des CCD-Chips verschobene Teilbild (weiter) zum Ausleseregister verschoben wird;
(b) das (noch) in der Bildzone des CCD-Chips befindliche Ladungsbild über das "Anti-Blooming-Drain" des CCD-Chips gelöscht wird;
(c) (schon) während des Verschiebens oder Auslesens gemäß (a) ein neues Ladungsbild in der Bildzone des CCD-Chips aufgebaut wird.

22. Verfahren nach Anspruch 20 oder 21, bei dem der beliebig wählbare Bildausschnitt in seiner Größe und/oder seiner Lage auf der Bildzone des CCD-Chip verändert wird.

23. Verfahren nach einem der Ansprüche 20 bis 22, bei dem die Veränderung abhängig von der Bewegung einer markanten - insbesondere hellen - Stelle im Bildausschnitt erfolgt.

24. Verfahren nach Anspruch 20 bis 23, bei dem das Ausleseregister abhängig von der Lage des Teilbildes in Ausleserichtung nach der einen oder anderen Seite aus dem Ausleseregister ausgelesen wird (Bild 3.6).