DE10142457A1

DE10142457A1 - Digitale Bildmessung retroreflektierender Marken

Info

Publication number: DE10142457A1
Application number: DE10142457A
Authority: DE
Inventors: Paul Bobrov; Georg Wiora
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2001-08-31
Filing date: 2001-08-31
Publication date: 2003-04-03
Anticipated expiration: 2021-09-01
Also published as: JP2003178312A; US20030128894A1; US7110618B2; JP4763219B2; DE10142457B4

Abstract

Erfindugsgegenstand ist ein System zur photogrammetrischen Bestimmung der Schwerpunkte von Signalmarken an bewegten Objekten. Zur Reduktion der hierbei anfallenden Bilddaten vor der eigentlichen Bildmessung in einem Rechner werden in einer Datenreduktionsstufe auftretende Muster benachbarter Pixel zeilenübergreifend ausgewertet. Die Unterschiedlich möglichen Hell/Dunkel-Konstellationen von Gruppen benachbarter Pixel dienen dabei als Eingangssignale für eine Auswertelogik, die als endlicher Automat ausgelegt ist. Verschiedene Muster lösen Übergänge zwischen den abzählbaren Zuständen des Automaten aus. Je nach vorliegendem Zustand des endlichen Automaten und aktuell detektiertem Pixelmuster bewirkt der endliche Automat unterschiedliche Operationen zur Identifizierung charakteristischer Merkmale der Signalmarken und zur datentechnischen Zusammenfassung der zur Schwerpunktsbestimmung erforderlichen Parameter.

Description

Die Erfindung betrifft Bilderkennungssysteme zur Identifizierung bestimmter Informationsinhalte aus den Bildsignalen elektronischer Kameras. Speziell betrifft die Erfindung die photogrammetrische Erfassung der Schwerpunkte von optischen Signalmarken an schnell bewegten Objekten.
Systeme dieser Art werden beispielsweise eingesetzt zur Analyse der Bewegungsabläufe bei dynamischen Prozessen (Verformungsvorgänge bei Crash-Tests, Detailstudien motorischer Abläufe menschlicher Bewegung usw.). Hierzu werden an verschiedenen Stellen eines beobachteten Objekts optische Signalmarken mit bestimmter Form und Größe (z. B. Kreisscheiben) angebracht. Dabei ist die Oberfläche dieser Signalmarken typischerweise so ausgebildet, dass sie das einfallende Licht in charakteristischer Weise reflektiert.
Jedes von einer Videokamera in kurzen Zeitabständen gelieferte Einzelbild, bestehend aus einer zeilenweisen Abfolge von einzelnen Bildpunkten (Pixel), muß auf die Signalanteile hin ausgewertet werden, die den Signalmarken zuzuordnen sind. Bei einer solchen Bildmessung von retroreflektierenden kreisförmigen Signalmarken sind zwei Grundprobleme zu lösen: Zuerst müssen zusammenhängende Gebiete analysiert und gekennzeichnet werden und anschließend muss das Zentrum jedes Gebiets (= Schwerpunkt der Signalmarke) bestimmt werden. Für beide Probleme sind reine Software-Auswerteverfahren bekannt:

Zusammenhangsanalyse

Da retroreflektierende Signalmarken einen guten Bildkontrast aufweisen, kann die Zusammenhangsanalyse auf einer binarisierten Version (d. h. nur schwarzweiß Pixelwerte) des jeweiligen Bildes erfolgen. Die vollständigste und gleichzeitig effizienteste Lösung dieses Problems liefert wohl der BCC- Algorithmus (Binary Connected Components) von MANDLER & OBERLÄNDER (Informatik Fachberichte 254, S. 248-254, Springer 1990). Mit nur einem Durchlauf kann er die Ränder aller zusammenhängenden Gebiete und ihre Abhängigkeiten in einem Bild bestimmen. Das gilt auch für mehrfach ineinander verschachtelte Gebiete. Ein spezieller Ansatz für die Photogrammetrie wurde von MAAS ("Digitale Photogrammetrie in der dreidimensionalen Stömungsmesstechnik", PhD thesis, ETH Zürich, 1992) beschrieben.

Punktmessung

Sind alle Gebiete markiert kann ein Verfahren zur Punktmessung auf sie angewendet werden, wie sie z. B. von LUHMANN ("Nahbereichsphotogrammetrie, Grundlagen Methoden Anwendungen", Wichmann Verlag, 2000) oder SHORTIS ET AL. ("Practical Testing of Precision and Accuracy of Target Image Centering Algorithms", SPIE 2598, S. 65-76, 1995) beschrieben wurden.
Im einfachsten Fall bestimmt man den Schwerpunkt (u, v) des binarisierten Bildes b als Mittelwert der Bildkoordinaten aller Punkte b(u, v) ~ 1 in der Umgebung der Marke:
Eine andere Möglichkeit ist die Berechnung eines Grauwertgewichteten Schwerpunkts (Weighted Center of Gravity) auf dem Graubild g nach der Formel:
Die Multiplikation mit dem binarisierten Bild b dient zur Selektion der Bildpunkte, die zur Marke gehören. Komplexer ist das sogenannte Template Matching. Dabei wird die Kreuzkorrelation k zwischen einem vorgegebenen Muster m(u, v) und dem Bild g(u, v) berechnet:
Das Maximum der Korrelationsfunktion k gibt den Ort des Markenzentrums an. Da die Marken meist perspektivisch verzerrt sind und im Bild unterschiedlich groß erscheinen, genügt es nicht, nur mit einem Muster zu vergleichen.
Man muss die Korrelation mit einer ganzen Palette unterschiedlicher Vorlagen berechnen und das Ergebnis der "passgenauesten" heraussuchen. Dadurch benötigt das Verfahren relativ viel Rechenzeit. Als Muster dienen üblicherweise Ellipsen oder Rechtecke unterschiedlicher Größe mit verschiedenen Randschärfen.
Bildauswerteverfahren zur Identifizierung der Schwerpunkte von Signalmarken ausschließlich über Software-Lösungen sind prinzipiell relativ langsam, da bei hochaufgelösten Bildern in schneller Abfolge eine sehr hohe Datenrate anfällt, deren Auswertung entsprechend zeitaufwendig ist. Eine HDTV Kamera mit einer Auflösung von 1280 × 1024 Bildpunkten und einer Bildrate von 25 Bildern pro Sekunde liefert beispielsweise eine mittlere Datenrate von 32 Millionen Punkten pro Sekunde, mit einer typischen Übertragungsrate von 40 Millionen Punkten pro Sekunde. Bei der derzeit für Standard-Computer üblichen Leitungsgrenze des PCI-Busses von rund 100 MByte pro Sekunde stellt das schon von der reinen Datenübertragung erhebliche Anforderungen an die Rechnerarchitektur. An eine simultane Verarbeitung oder gar den Anschluss mehrerer Kameras ist dabei mit einem herkömmlichen Mikroprozessor unter einem gängigen Betriebssystem nicht zu denken.
Um die maximale Belastung des Rechners abzuschätzen, berechnet man die Anzahl n_t der Taktzyklen, die pro Bildpunkt zur Verarbeitung zur Verfügung stehen:

mit der Taktfrequenz f des Mikroprozessors und der Übertragungsrate r_k der Kamera.
Verwendet man für r_k die oben angesetzte Übertragungsrate von 40 Millionen Bildpunkten pro Sekunde, also 40 MHz, und für f 1000 MHz, so stehen lediglich n_t = 25 Taktzyklen pro Bildpunkt zur Verfügung. Dies ist für einen Einsatz im Bereich schneller, hochaufgelöster Bildauswertung nicht ausreichend. Ein sinnvoller Wert für n_t sollte deutlich größer als 1000 sein, insbesondere wenn man bedenkt, dass nicht alle Taktzyklen für Prozessoroperationen zur Verfügung stehen, sondern ein Teil für Wartezeiten beim Speicherzugriff verloren geht.
Damit das System nicht im Grenzbereich läuft, sollte zudem eine großzügige Reserve von α = 50% der Zyklen für die nebenbei anfallenden Aufgaben des Betriebssystems eingerechnet werden. Für den Fall eines gleichzeitigen Betriebs von c Kameras reduziert sich die Zahl der pro Bildpunkt verfügbaren Taktzyklen noch weiter:
Mit diesen Abschätzungen wird ersichtlich, dass bereits vor einer Verarbeitung im Rechner selbst eine drastische Reduktion der von der Kamera gelieferten Signale erfolgen muß.
Löst man die Gleichung (5) nach r_k auf, kann man damit die maximale Datenrate r_max, die zur Bearbeitung im Rechner auftreten darf, berechnen:
Interessant ist dabei der Datenreduktionsfaktor γ, der sich aus dem Verhältnis von r_k zu r_max ergibt:
Bei einem System mit c = 4 Kameras, α = 0,5, f = 1000 MHz, r_k = 40 MHz und n_t ≥ 1000 Zyklen pro Bildpunkt ergibt sich ein Datenreduktionsfaktor von

γ ≥ 320. (8)

Das bedeutet, dass zum Beispiel der Informationsgehalt eines Bildes mit ursprünglich einem MByte Speicherbedarf mit maximal 3200 Byte dargestellt werden muss, bevor es in den Computer zur weiteren Auswertung übertragen werden kann.
Die gesuchten Informationen, also die Koordinaten der zu messenden Marken, sind im originalen Graubild stark redundant kodiert. Um die gewünschte Datenreduktion zu erreichen, werden unterschiedliche Methoden eingesetzt:

a) Segmentierung

Auf der Ebene der Grauwerte liegt die Information eines Bildes im wesentlichen in den Übergangsbereichen zwischen dem schwarzen Hintergrund und den weiß dargestellten retroreflektierenden Marken. Es bietet sich also an, das Bild in informationstragende und unwichtige Teile zu segmentieren. Das erfolgt bei diesem Bildtyp am einfachsten durch eine Schwellwertbildung mit einer nachfolgenden Dilate-Operation, die die hellen Gebiete um eine vorgegebene Randbreite R vergrößert. Dadurch wird sichergestellt, dass der ganze Rand der Bildpunkte erfasst wird.
Fig. 1 zeigt im Teil a) ein typisches Messbild einer Situation mit retroreflektierenden Marken, aufgenommen mit einer Dalsa CA-D6 Hochgeschwindigkeitskamera. Trotz der relativ großen Anzahl von etwa 170 Marken bei einer niedrigen Kameraauflösung von 512 × 512 Bildpunkten beträgt der Anteil der informationstragenden Bildpunkte nur 3 bis 4%.
Im Teil b) der Fig. 1 ist ein Histogramm der auftretenden Markenhäufigkeiten pro Bildzeile als Mittelwert über 70 Bilder ähnlich der Szene in Fig. 1a) dargestellt. Maximal wurden 22 Marken pro Zeile gefunden, wobei die Marken für jede Zeile neu gezählt wurden. Insgesamt befanden sich maximal 176 Marken im gesamten Bild, durchschnittlich waren es 1,9 Marken pro Zeile.
Die Fläche des Bildes, die von den Marken bedeckt wird hängt vom Marken-Durchmesser D, der Randbreite R und der Marken- Anzahl n_p ab. Nach der Segmentierung beträgt dann die Datenmenge in Bits:
Dabei steht n_b für die Bit-Tiefe der Grauwerte. Der Kompressionsfaktor γ ergibt sich als Quotient von Bildgröße ≙ □ und V_S:
Für eine Bildgröße von 512 × 512 Bildpunkten, n_p = 170 Marken mit einem Marken-Durchmesser von D = 9 Bildpunkten sowie einem Rand R von 2 Bildpunkten ergibt sich ein Kompressionsfaktor von γ ≍ 11,6. Das ist 30 mal weniger, als obige Abschätzung nahelegt, reicht aber schon aus, um den Bilderstrom einer schnellen Kamera platzsparend für eine nachfolgende Bildmessung zwischenzuspeichern.

b) Grauwert-Kompression

Einen weitere deutliche Reduktion der Datenmenge ergibt sich durch Kompression der verbleibenden Grauwerte. Das bietet sich vor allem im Zusammenhang mit der oben beschriebenen Segmentierung an. Selbstverständlich ist dieser Schritt verlustbehaftet. Wie weit man diese Reduktionsmethode einsetzten kann, hängt also von der zu erzielenden Genauigkeit der nachfolgenden Bildmessung ab. Die maximale Reduktion ergibt sich im Grenzfall der Binarisierung, d. h. Pixel-Werte sind nur 0 (= dunkel) oder 1 (= hell).
Die Umkodierung der Grauwerte vom originalen Grauwert g zum komprimierten Grauwert g_c erfolgt nach folgender Funktion:
Die eckigen Klammem symbolisieren die Abrundung auf die nächst kleinere ganze Zahl. Der zu kodierende Grauwert-Bereich wird durch g_min und g_max begrenzt. Die komprimierten Grauwerte g_c haben dann genau einen Kode für informationslose Bereiche (nämlich die 0) und einen Kode für überbelichtete Bereiche, das ist 2^n_b - 1. Die restlichen 2^n_b - 2 Kodes stehen für die wesentliche Bildinformation zur Verfügung. Ein solcher Kode ist besonders günstig einzusetzen, wenn der Helligkeitsbereich der Bilder nur ungenügend ausgenutzt werden kann.
Der Reduktionsfaktor der sich durch Grauwert-Kompression erzielen lässt ist einfach das Verhältnis der Bit-Tiefe n'_b der Originaldaten zur Bit-Tiefe der komprimierten Daten:
Bei der Binarisierung eines 12-Bit tiefen Bildes erreicht man also lediglich eine Reduktion um dem Faktor 12, und auch das nur mit einem deutlichen Genauigkeitsverlust bei der Bildmessung.
Ein Verfahren, das eine Kombination aus Segmentierung und Grauwertkompression darstellt, ist beschrieben von OBERPAUL ("Dynamische 3D-Photogrammetrie", MessTec & Automation 8 (1), 67, Januar 2000).

c) Bildmessung

Die effizienteste, aber auch aufwendigste Reduktionsmethode ist die Bildmessung selbst. Die wesentlichen Informationen im Bild sind die Parameter, die die Signalmarken charakterisieren. Für eine robuste Beschreibung der Marken benötigt man mehr, als nur die Mittelpunktskoordinaten u und ≙. Weitere sinnvolle Größen sind auch die Fläche A und der Umfang 1 der Marken, sowie der maximale Grauwert g_max und die Ausdehnung entlang der Koordinatenachsen Δu und Δv. Weiterführend können noch die Ellipsenparameter, also die beiden Halbachsenlängen a und b von Interesse sein. Die Informationsmenge beträgt etwa 66 Bit pro Marke, wie in folgender Tabelle 1 zusammengefasst:
Der Informationsbedarf pro Bild liegt dann bei:

V_m = n_p.66 (13)
Im oben genannten Beispiel mit 170 Marken sind das somit 11220 Bit oder 1403 Bytes. Der Datenreduktionsfaktor beträgt dann analog zu obiger Gleichung (10):
Im Beispiel nach Fig. 1 erhält man als Datenreduktionsfaktor γ_m ≍ 187. Das Verfahren ist um so effizienter, je höher die Kameraauflösung ist.
Für eine Kamera mit 1320 × 1024 Bildpunkten und 12 Bit Grauwertauflösung ergibt sich bereits ein Faktor γ_m ≍ 1450.

d) Lauflängensummierung

Ein Mittelweg zwischen der Komplexität einer kompletten Bildmessung und der oben beschriebenen Bildkomprimierung ist die zeilenweise Bildmessung oder Lauflängensummierung. Die dem Rechner vorgeschaltete Datenreduktion betrachtet dabei jeweils nur einen Bildpunkt in der Reihenfolge, wie sie von der Kamera geliefert werden. Die Erkennung der Zeilen-übergreifenden Gebiete erfolgt im Rechner. In folgender Tabelle 2 sind die Parameter aufgeführt, die bei diesem Verfahren zur Weiterleitung an den Rechner bestimmt werden:
Der Ablauf der Datenreduktion erfolgt hier nach folgendem Schema:

1. Solange b(u, v) = 0, setze δU = δU + 1
2. Sende δU zum Rechner
3. Solange b(u, v) = 1, berechne Σ g(u, v), Σ δu.g(u, v), und erhöhe δu um 1
4. Sende alle Summen zum Rechner, setzte ΔU = 0 und beginne wieder bei 1.

Es wird dabei ein einfacher Zustandsautomat mit nur zwei Zuständen implementiert. Der entsprechende finite Automat ist in Fig. 2 dargestellt. Der Übergang zwischen den beiden Zuständen S0 und S1 wird durch den Wert des Binärbildes b(u, v) an der aktuellen Bildkoordinate gesteuert.
Für jede Marke, die in einer Bild-Zeile auftaucht, müssen 65 Bit übertragen werden. Der Rechner hat nun noch die Aufgabe, die Summen der Marken von zwei aufeinanderfolgenden Zeilen miteinander zu verschmelzen, wenn sie überlappende Anfangs- und Endpunkte haben. Man macht sich für die Berechnung der Momente die Tatsache zu Nutze, dass die Zeilenkoordinate v über eine Zeile konstant ist. Durch die Verwendung der Relativkoordinate δu kann man die Breite der zur Datenreduktion einzusetzenden Multiplizierer deutlich einschränken und dadurch viele Resourcen sparen. Rechnet man von den Relativkoordinaten wieder auf Absolutwerte zurück, können aus diesen Momenten die Marken- Parameter berechnet werden.
Ein Bilderkennungssystem zur photogrammetrischen Erfassung der Schwerpunkte von Signalmarken mit Datenreduktion ist beschrieben in der Patentschrift US 5072249. Dabei werden die von einer analogen Video-Kamera gelieferten Signale zunächst digitalisiert und anschließend einem digitalen Kompressions- Schaltkreis zugeführt. In diesem Schaltkreis erfolgt eine Datenreduktion im wesentlichen nach dem Prinzip der Lauflängensummierung wie oben skizziert. Die weitere Auswertung wird anschließend vom Rechner (CPU) ausgeführt.
Die Erfindung geht aus von diesem Bilderkennungssystem als nächstliegendem Stand der Technik. Ihr liegt die Aufgabe zugrunde, ein verbessertes System zu erstellen, das eine höhere Verarbeitungsgeschwindigkeit durch eine neue, weitergehende Datenreduktion ermöglicht.
Diese Aufgabe wird von dem Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Die Merkmale einer entsprechenden Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens sind in Anspruch 11 aufgeführt. Weitere Einzelheiten der Erfindung und Vorzüge verschiedener Ausführungsformen ergeben sich aus den Merkmalen der Unteransprüche. Das erfindungsgemäße Verfahren und die entsprechende Vorrichtung wird im folgenden anhand einer bevorzugten Ausführungsform beschrieben. Dabei zeigt
Fig. 3 mögliche binäre Bitmuster bei 2 × 2 Pixel-Gruppen.
Fig. 4 eine schematische Darstellung der Abläufe und Schaltzustände während der Datenreduktion.
Fig. 5 Abbild einer kreisförmigen Marke in einem binarisierten Digitalbild-Ausschnitt
Fig. 6 Blockschaltbild einer digitalen Schaltungsanordnung zur Datenreduktion
Fig. 7 Funktionsabläufe des Control-Automaten in der Schaltungsanordnung nach Fig. 6
Fig. 8 Aufbau der Spalten-ALU (Arithmetic Logig Unit) in Fig. 6
Fig. 9 Aufbau der Zeilen-ALU in Fig. 6
Fig. 10 Alternatives Blockdiagramm zur Berechnung und Zwischenspeicherung verschiedener Ausgabewerte.
Grundgedanke der Erfindung ist die Verwendung aufeinanderfolgender Bildzeilen für eine Zusammenhangsanalyse zur Datenreduktion vor der eigentlichen Weiterverarbeitung in einem Rechner. Dabei werden zeilenübergreifend Gruppen von benachbarten Pixeln ausgewertet. Diese Gruppen sind in Anzahl und Verteilung der einbezogenen Pixel auf Zeilen und Spalten identisch vorgegeben, beispielsweise definiert als n × m Matrix.
In einem binarisiertem Bild (d. h. Pixelwerte nur 1 oder 0) sind damit nur bestimmte Konstellationen der Verteilung von Pixelwerten innerhalb einer Gruppe möglich. Diese Pixel-Muster werden identifiziert und dienen als Steuersignale für die eigentliche Datenreduktion.
Für das im folgenden beschriebene bevorzugte Ausführungsbeispiel wird als Pixelgruppe eine einfache 2 × 2 Matrix vorgegeben. Für die Zusammenhangsanalyse müssen demnach immer zwei aufeinanderfolgende Zeilen des Binärbildes analysiert werden. Das erfordert die Zwischenspeicherung von u + 2 Bildpunkten in einem Schieberegister.
Fig. 3 zeigt die möglichen Zustände der binarisierten 2 × 2 Vierer-Nachbarschaft von Pixeln. Die insgesamt 16 verschiedenen Kombinationen werden als Binärzahlen dargestellt, die als Eingangssignal für eine Auswertelogik dienen. Verschiedene Pixel-Muster bewirken dabei unterschiedliche Operationen der Auswertelogik, die als endlicher Automat dargestellt werden kann.
Fig. 4 zeigt das Funktionsprinzip des endlichen Automaten zur Markenmessung. In dem dargestellten Zustandsdiagramm symbolisieren die abgebildeten Kreise Zustände, die Pfeile stellen Übergänge dar. Die Zahlen an den Pfeilen bezeichnen das Pixel-Muster nach Fig. 3, das jeweils am Eingang als Binärzahl erfaßt wird und den Übergang auslöst.
Die Zusammenhangsanalyse erfolgt über eine Registerbank, deren freie Adressen auf einem Stapel verwaltet werden. Erkennt der Automat den Start einer neuen Marke, holt er sich die oberste Adresse vom Stapel und beginnt mit dem Summieren der Momente im entsprechenden Element der Registerbank. Gleichzeitig schreibt er die Nummer des verwendeten Registers für jede Bildspalte u, die von der Marke bedeckt wird, in ein Schieberegister von der Länge u + 2. Gelangt er in der nächsten Zeile wieder zur selben Marke, kann er aus dem Schieberegister die Adresse in der Registerbank holen. Jeder Übergang löst eine bestimmte Aktion des Automaten aus. In den rechteckigen Kästen in Fig. 4 sind die Operationen angegeben, die durch den Übergang ausgelöst werden:
Neue Marke(x): Hole Adresse einer leeren Registerbank vom Stapel und schreibe die Nummer in Schieberegisterposition x und beginne mit dem Summieren.
Summieren(x): Summieren der Momente in der Registerbank aus dem Schieberegistereintrag x.
S(x): Vereinigen der Momente in der Registerbank aus dem Schieberegistereintrag x mit der aktuellen Bank.
Fertig(x): Schreibe die Momente aus dem Register, das in der Schieberegisterposition x vermerkt ist, in den Ausgabepuffer.
Der Parameter x bezeichnet jeweils einen doppelt indirekten Zugriff auf eine Registerbank. Mit x wird eine der vier benachbarten Schieberegisterpositionen indiziert und von dort die Adresse in der Registerbank gelesen, die für die Operation benötigt wird.
Der Automat hat insgesamt 5 Zustände S0. . .S4. Beim zeilenweisen Durchlaufen des Bildes erkennt der Automat anhand der Bitmuster in der betrachteten Vierer-Nachbarschaft, ob es sich um eine neue Marke handelt (Übergang 1) oder ob eine Marke vollständig erfasst wurde (Übergang 6). Zur Veranschaulichung der Funktionsweise ist in Fig. 5 das vergrößerte Abbild (20 × 20 Pixel) einer kreisförmigen Marke dargestellt, die in folgender Übersicht zeilenweise abtastet wird, wobei die Zustandsänderungen beginnend mit S0 im Automaten angegeben werden:

Fortsetzung
In diesem Beispiel eines Funktionsablaufs treten keine Bitmuster vom Typ "6" oder "9" nach Fig. 4 auf, da nur eine einzige, vollständig abgegrenzte Marke abgetastet wird, bei der diese Konstellationen nicht vorliegen (vergl. Fig. 5). Pixelmuster dieses Typs können bei teilweiser Überdeckung zweier Signalmarken entstehen und führen zu entsprechenden Operationen und Übergängen des endlichen Automaten (z. B. bewirkt Pixelmuster "6" den Übergang von S1 auf S3 mit Operation Sum(1) + S(2); Pixelmuster "9" entweder den Übergang von S3 auf S1, oder den Übergang von S4 auf S1 mit jeweiliger Operation Summieren (3)). Damit erfaßt der endliche Automat auch solche Übergänge zweier im Bild benachbarter Signalmarken zuverlässig.
Das vorgestellte Auswerteverfahren zur zeilenübergreifenden Zusammenhangsanalyse mittels endlichem Automaten kann durch entsprechend ausgelegte elektronische Schaltungen realisiert werden. Im Folgenden wird anhand der bevorzugten Ausführungsform nach Fig. 6 die Funktionsweise einer solchen elektronischen Schaltung zur Messung der Schwerpunkte von optischen Signalmarken beschrieben.
Die Schaltung arbeitet mit digitalen Eingangssignalen, z. B. direkt von einer Digital-Kamera, und stellt die Ergebnisse der Auswertung am Ausgang ebenfalls in digitaler Form zur Verfügung. Die Schaltung muss dabei mehrere Teilaufgaben lösen:
Sie muss die Signalmarken im Bild erkennen, zusammengehörige Regionen erfassen (Segmentierung) und die zugehörigen Momente berechnen, aus denen die Bildmessung abgeleitet werden kann. Dazu ist sie in mehrere Funktionsblöcke unterteilt, wie in Fig. 6 dargestellt.
Am Eingang der Schaltung liegen Signale an, die entweder von der Kamera oder einer externen Schaltung erzeugt werden. Sie sind in nachfolgender Tabelle 3 aufgeführt:
Die Bit-Breite der digitalen Grauwerte, die über die Data- Leitungen eingespeist werden, hängt von der Kamera ab, die verwendet werden soll. Typisch sind 8 oder 12 Bit. Das Start- of-Frame (SoF)-Signal wird nur zur Initialisierung der Schaltung zu Beginn jedes Bildes verwendet und ist daher nicht in Fig. 6 eingezeichnet.
Am Ausgang der Schaltung stehen Informationen über die einzelnen Signalmarken die im Bild enthalten waren zur Verfügung. Diese Informationen sind Bildmessungshypothesen, aus denen in einem einfachen Verarbeitungsschritt z. B. von einer nachfolgenden Software oder einer weiteren elektronischen Schaltung die eigentliche Bildmessung abgeleitet werden kann.
Die von der Schaltung bestimmten Momente sind in nachfolgender Tabelle 4 aufgeführt:
Aus diesen Momenten können dann die Bildkoordinaten durch übliche Berechnungsverfahren bestimmt werden. Diese Koordinaten sind die eigentlichen Bildmessungen im photogrammetrischen Sinne. Die anderen Parameter werden nur zum Erkennen von zuverlässigen Messungen verwendet. Zum Beispiel ist das Verhältnis von Umfang zu Fläche ein Maß für die Rundheit der Marke. Längliche Objekte können so leicht als Fehlmessung aussortiert werden.
Auch diese nachfolgenden Aktionen können mit Hilfe elektronischer Schaltungen (z. B. ASIC's) ausgeführt werden. Allerdings ist der Entwicklungsaufwand dafür relativ hoch und der Nutzen gering, da durch diesen letzten Verarbeitungsschritt die Datenmenge kaum noch reduziert wird.
Die in Fig. 6 dargestellten Funktionsblöcke haben die im Folgenden geschilderten Aufgaben:
Es gibt einige globale Elemente deren Signale für die anderen Blöcke zur Verfügung gestellt werden. Das sind zum einen die Zeilen und Spaltenzähler u-Counter und v-Counter, die die Zeilen und Spaltennummern des Bildes aus PClk, Start-Of-Line und Start-Of-Frame erzeugen. Weiterhin gibt es den B/W- Converter, der die eingehenden Grauwerte mit einem vorgegebenen Schwellwert vergleicht und am Ausgang eine binarisierte Version des Bildes abgibt. Von diesem Binärsignal werden genau eine Bildzeile plus zwei Bildpunkte in einem Schieberegister (Shiftregister) zwischengespeichert. Aus diesem Schieberegister bezieht der endliche Automat (Control Automat) seine wichtigsten Eingangssignale. Alternativ zur Binarisierung mit einem Schwellwert kann man an dieser Stelle auch die erste Ableitung der Grauwerte entlang einer Zeile für diese Entscheidung verwenden. Ist die Differenz zweier benachbarter Grauwerte g₁-g₂ kleiner als ein negativer Schwellwert -t handelt es sich um eine ansteigende Flanke im Bild und alle nachfolgenden Punkte werden als 1 binarisiert. Ist die Differenz g₁-g₂ größer als ein positiver Schwellwert t, so handelt es sich um eine abfallende Flanke im Bild und die nachfolgenden Grauwerte werden als 0 binarisiert. Diese Form der Binarisierung ist robuster gegenüber durch die optische Abbildung verursachte Helligkeitsschwankungen im Bild (z. B. Vignetierung).
Der Control-Automat (Finite State Machine), hat eine fest vorgegebene Anzahl von 5 Zuständen S0. . .S4, die sowohl von den Eingangssignalen aus dem Schieberegister als auch vom vorherigen Zustand abhängen. Für jeden Zustand wird ein charakteristisches Muster von Ausgangsignalen erzeugt (control) die zur Steuerung der einzelnen Schaltungselemente dienen. Der Automat ist somit das "Gehirn" der Schaltung. Im wesentlichen analysiert er wie oben ausgeführt die Zustände von vier direkt benachbarten binarisierten Bildpunkten aus zwei aufeinanderfolgenden Bildzeilen. Diese vier Bildpunkte können die 16 verschiedenen Kombinationen darstellen, wie sie in Fig. 3 gezeigt sind. Aus der Analyse dieser Pixelmuster werden die Aktionen abgeleitet, die die anderen Schaltungsblöcke ausführen sollen. So stellt z. B. ein weißer Punkt im rechten unteren Element der Vierer-Nachbarschaft (= Pixelmuster 1) den Anfang einer neuen Marke dar.
Die Struktur der Funktionsabläufe des endlichen Automaten als Control-Einheit in dieser Schaltungsanordnung ist in Fig. 7 dargestellt.
In dem dargestellten Schaltungsbeispiel werden von dem (endlichen) control-Automaten zwei Arithmetic-Logic-Units (ALU) angesteuert, die einfache arithmetische Operationen (Addition, Subtraktion, Multiplikation, Exclusive-Or) ausführen können. Der Aufbau der Spalten-ALU ist in Fig. 8 dargestellt. Die Spalten-ALU berechnet und speichert die Momente für jede Marke in einer Bildzeile und gibt das Ergebnis an die Zeilen-ALU weiter. Hierzu summiert sie die Momente für aufeinanderfolgende helle Bildpunkte in einer Zeile. Findet im Binärbild ein Übergang von Hell nach Dunkel statt, werden alle Register in die Zeilen-ALU übertragen.
Der Aufbau der Zeilen-ALU ist in Fig. 9 wiedergegeben. Das abgebildete DATA IN Register ist identisch mit dem in Fig. 8. Die Zeilen-ALU fügt die Summen aus zwei aufeinanderfolgenden Zeilen zusammen. Dazu benötigt sie einen Ring-Puffer (Dual- Ported RAM), in dem alle Kandidaten aus der vorherigen Zeile zwischengespeichert werden. Die von der Spalten-ALU berechneten Werte werden mit denen verglichen, die im Ring-Puffer zwischengespeichert sind und zusammengeführt, wenn sie von Bildbereichen stammen, die sich berühren. Diese Entscheidung wird vom endlichen Automaten anhand der beobachteten Nachbarschaft getroffen. Das Ergebnis wird entweder für die nächste Zeile wieder in den Ringpuffer geschrieben oder, wenn der Automat erkennt, dass eine Marke vollständig erfasst wurde, in den Ausgabepuffer übertragen.
Der Ausgabepuffer übernimmt den etwa 142 Bit breiten Informationsstrom von der Zeilen-ALU und serialisiert ihn, so dass er mit der richtigen Wortbreite in den Ausgabespeicher übertragen werden kann. Aus diesem Speicher kann ein angeschlossener Computer die Daten übernehmen und die abschließende Berechnung für die Bildmessung ausführen.
Die vorgestellte Datenreduktion mittels endlichem Automaten kann in unterschiedlicher Weise als elektronische Schaltung realisiert werden, ist also nicht beschränkt auf die in Fig. 6 dargestellte und beschriebene Ausführungsform. So zeigt Fig. 10 eine etwas modifizierte Schaltungsauslegung, die ebenfalls mittels endlichem Automaten die beschriebene Datenreduktion erreicht.
In gleicher Weise kann die Datenreduktion auf Field Programmable Gate Arrays (FPGA) implementiert werden. Bei FPGAs handelt es sich um variabel einsetzbare logische Schaltkreise, die aus einer Vielzahl von gleichartigen Logikblöcken (CLBs) aufgebaut sind. Sie verfügen über frei programmierbare Ein- und Ausgänge, wodurch sie unabhängig von Pinbelegung und Übertragungsprotokollen in vielen Anwendung einsetzbar sind. Typische Einsatzgebiete sind Netzwerk-Router und Mobilfunk. Die Programmierung erfolgt im eingebauten Zustand während des laufenden Betriebs und kann beliebig oft bis zu 1000 mal pro Sekunde geändert werden. Für häufige Aufgaben, wie zum Beispiel die Anbindung an einen PCI-Bus gibt es fertige Programmblöcke auf dem Markt, die dem Entwickler einen großen Teil der Implementierungsarbeit abnehmen. Die Programmierung der Bausteine erfolgt meist in einer Hardware- Beschreibungssprache wie HDL (Hardware-Definition-Language), VHDL (Very Large Scale Integrated Circuit-HDL, bzw. VLSI-HDL) oder AHDL (Application Specific Integrated Circuit HDL bzw. ASIC-HDL).
Beim Entwurf eines solchen Systems ist zu berücksichtigten, dass der Aufwand für die Entwicklung einer VHDL-Programmierung bei geringerer Flexibilität erheblich höher ist, als bei einer Software-Lösung. Es ist also wichtig, die Schnittstelle zwischen Hardware- und Softwareanteil der Lösung so zu legen, dass das Endprodukt bei minimalem Entwicklungsaufwand ausreichend schnell läuft.
Die vorgestellte Datenreduktion bei der Schwerpunktsbestimmung optischer Signalmarken mittels zeilenübergreifender Zusammenhangsanalyse durch Muster-abhängige Zustandsänderungen eines endlichen Automaten ist sehr robust gegenüber Störungen und kann sogar nicht-konvexe Gebiete messen. Generell werden nur wenige Parameter benötigt, so dass die Verarbeitungsgeschwindigkeit entsprechend hoch ist. Wegen der seriellen Vorgehensweise ist auch eine Parallelisierung durch simultane Auswertung verschiedener zusammenhängender Teilgebiete eines Bildes möglich. Dies macht zwar eine Ausnahmebehandlung an den Grenzen der Teilgebiete erforderlich, aber die Verarbeitungsgeschwindigkeit kann so mit heute verfügbarer Digitalelektronik auf etwa 500 Millionen Bildpunkte pro Sekunde gesteigert werden. Damit ist diese Technik auch im Hochgeschwindigkeitsbereich einsetzbar.

Claims

1. Verfahren zur photogrammetrischen Bestimmung der Schwerpunkte optischer Signalmarken an bewegten Objekten, wobei die Objekte von einer Video- Kamera aufgenommen werden, deren elektronische Bildsignale als zeilenweise Abfolge von digitalisierten Bildpunkten (Pixel) einer digitalen Verarbeitungseinheit zur Datenreduktion zugeführt werden, deren Ausgangssignale zur Weiterverarbeitung an einen Rechner weitergeleitet werden, dadurch gekennzeichnet, dass zur Datenreduktion Gruppen von benachbarten Pixeln aufeinanderfolgender Bildzeilen als n × m-Matrix sequentiell zusammengefaßt und ausgewertet werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Gruppen als 2 × 2 Matrix zusammengefaßt werden.

3. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass jede Gruppe von benachbarten Pixeln dahingehend ausgewertet wird, dass charakteristische Muster der Verteilung der Pixelwerte auf Zeilen und Spalten der Matrix identifiziert werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass jedes identifizierte Muster ein individuelles Steuersignal auslöst.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Steuersignale als Eingangssignale einer Auswertelogik zugeführt werden, die als endlicher Automat mit einer abzählbaren Anzahl von Zuständen ausgelegt ist.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der endliche Automat in Abhängigkeit von aktuellem Zustand und Eingangssignal Zustandsänderungen durchführt.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der endliche Automat alle Operationen der digitalen Verarbeitungseinheit zur Datenreduktion steuert.

8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Ausgangssignale der digitalen Verarbeitungseinheit für jede Signalmarke
die Summe aller zur Signalmarke gehörenden Pixelwerte,
Angaben zur Position der Signalmarke im Bild,
die Fläche der Signalmarke,
der Umfang der Signalmarke,
die Breite der Signalmarke und
die Höhe der Signalmarke
als digitale Zahlenwerte zur Weiterverarbeitung an einen Rechner weitergeleitet werden.

9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die von der Video-Kamera gelieferten Bildsignale vor der Datenreduktion in der digitalen Verarbeitungseinheit auf eine begrenzte Anzahl von Grauwerten reduziert werden.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass in einer Bildzeile die Differenzwerte der Grauwerte benachbarter Pixel mit einem vorgegebenen Schwellwert verglichen werden und bei einem Differenzwert kleiner als der negative Schwellwert die Grauwerte nachfolgender Pixel als Digitalwert "1", bei einem Differenzwert größer als der positive Schwellwert als Digitalwert "0" festgelegt werden,

11. Vorrichtung zur photogrammetrischen Bestimmung der Schwerpunkte optischer Signalmarken an bewegten Objekten mittels des Verfahrens nach einem der vorangehenden Ansprüche, wobei die digitale Verarbeitungseinheit Mittel zur Zwischenspeicherung von mindestens einer Bildzeile aufweist, sowie eine Kontroll-Einheit, in der aus aufeinanderfolgenden Bildzeilen Gruppen von benachbarten Pixeln als n × m- Matrix sequentiell zusammengefaßt und als Steuersignale ausgewertet werden, sowie Mittel, die von der Kontroll- Einheit angesteuert werden und die Ausgangssignale an einen Rechner weiterleiten.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass eine Konverterstufe vorhanden ist, in der die von der Video-Kamera gelieferten Bildsignale auf eine begrenzte Anzahl von Grauwerten reduziert werden.

13. Vorrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die von der Kontroll-Einheit angesteuerten Mittel Arithmetic-Logic-Units darstellen.

14. Vorrichtung nach Anspruch 11, 12 oder 13 dadurch gekennzeichnet, dass für Komponenten der digitalen Verarbeitungseinheit ein Field Programmable Gate Array (FPGA) oder ASIC eingesetzt ist.