-
Verfahren zur Bildauswertung mit optoelektronischer Vorverarbeitung.
-
1. Problemstellung Mit fortschreitendem Zwang zur Automatisierung
stellt sich die Aufgabe, auch die Information selbsttätig zu erfassen und auszuwerten,
die im optischen Erscheinungsbild (Bildmuster) von Werkstücken und anderen Objekten
und Szenen deren Art, Lage und Beschaffenheit kennzeichnet. Ein Beispiel ist die
Vollständigkeitsprüfung bestückter Leiterplatten. Bisher sind nur für einige wenige
Aufgaben speziell entwickelte Geräte verfügbar /1/, /2/. Einer Automatisierung visueller
Vorgänge stehen in den meisten Anwendungen zwei Probleme entgegen: 1. Mangelnder
Kontrast und Störungen in Bild und Bildwandler; 2. Erhebliche Streuungen der Merkmale
einzelner Musterklassen, z.B.
-
der Klasse fehlerhafter Objekte, wobei die Merkmale oft mehrmodale
statistische Verteilungen zeigen. Ferner stehen oft nicht für alle Klassen im Lernvorgang
genügend Repräsentanten zur Verfügung, um die statistischen Verteilungen und ihre
Parameter zu ermitteln.
-
Die Erfindung betrifft 1. Ein Verfahren zur optoelektronischen Vorverarbeitung
von Bildinformation, das Wandlerinhomogenitäten vermeidet und verschiedenartige
Bildstörungen sowie Hintergrundstrukturen weitgehend unterdrückt.
-
Dieser Teil der Erfindung ist bei allen Arten von Bildverarbeitung
nutzbar, z.B. zur Bildanalyse, zur bildgestützten Steuerung von Fertigungsautomaten
und Flugkörpern und zur Mustererkennung. Für lassifikatiosaufgaben, wie die automatische
Sichtprüfung, die im folgenden als beispielhafte Aufgabe betrachtet wird, betrifft
die Erfindung ferner 2. Ein Verfahren zur Auswahl der Merkmale, die für die Klassifikation
jeweils entscheidend sind, wobei nur diese ausgewählten Merkmale in die im Lernvorgang
zu ermittelnde Statistik aufgenommen werden.
-
Aufgabe der Erfindung ist die Feststellung des Vorhandenseins und
der Lage markanter Strukturen an Werkstücken und anderen Objekten. Die Lösung ist
im Patentanspruch 1 angegeben, vorteilhafte Ausyestaitunge des Verfahrens sind in
den Unteransprüchen gekennzeichnet.
-
2. Prinzip der optoelektronischen Vorverarbeitung Ein Gerät zur optoelektronischen
Bild-Vorverarbeitung nach dem Prinzip der Erfindung wird wegen seiner besonderen
Fähigkeit zur Detektion und Vermessung von Konturen Kontursensor genannt. Der Kontursensor
führt eine Kreuzkorrelation durch, die unter bestimmten Voraussetzungen an die statistische
Natur der Musterstörungen als optimale Klassifikation im Sinne der Bayer'suche Detektionstheorie
anzusehen ist und z.B. optisch mit einfachen Mitteln realisiert werden kann. Solche
optischen Korrelatoren sind für die Erkennung von nur schwach gestörten Druckzeichen
und vororientierten Werkstücken, sowie zur Navigation durch Luftbild-Flächen-Korrelation
entwickelt worden /3/.
-
Der hier beschriebene Kontursensor hat nicht ganze Bildmuster, sondern
nur einfachste Musterelemente zu erkennen. Wenn vom einzelnen Bildpunkt abgesehen
wird, dessen Helligkeit ohne den Kontext benachbarter Punkte allein noch keine Bedeutung
hat, so ist das einfachste Musterelement eine Kette von Bildpunkten, deren Helligkeit
sich von der Helligkeit eines Teils ihrer Umgebung unterscheidet. Diese Bildpunkte
können eine Linie bilden oder, wie in Fig. 1, den Rand einer flächenhaften Struktur.
-
Solche Linien- oder Konturelemente werden vom Sensor durch optische
Korrelation des Bildes mit einer rotierenden Spaltblende nach Fig. 1 ermittelt,
deren Spalt einseitig radial von einem Zentrum ausgeht, um das die Spaltblende rotiert.
Liegt dieses Rotationszentrum im Gebiet eines Helligkeitsgradienten, beispielsweise
auf einer Bildkontur oder einer Linie, so gelangt der Spalt bei seiner Rotation
mit raschem übergang aus einem hellen in einen dunklen Bereich oder umgekehrt. Die
Lichtmenge, die durch den Spalt dringt und von einem Rezeptor hinter der Blende
gesammelt wird, ändert sich entsprechend.
-
Die Differenz der Werte des Rezeptorsignals vor und nach dem Konturdurchgang
ist ein Maß für den Kontrast; Der Zeitpunkt des Konturdurchgangs ist ein Maß für
die Richtung der Kontur.
-
Die Differenz der Signalwerte wird durch Differenzieren des Rezeptorsignals
von einem elektronischen Hochpaß, einem R-C-Glied gebildet. Da Filterung und Korrelation
als lineare Operationen in ihrer Reihenfolge vertauschbar sind, entspricht diese
Vorgehensweise einer anisotropen Ortsfrequenzfilterung, die radiale Konturen richtungssequentiell
herausfiltert. Das Ausgangssignal als Funktion der momentanen Spaltrichtung werde
Richtungsspektrum genannt.
-
Der Spalt mittelt bei der Korrelation über die ganze Spaltlänge, so
daß Unterbrechungen und Einbuchtungen der Kontur oder Linie entsprechend ihrem Verhältnis
zur Spaltlänge nur einen kleinen Störanteil im Signal erzeugen. Entsprechendes gilt
für Ausbuchtungen und isolierte Punkte. Andererseits wird eine linienhafte Folge
isolierter Punkte durchaus als Linie interpretiert, wie das auch ein menschlicher
Beobachter tut.
-
Da nur ein Rezeptor verwendet wird, treten Wandlerinhomogenitäten
nicht auf. Drift und Rauschen des Rezeptors werden bereits weitgehend unterdrückt,
weil das Signalband durch den zum Differenzieren des Signals eingesetzten Hochpaß
nach unten begrenzt wird.
-
Auch zu hohen Frequenzen ist eine Bandbegrenzung vorzusehen, deren
Grenzfrequenz von der geforderten Winkelauflösung für die Konturrichtungen abhängt.
-
Die Keilform des Spalts der rotierenden Blende ist nicht wesentlich;
der Spalt kann z.B. ebensogut rechteckig sein. Wesentlich ist eine vorzugsweise
radiale Ausdehnung der Blendenöffnung. Ohne mechanische Rotation läßt sich die Korrelation
auch durch punktförmige Abtastung des Bildes auf einer stern- oder rosettenförmigen,
jedenfalls vorzugsweise radialen Bahn durchführen, wenn jeweils über ein radiales
Abtastsegment elektronisch integriert wird. Hierzu kann eine Fernsehröhre oder ein
Bildpunktabtaster benutzt werden. Solche Verfahren erlauben auch eine Anpassung
der Abtastbahn an eine Konturkrümmung. Außer dem Mittelwert läßt sich durch Integration
der quadratischen Abweichung vom Mittelwert auch die Streuung der Helligkeitswerte
im Abtastsegment berechnen.
-
3. Realisierungsbeispiel für die optoelektronische Vorverarbeitung
Die zu analysierende Vorlage oder das zu erkennende Objekt wird von drei mit Gleichstrom
oder je einer Drehstromphase versorgten Projektorlampen beleuchtet. Die Lampen sind
mit je 120° Versatz in einem sechseckig-kegelformigen Lichtzelt über der Vorlage
angeordnet, so daß im Zusammenwirken mit den Streureflexionen eine brummfreie, homogene
Beleuchtung erreicht wird. Um Reflexe bei räumlichen Objekten zu vermeiden, wird
jegliche direkte Einstrahlung vermieden.
-
Bildvorlage oder Objekt werden von einem motorisch abgetriebenen Koordinatentisch
mit einer Geschwindigkeit von 100 mm/sec in einem (x0,y0)-Bereich von 200 mm x 200
mm auf 20 tjm genau positioniert.
-
Für Anwendungen, die eine Verschiebung des Objektes nicht zulassen,
ist ein kardanisch gelagerter, motorisch angetriebener Ablenkspiegel vorhanden,
der jedoch programmtechnisch Verzerrungskorrekturen erfordert und daher vorerst
nicht benutzt wird.
-
Das von der Vorlage kommende Licht wird, wie in Fig. 2 zu sehen ist,
mit einem aus zwei Achromaten zusammengesetzten Objektiv in die Ebene des rotierenden
Keilspaltes abgebildet. Die wirksame Spaltlänge kann durch eine auswechselbare Lochblende
an die Vorlage angepaßt werden. Der Spalt wird von-einem geregelten Gleichstrommotor
mit konstanter Drehzahl über einen Zahnriemen angetrieben. Auf der Spaltträgerplatte
ist die Schlitzscheibe eines inkrementalen Winkelgebers montiert. Außer den Schrittpulsen
liefert der Geber pro Umlauf einen Bezugs impuls zur Festlegung der Nullgradrichtung.
Durch die starre Verbindung von Spalt und Winkelgeber ist die Anordnung unempfindlich
gegen Drehzahlschwankungen des Motors oder Schlupf des Riemens, da nur die tatsächliche
Lage des Spaltes zur Ausgabe der Winkelinformation herangezogen wird. Unmittelbar
auf den Spalt folgt eine kurzbrennweitige Sammellinse. Durch sie wird eine Integration
der gesamten durch den Spalt tretenden Lichtmenge auf die aktive Fläche einer Fotodiode
mit integriertem Verstärker erreicht. Die Differentation des Rezeptorsignals erfolgt,
wie Fig 2 zeigt, durch einen aktiven elektronischen Hochpaß 1. Ordnung. Nach
einer
weiteren Verstärkerstufe wird das Signal durch einen Tiefpaß bandbegrenzt um einerseits
dem Abtasttheorem zu genügen und andererseits Drift und Rauschen des Rezeptors weitgehend
zu unterdrücken. Die Grenzfrequenz hängt dabei von der geforderten Winkelauflösung
für die Konturrichtungen ab. Über einen Impedanzwandler wird das vorverarbeitete
Signal dann einem Halteglied und einem Analog-Digital-Wandler zugeführt.
-
Das mit einer Auflösung von 8 Bit im Takte des Winkelschrittgebers
digitalisierte Signal wird nach der Wandlung in einen externen Halbleiterspeicher
eingelesen. Nach einem vollständigen Spaltumlauf steht dort ein ganzes Richtungsspektrum
zur Verfügung. Die Anzahl der während eines Umlaufes gemessenen und gespeicherten
Werte ist vom Rechner aus binär zwischen 128 und 1024 vorwählbar.
-
Hieraus folgt eine einstellbare Winkelauflösung zwischen 2,80 und
0,35°. Anhand der Impulse des Winkelschrittgebers wird bereits im externen Speicher
eine Zuordnung zwischen der Speicheradresse und dem Winkel bezüglich einer digital
frei wählbaren Vorzugsrichtung (Nullinie) hergestellt. Da der Speicher schrittweise
laufend aktualisiert wird, liegt zu jedem Zeitpunkt ein vollständiges aktuelles
Richtungsspektrum vor, das der Rechner bei Bedarf über einen DMA (Direct-Memory-Access)
- Eingang in rechnerinterne Speicher kopieren kann. Das Richtungsspektrum steht
im Rechner sofort in einem Fortranfeld für die weitere Verarbeitung zur Verfügung.
Der Inhalt eines Feldelementes gibt die Signalamplitude und der zugehörige Feldindex
die Richtung bezüglich der Nullinie wieder.
-
Abhängig von der Struktur des Analyseprogramms steuert der Rechner
nun den nächsten Bildpunkt an und wählt auf diese Weise weitere Bildinformationen
aus. Im einfachsten Fall ergibt sich dies aus einem einmal festgelegten Scanprogramm,
ist also datenunabhängig.
-
Wird dagegen z.B. ein Konturfolgeprogramm gefahren, so hängt die Vorlagensteuerung
unmittelbar von den Meßdaten ab. In allen Fällen liefert die Ablaufsteuerung Vorzeicheninformationen
und Schrittzahlen für die Ablenkeinheiten in x- und y-Richtung. Diese Daten werden
dann über einen IEC-Bus-Anschluß einer externen Leistungselektronik übergeben, die
die Schrittmotoren ansteuert.
-
4. Typische Anwendungen Zur Steuerung von Fertigungsautomaten, z.B
zum Schweißen oder Montieren, müssen häufig Lagetoleranzen von Werkstücken vermessen
und berücksichtigt werden. Dies geschieht durch Vermessung geeigneter Bezugskonturen
mit dem beschriebenen Kontursensor.
-
Bei der Prüfung von Objekten auf Vollständigkeit werden außer den
Bezugskonturen des Gesamtobjekts die Konturen seiner Teile mit dem Kontursensor
vermessen, um ihr Vorhandensein und ihre Lagetoleranzen zu prüfen. Für die Prüfung
beliebiger Strukturen eines Objekts oder seiner Oberfläche sind die im folgenden
beschriebenen statistischen Verfahren vorgesehen.
-
5. Merkmalsbildung Das Richtungsspektrum liege indiskreter Form vor,
enthält also eine Folge von Werten, die zu diskreten Richtungen gehören. AuS diesen
Werten werden durch Reihenentwicklung nach orthonormalen Funktionensystemen oder
nach heuristischen Verfahren Merkmalswerte berechnet /4/. Ein heuristisches Verfahren,
das die Bildinformation von Ecken und Linienverzweigungen besonders gut in wenige
Merkmale komprimiert, stellt erfindungsgemäß die Richtungen vom Extrema des Richtungsspektrums
fest und faßt die Extrema paarweise zusammen, indem deren duale Winkeldaten (z.B.
von je 5 Bit) zu einer Dualzahl (im Beispiel von 10 Bit) zusammengefaßt werden.
-
Über eine Indextabelle oder ein Hash-Verfahren wird dieser Dualzahl
ein Index zugeordnet, der das Merkmal kennzeichnet, während aus den Werten der beiden
Extrema ein Merkmalswert vorzugsweise multiplikativ errechnet wird.
-
Der Einfachheit halber werden in der folgenden Darstellung die diskretisierten
Abtastrichtungen als Merkmale und die zugehörigen Abtastwerte als Merkmalswerte
betrachtet.
-
6. Klassifikation Ein Prüfprozeß ist als Klassifikationsvorgang anzusehen,
der festzulegen hat, zu welcher Qualitätsklasse ein Objekt gehört.
-
Ohne Fehlerdiagnose ist die Klassifikation binär und stellt fest,
ob das Objekt gut oder schlecht ist. Für die Klassifikation eines durch Merkmale
beschriebenen Musters sind aus der Theorie der Nachrichtentechnik /5/ und der Theorie
der Mustererkennung /4/ viele Verfahren bekannt. Alle Verfahren speichern in einem
mehr oder weniger stark von Menschen beeinflußten Lernvorgang Daten über die Gegebenheiten
eines Lernkollektivs von Objekten, deren Klasse dabei bekannt sein muß. Parametrische
Verfahren ermitteln im Lernvorgang Kenngrößen der statistischen Verteilungen der
Merkmalswerte für jede Objektklasse. Im Prüfvorgang werden aus den Lerndaten und
den aktuell ermittelten Merkmalsdaten Prüfgrößen ermittelt, die sich im allgemeinen
als Abstandsmaße des Prüflings von klassencharakteristischen Objekten (Klassenbezug)
auffassen lassen. Aufgrund der Abstände zu den einzelnen Klassen wird dann z.B.
für die nächstgelegene Klasse entschieden. Bei Prüfvorgängen werden die unterschiedlichen
Kosten der verschiedenen Fehlentscheidungen zu berücksichtigen sein, und man wird
daher auf die allgemeine Form des Bayes'schen Empfängers / 5/ zurückgehen. Das Klassifikationsverfahren
selbst ist insoweit nicht Gegenstand der Erfindung.
-
Insbesondere bei binärer Klassifikation können Abstände für jedes
einzelne Merkmal unabhängig von anderen Merkmalen berechnet und geprüft werden.
Die Merkmale können jedoch auch zu einem oder mehreren Merkmalsvektoren zusammengefaßt
werden; die Prüfgrößen sind dann als Abstände im Vektorraum anzusehen.
-
Ein schlechtes Objekt wird sich oft nur in wenigen Prüfgrößen von
guten unterscheiden. Es genügt aber andererseits, wenn eine einzige Prüfgröße außerhalb
der Gut-Klassen-Grenze liegt. Die Klassengrenzen sind daher erfindungsgemäß so zu
legen, daß es nach Möglichkeit für jedes Schlecht-Objekt ein Merkmal oder einen
Merkmalsvektor gibt, dessen Abstand zum Klassenbezug größer als der Abstand der
Klassengrenze zum Klassenbezug ist. Nur das Merk
mal, für das das
Verhältnis dieser Abstände am größten ist, wird im Lernvorgang berücksichtigt und
in die Statistik der Schlecht-Klasse aufgenommen, denn die übrigen Merkmale würden
die Verteilungsfunktionen der Schlecht-Klasse unnötigerweise in den Bereich der
Gut-Klasse ausdehnen.
-
7. Lernen und Adaptieren Da die Klassengrenzen die Auswahl des für
die Erkennung von Schlecht-Objekten entscheidenden Merkmals bestimmen, müssen sie
zu Beginn des Lernvorgangs als Anfangswerte festgelegt werden.
-
Mit fortschreitendem Lernvorgang werden sich die Klassengrenzen verschieben,
was die Merkmalsauswahl ändern kann. Der Lernprozeß ist daher iterativ durchzuführen,
wobei stets das gleiche Lern-Daten-Material benutzt werden kann, das zu diesem Zweck
auf einen Magnetschichtspeicher aufgezeichnet wird. Zur späteren Adaption während
des Betriebs können falsch klassifizierte Objekte einbezogen werden.
-
Damit das Lernverfahren rasch konvergiert, sollten die Anfangswerte
der Klassengrenzen nicht willkürlich festgelegt werden.
-
Erfindungsgemäß werden daher zunächst die Verteilungsfunktionen der
Gut-Klassen-Merkmale ermittelt und die Abstände zu prüfender Objekte entsprechend
der oben erwähnten Theorie normiert. Im einfachsten Fall bedeutet dies für ein skalares
Merkmal eine Division durch die Streuung dieses Merkmals. Die so normierten Abstände
entsprechen der Wahrscheinlichkeit dafür, daß ein Objekt mit dem gemessenen Merkmalswert
fehlerfrei, also gut ist. Daher läßt sich für alle normierten Abstände anfänglich
die gleiche Klassengrenze wählen. Diese dimensionslose Klassengrenze gibt dann an,
um welchen Faktor ein Merkmal eines Gut-Objekts die Streuung oder Standardabweichung
dieses Merkmals überschreiten darf. Wegen ihrer geringen a-priori-Wahrscheinlichkeit
sind Daten über Schlecht-Objekte oft nicht in ausreichender Anzahl zu beschaffenr
um in einem Lernvorgang statistische Kenndaten hinreichender Signifikanz für die
Schlecht-Klasse berechnen zu können. Außerdem wird
die tatsächliche
Verteilungsfunktion in ihren kritischen Ausläufern durch die vorauszusetzende Normalverteilung
oft nur unzureichend beschrieben. Zur optimierenden Adaption der Klassengrenzen
werden daher die tatsächlichen statistischen Verteilungen der einzelnen Merkmale
für beide Klassen dem Bedienungspersonal graphisch dargestellt. Ausgehend von den
Anfangswerten lassen sich die Klassengrenzen auf diese Weise interaktiv verbessern.