DE19636074A1

DE19636074A1 - Lernfähiges Bildverarbeitungssystem zur Klassierung

Info

Publication number: DE19636074A1
Application number: DE19636074A
Authority: DE
Inventors: Peter Dr Mengel; Ludwig Dipl Ing List
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1996-09-05
Filing date: 1996-09-05
Publication date: 1998-03-26
Anticipated expiration: 2016-09-06
Also published as: DE19636074C2

Description

Die Erfindung bezieht sich auf ein lernfähiges Bildverarbei tungssystem zur Klassierung von zu prüfenden Teilen anhand von aufgenommenen Bildern, aus denen Merkmale extrahiert wer den, die innerhalb einer Bildverarbeitung im wesentlichen zur Datenreduktion behandelt werden. Das System ist lernfähig, sodaß sein Einsatz aus einer Lernphase und einer Prüfphase besteht. Zur Lernphase werden mehrere Muster von Teilen be reitgestellt, die jeweils typisch für eine vorgegebene Ent scheidungsklasse sind. Somit kann das Bildverarbeitungssystem variabel betrieben werden.

Die Ausgangssituation soll prinzipiell den Einsatz und die Parametrierung der technischen Bildverarbeitung beschleunigen und somit weitere Einsatzfälle ermöglichen. Dabei ist anzu merken, daß die technische Bildverarbeitung eine Schlüssel stellung für die immer stärker werdenden Automatisierungsbe strebungen einnimmt. Dies bezieht sich insbesondere auf die Qualitätssicherung bei Montageaufgaben, bei der Erkennung von Teilen oder bei der Überwachung. Schnell parametrierbare Sy steme liefern einen Zeit- und einen Wettbewerbsvorteil. Bei der hier betrachteten Bildverarbeitung müssen Teile anhand spezifischer Merkmale, wie Form, Farbe und Konturen erkannt werden bzw. die Qualität bekannter Teile muß anhand dieser Kriterien beurteilt oder unterschieden werden. Die Aufgabe der Bildverarbeitung und der Mustererkennung ist dabei die Klassierung der Teile anhand von Merkmalssätzen, die aus dem Bild durch Bildvorverarbeitung und Merkmalsextraktion gewon nen werden.

Nur ein relativ geringer Teil aller potentiellen Einsatzmög lichkeiten der Bildverarbeitung in der Industrie ist bisher erschlossen worden. Ursachen dafür sind im wesentlichen die mangelnde Flexibilität vieler Verfahren, die zudem wenig ro bust sind. Beim industriellen Einsatz besteht jedoch die Schwierigkeit der Anpassung an neue Umgebungsbedingungen oder Aufgaben. Eine mangelnde Bedienerfreundlichkeit ist genauso wie zu hohe Kosten ein Nachteil für den Einsatz von lei stungsfähigen Systemen. Somit kann in vielen Fällen ein sol ches Bildverarbeitungssystem nicht schnell amortisiert wer den.

Standardbildverarbeitungssysteme, wie beispielsweise der VIDEOMAT-IV (von Siemens, München und Berlin, Deutschland) lösen diese Aufgabe durch sequentielle Abarbeitung eines Prüfprogrammes, das aus Prüfabschnitten mit standardisierten Prüfelementen besteht. Dieser Zusammenhang ist allgemein in Fig. 1 wiedergegeben, wobei das Prüfprogramm den gesamten Prozeß begleitet. Am Anfang eines jeden Vorgangs steht die Bildaufnahme, woraufhin aus den aufgenommenen Bildern die Bildmerkmale extrahiert werden. Lediglich diese Bildmerkmale bilden die Eingangsdaten für eine Klassierung.

Das Prüfprogramm und die Prüfelemente können vom Anwender aufgabenspezifisch erstellt und parametriert werden. Dies be deutet insbesondere, daß Merkmale oder Klasseneinteilungen direkt in Anlehnung an die zu erbringende Aufgabe formuliert oder gebildet werden. Unter Parametrierung wird insbesondere ein Vorgang verstanden, der innerhalb eines Prüfsystems einen oder mehrere Parameter zeitweilig festlegt. Die Klassierung bildet immer den Abschluß des Prüfprogrammes und wird durch eine Entscheidungstabelle realisiert. Diese Tabelle führt die Klassierung aufgrund einer vorgegebenen arithmetischen und/oder logischen Verknüpfung der Merkmalswerte durch. Da die Klassierung als letztes Glied der Bildverarbeitungskette die Sortierung in Entscheidungsklassen vornimmt, kommt diesem Schritt eine entscheidende Bedeutung für die Funktion eines Bildverarbeitungssystems zu.

Nach einer Bildmerkmalsextraktion werden die Muster (Lernphase) im allgemeinen durch einen n-dimensionalen Merk malsvektor f=(f_1,f₂, . . . ,f_N)_T im Merkmalsraum repräsentiert. Siehe hierzu Fig. 2. Durch die Klassierung werden den Mustern die sog. Entscheidungsklassen zugewiesen; K,L,M . . . . In der Regel bilden Muster derselben Klasse sog. Cluster im Merkmalsraum und die Klassierung hat die Aufgabe, die Klassen in optimaler Weise voneinander abzugrenzen, was einer Minimierung der Fehlalarme bzw. der Fehlerrate bei der Zuweisung von Teilen zu entsprechenden Entscheidungsklassen gleichkommt.

Die bestehenden Ansätze zur Durchführung der Klassierung ba sieren in der Regel auf der statistischen Entscheidungstheo rie und optimieren den Klassifikator (Teil des Prüfprogram mes) aufgrund der Statistik im Merkmalsraum. Diese Ansätze haben sich in der Praxis nicht ausreichend bewährt, da häufig keine a priori Wahrscheinlichkeiten über die Merkmale, die zur Parametrierung des Klassifikators nötig sind, festgelegt werden können. Anders ausgedrückt kann die Anzahl der Muster bekannter Klassenzugehörigkeit zu gering sein, um die Wahr scheinlichkeitsverteilung im Merkmalsraum mit hinreichender Sicherheit aus der Signalstatistik zu berechnen. Außerdem hängt die Merkmalsstatistik stark vom Prozeß der Merkmalsge nerierung ab und kann beispielsweise bei veränderten Umge bungsbedingungen (Beleuchtung, Positionierung der Objekte und ähnliches) stark schwanken.

Der Erfindung liegt die Aufgabe zugrunde, ein lernfähiges Bildverarbeitungssystem zur Verfügung zu stellen, mittels dem eine schnellere Parametrierung der Bildverarbeitung ermög licht wird und der Einsatz in der Produktion erweitert wird.

Die Lösung geschieht durch die Merkmale des Anspruchs 1.

Der Erfindung liegt die Erkenntnis zugrunde, daß der im Prüf programm enthaltene Klassifikator sich selbst parametrieren kann. Die Erfindung beschreibt daher ein lernfähiges System zur automatischen Klassierung und Teileerkennung. Dieses Sy stem parametriert sich selbst aus Mustern aller Entschei dungsklassen in der Lernphase und unabhängig von einer expli ziten Merkmalsstatistik, die eine Entscheidung zu einer Mu sterklasse treffen würde. Dieses System erlaubt eine automa tische Erkennung oder Klassierung von Teilen aus einer Prä sentation von einigen repräsentativen Musterbeispielen. Durch die automatische Parametrierung kann das System damit pro blemlos und flexibel auch auf neue Musterklassen oder Umge bungsbedingungen angepaßt werden.

Hinter der Präsentation einer Teile- bzw. Musterauswahl aus den verschiedenen für die Entscheidungsklassen typischen Mu ster im Lernbetrieb wird eine automatische Bildaufnahme be reitgestellt. Ein einen Klassifikator enthaltendes Prüfpro gramm erzeugt automatisch Bildmerkmale. Diese extrahierten Merkmale werden in einer Merkmalsdatenbank für alle Muster der Stichprobe gespeichert. Eine Normierung und Skalierung der Merkmale sorgt für einen einheitlichen Bereich, innerhalb dem sämtliche Extremwerte plaziert sind. Weiterhin werden die Anzahl der in der Datenbank abgelegten Muster, sowie die An zahl der Merkmale reduziert. Somit liegen nur solche Muster und solche Bildmerkmale vor, die für die Klassierung relevant sind. Nach Abschluß einer Lernphase kann in der Prüfphase die automatische Prüfung unbekannter Muster zur Inspektion und zur Teileerkennung stattfinden.

Um eine eventuelle Wiederholung der Lernphase ohne erneute Bildaufnahme zu gewähren werden die von der Präsentation der Teile aufgenommenen Bilddaten in einer Bilddatenbank zur Ar chivierung der Bilder und der zugehörigen Entscheidungsklas sen (Stichprobe) jeweils abgelegt. Die automatische Klassie rung der Muster aus der Merkmalsdatenbank kann in vorteilhaf ter Weise mit der Ermittlung eines Zuverlässigkeitswertes des Klassifikators verknüpft sein.

Im folgenden wird anhand der schematischen Figuren ein Aus führungsbeispiel beschrieben.

Fig. 1 zeigt den Prüfablauf bei Standard-Bildverarbeitungs systemen nach dem Stand der Technik,

Fig. 2 zeigt die Musterverteilung und die Entscheidungsklas sen im n-dimensionalen Merkmalsraum,

Fig. 3 zeigt ein Bildverarbeitungssystem zur automatischen Klassierung entsprechend der Erfindung.

Fig. 1 zeigt, wie bereits erwähnt, ein Standardbildverarbei tuungssystem, das die gegebene Aufgabe in der Regel durch se quentielle Abarbeitung des Prüfprogrammes löst, wobei das Prüfprogramm aus Prüfabschnitten mit standardisierten Prüfe lementen besteht.

Fig. 2 zeigt die Repräsentation von Mustern nach der Merk malsextraktion, die im allgemeinen durch n-dimensionale Merk malsvektoren fⁱ im Merkmalsraum dargestellt werden. Es sind in einem Ausschnitt des Merkmalsraumes Entscheidungsklassen K, L und M angedeutet. Ein neu auf tauchendes Muster a erhält einen Merkmalsvektor fa. Dieses Muster ist den bestehenden Entscheidungsklassen zuzuordnen. Dabei ist anzumerken, das Muster derselben Klasse in der Regel Cluster innerhalb des Merkmalsraumes bilden und die Klassierung hat die Aufgabe, die Klassen in optimaler Weise voneinander abzugrenzen. Wei terhin ist zu beachten, daß die Anzahl der in einer Entschei dungsklasse beinhalteten Muster, denen jeweils ein Merkmals vektor fⁱ zugeordnet ist, minimiert werden soll, um den Re chenaufwand zu begrenzen. Es gilt somit, innerhalb eines be grenzten Ausschnittes des Merkmalsraumes eine sinnvolle Ver teilung der Entscheidungsklassen vorzunehmen und die Parame trierung des Klassifikators mit einer notwendigen aber mini malen Anzahl von Mustern und Merkmalen in der Lernphase durchzuführen. Falls die Zuverlässigkeit des Klassifikators nach der Lernphase noch nicht ausreichend ist, so kann die Parametrierung jederzeit (eventuell mit veränderter Merkmal sextraktion) erneut durchgeführt werden. Ist die Minimierung der Muster beispielsweise zum Ende der Lernphase noch nicht abgeschlossen, so kann dies auch nachträglich geschehen.

Bildaufnahme 1 und Bilddatenbank 8

Die Bildaufnahme und die Bilddatenbank 8 dienen zur Erfassung und Archivierung der Bilddaten einer Stichprobe. Dies be trifft den Lernbetrieb, in dem die Bilder entsprechend den Entscheidungsklassen zugeordnet werden, was dem sog. über wachten Lernen entspricht. Repräsentative Muster aller Klas sen werden hier gesammelt und stehen somit in den nachfolgen den Verarbeitungsschritten jederzeit wieder zur Verfügung. Dadurch kann das Parametrieren des Klassifikators nach dem Sammeln der Stichprobe auch offline, d. h. ohne Betrieb der Bildaufnahmevorrichtung, durchgeführt werden. Dies ist für die Fertigungsanwendungen von entscheidender Bedeutung, da das Sammeln der Muster und das Trainieren des Klassifikators zum Lernen die Produktion nicht beliebig unterbrechen darf und daher häufig eine repräsentative Auswahl von Musterbil dern nur offline möglich ist.

Merkmalsextraktion 2

In der Einheit 2 zur Merkmalsextraktion erfolgt die Vorverar beitung und Informationsreduktion (Datenreduktion, Reduktion des Rechenaufwandes) der umfangreichen Bilddaten auf die we sentlichen Bildmerkmale. Es findet die zur Einhaltung schnel ler Taktzeiten in Produktionsprozessen notwendige Informati onsreduktion statt. Die Auswahl der Merkmale ist ein wesent licher Schlüssel zur Lösung der Erkennungsaufgabe. So werden beispielsweise von einem vom Anwender erstellten Prüfprogramm von dem Bildverarbeitungssystem vollautomatisch geeignete Bildmerkmale für den Klassifikator ausgewählt.

Merkmalsdatenbank 3

Beim Lernen werden aus allen Bildern der Lernstichprobe alle im Prüfprogramm definierten Bildmerkmale aus den Bildern ex trahiert und in der Merkmalsdatenbank gesammelt. Die folgen den Verarbeitungsstufen greifen nur noch auf die Merkmalsda tenbank zu. Das Prüfprogramm wird automatisch mit den in den folgenden Verarbeitungsschritten berechneten Klassifikations parametern ergänzt. Dadurch können verschiedene Klassifikati onsverfahren verwendet werden. Der Lernmodus kann jederzeit unterbrochen werden, um beispielsweise noch neue Entschei dungsklassen hinzuzufügen.

Normierung 4

Ein wesentliches Problem bei den meisten Klassifikationsver fahren ist die Frage der richtigen Skalierung der Merkmale. Diese weisen in der Regel keinen einheitlichen Wertebereich auf und beeinflußen dadurch den Klassifikator. Erfindungsge mäß erfolgt in dieser Verarbeitungsstufe eine Normierung des Merkmalsraumes auf eine einheitliche Metrik (gesamter Daten satz). Alle Elemente f_i des Merkmalsvektors f werden daher anhand der berechneten Extremwerte im Datensatz auf einen einheitlichen Bereich, beispielsweise von 0 bis 1 skaliert. Die Extremwerte sind beispielsweise Minimum und Maximum eines jeden Merkmals. Dies kann mathematisch wie folgt dargestellt werden:

Dadurch ist gewährleistet, daß der Klassifikator unbeeinflußt vom tatsächlichen Wertebereich der Merkmale arbeitet.

Musterreduktion 5

Die Stichprobe sollte möglichst eine repräsentative Auswahl aller Entscheidungsklassen enthalten. Da diese Forderung nur schwer realisierbar ist, sieht unsere Erfindung das Sammeln möglichst vieler Bilder in der Lernstichprobe vor. Ahnliche Muster, die keine zusätzlichen Informationen über die Merk malsverteilungen enthalten und insbesondere bei komplexen Mu stererkennungsaufgaben mit vielen verschiedenen Musterklassen in einem hochdimensionalen Merkmalsraum die Verarbeitungsge schwindigkeit unnötiger Weise senken würden, werden daher in diesem Schritt wieder eliminiert. Die Musterreduktion ist da her ein wesentliches Kennzeichen der Erfindung zur Umsetzung des Verfahrens in industriellen Anwendurigen. Dabei wird für die gesamte Stichprobe der Merkmalsabstand d^l eines Musters wie folgt berechnet:

Unterschreitet dieser Abstand d^l für alle Merkmale einen de finierten Grenzwert d_min, d. h. ist d^l < d_min, so gilt das Muster als einem anderen ähnlich und wird aus der Stichprobe ent fernt. Bei hinreichend großer Anzahl verfügbarer Muster kann der zulässige Grenzwert auch automatisch aus der Musterstati stik bestimmt werden.

Falls ähnliche Muster aus verschiedenen Entscheidungsklassen gefunden werden, ist die Repräsentation der Objektklassen im Merkmalsraum unvollständig. Der automatische Lernbetrieb wird somit unterbrochen und der Merkmalsraum muß erweitert werden bzw. die Einteilung der Entscheidungsklassen muß korrigiert werden. Um eine Unabhängigkeit von der speziellen Merkmalsme trik zu erhalten, wird die Ahnlichkeit im normierten Merk malsraum gemessen.

Merkmalsreduktion 6

In der Merkmalsdatenbank 3 werden im Lernbetrieb alle extra hierten Bildmerkmale abgelegt. Da das Prüfprogramm in der Re gel eine Vielzahl von Merkmalen enthält, z. B. zur Positions bestimmung, die jedoch keine Information zur Klassierung ent halten, ist die automatische Auswahl relevanter Merkmale ein wesentliches Kennzeichen der Erfindung. Ziel der Merkmalsre duktion ist daher die Selektion signifikanter und nicht si gnifikanter Merkmale für die Klassierung und Teileerkennung.

Als Maß für die Signifikanz eines Merkmales wird der mittlere Abstand eines Merkmal es zu allen Entscheidungsklassen (Intersetabstand) als Gütemaß J_i definiert:

K Anzahl der Entscheidungsklassen
M_k Anzahl der Muster in Entscheidungsklasse k
f_i Merkmal i von Muster/
// . . . // Abstandsmaß

Je größer dieser Wert ist, desto besser kann eine Klasse an hand des betrachteten Merkmals unterschieden werden. Merkmale deren Signifikanz gering ist, werden eliminiert. Aus der Si gnifikanz der Einzelmerkmale werden automatisch die für die Klassierung geeigneten Merkmale ausgewählt und im Prüfpro gramm gekennzeichnet. Zur Klassierung eines Musters werden aus allen berechneten Merkmalen nur noch die signifikanten Merkmale verwendet.

Klassifikator

Die nach der Merkmalsreduktion 6 verbleibenden Merkmale wer den einem Klassifikationsalgorithmus zugeführt. Dieser hat die Aufgabe, die Klassenzugehörigkeit eines unbekannten Mu sters zu ermitteln. Wegen der ungenügend bekannten Signalsta tistik der Merkmale sind statistische Verfahren zur Klassie rung in der Regel weniger geeignet. Als Klassifikationsver fahren haben sich neben neuronalen Netzen insbesondere der k- nächste-Nachbar-Klassifikator (KNN Klassifikator) bewährt. Letzterer erfordert im Gegensatz zu anderen Klassifikations verfahren keine Annahmen über die statistische Verteilung im Merkmalsraum und liefert darum auch bei einer geringen Anzahl von Mustern in der Lernstichprobe gute Ergebnisse. Dabei wird über eine Metrik der Abstand eines Musters zu allen in der Stichprobe enthaltenen Mustern berechnet und die Zugehörig keit anhand der Muster mit den k-geringsten Abständen be stimmt. Als Abstandsmaß wird in der Regel der Euklidische Ab stand verwendet.

Beim Lernen erfolgt nach der Muster- und Merkmalsreduktion ein vollständiger Test des Klassifikators. Dabei wird jedes in der Stichprobe enthaltene Muster, dessen Klassenzugehörig keit bekannt ist, klassiert. Das Verhältnis der Anzahl der richtigen Entscheidungen zur durchgeführten Anzahl von Klas sierungen definiert die Zuverlässigkeit des Klassifikators. Bei ungenügender Zuverlässigkeit sind die Merkmale nicht hin reichend und müssen ergänzt werden.

Lernen 9

Im Lernbetrieb erfolgt das Trainieren des Klassifikators durch die Präsentation einer Stichprobe mit den Bildern aller zu trennenden Entscheidungsklassen. Dabei wird der Klassifi kator automatisch parametriert und ist danach in der Lage, unbekannte Muster den vorliegenden zunächst festgelegten Ent scheidungsklassen zuzuordnen.

Das Verfahren eignet sich für Klassierungsprobleme in der Bildverarbeitung aller Art (Teilerkennung, Qualitätskontrol le, . . . ). Dabei hat sich der k-nächste-Nachbar-Klassifikator insbesondere für die Aufgaben mit einem hochdimensionalen Merkmalsraum bewährt. Bei diesen Anwendungen ist eine Cluste rung im Merkmalsraum analytisch nur schwer zu bestimmen, so daß entscheidungstheoretisch basierende Klassifikatoren nicht einsetzbar sind. Die Methoden zur Muster- und Merkmalsreduk tion ermöglichen eine Anwendung dieses Klassifikators auch in zeit- und resourcenkritischen Fertigungsanwendungen. Durch den modularen Aufbau des Systems können jedoch auch andere Klassifikatoren und neuronale Netze eingesetzt werden. Im Vergleich zum KNN Klassifikator gewähren neuronale Netze eine definierte Verarbeitungszeit für die Klassierung, benötigen allerdings eine wesentlich längere Lernphase, während die Verarbeitungszeit beim KNN Klassifikator von der Anzahl der zu verbleibenden Muster abhängt.

Anwendungen der Erfindung betreffen Verfahren für universelle Standardbildverarbeitungssysteme, beispielsweise im Automo bilbau oder in der Holzindustrie. Erste Automaten wurden be reits erfolgreich getestet.

Bezugszeichenliste

K, L, M Entscheidungsklasse
f, f_{1 . . . 3}, fa Merkmalsvektor
i, l, m Laufindizes
1 Einheit zur Bildaufnahme
2 Einheit zur Merkmalsextraktion
3 Merkmalsdatenbank
4 Einheit zur Normierung
5 Einheit zur automatischen Musterreduktion
6 Einheit zur automatischen Bildmerkmalsreduktion
7 Einheit zur automatischen Klassierung
8 Bilddatenbank
9 Lerneinheit
10, 11 Schleife

Claims

1. Lernfähiges Bildverarbeitungssystem zur Klassierung einer Vielzahl von zu prüfenden Teilen anhand von Merkmalssätzen, bestehend aus:

- einer Einheit (1) zur automatischen Bildaufnahme zur Erfassung der Bilddaten von Mustern aus allen anfänglich vor gegebenen Klassen in der Lernphase bzw. von zu klassierenden Teilen in der Prüfphase,
- einer Einheit (2) zur Merkmalsextraktion zur Erzeugung von Bildmerkmalen,
- einer Merkmalsdatenbank (3) zum Speichern der extra hierten Bildmerkmale für sämtliche in der Lernphase erfaßten Muster,
- einer Einheit (4) zur Normierung der Bildmerkmale,
- einer Einheit (5) zur automatischen Reduktion der An zahl der in der Merkmalsdatenbank (3) gespeicherten Muster,
- einer Einheit (6) zur automatischen Reduktion der Bildmerkmale auf die für die Klassierung relevanten Merkmale,
- einer Einheit (7) zur automatischen Klassierung bzw. Zuordnung eines unbekannten Musters zu einer Klasse, wobei ein Klassifikator anhand von für jeweilige Entscheidungsklas sen typischen Mustern automatisch parametriert wird und in der Prüfphase unbekannte Muster vorliegenden Entscheidungs klassen zuordnet,

wobei über eine Lerneinheit (9) die Ausgänge der Merk malsreduktion (6) und der Klassierung (7) in Schleifen (10, 11) auf die Merkmalsdatenbank (3) bzw. auf die Merkmal sextraktion (2) zurückgeführt werden, um die Anzahl der Mu ster und der Merkmale zu optimieren.

2. Bildverarbeitungssystem nach Anspruch 1, worin zwischen der Einheit (1) zur Bildaufnahme und der Einheit (2) zur Merkmalsextraktion eine Bilddatenbank (8) zwischengeschaltet ist.

3. Bildverarbeitungssystem nach einem der vorhergehenden An sprüche, worin die Güte des Klassifikators zum Ende der Lern phase durch einen ermittelten Zuverlässigkeitswert anzeigbar ist, der das Verhältnis der Anzahl der richtigen Entscheidun gen zu den insgesamt durchgeführten Entscheidungen darstellt.

4. Bildverarbeitungssystem nach einem der vorhergehenden An sprüche, worin die Normierung der Merkmale in der Einheit (4) derart geschieht, daß sämtliche anhand von berechneten Ex tremwerten vorliegenden Elemente eines Merkmalsvektors in ei nem einheitlichen Bereich von 0 bis 1 liegen.

5. Bildverarbeitungssystem nach einem der vorhergehenden An sprüche, worin in der Einheit (7) zur Klassierung ein neuro nales Netz eingesetzt wird.

6. Bildverarbeitungssystem nach einem der Ansprüche 1 bis 4, worin als Klassifikator der k-nächste-Nachbar (KNN- Klassifikator) eingesetzt wird.

7. Bildverarbeitungssystem nach einem der vorhergehenden An sprüche, worin die Anzahl der Entscheidungsklassen jederzeit veränderbar ist und der Klassifikator neu parametriert werden kann.