DE19612465A1 - Automatische Konfiguration von Prüfsystemen - Google Patents

Description

Bisheriger Aufbau für Mustererkennungssysteme folgt dem von Niemann beschriebenen Grundkonzept (Niemann, Klassifikation von Mustern, Springer 1983). Hierbei werden Daten (z. B. bei der automatischen Prüfung) über einen Sensor (z. B. Mikrofon, Kamera) aufgenommen und vorverarbeitet. Danach werden problemspezifisch Merkmale ausgewählt. Merkmale sind Zahlen oder Zahlengruppen, die für die Lösung eines speziellen Mustererkennungsproblems besonders geeignet sind. So existieren z. B. Texturmerkmale (Haralick, Galloway, Laws, usw.), um Oberflächen-Prüfaufgaben an Werkstücken durchzuführen. Nach Berechnung dieser Texturmerkmale lassen sich Werkstückoberflächen besonders leicht in unterschiedliche Klassen (intakt, mit Kratzern, Verfärbung z. B. durch Rost) einteilen. Bei jedem Prüfproblem erfolgt die Auswahl der Merkmale einmal von Hand, durch einen Ingenieur, was zeitaufwendig ist.

In schnell wandelbaren Produktionsumgebungen ist aber die zügige Konfiguration von Prüfsystemen bedeutend, um auch bei wechselnden Produktpaletten sofort eine gleichbleibend hohe Produktqualität vorweisen zu können. Da die Neukonfiguration von Prüfsystemen für ein gerade angelaufenes Produkt jeweils eine sehr zeit- und kostenintensive Tätigkeit darstellt, besteht Bedarf für Verfahren, die diese Aufgabe automatisch vornehmen können, insbesondere auf Industrieplattformen bei kurzer Ausführungszeit.

Darin sieht die Erfindung ihre Aufgabe.

Gelöst wird diese Aufgabe mit einem Verfahren zum automatischen Optimieren, beinhaltend eine Einstellung einer ersten Konfiguration, eine Bewertung der Leistungsfähigkeit dieser Konfiguration und eine Änderung der zuerst eingestellten Konfiguration gemäß einem Optimierungsverfahren (Anspruch 1). Die Leistungsfähigkeits-Bewertung, die auch als "Eignung zur Problemlösung" der optimierten Erkennung und Klassifizierung bezeichnet werden kann, erfolgt aufgrund des Erkennungsergebnisses E zu einer Test-Stichprobe, die aus mehreren Objekten besteht, wobei E in Prozent-Zahlen ausgedrückt werden kann.

Ausgehend von dem Testergebnis mit der Test-Stichprobe wird die eingestellte Konfiguration des Erkennungssystems geändert und dann erneut eine Bewertung der Leistungsfähigkeit dieser geänderten Konfiguration vorgenommen (Anspruch 2, Alternative x). Zur zweiten Leistungsfähigkeits-Bewertung (sie kann auch als eine übergeordnete Messung der Systemantwort bezeichnet werden) kann derselbe Test-Stichprobensatz von Erkennungsobjekten dienen, wie schon zuvor bei der Bewertung der zuerst eingestellten Konfiguration.

Leicht vorstellbar ist, wie das iterative Verfahren weiter geführt wird, um in sukzessiven Änderungen und Bewertungen ein System zu erstellen, das sich selbst auf eine Problemlösung hin optimiert, ohne daß zeitaufwendig ein Ingenieur die Konfiguration vornehmen muß.

Die Berechnungen und Auswertungen, die der Konfiguration zugrundeliegen, werden mittels Rechnern durchgeführt, die Systemsteuerung oder Optimierung ist ein übergeordneter Verfahrensablauf, der die einzelnen Konfigurations-Läufe koordiniert.

Die Bewertung der Leistungsfähigkeit (Anspruch 1, Gruppe b) kann ergänzend eine Lernphase beinhalten, in der die Klassifikation im Erkennungssystem, die aufgrund der gewählten Konfiguration von bestimmten Merkmale oder Merkmalsvektoren gespeist wird, trainiert wird, um sicher zu klassifizieren (Anspruch 2, Gruppe y). Für die Lernphase wird eine Lern-Stichprobe aus mehreren unterschiedlichen Erkennungsobjekten zur Verfügung gestellt, die vom Umfang und von der Art her nicht mit der Test- Stichprobe, die zuvor erwähnt worden ist, übereinstimmen muß (Anspruch 8).

Soweit in dieser Beschreibung der Erfindung das Stichwort "Merkmal" verwendet wird, wird es in der technischen Bedeutung verwendet, die in der Mustererkennung von Niemann (eingangs erwähnt) geprägt ist. Merkmal wird hier nicht im Sinne eines Merkmals eines Patentanspruchs verwendet, so daß insoweit Mißverständnisse ausgeschlossen werden sollen. Auch wird hier das Stichwort "Verfahren und Berechnung" nicht in der Weise verwendet, die einem Algorithmus als solchem gleichsteht, sondern in seiner technischen Bedeutung, daß die zuvor erwähnten Merkmale aus Bilddaten oder Tondaten errechnet werden, basierend auf einer vorgegebenen Formel oder aus mehreren Formeln, um eine charakteristische Aussage für eine bestimmte Stelle (Pixel) der erfaßten Oberfläche oder für einen bestimmten zeitlichen Abschnitt von Audio-Signalen zu gewinnen.

Das technische Anwendungsfeld der Mustererkennung ist vielschichtig und reicht tief in den Automatisierungsbereich von Werkzeugmaschinen ebenso hinein, wie bei der Oberflächenanalyse oder der Objekterkennung (Anspruch 3, 4).

Besonders herausgestellt werden soll die erfindungsgemäße Möglichkeit, nicht den eingeprägten Merkmalsblöcken der Texturanalyse verhaftet zu bleiben, die zum Beispiel für Haralick 10 einzelne Parameter (Merkmale) als Block vorgibt. Zur Klassifikation können erfindungsgemäß durchaus Merkmale von unterschiedlichem gängigen Verfahren der Texturanalyse zusammengestellt werden, so daß neue Merkmalsblöcke erfindungsgemäß entstehen, unter der Steuerung einer neuen Konfiguration und einer jeweils folgenden Bewertung der Leistungsfähigkeit dieser gerade eingestellten Konfiguration.

Damit sei umrissen, daß unter dem Begriff der Konfiguration nicht nur eine Umgestaltung der Wege und eine Änderung der Art der zur Erkennung und Klassifizierung dienenden Systemblöcke verbunden ist, sondern auch eine innere Neuordnung und innere Modifikation einzelner Merkmale sowie deren Zusammenstellung (Anspruch 7, Alternativen b und c).

Mit den Ergebnissen der Merkmalsberechnung wird ein Klassifikationssystem in einer Lernphase trainiert (Lern- oder Trainingsphase), das dann im folgenden in der Lage ist, auch unbekannte Eingangsdaten der richtigen Zielklasse zuzuweisen. Nach dem Training weiß der Klassifikator, daß z. B. immer dann ein "Kratzer" auf der Oberfläche vorliegt, wenn Merkmal 17 kleiner als 0,5 und das Merkmal 41 größer als 9 ist.

Bei dem erfindungsgemäßen Verfahren sind die Merkmale selbst für den Trainingsprozeß nicht mehr durch die manuelle Auswahl des Ingenieurs vorgegeben, wodurch es möglich ist, das gesamte Merkmalserkennungssystem insgesamt automatisch zu optimieren, auch hinsichtlich der Konfiguration der Funktionsblöcke und in den Funktionsblöcken (Anspruch 1, Gruppe c).

Der Ausgangspunkt dabei ist, daß die "Eignung" des Gesamtsystems, also die Frage, ob ausgewählte Vorverarbeitung, Merkmale und Klassifikatoren dem Problem angemessen sind, am Erkennungsergebnis E auf einer für das Beispiel charakteristischen Test-Stichprobe gemessen werden können. Im Beispiel der Oberflächenanalyse besteht eine Test-Stichprobe zum Beispiel aus mehreren Mustern der zu unterscheidenden Klassen (intakt, Kratzer, Verfärbung), wobei gleichzeitig davon unterschiedliche andere Muster für das Lernen und das Testen der Eignung (Konfiguration) vorhanden sein können (Anspruch 8).

Die "Eignung" stellt also eine Bewertung für die gerade konfigurierte Vorverarbeitung, Merkmalsauswahl und Klassifikation dar.

Für eine Optimierung des Gesamtsystems werden alle Einzelkomponenten so lange automatisch modifiziert (Anspruch 2), bis die "Eignung" maximal wird. Als Optimierungsstrategien werden hierfür nach dem Stand der Technik bekannte lineare und nichtlineare Optimierungsverfahren wie Random Search, genetische Algorithmen oder genetische Programmierung verwendet. Ebenso können expertensystem-getriebene Verfahren Eingang finden, die erlauben, durch Vergleich mit optimalen Konfigurationen bei anderen bekannten und ähnlichen Problemen die Suche nach der optimalen Konfiguration für das neue Testproblem bereits bei einem relativ guten Startwert zu beginnen und somit die Optimierungszeit zu verkürzen. Alternativ wird der Startwert schon auf einen Erfahrungswert initialisiert (Anspruch 10), um Zeit für die Konfigurationsphase zu sparen.

Die Erfindung(en) werden nachfolgend anhand eines Ausführungsbeispieles erläutert und ergänzt.

Fig. 1 veranschaulicht eine automatisch sich konfigurierende Mustererkennung mit Bilddaten aus einer Kamera 60a.

Die Figur umschreibt in funktionaler Hinsicht Programsegmente eines Erkennungs- und Klassifikationssystems, das nicht nur mit Programmen, sondern mit in ihrer Funktion identischer Hardware aufgebaut werden kann, wobei dem Fachmann an der Beschreibung der Software-Realisierung ersichtlich ist, wie er die korrespondierende Hardware-Realisierung verwirklicht. Meist wird bei der Entwicklung und Inbetriebnahme eines solchen Erkennungssystems statt der fest verdrahteten Hardware die flexible Software bevorzugt, weshalb das Ausführungsbeispiel im Bereich der Software beschrieben ist, was allerdings nicht als Präjudiz angesehen werden soll, daß diese über die Software einmal gefundene Systemkonfiguration nicht auch über eine gleichwertige Hardware realisiert werden kann.

Eine Kamera 60a zeichnet Bilder auf, die hier von beispielhaften Metallteilen 1a, 1b, 1c vorgegeben werden, mit ihren Oberflächen A, B und C. Die Metallteile können sich in einer Richtung v an der Kamera 60a vorbei bewegen, sie können auch stationär sein, wenn die Kamera 60a schwenkbar ist.

Die Datenaufnahme 60 übernimmt die Bilddaten der Kamera 60a und gibt sie an eine Vorverarbeitung 61 weiter. Diese beiden Funktionseinheiten können Bildausschnitte und Kontrasterhöhung des Bildes bewirken, auch können Vorverstärkungen und Synchronisierungen in ihnen enthalten sein.

Aus den so vorverarbeiteten Daten werden zugeschnittene Bilddaten der Merkmalsgewinnung 10 zugeführt, in der nach einem vorgegebenen Verfahren, die weiter unten näher erläutert werden, bestimmte Merkmale der Bilddaten berechnet werden:

• (a) In einer Lernphase mit einer Lern-Stichprobe 1a, 1b, 1c von Erkennungsobjekten wird über die Verbindung 12 und den Lern-Funktionsblock 30 der Klassifikator 20 über die Verbindung 13 so eingestellt, daß er im nachfolgenden Betrieb die Erkennungsobjekte gut und sicher erkennt und zuordnet. In diesem Betrieb werden die Ergebnisse der Merkmalsberechnung nicht mehr über die Verbindung 12/13, sondern über die Verbindung 11 dem Klassifikator 20 direkt zugeführt, der daraus ein Klassifikationsergebnis E bildet, das die Oberfläche A, B und C der Erkennungsobjekte 1a, 1b und 1c in vorgegebene Klassen einteilt, die hier beispielhaft E1, E2 und E3 bezeichnet sind.
• (b) Die Veränderung der Konfiguration, also die Veränderung der Merkmalszusammenstellung, der Verschaltung und der Auswahl der einzelnen Funktionsblöcke wird von einer Steuerung 50 übernommen, die die Optimierung anhand von linearen oder nicht linearen Optimierungsverfahren vornimmt.

Es soll erwähnt sein, daß die hier dargestellte Kamera 60a ein Beispiel der Oberflächenanalyse ist. Ebenso könnte ein Mikrofon an ihrer Stelle sein, so daß Tonanalysen möglich werden, beispielsweise bei Geräuschen oder Sprachen.

Am Beispiel der bildlichen Oberflächenanalyse soll das Verfahren von Fig. 1 verdeutlicht werden. Die Problemstellung sei, ein optimales Verfahren zu entwickeln, das drei mögliche Oberflächenklassen auf Metallteilen unterscheidet:

• - intakte Oberfläche;
• - Kratzer auf der Oberfläche
• - Verfärbung (z. B. Rost) der Oberfläche.

Dazu wird zuerst eine bewertete Stichprobe erstellt, die die folgende Anzahl von Beispielbildern (z. B. mit Farb- oder Grauwertauflösung von 8 Bit und 64_*64 Pixel) als Anzahl von Oberflächen von Werkstücken enthält:

Die Test-Stichprobe hält deutlich mehr Metallteile, als die Lern-Stichprobe, auch sind sie unterschiedlich.

Für die Optimierung der Konfiguration mit der Steuerung 50 gelten in diesem Fall folgende Voraussetzungen:

• - Eine Vorverarbeitung 60, 61 wird nicht verwendet, insofern muß diese auch nicht optimiert werden
• - Für die Merkmalsextraktion stehen folgende Verfahren zur Verfügung (nur ein problemspezifisches Beispiel aus der Texturanalyse)
  • - Haralick-Parameter
  • - Galloway-Parameter
  • - Laws-Matrizen
  • - Verfahren nach Unser
  • - Waveletanalyse
  • - Verfahren nach Chen
  • - Fourieranalyse

Die Haralick-Parameter sind selbst wieder ca. 10 einzelne Parameter (ein "Block"). Es wird jedoch in diesem Beispiel davon abgesehen, die Parameter einzeln auszuwählen oder nicht auszuwählen; statt dessen wird der Gesamtsatz der Haralick- Parameter entweder gewählt oder nicht gewählt.

Für die Klassifikation 20 stehen folgende Verfahren zur Verfügung:

• - Nächster Nachbar Klassifikator
• - Backpropagation-Netz
• - Synergetischer Klassifikator MELT

Als Bewertungsfunktion "Eignung" wird die Erkennungsleistung E in Prozent bei Verwenden der Test-Stichprobe gewählt. Die Optimierung 50 erfolgt mit Hilfe eines genetischen Algorithmus, welcher mit Hilfe der Bewertungsfunktion aus Merkmals- Extraktionsverfahren 10, 11 und Klassifikator 20 jeweils ein Verfahren auswählt.

Dieses Ausführungsbeispiel stellt nur ein Beispiel dar; genausogut können beim obigen Beispiel statt der Auswahl ganzer Merkmalssätze wie Haralick, Unser o. ä. Gruppen oder einzelne von Einzelmerkmalen aus diesen Sätzen ausgewählt werden. Zusätzlich zu den aufgezählten Texturmerkmalen können auch beliebige Bildverarbeitungs-Standardfunktionen (Faltungen, Histogrammoperationen u.ä.) hinzugenommen werden, die mittels genetischer Programmierung in zufälliger Reihenfolge miteinander verkettet werden.

Alle eingangs verwendeten Verfahren sind nicht parameterbehaftet gewählt worden. Sowohl bei der Merkmals-Extraktion 10, 11 als auch bei den Klassifikatoren 20 können jedoch auch über die Stichprobe hinausgehende variable Eingangsparameter (z. B. Rückweisungsschwellen für einzelne Klassen bei den Klassifikatoren oder Grauwertauflösung bei Texturoperatoren) sinnvoll sein, die ebenfalls gleichzeitig Bestandteil der Optimierung 50 sein können.

Die Bewertungsfunktion "Eignung" läßt sich ausweiten von einer rein auf das Erkennungsergebnis E bezogenen Funktion auf weitere für die Einsetzbarkeit relevante Faktoren wie z. B.

• - Ausführungszeit für Bewertung der Stichprobe;
• - Speicherplatzbedarf;
• - Parallelisierbarkeit;
• - Zahl oder Art (Herkunft) der verwendenden Merkmale.

Die automatische Optimierung läßt sich auch auf die Datenaufnahme, insbesondere die Auswahl des Sensors oder der Sensorart ausweiten.

An einem weiteren Beispiel kann die Optimierung von Merkmalen selbst verdeutlicht werden. Wieder wird auf dem oben erwähnten Datensatz aus der Oberflächenanalyse gearbeitet, um die drei Oberflächenklassen auseinanderzuhalten, und es werden dieselben Stichproben verwendet. Gegenstand der Optimierung ist jetzt aber im Gegensatz zu oben nicht die Auswahl der Merkmale, sondern es sind die Berechnungsoperatoren für die Merkmale selbst. Ziel dabei ist es, nicht nur aus einer Liste (oder: Block) von vorgegebenen Merkmalen (wie Haralick, usw.) auswählen zu können, sondern vielmehr selbst neue und bessere Merkmale zu schaffen, gesteuert von der Eignung des konfigurierten Systems.

Eine derartige Optimierung eines Merkmals wird so durchgeführt:

• - Ein Merkmal besteht aus einer Verkettung von Berechnungsoperatoren.
• - Die Auswahl und die Verknüpfungsart dieser Operatoren ist für jedes Merkmal spezifisch.
• - Durch Modifikation von Auswahl und Verknüpfungsart der Berechnungsoperatoren mit hierfür geeigneten Optimierungsverfahren (wie z. B. Genetische Programmierung) kann das Merkmals selbst solange verändert werden, bis sich die Eignung in Gestalt der Erkennungsleistung des Gesamtsystems (gemessen auf der Test-Stichprobe) erhöht.

Vorgeschlagen wird ein Verfahren zur automatischen Optimierung von Mustererkennungssystemen, insbesondere industriellen Prüfsystemen durch Bewertung der Leistungsfähigkeit einer Konfiguration (Art der Vorverarbeitung 60, Merkmalsauswahl 10, Klassifikator 20) anhand von Stichproben und hierdurch Modifikation der Konfiguration des Mustererkennungssystems in Richtung auf geeignetere Konfigurationen mit Hilfe von Optimierungsstrategien 50, wie linearer oder nichtlinearer Optimierung, genetischen Algorithmen oder genetischer Programmierung.

Derartige Verfahren eignen sich insbesondere für Objekterkennung, Oberflächenanalyse, Analyse komplexer realer Szenen, Personenidentifikation.

Claims (14)

1. Verfahren zum automatischen Optimieren von Objekt- Erkennungssystemen, beinhaltend

• (a) Einstellen einer ersten Konfiguration des Erkennungssystems (60, 61, 10, 20, 30);
• (b) Bewerten (50) der Leistungsfähigkeit oder Eignung der eingestellten Konfiguration für ein Erkennungsproblem, anhand des Erkennungsergebnisses (E) zu mindestens einer Test-Stichprobe, die aus mehreren unterschiedlichen Erkennungsobjekten (1a, 1b, 1c, . . .) besteht;
• (c) Ändern der eingestellten Konfiguration des Erkennungssystems gemäß einem vorgegebenen linearen oder nichtlinearen Optimierungsverfahren.

2. Verfahren nach Anspruch 1, bei dem

• (x) auf den Verfahrensschritt (c) der Verfahrensschritt (b) erneut folgt, um iterativ eine optimierte Eignung bei maximaler Leistungsfähigkeit des Erkennungssystems zu erhalten; und/oder
• (y) der Verfahrensschritt (b) auch eine Lernphase beinhaltet, in welcher mittels einer Lern-Stichprobe von mehreren unterschiedlichen Erkennungsobjekten (1a′, 1b′, 1c′) der Klassifikator (20) eingestellt wird (12, 30, 13), um anhand der konfigurierten Merkmalen sicher klassifizieren zu können.

3. Verfahren nach einem der erwähnten Ansprüche, bei dem das Objekt-Erkennungssystem Oberflächen erfaßt und jede erfaßte Oberfläche einer von mehreren Oberflächengruppen (E1, E2, E3, . . .) zuweist.

4. Verfahren nach einem der erwähnten Ansprüche, bei dem das Erkennungsobjekt ein im wesentliches ebenes Muster trägt, insbesondere ein Werkstück (1a, 1b, 1c) mit zu erkennender und zu klassifizierender Oberfläche (A, B, C) ist.

5. Verfahren nach einem der erwähnten Ansprüche, bei dem das Ändern der eingestellten Konfiguration des Erkennungssystems mit dem Optimierungsverfahren Random-Search, mit genetischen Algorithmen oder mit genetischer Programmierung arbeitet.

6. Verfahren nach einem der erwähnten Ansprüche, bei dem die Änderung der Konfiguration in einem vorbetrieblichen Verfahren erfolgt, insbesondere aber während des betrieblichen Ablaufes in vorgegebenen Intervallen wiederholbar ist.

7. Verfahren nach einem der erwähnten Ansprüche, bei dem die Änderung der Konfiguration eine oder mehrere der folgenden Änderungen umfaßt:

• (a) Änderung der Art der Vorverarbeitung (61);
• (b) Änderung der Auswahl der zur Klassifikation führenden Merkmale (10), die aufgrund einer Messung (60a) und einer Vorverarbeitung (60, 61) ermittelt werden (10);
• (c) Modifizieren eines oder mehrerer Merkmale durch Verändern der Zusammenstellung ihrer Berechnungsoperatoren;
• (d) Änderung der Datenaufnahme für die Vorverarbeitung (60), insbesondere Änderung des Sensors (60a) zur Speisung der Datenaufnahme (60);
• (e) Änderung der Klassifikation (20), die aus den zur Klassifikation herangezogenen (11) Merkmalen gespeist wird.

8. Verfahren nach einem der erwähnten Ansprüche, bei de-m die Erkennungsobjekte (1a, 1b, 1c) der Test-Stichprobe andere sind, als die Erkennungsobjekte einer Lernphase des Klassifikators (20) des Erkennungssystems.

9. Verfahren nach einem der erwähnten Ansprüche, bei dem jede Stichprobe (Test-Stichprobe, Lern-Stichprobe) aus mehreren Erkennungsobjekten (1a, 1b, 1c) aus mehreren Klassen besteht.

10. Verfahren nach einem der erwähnten Ansprüche, bei dem die Ersteinstellung einer Ausgangs-Konfiguration des Erkennungssystems eine solche Konfiguration ist, die bei einem Erkennungssystem für ein ähnliches Erkennungsproblem schon bekannt war, um die (iterative) Optimierungszeit gemäß Anspruch 2 zu verkürzen.

11. Verfahren nach Anspruch 7, Alternative (c) oder (b), bei dem die zur Erkennung im Klassifikator (20) verwendeten Merkmale aus unterschiedlichen Texturanalyse-Merkmalsblöcken- oder Listen zusammengesetzt werden (Haralick, Galloway, Laws).

12. Verfahren nach einem der erwähnten Ansprüche, bei dem keine parameterbehafteten Verfahren verwendet werden, insbesondere nicht bei der Merkmals-Extraktion (10, 11), bei der Klassifikation (20), bei der linearen oder nichtlinearen Optimierung (50).

13. Verfahren nach einem der erwähnten Ansprüche, wobei in der Merkmalsbildung (10) oder bei der Klassifikation (20) Rückweisungsschwellen für einzelne Klassen vorgesehen sind.

14. Verfahren nach einem der erwähnten Ansprüche, bei dem die Änderung der eingestellten Konfiguration auch aufgrund eines oder mehrerer der folgenden Kriterien erfolgt:

• - Ausführungszeit zur Bewertung und Klassifikation der Stichprobe;
• - Speicherplatzbedarf zur automatischen Objekt- Klassifikation;
• - Parallelisierbarkeit bei der Objekterkennung;
• - Anzahl oder Art (Herkunft) der verwendeten Merkmale.