DE3587061T2 - Bildverarbeitungseinrichtung und verfahren zu deren steuerung. - Google Patents

Description

• Die Erfindung betrifft ein Verfahren zur Steuerung einer Bildverarbeitungseinrichtung, die eine Programmiersprache zur Bildverarbeitung verwendet, die für die Steuerung der Bildverarbeitungseinrichtung, die die polygonale Näherungsverarbeitung anwendet, brauchbar ist.
Beschreibung des Standes der Technik
• Es sind bisher zwei Verfahren vorgeschlagen worden, das Muster-Übereinstimmungsverfahren und der SRI-Algorithmus als ein etwas vielseitiger, und folglich als eine Art Standard-Bildverarbeitungs-Algorithmus, der unmittelbar mit der Muster-Erkennung und nicht mit der Bild-Filterung und der Zwischen- Bildverarbeitung verbunden ist.
• Das Muster-Übereinstimmungsverfahren erfordert unabdingbar einen beträchtlichen Rechenaufwand und wird tatsächlich in den meisten Fällen durch Anwendung von Hardware ausgeführt und ist nicht Gegenstand der Steuerung durch die Programmiersprache. Der SRI-Algorithmus besitzt nicht viel Flexibilität im Verarbeitungsverlauf und erlaubt nur den Wechsel einiger Parameter. Eine der Programmiersprachen, die auf diesem SRI-Algorithmus basieren, ist in einem Artikel mit dem Titel "Programming Vision and Robotics Systems with RAIL", RDBO TSVI, Conference Proceedings, 2.-4. März 1982, S. 392-406 Robotics International of SME, besprochen worden. Diese Sprache jedoch ermöglicht, nur die Parameter auszuwechseln und die Verarbeitungsergebnisse, auf die sie sich beziehen, aber sie hat nicht irgendeine Freiheit im Sinne des Bildverarbeitungs-Verfahrens.
• Andererseits ist ein Beispiel der Programmiersprachen, die den Ablauf der Bildverarbeitung selbst beschreiben, in dem Artikel "AML/V: An Industrial Machine Vision Programming System", The International Journal of Robotics Research, Vol. 1, Nr. 3, 1982 besprochen worden. Jedoch diese Sprache besitzt nur die Befehle zur Ausführung elementarer oder fundamentaler Verarbeitungen, wie z. B. Zwischenbild-Verarbeitung, die nicht unmittelbar mit der Muster-Erkennung zu tun haben und folglich, wenn ein Erkennungsprogramm unter Anwendung dieser Sprache geschrieben wird, erfordert dies im wesentlichen den gleichen Aufwand an Arbeit und Wissen wie der Gebrauch von anderen Mehrzweck-Programmiersprachen.
• The Document Computers, Vol. 15, Dezember 1983, S. 17-32, Nr. 12, Lond Beach, California, USA; R.C. Gonzalez et al: "Computer vision techniques for industrial applications and robot control" bespricht im einzelnen die Folgen von Schritten, die zur Erkennung eines Objekts erforderlich sind. Diese umfassen Mittel zur Eingabe eines Bildes, Mittel zur Segmentierung eines Bildes, Mittel zur Bestimmung der Lage- oder der Nachbarschaftsbeziehung zwischen den Bildelementen, polygonale Näherung des Bildrandes, Mittel zum Vergleich eines unbekannten Wertes mit einem bekannten Bezugswert, die Standardbestandteile in jedem Apparat zur Bilderkennung sind. Im Gegensatz zur vorliegenden Anmeldung jedoch wird ein polygonal angenähertes Muster nicht durch eine Reihe von Spitzenwert-Daten dargestellt.
• In PROCEEDINGS 6th INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, München, 19.-22. Okt. 1982, S. 19-22, IEEE, New York, USA; H. Mori: "Picture interpretation language for silhouette" wird die Entwicklung der PILS-Programmiersprache besprochen, die es dem Programmierer erlaubt, seine eigenen Bild-Operatoren zu definieren. Aber wie in dem vorstehenden Dokument "Computer vision . . ." wird kein Gebrauch von der Darstellung eines Musters durch eine Reihe von Spitzenwert-Daten gemacht.
Zusammenfassung der Erfindung
• Es ist eine Aufgabe der Erfindung, ein Verfahren zur Steuerung einer Bildverarbeitungseinrichtung mit den in der Präambel des Anspruchs 1 aufgeführten Merkmalen anzugeben, das es ermöglicht, die Verarbeitungs-Prozedur so genau zu ändern, daß sie an unterschiedliche Verwendungszwecke angepaßt werden kann, die verschiedene Prozeduren erfordern.
• Es ist eine andere Aufgabe der Erfindung, ein Bildverarbeitungsverfahren anzugeben, mit dem sehr leicht ein Anwendungssystem entwickelt werden kann, das ein polygonales Näherungs- Verarbeitungssystem anwendet mit nur einem geringen Aufwand an zusätzlicher Software, die beim Gebrauch einer Bildverarbeiungs-Sprache entwickelt wird.
• Diese Aufgaben werden erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale gelöst.
• Weitere Aufgaben und Vorteile der Erfindung gehen aus der folgenden Beschreibung in Verbindung mit den zugehörigen Zeichnungen hervor.
Kurzbeschreibung der Zeichnungen
• Fig. 1 zeigt ein Schaubild eines grundlegenden Verfahrens eines Polygonal-Näherungs-Verarbeitungssystems;
• Fig. 2 zeigt die Anordnung eines Bildverarbeitungsgeräts;
• Fig. 3 zeigt eine Tabelle von Bildvariablen;
• Fig. 4A bis 4C zeigen die Anordnung einer Segment-Tabelle;
• Fig. 5 zeigt eine Tabelle der Bildverarbeitungs-Befehle;
• Fig. 6A bis 6C und Fig. 7A bis 7C zeigen Beispiele der Anwendung dieser Erfindung auf einem wirklichen, zu erkennenden Gegenstand.
Beschreibung bevorzugter Ausführungsbeispiele
• Nachfolgend werden einige Ausführungsbeispiele dieser Erfindung anhand der Zeichnungen erläutert. Mit Bezug auf Fig. 1 wird ein polygonales Näherungsverarbeitungs-System erläutert. Das polygonale Näherungsverarbeitungs-System ist ein Muster- Erkennnungs-System, bei dem die Kontur eines Segments polygonal angenähert wird, so daß es durch eine Reihe von Spitzenwert-Koordinaten oder -Daten dargestellt wird, die verarbeitet wird, um Informationen bezüglich der Segmentform, z. B. der Fläche oder des Umfangs, zu liefern und um zu prüfen, ob zwei Muster identisch sind oder nicht. Dieses Mustererkennungs-System wurde ausführlich in der japanischen, ungeprüften Anmeldung Nr. 154574/84 beschrieben, die dem Anmelder der vorliegenden Anmeldung gehört.
• Nachfolgend wird der Verarbeitungsablauf in diesem polygonalen Näherungsverarbeitungs-System erläutert. Zunächst wird bei einem Schritt 101 (siehe Block 201) ein Bild eingegeben und das Bild wird bei Schritt 102 segmentiert, wie aus Block 202 ersichtlich. Bei Schritt 103 der Bildstrukturanalyse wird die Verbindungsbeziehung zwischen den Segmenten hergestellt, wie aus Block 203 ersichtlich. Das zu erkennende Segment wird aus dieser Verbindungsbeziehungs-Information ausgewählt und wird durch einen polygonalen Näherungs-Schritt polygonal angenähert. Dieses polygonal angenäherte Segment wird zur Erkennung bei einem Schritt 105 zur polygonalen Muster-Übereinstimmung oder bei Schritt 106 zum Auszug charakteristischer Werte verarbeitet. Die polygonale Muster-Übereinstimmung betrifft die Feststellung der Übereinstimmung durch Überlagerung auf ein Muster eines Verzeichnisses, das ebenfalls, wie aus Block 205 ersichtlich, polygonal angenähert ist und der Auszug charakteristischer Werte betrifft, wie aus Block 206 ersichtlich, die Erkennung der Form durch charakteristische Werte, wie z. B. Form, Durchmesser und dgl., und die Positionierung des Musters, die den Schwerpunkt, die Trägheitsachse und dgl. verwendet.
• Der Vorteil der polygonalen Näherungs-Verarbeitung beruht in ihrer großen Veränderlichkeit im Verarbeitungsablauf. Zum Beispiel kann nach der Bildstrukturanalyse jedes Segment als das zu erkennende Segment ausgewählt werden und das der polygonalen Näherung unterworfene Segment kann durch viele Erkennungsverfahren erkannt werden. Der Ablauf der ganzen Prozedur des polygonalen Näherungs-Verarbeitungssystems ist einfach. Deshalb kann das polygonale Näherungs-Verarbeitungssystem leicht modifiziert werden, um für eine besondere Anwendung geeignet zu sein durch Änderung der Kombination der Schritte, wobei jeder als Verarbeitungseinheit in Fig. 1 angewendet wird, und durch Vorsehen von Verzweigungen in Abhängigkeit von Zwischenresultaten.
• Mit Bezugnahme auf Fig. 2 wird nun ein Beispiel eines Bildverarbeitungsgeräts zur Durchführung einer Bildverarbeitung auf der Grundlage des polygonalen Näherungssystems erläutert. In der Zeichnung bezeichnet die Zahl 301 einen Bildspeicher, 302 einen Bild-Eingabeteil, 303 einen Bild-Verarbeitungsteil, 304 einen Prozessor (CPU), und 305 eine TV-Kamera. Die Steuerung der Bild-Verarbeitungs-Prozedur erfolgt durch die Ausführung des Programms, das die Verarbeitungs-Prozedur beschreibt, durch die CPU 304.
• Eine Programmiersprache (Bild-Verarbeitungssprache) zur Beschreibung dieses Programms wird nun erläutert. Die Grundstruktur besteht aus einer bekannten Programmiersprache, z. B. BASIC, und aus einer Gruppe von Bild-Verarbeitungs-Befehlen als Erweiterungs-Befehle, und Bild-Variablen als Variablen-Typen.
• Zunächst werden die Bild-Variablen mit Bezug auf Fig. 3 erläutert. Die Bild-Variablen sind variable Typen, welche die Struktur der Bild-Daten darstellen, die im polygonalen Näherungs-Verarbeitungssystem verwendet werden. Es gibt als Variable Grauskalen-Bild, binäres Bild, Maskenbild, Segment-Tabelle und eine Reihe von Spitzenwert-Koordinaten. Diese Variablen werden benannt, z. B. G&sub1;, T&sub6; und L&sub3;, wobei jeder Name aus einem Kopfzeichen besteht, das die Variablen-Type darstellt, und einer Zahl zur Identifizierung einer unter vielen Variablen des gleichen Typs. G ist das Kopfzeichen eines Grauskalen-Bildes, T ist das Kopfzeichen eines Strukturbaums, der einer Tabelle zur Aufzeichnung der Baumstruktur, die die Verbindung zwischen den Bereichen eines Bildes darstellt, entspricht, und L ist das Kopfzeichen von Zeilen ("Lines"), welche die Seiten eines polygonal angenäherten Segments bilden. Insbesondere stimmen das Grauskalen-Bild, das binäre Bild und das Maskenbild mit den benützten Bildspeichern überein und deren Zahlen sind festgelegt, deren Strukturen sind zweidimensionale Felder. Die Segment-Tabelle, die eine Tabelle zum Überwachen der Beziehungen zwischen den Segmenten darstellt, ist eine Tabelle, welche die Informationen bezüglich der Segmente eines Bildes enthält, z. B. Verbindungs-Zustand oder Lage-Beziehung zwischen den Segmenten, Lage und Fläche der Segmente und ähnliches. Eine Segment-Tabelle entspricht einem Bild. Ihre Größe hängt von der Anzahl der Segmente ab, die im Bild enthalten sind und ist veränderlich. Von jedem Datum in der Segment-Tabelle wird angenommen, daß es eine ganze Zahl ist. Ein Beispiel einer Segment-Tabelle ist in Fig. 4A bis 4C gezeigt. Die dargestellte Segment-Tabelle ist die eines zweidimensionalen Bildes und deshalb sind alle Verbindungs-Zustände oder Lagebeziehungen "einbeziehen", "einbezogen". Zunächst enthält die Segment-Tabelle die Anzahl der einbezogenen Segmente (Kinder). Dann als nächstes, "einbeziehen" und "einbezogen" werden durch drei Arten von Zeigern dargestellt. Insbesondere wird die Beziehung "einbeziehen" oder "einbezogen" durch eine Eltern-Kind-Beziehung dargestellt. Nämlich, wenn A einbezieht B, dann ist A ein Elternteil und B ist das Kind. In diesem Fall gibt es einen Eltern-Zeiger c und einen Kinder- Zeiger a. Obgleich jedoch die Anzahl des Elternteils immer nur eins ist, aber die des Kindes nicht notwendigerweise einst ergibt sich, daß die Anzahl der Eltern-Zeiger nicht ausreicht. Wenn es deshalb mehrere Kind-Segmente gibt, wird nur eines von ihnen mit einem Kind-Zeiger a angegeben und die restlichen Kind-Segmente werden miteinander durch Bruder-Zeiger b verbunden. Jeder Zeiger ist mit einem Endzeichen an seinem Ende versehen. Die Segment-Tabelle enthält Angaben über Bereich (Anzahl der Pixels), Koordinaten (XTOP, YTOP) am linken oberen Ende des Segments, die die Segment-Lagen angeben und Zeiger, die die Reihen der Spitzenwert-Koordinaten in Übereinstimmung mit den Segmenten angeben.
• Die Struktur der im polygonalen Näherungsverarbeitungs-System verwendeten Bilddaten kann durch die oben angegebenen Bild- Variablen definiert werden, so daß die Benutzer nicht veranlaßt sind, sie selbst zu definieren und deshalb ist das Programmieren leicht gemacht und Fehler in Verbindung mit der Programmierung treten nicht auf.
• Die Bildverarbeitungs-Befehle werden mit Bezug auf Fig. 5 erklärt. Jeder Bildverarbeitungs-Befehl stellt eine der Verarbeitungs-Einheiten im polygonalen Verarbeitungssystem durch einen Befehl oder eine Funktion dar, das mit Bezug auf Fig. 1 erläutert wurde. Die Bildeingabe beim Schritt 101 entspricht einem Bildeingabe-Befehl PICTURE und die Segmentierung beim Schritt 102 entspricht einem Segmentierungs-Befehl SEGMENT. Da diese zwei Schritte in vielen Fällen nacheinander ausgeführt werden, wird ein Befehl PICTURES für diesen Zweck verwendet. Die Bildstruktur-Analyse beim Schritt 103 entspricht einem Befehl ANALYZE, und die polygonale Näherung beim Schritt 104 entspricht einem Befehl LINSEG.
• Die polygonale Muster-Übereinstimmung beim Schritt 105 enthält Parallel-Verschiebung LSHIFT und Rotations-Verschiebung LROTATE, welches Befehle zur Verschiebung sind, um zwei Muster aufeinander zulegen und MATCH ist eine Funktion zur Berechnung der Fläche des aufeinandergelegten Teils. Der Auszug eines charakteristischen Wertes beim Schritt 106 beinhaltet charakteristische Wert-Funktionen, wie z. B. AREA, PERIM und dgl. Es gibt ferner auch Funktionen wie z. B. THDSET zum Setzen eines binären digitalisierten Schwellenwerts, MASK zum Setzen eines Verarbeitungsbereichs, und TSUM, TTOP zur Bezugnahme auf die Segment-Tabelle usw.
• Das Programm, das die Bildverarbeitungs-Prozedur beschreibt, wird mit Bezug auf Fig. 6A bis 6C beschrieben. Das gezeigte Beispiel unterscheidet die drei Teile 1, 2 und 3 voneinander entsprechend der räumlichen Anordnung. Die Fig. 6A zeigt die zu erkennenden Teile; Fig. 6B zeigt den Verarbeitungs-Ablauf, und Fig. 6C zeigt eine exemplarische Programm-Beschreibung entsprechend des Ablaufs.
• Zuerst wird ein Bild von einer Kamera Nr. 1 durch den Eingabe- Befehl PICTURE in einen Grauskalen-Bildspeicher G&sub1; und in einen Binär-Speicher B&sub1; eingespeichert; es wird dabei jetzt angenommen, daß der binär-digitalisierte Schwellenwert vorher durch den Schwellenwert-Setz-Befehl THDSET (Schritt S11) gesetzt worden ist. Das im Binärspeicher B&sub1; befindliche Bild wird durch den Segmentier-Befehl SEGMENT segmentiert und das Ergebnis der Segmentierung wird in der Segment-Tabelle T&sub1; gespeichert (Schritt S12). Die Bildstruktur-Analyse wird durch den Struktur-Analyse-Befehl ANALYZE (Schritt S13) durchgeführt. Ein Hintergrund-Segment Nummer I wird zuerst berechnet, unter Verwendung der Segment-Informations-Referenz-Funktionen TTOP und TDOWN, und danach wird das Segment Nummer J berechnet, das direkt davon abhängt. Auf diese Weise wird ein im einheitlichen Hintergrund angeordnetes, optionales Teil gewählt (Schritt S14). Dieses gewählte Teil J wird polygonal angenähert durch den Zeilen-Segmentations-Befehl LINSEG, um die Spitzenwert-Reihe L&sub1; ("Vertex-Reihe") zu liefern (Schritt S15). Die Fläche S des Teils J wird durch die Bereichs-Funktion AREA aufgrund von L&sub1; berechnet (Schritt S16). Aufgrund dieses Ergebnisses werden Teile-Nummern, Fehler-Codes und dgl. bei Schritt S17 und folgende zurückgesetzt, um in jedem Fall die Verzweigung in die Verarbeitungsroutine auszuführen.
• Ein Programm zur Bestimmung des polygonal angenäherten Muster- Übereinstimmungs-Vergleichs wird mit Bezug auf die Fig. 7A bis 7C erläutert. Die Fig. 7A zeigt den Zustand, bei dem das zu erkennende Teil über einem Muster des Verzeichnisses angeordnet ist; die Fig. 7B zeigt die Verarbeitungs-Prozedur und Mol-%7C zeigt eine exemplarische Programm-Beschreibung entsprechend dieser Prozedur. Zuerst wird ein Bild der Kamera Nr. 1 in den Grauskalen-Bildspeicher G&sub1; und in den Binärspeicher B&sub1; durch den Eingabe-Befehl PICTURE eingespeichert, und es wird angenommen, daß der binär-digitalisierte Schwellenwert durch den Schwellenwert-Setz-Befehl THDSET (Schritt S21) gesetzt worden ist. Das Bild im Binärspeicher B&sub1; wird durch den Segmentier- Befehl SEGMENT segmentiert und das Segmentier-Ergebnis wird in der Segment-Tabelle T&sub1; gespeichert (Schritt S22). Die Bild- Struktur-Analyse wird durch den Struktur-Analyse-Befehl ANALYZE durchgeführt (Schritt S23). Die Segment-Nummer J wird unter Verwendung der Segment-Referenz-Funktionen TTOP und TDOWN in der gleichen Weise wie im in Fig. 6 gezeigten Beispiel berechnet (Schritt S24). Das Teil J wird durch den Zeilen-Segmentierungs-Befehl LINSEG polygonal angenähert, um die Spitzenwert-Reihe 1 zu liefern (Schritt S25). Die folgenden Schritte betreffen den Muster-Übereinstimmungs-Vergleich mit einem Muster des Verzeichnisses durch den Vergleich der polygonal angenäherten Muster; es wird dabei angenommen, daß das Muster des Verzeichnisses durch eine Spitzenwert-Reihe L&sub0; bargestellt ist und daß es Schwerpunkt-Koordinaten (X&sub0;, Y&sub0;) besitzt und eine Orientierung T&sub0;. Zuerst, in Zeilen 70-90 in Fig. 7C, werden durch die Schwerpunkts-Funktionen GX, GY und durch eine Orientierungs-Funktion ORIENT die Schwerpunkt-Koordinaten und die Orientierung des Teils J erhalten und danach wird die Lageabweichung (DX, DY, DT) davon von jenen des Verzeichnis-Musters L&sub0; erhalten.
• Danach, in Zeilen 100 und 110, wird die Spitzenwert-Reihe L&sub1;, die das Teil J darstellt, durch die Muster-Verschiebe-Befehle LSHIFT und LROTATE (Schritt S26) so verschoben, daß es die gleichen Schwerpunktkoordinaten und die gleiche Orientierung wie das Verzeichnis-Muster L&sub0; hat. Die zwischen L&sub0; und L&sub1; übereinandergelegte Fläche wird durch einen Übereinstimmungs- Befehl MATCH berechnet. Wenn die Fläche 98 % größer als die durch eine Bereichs-Funktion AREA in Zeile 130 berechnete Fläche S&sub0; des Verzeichnis-Musters ist, wird der Schätzwert ST=0 angenommen und wenn die vor angehende kleiner als die letztere ist, dann wird der Schätzwert ST=1 angenommen (Schritt S26).
• Auf diese Weise, nur durch Schreiben eines solchen kurzen Programms, wie vorstehend erläutert, ist es mit dem gleichen Bildverarbeitungs-Gerät möglich, auf unterschiedliche Arten die Muster-Erkennung auszuführen.
• Das Bildverarbeitungsgerät kann leicht an ein System, das die polygonale Näherung verwendet, angeglichen werden durch die Entwicklung eines geringen Umfangs an Software durch Anwendung einer Bildverarbeitungs-Sprache, da das polygonale Näherungs- Verarbeitungssystem flexibel ist und nicht in seinem Verarbeitungs-Ablauf festgelegt ist und daher auf vielen Feldern anwendbar ist.
• Somit bedarf das Bildverarbeitungsgerät keiner Entwicklung von Hardware und es bedarf auch keiner Entwicklung eines großen Umfangs an Software, die eine Universal-Programmiersprache anwendet; folglich können die Kosten beträchtlich verringert werden.
• Außerdem ermöglicht es das Bildverarbeitungsgerät, die Verarbeitungs-Prozedur, dem Zweck angepaßt, genau anzugleichen, so daß es durch die Bildverarbeitung zur Erweiterung des Anwendungsgebiets der Automation beiträgt.

Claims (2)

1. Verfahren zur Steuerung einer Bildverarbeitungseinrichtung mit folgenden Schritten:

- Eingabe eines Bildes durch einen Eingabebefehl (101, 311, S21);

- Segmentierung dieses eingegebenen Bildes (201) durch einen Segmentierungsbefehl (102, 312, 322);

- Erzielung einer Stellungsbeziehung (203) zwischen den Segmenten im eingegebenen Bild (201) durch einen Struktur-Analysebefehl (S13, 323);

- Auswählen eines der zu erkennenden Segmente (S14, S24) aufgrund der Stellungsbeziehung; und

- polygonale Näherung der Kontur des gewählten Segments durch einen Polygonal-Näherungs-Befehl (315, 325);

wobei das Verfahren durch die folgenden Schritte gekennzeichnet ist:

- Darstellen der polygonal angenäherten Kontur des gewählten Segments durch eine weihe von Spitzenwert-Koordinaten (204);

- Berechnung des Schwerpunktes und der Orientierung des gewählten Segments und Verschiebung und Drehung der Spitzenwert-Koordinaten, bis der Schwerpunkt und die Orientierung des gewählten Segments mit jenen eines Musters in einem Verzeichnis, das ebenfalls polygonal angenähert ist (326, Zeilen 70-90 in Fig. 7C) übereinstimmen;

- Berechnen der aufeinanderliegenden Fläche vom gewählten Segment und dem Muster im Verzeichnis mittels eines Flächen-Berechnungs-Befehls, um eine Übereinstimmung festzustellen.

2. Verfahren nach Anspruch 1, bei dem die Information betreffend der Stellungsbeziehung zwischen den Segmenten in einer Segment-Tabelle (Tn) aufgelistet sind.