DE19538004A1 - Verfahren zur Grobklassifizierung von Objekten - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Grob­ klassifizierung von Objekten, insbesondere zur Grobklassifi­ zierung von Objekten in einer frei definierbaren Umgebung.

Vorab werden nachfolgend einige der in der folgenden Be­ schreibung verwendeten Begriffe näher erläutert:

Objekt

Ein Objekt ist ein Gegenstand, der durch vorbestimmte Objektdaten definiert ist. Solche Objektdaten können beispielsweise Bilddaten sein, die das Objekt anhand dessen Form, Farbe, Textur oder Größe definieren.

Objekttypen

Die Objekte sind in unterschiedliche Objekttypen aufge­ teilt. Ein Bleistift ist z. B. ein Objekt, das in unter­ schiedliche Objekttypen, nämlich einen Bleistift des Typs B1 und einen Bleistift des Typs B2, unterteilt ist.

Objektklasse

Eine Objekt- oder Typklasse umfaßt eine zusammengehörige Gruppe von Objekttypen. Dies wären in dem oben beschrie­ benen Beispiel beispielsweise alle Bleistifte.

Typidentifikation

Eine Typidentifikation ermöglicht eine Unterscheidung von Objekten innerhalb einer Objektklasse.

Bekannte Verfahren aus dem Stand der Technik finden in der industriellen Praxis ihre Anwendung, in der eine Typidenti­ fikation von Objekten in einer definierten Umgebung durchge­ führt wird. Mit solchen bekannten Verfahren zum Musterver­ gleich aufgrund von Signalen (z. B. aus Bildern der Objekte) lassen sich Informationen über den Objekttyp gewinnen. Auf diese Weise ist es beispielsweise möglich, einen Bleistift des Typs B1 von einem Bleistift des Typs B2 zu unterschei­ den, oder eine Kaffeetasse des Typs K1 von einer unter schiedlich geformten Kaffeetasse des Typs K2 zu unterschei­ den.

Bei den oben beschriebenen Verfahren werden aus vorhandenen Signalen Merkmalsdaten herausgezogen. Beispielsweise wird ein Bleistift des Typs B1 durch eine Kombination unter­ schiedlicher Merkmalsdaten beschrieben und unterscheidet sich von einem Bleistift des Typs B2 bzgl. einzelner Merkma­ lsdaten.

Ein solches bekanntes Verfahren zur Typidentifikation von Objekten ist nach einer Lernphase mit unterschiedlichen Re­ präsentanten einer Objektklasse, z. B. unterschiedlichen Kaf­ feetassen, z. B. des Objekttyps Kaffeetasse K1, in der Lage, auch andere Repräsentanten dieses Objekttyps Kaffeetasse K1 korrekt zu identifizieren.

Mit anderen Worten verwendet ein aus dem Stand der Technik bekanntes Klassifizierungssystem im wesentlichen zwei Phasen, nämlich eine Lern- und eine Klassifizierungsphase.

Während der Lernphase werden dem System bestimmte Merkmale einzelner Objekttypen eingegeben, so daß das System während der Klassifizierungsphase in der Lage ist, Objekte dieser Objekttypen zu erkennen.

Ein Nachteil des oben beschriebenen Standes der Technik be­ steht darin, daß nur solche Objekte erfaßt werden, die genau definiert sind. Eine Einordnung von Objekten in Objekt­ klassen ist somit nicht möglich.

Mit anderen Worten ist es nicht möglich, unterschiedliche Objektklassen zu unterscheiden. Eine Objektklasse umfaßt alle Objekte eines Objekttyps. Bei dem oben beschriebenen Beispiel bilden z. B. alle Bleistifte die Objektklasse B, und alle Kaffeetassen bilden die Objektklasse K. Eine solche Un­ terscheidung zwischen unterschiedlichen Objektklassen oder Typklassen wird als Typklassenidentifikation oder Grob­ klassifikation bezeichnet.

Auf den ersten Blick erscheint das Problem der Grobklassifi­ kation einfacher als das der Objektidentifikation, da ein menschlicher Betrachter beispielsweise ohne weiteres einen Bleistift von einer Kaffeetasse unterscheiden kann, jedoch bei der Unterscheidung unterschiedlicher Kaffeetassen diese genauer betrachten muß. Dieser Eindruck trügt jedoch, da das dem Menschen verfügbare Hintergrundwissen, das offensicht­ lich zu dieser Unterscheidung herangezogen wird, technisch nicht implementierbar ist.

Ausgehend von diesem Stand der Technik liegt der vorliegen­ den Erfindung die Aufgabe zugrunde, ein Verfahren zur Grob­ klassifizierung von Objekten in einer frei definierbaren Um­ gebung zu schaffen.

Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 ge­ löst.

Die vorliegende Erfindung schafft ein Verfahren zur Grob­ klassifizierung von Objekten in einer frei definierbaren Um­ gebung, wobei das Verfahren eine Lernphase und eine Klassi­ fizierungsphase einschließt, bei dem
während der Lernphase für mehrere Objekte einer Objekt­ klasse gleichartige typische Merkmalsdaten in eine Klas­ sifizierungsvorrichtung eingelesen werden, wodurch eine Grobklasse definiert wird; und
während der Klassifizierungsphase Objektdaten eines zu klassifizierenden Objekts erfaßt werden, und das zu klas­ sifizierende Objekt ab einem bestimmten Grad der Überein­ stimmung der während der Lernphase eingelesenen Merkmals­ daten mit den erfaßten Objektdaten als zu der definierten Grobklasse gehörend erkannt wird.

Bevorzugte Weiterbildungen der vorliegenden Erfindung sind in den Unteransprüchen definiert.

Anhand der beiliegenden Zeichnung wird nachfolgend das er­ findungsgemäße Verfahren näher beschrieben. Es zeigt:

Fig. 1 ein Blockdiagramm, das die Klassifizierungsphase des Verfahren darstellt.

Vor einer detaillierten Beschreibung der vorliegenden Erfin­ dung werden nachfolgend ein weiterer verwendeter Begriff ge­ nauer definiert.

Grobklassifikation

Eine Typklassenidentifikation oder Grobklassifikation ermöglicht die Unterscheidung zwischen unterschiedlichen Objektklassen.

Die Grobklassifikation ist also z. B. in der Lage, zwischen einem Bleistift und einer Kaffeetasse zu unterscheiden. Ferner ist es mittels der Grobklassifikation möglich, einem beliebigen Objekt eine Objektklasse zuzuordnen. Z. B. wird ein beliebiger, dem Klassifizierungssystem bisher unbe­ kannter Bleistift als Bleistift erkannt.

Für die Grobklassifikation ist es erforderlich, aus einer Vielzahl von Objektdaten eine Mehrzahl von typischen Merk­ malsdaten zu bestimmen, anhand der eine Klassifizierung der unterschiedlichen Objektklassen möglich ist. Bei dem obigen Beispiel des Bleistifts und der Kaffeetasse wären typische Merkmalsdaten solche, aus denen ableitbar ist, daß ein Blei­ stift lang und spitz ist, wohingegen eine Kaffeetasse kom­ pakt ist und einen Henkel aufweist. Anhand solcher typischer Merkmalsdaten ist die Grobklassifikation zwischen einem Bleistift und einer Kaffeetasse möglich.

Das erfindungsgemäße Verfahren zur Grobklassifizierung von Objekten umfaßt eine Lernphase und eine Klassifizierungs­ phase.

Während der Lernphase werden für mehrere Objekte einer Ob­ jektklasse gleichartige typische Merkmalsdaten in eine Klas­ sifizierungsvorrichtung eingelesen. Hierdurch wird eine Grobklasse definiert.

Bei einem bevorzugten Ausführungsbeispiel wird einer Klas­ sifizierungsvorrichtung eine sogenannte Lernstichprobe ange­ boten, mit deren Hilfe sich die Klassifizierungsvorrichtung selbst konfiguriert ("lernt"). Die angebotene Lernstichprobe kann z. B. aus einer Mehrzahl von Bildern, die unterschied­ lichen Grobklassen angehören bestehen. Beispielsweise kann eine Klasse 1 Bilder von unterschiedlichen Zigarettenschach­ teln enthalten, während eine weitere Klasse 2 Bilder von un­ terschiedlichen Händen enthält.

Es wird darauf hingewiesen, das während der Lernphase nur eine Klasse oder eine Vielzahl von Klassen "gelernt" werden kann. Dies hängt vom jeweiligen Einsatzzweck der Klassifi­ zierungsvorrichtung ab.

Durch das "Lernen" ist die Klassifizierungsvorrichtung in der Lage, unbekannte Bilder, die zu der oder einer einge­ lernten Klasse gehören, der entsprechenden Klasse richtig zuzuordnen. Dies wird im allgemeinen durch eine sogenannte Teststichprobe unter Beweis gestellt, die für die Klassifi­ zierungsvorrichtung unbekannte Bilder der entsprechenden Klasse enthält. Die Erkennungsrate auf die Teststichprobe ist ein Maß dafür, wie gut die Klassifizierungsvorrichtung auf das zugrundeliegende Erkennungsproblem angepaßt ist.

Gemäß einem weiteren Ausführungsbeispiel können als Ein­ gangsdaten auch sogenannte Merkmalsdaten der zu klassifi­ zierenden Objekte verwendet werden. Diese typischen Merk­ malsdaten schließen Maßzahlen ein, die aus einem das Objekt beschreibenden Datensatz berechnet werden. Der Datensatz umfaßt z. B. die Fourierkoeffizienten einer Bilddarstellung des Objekts, oder Statistiken über die in der Bilddarstel­ lung enthaltenen Grauwerte, Wavelets, etc. Diese Merkmale bzw. die Merkmalsdaten müssen sowohl während der Lernphase und während der Teststichprobe gleichartig berechnet werden.

Durch die Erkennungsrate auf die Teststichprobe kann beur­ teilt werden, wie gut ein Satz von typischen Merkmalsdaten für ein Erkennungsproblem geeignet ist. So kann sich z. B. bei Verwendung von Fourierkoeffizienten eine Erkennungsrate von 99% auf die Teststichprobe ergeben, wohingegen bei der Verwendung von Wavelets eine Erkennungsrate von 99,5% er­ reicht wird.

Durch das automatische Durchtesten unterschiedlicher Sätze von typischen Merkmalsdaten wird ein für die Grobklassifika­ tion optimaler Satz von typischen Merkmalsdaten erreicht.

Während der Klassifizierungsphase werden Objektdaten eines zu klassifizierenden Objekts erfaßt, und das zu klassifizie­ rende Objekt wird ab einem bestimmten Grad der Überein­ stimmung der während der Lernphase eingelesenen Merkmalsda­ ten mit den erfaßten Objektdaten als zu der definierten Grobklasse gehörend erkannt.

Anhand der Fig. 1 wird nachfolgend die Klassifizierungsphase näher beschrieben.

In einem Schritt 100 werden die Objektdaten eines zu klassi­ fizierenden Objekts, das durch diese Objektdaten definiert ist, erfaßt. Diese Objektdaten können z. B. durch ein Bild des zu klassifizierenden Objekts gebildet sein.

Im Schritt 102 werden dann die Objektdaten mit den Merkmals­ daten verglichen. Solche Merkmale können beispielsweise die Form, Farbe, Textur oder Größe des Objekts darstellen.

Im Schritt 104 werden mittels eines Klassifikators typische Merkmalsdaten aus den erfaßten Objektdaten oder aus den ex­ trahierten Merkmalen erfaßt, die dazu geeignet sind, die Ob­ jektklasse des zu klassifizierenden Objekts festzulegen.

Durch einen Rückgriff auf die extrahierten Merkmale (ge­ strichelter Pfeil 106) unterscheidet der Klassifikator zwi­ schen Merkmalsschwankungen innerhalb eines Objekttyps (z. B. unterschiedliche Längen und Farben von Bleistiften) und zwi­ schen den Schwankungen zwischen unterschiedlichen Objekt­ typen (Bleistifte und Kaffeetassen), so daß die typischen Merkmalsdaten erfaßt werden können.

Anschließend wird der Grad der Übereinstimmung der Objektda­ ten mit den typischen Merkmalsdaten bestimmt.

Danach wird das zu klassifizierenden Objekts zu der de­ finierten Grobklasse zugeordnet, wenn ein vorbestimmter Übereinstimmungsgrad bestimmt wurde.

Wenn es erwünscht ist, kann in einem Schritt 108 das Klassi­ fikationsergebnis angezeigt werden.

Nachfolgend wird kurz ein Beispiel für ein System zur Durch­ führung des erfindungsgemäßen Verfahrens beschrieben. Ein solches System besteht im wesentlichen aus zwei Komponenten. Es ist ein sogenanntes Einlernmodul vorgesehen, mittels dem Objektdaten einer neuen Objekt- oder Typklasse aufgenommen werden. Diese Objektdaten können beispielsweise in der Form von Bilddaten vorliegen.

Ferner ist ein Erkennungs- oder Klassifikationsmodul vorge­ sehen, mittels dem während eines fortlaufenden Betriebs per­ manent die Objekte anhand der erfaßten Objektdaten und der darin enthaltenen typischen Merkmalsdaten zu einer Objekt- oder Typklasse zugeordnet werden.

Das Erkennungs- oder Klassifikationsmodul umfaßt eine Aus­ wertungshardware, die beispielsweise aus einer CCD-Kamera (Monochrom oder Farbe), einem Frame Grabber, der mit einem digitalen Signalprozessor zur Leistungssteigerung ausgerü­ stet sein kann, und aus einer Berechnungseinheit, die die Datenauswertung durchführt, besteht.

Im allgemeinen können die Objekte durch den Benutzer beti­ telt sein, wenn die entsprechenden Objektdaten durch das Einlernmodul aufgenommen werden. Die Objekte können aller­ dings ebenfalls durch das erste Bild einer aufgenommenen Klasse repräsentiert werden. Dann ist eine weiteres Eingrei­ fen des Benutzers nicht mehr notwendig.

Vorteilhafterweise erfolgt die Erfassung der Objektdaten bei einer konstanten Beleuchtung. Dies ist jedoch keine zwingen­ de Voraussetzung, da das erfindungsgemäße Verfahren auch nach typischen Merkmalsdaten sucht, die beleuchtungsunabhän­ gig sein können.

Der Auswertungsalgorithmus berechnet zuerst beliebige Bild­ merkmale, wie z. B. Farbe, Umfang, Textur oder Größe des Ob­ jekts, und anschließend werden aus diesen Bildmerkmalen die typischen Merkmalsdaten abgeleitet, die zur Unterscheidung der Objekt- oder Typklassen dienen.

Ein bekannter Auswertungsalgorithmus ist z. B. der sogenannte MELT-Algorithmus.

Nachfolgend werden einige Beispiele für die Anwendung des erfindungsgemäßen Verfahrens beschrieben.

Bei einer Kameraüberwachung eines Fertigungsroboters kann anhand des erfindungsgemäßen Verfahrens festgestellt werden, ob sich ein Mensch (Objektklasse A) oder nur das normale Arbeitsgerät (Objektklasse B) im Aktionsbereich der Maschine befindet. Ein Mensch wird auch dann der Typklasse A zugeord­ net, wenn er sich im Aussehen und in der Bewegung von dem bisher dem System präsentierten Menschen unterscheidet, da das erfindungsgemäße Verfahren lediglich auftypische Merk­ malsdaten zurückgreift, die als für einen Menschen typisch erkannt wurden.

Ein weiteres Beispiel ist die Müllsortierung. Dort ließen sich beispielsweise Objektklassen bilden, die nicht mehr direkt an meßbare Stoffeigenschaften (Infrarot-Spektrogramm) gebunden sind. Vielmehr wird jetzt aus einer Kombination von z. B. optischen Merkmalen, wie Form, Farbe, Textur und Größe auf die Zugehörigkeit zu einer Objektklasse, wie z. B. Ver­ bundstoff, Folie oder Plastikflasche geschlossen.

Eine Grobklassifikation von Objekten ist auch bei der Analy­ se von nicht-standardisierten Bildsequenzen, wie z. B. dem Straßenverkehr oder wie es durch eine Kamera eines Haus­ haltsroboters aufgenommen wird etc., von Bedeutung. Die ein­ zelnen Objektklassen werden von dem erfindungsgemäßen Ver­ fahren selbständig auf der Grundlage der zur Verfügung ste­ henden Objektdaten, insbesondere der typischen Merkmalsda­ ten, erkannt.

Ein weiteres Beispiel für die Verwendung des erfindungsge­ mäßen Verfahrens liegt beispielsweise in der Analyse des In­ haltes einer Bildszene. Mittels des erfindungsgemäßen Ver­ fahrens ist es möglich, festzustellen, welche Objektklassen sich im Bild befinden. Mit der Bezeichnung Bild ist hiermit eine frei definierte Umgebung bezeichnet, innerhalb derer sich die zu klassifizierenden Objekte befinden.

Es wird darauf hingewiesen, daß das erfindungsgemäße Verfah­ ren die Grobklassifikation von Objekten in unterschiedlichen Objektklassen in einer frei definierbaren Umgebung und an­ hand von sogenannten typischen Merkmalsdaten durchführt. Eine definierte Umgebung und eine genaue Kenntnis aller Ob­ jektdaten des zu klassifizierenden Objekts sind nicht not­ wendig.

Bei dem bevorzugten Ausführungsbeispiel wird eine Grob­ klassifikation von Objekten durchgeführt, welche durch eine Bildszene oder durch Bildsequenzen erfaßt werden. Bereits erwähnt wurde, daß es sich bei den zu klassifizierenden Ob­ jekten um solche Objekte handeln kann, die aufgrund von In­ frarot-Spektrogrammen erfaßt werden. Gleichfalls kommen Ob­ jekterfassungen durch Massenspektrogramme in Betracht. An­ stelle einer derartigen Erfassung optischer Daten ist es gleichfalls möglich, Objekte anhand von akustischen Daten einer Grobklassifikation mittels des erfindungsgemäßen Ver­ fahrens zu unterwerfen.

Claims (9)

1. Verfahren zur Grobklassifizierung von Objekten in einer frei definierbaren Umgebung, wobei das Verfahren eine Lernphase und eine Klassifizierungsphase einschließt,
dadurch gekennzeichnet,
daß während der Lernphase für mehrere Objekte einer Ob­ jektklasse gleichartige typische Merkmalsdaten in eine Klassifizierungsvorrichtung eingelesen werden, wodurch eine Grobklasse definiert wird; und
daß während der Klassifizierungsphase Objektdaten eines zu klassifizierenden Objekts erfaßt werden, und das zu klassifizierende Objekt ab einem bestimmten Grad der Übereinstimmung der während der Lernphase eingelesenen Merkmalsdaten mit den erfaßten Objektdaten als zu der definierten Grobklasse gehörend erkannt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß während der Lernphase für mehrere Objekte einer wei­ teren Objektklasse gleichartige typische Merkmalsdaten in die Klassifizierungsvorrichtung eingelesen wird, wo­ durch eine weitere Grobklasse definiert wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich­ net, daß das Einlesen der typischen Merkmalsdaten während der Lernphase das Abtasten von Bilddarstellungen der Ob­ jekte einer Objektklasse einschließt.

4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich­ net, daß das Einlesen der typischen Merkmalsdaten während der Lernphase das Eingeben von Maßzahlen einschließt, die aus einem das Objekt beschreibenden Datensatz berechnet werden.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß das der Datensatz die Fourierkoeffizienten einer Bild­ darstellung des Objekts, oder Statistiken über die in der Bilddarstellung enthaltenen Grauwerte, Wavelets, etc. enthält.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch ge­ kennzeichnet, daß die Klassifizierungsphase folgende Schritte umfaßt:

• a) Erfassen der Objektdaten des zu klassifizierenden Objekts;
• b) Vergleichen der erfaßten Objektdaten mit den typischen Merkmalsdaten;
• c) Bestimmen des Grades der Übereinstimmung der Objektdaten mit den typischen Merkmalsdaten;
• d) Zuordnen des zu klassifizierenden Objekts zu der definierten Grobklasse, wenn im Schritt c) ein vor­ bestimmter Übereinstimmungsgrad bestimmt wird; und
• d) Anzeigen des Klassifizierungsergebnisses.

7. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß die Objektdaten und die typischen Merkmalsdaten op­ tische Daten sind.

8. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß die Objektdaten und die typischen Merkmalsdaten die Farbe, den Umfang und die Textur oder die Größe des zu klassifizierenden Objekts umfassen.

9. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß das zu klassifizierende Objekt gleichmäßig beleuch­ tet ist.