DE4419395C2 - Verfahren und Einrichtung zur Analyse und Verarbeitung von Farbbildern - Google Patents

Description

Die Erfindung bezieht sich auf das Gebiet der elektronischen Bildverarbeitung und Objekterkennung und betrifft ein Ver­ fahren und eine Einrichtung zur Analyse und Verarbeitung von Farbbildern. Sie findet in einer Vielzahl von Anwendungsfäl­ len Verwendung, wo es darauf ankommt, farbige Objekte ent­ sprechend angelernter Farbklassen zu erfassen und entspre­ chend ihrer Anzahl, Form und Position auszuwerten und/oder hinsichtlich ihrer Farbwerte zu analysieren, zu erkennen und/oder zu vergleichen.

Obwohl beim menschlichen Sehen die Farbwahrnehmung zweifel­ los eine grundlegende Bedeutung besitzt und im Bereich der technischen Bildwiedergabe das Farbfernsehen, die Farbfoto­ grafie und der Farbdruck selbstverständlich geworden sind, dominiert in der industriellen digitalen Bildanalyse immer noch die Grauwertverarbeitung. Die Ursache liegt sicherlich darin, das bisher noch keine durchgängigen Systemlösungen gefunden wurden, die in Bezug auf Universalität, echtzeit­ nahe Verarbeitung, ausreichende Farbqualität, vertretbare Hardwarekosten und Entwicklungsumgebung allen Anforderungen einer breiten industriellen Anwendung gerecht werden.

Dabei ist die Farbe für viele Problemlösungen und industri­ elle Anwendungsmöglichkeiten zum Teil unverzichtbar. In vie­ len Fällen kann aber auch die Nutzung von Farbinformationen eine Erkennungsaufgabe im Vergleich zur Grauwertverarbeitung so vereinfachen und die Ergebnisse verbessern, daß der Mehr­ aufwand gerechtfertigt ist bzw. sogar an anderer Stelle aus­ geglichen wird.

Der Begriff Farbe hat nur im Zusammenhang mit einem Wahrneh­ mungssystems eine Bedeutung. So ist z. B. das menschliche Farbsehen ein äußerst komplexer Vorgang. Die Wirkungskette zwischen Licht und Farbempfindung beginnt im Bereich der Physik (Emission des Lichtes, Absorption und Reflektion durch die unterschiedlichen Materialien, Entstehung eines Zeit- und ortsabhängigen Farbreizes), durchläuft den Bereich der Physiologie (optische Projektion des Farbreizes und Um­ wandlung in eine "interne Kodierung") und endet im Bereich der Psychologie, in der in Wechselwirkung mit dem Wissen und der Erfahrung des Menschen erst die eigentliche Farbempfin­ dung entsteht.

Bereits Anfang des 19. Jahrhunderts wurde von dem englischen Arzt und Physiker Thomas Young die Theorie des trichromati­ schen Farbsehens entwickelt. Deren Grundgedanke besteht darin, daß jede Farbempfindung durch eine Mischung von drei Lichtquellen mit unterschiedlicher aber konstanter Wellen­ länge mittels Variation deren Intensität erzeugt werden kann. Diese Theorie ist die Grundlage der Colorimetrie, bei der durch Analyse des Farbreizes die resultierende Farbemp­ findung vorausgesagt und quantitativ beschrieben werden soll. In der Videotechnik, wo jeder Farbreiz durch eine Mi­ schung aus rotem, grünen und blauen Licht erzeugt wird, fin­ det dieser Ansatz unmittelbare Anwendung. Erst viel später (1964) ist diese Arbeitshypothese durch Entschlüsselung des biochemischen Prozesses im menschlichen Auge bestätigt wor­ den. Demnach besteht die erste Stufe der Farbwahrnehmung darin, daß durch das sichtbare Licht drei Arten von Photore­ zeptoren der Retina (sogenannte Zapfen), die in verschiede­ nen, sich allerdings überlappenden Spektralbereichen emp­ findlich sind, unterschiedlich stark gereizt werden. Damit wurde bestätigt, daß die Vielfalt spektraler Verteilungen des sichtbaren Lichtes nicht in vollem Umfang wahrnehmbar ist und das Farbsehen grundsätzlich auf ein dreidimensiona­ les Problem zurückgeführt werden kann.

Ausgangspunkt aller Farbsysteme sind die sogenannten Tristi­ muluswerte, die sich aus der Aufnahme eines Farbreizes mit­ tels dreier Sensoren, die unterschiedliche spektrale Emp­ findlichkeitskurven besitzen, ergeben. Sie werden allgemein mit R, G und B (für Rot, Grün und Blau) bezeichnet. Die mei­ sten Farbsysteme sind nun darauf ausgerichtet, diese Werte in einen anderen dreidimensionalen Raum zu transformieren, der die explizite Trennung einer zweidimensional beschriebe­ nen Buntheit (im CIE-System die Normfarbwertanteile) der Farbe von ihrer eindimensional beschriebenen Helligkeit er­ möglicht. In der Buntheitsebene ist stets ein Punkt als Un­ buntpunkt ausgezeichnet. In diesem Punkt bilden sich Farben mit energiegleichen Spektren bzw. mit identischen Tristimu­ luswerten (R = G = B), d. h. die unbunten Farben, ab. Die Entfer­ nung einer Farbe von diesem Punkt kennzeichnet ihre Sätti­ gung (spektraler Farbanteil, saturation), die Richtung vom Unbuntpunkt zum Abbildungspunkt einer mehr oder weniger bun­ ten Farbe definiert ihre Buntart (Buntton, hue). Die Hellig­ keit ergibt sich in fast allen Systemen aus einer linearen Verknüpfung der RGB-Werte, wobei in verschiedenen Systemen diese unterschiedlich gewichtet werden. Die entscheidenden Unterschiede treten in der Beschreibung der Buntheit auf. In einigen Systemen wird die zweidimensionale Buntheit mit karthesischen Koordinaten beschrieben, wobei wie im CIExyz- System der Unbuntpunkt nicht im Koordinatenursprung liegen muß. Entsprechend der Unterscheidung von Sättigung und Bunt­ art verwenden andere Systeme Polarkoordinaten.

In beiden Fällen muß deutlich unterschieden werden, ob der Maßstab der Buntheitsebene auf die Helligkeit normiert ist oder nicht, d. h. ob es sich um eine absolute oder eine rela­ tive Angabe der Sättigung handelt. Letztendlich ist in der Farbbildverarbeitung die Bezugnahme auf die absolute Sätti­ gung unerläßlich, da im Falle eines kleinen absoluten Ab­ standes des Abbildungspunktes einer Farbe in der Buntheits­ ebene vom Unbuntpunkt kleine Änderungen der RGB-Werte zu großen, sprunghaften Änderungen der Buntart führen und diese demzufolge nicht oder nur mit Vorsicht auswertbar ist. Ande­ rerseits ist aber auch eine relative Sättigungsangabe erfor­ derlich, wenn zwei bunte Farben, die sich im Fall gleicher Beleuchtung nur in ihrer absoluten Sättigung und nicht in ihrer Buntart unterscheiden auch bei Veränderung der Hellig­ keit wiedererkannt und unterschieden werden sollen. Da ein Farbeindruck sich immer aus Buntheit und Helligkeit zusam­ mensetzt, folgt natürlich auch, daß Objekte, deren Farben sich nur in der Helligkeit unterscheiden, bei wechselnder Helligkeit der Beleuchtung nicht anhand ihrer Farbe wieder­ erkannt bzw. voneinander getrennt werden können.

Bekannt sind exakte farbmetrische Messungen und Qualitäts­ kontrollen, die nur unter genau definierten Beleuchtungs- und Betrachtungsbedingungen möglich sind. Mit vertretbarem Aufwand können solcher Art Farbanalysen derzeit mittels Spektralphotometern nur für kleine, punktförmige Meßflächen realisiert werden. In vielen Fällen, die mit einer bildhaf­ ten Farbaufnahme und -auswertung verbunden sind, ist eine solche Genauigkeit jedoch nicht erforderlich. Es geht nicht um farbmetrische Messungen an Objekten, sondern Farbe wird als ein weiteres Merkmal neben Größe, Form und Oberflächen­ textur zur Detektion und Bewertung von Objekten benutzt, wo­ bei mitunter relativ grobe Unterscheidungen ausreichend sind.

Auf dem Gebiet der digitalen Bildverarbeitung sind bereits aus den deutschen Patentanmeldungen DE-OS 43 10 727, DE-OS 43 09 877, DE-OS 43 09 879, DE-OS 43 35 215 Verfahren und Einrich­ tungen bekannt, die der Vorlagen-Analyse einer zu reprodu­ zierenden farbigen Bildvorlage dienen und das bisher bekann­ te Wissen auf dem Gebiet der Analysen von Bildvorlagen sinn­ voll zusammenfassen. Diese Lösungen gehen ebenfalls von der punkt- und zeilenweisen, trichromatischen Abtastung eines Farbbildes aus. Die Bildwerte (R, G, B) eines Eingabegerätes, die einen ersten Farbraum bilden, werden in funktionsmäßig zugehörige Bildwerte (L*, a*, b*) eines zweiten Farbraumes transformiert. An Hand dieses zweiten Farbraumes werden be­ reits alle notwendigen Farbanalyse- und Bildbearbeitungs- Funktionen für die exakte Erstellung einer Reproduktions- Vorlage realisiert. Eine effektive Muster- und Objekterken­ nung, wie sie bei vielen industriellen, sicherheitstechni­ schen und militärischen Aufgaben gefordert wird, ist mit den bekannten Verfahren bei einem vertretbaren Aufwand nicht zu realisieren.

Grundlage der meisten Verfahren zur Objekt- und Mustererken­ nung bildet die Grauwertverarbeitung, d. h. die Detektion von Grauwertsprüngen (Grauwertkanten) in einem Bild. Daraus er­ geben sich linienhafte Informationen, die die Kontursegmente der verschiedensten Objekte erfassen, aus denen unter Einbe­ ziehung geeigneter Modelle die gesuchten Objekte abgeleitet werden. Der flächenhafte Zusammenhang der Objekte kann auf diesem Weg i. a. nur nachträglich und modellgestützt abgelei­ tet werden. Das kann sich bei geringen Helligkeitsunter­ schieden zwischen Objekt und Umgebung und anderen Störungen (z. B. Verdeckungen, Schattenbildungen, Reflexionen) als sehr schwierig erweisen, da die Kantensegmente nur lückenhaft oder stark gestört vorliegen. Die unmittelbare Ableitung flächenhafter Informationen auf der Basis von Grauwert­ schwellen oder Texturmerkmalen, ist deshalb in vielen Fällen nicht praktikabel. Da bekannt ist, daß sich bunte Objekte bzw. Markierungen besser vom Untergrund bzw. der Umgebung unterscheiden, bietet sich die Hinzunahme der Farbinformati­ on in die Bildverarbeitung geradezu an. Die einfache summa­ rische Verbindung der bekannten Verfahren zur Farbbildanaly­ se und zur Muster- bzw. Objekterkennung ist zwar theoretisch möglich, jedoch zu aufwendig und unökonomisch.

Aus der deutschen Patentschrift DE-PS 41 41 880 ist ein Ver­ fahren und eine Vorrichtung zur automatischen Erkennung von farbigen und/oder auch schwarz/weißen Objekten bekannt, wel­ che unregelmäßig oder unzusammenhängend geformt sein können, wie beispielsweise Zellcluster. Die von einer Videokamera gelieferten Bildpunktsignale werden mit einem Fensterkompa­ rator, bei Farbsignalen mit drei Fensterkomparatoren, mit oberen und unteren Schwellenwerten verglichen. Es wird für einzelne Bereiche eines über das Gesamtbild gelegten Rasters die Zahl der zwischen den Schwellenwerten liegenden Bild­ punktsignale bestimmt, und die so ermittelten Zahlen werden in einer Speichermatrix gespeichert, bei der jedes Element einem Bereich des über das Ausgangsbild gelegten Rasters entspricht. Das so im Informationsgehalt reduzierte Bild wird anschließend mit einer Maske abgetastet, um zu bestim­ men, welche Elemente der Speichermatrix einen vorgegebenen Wert überschreiten und um welchen Abstand sie von anderen Matrixelementen mit einem ebenfalls über dem Schwellenwert liegenden Inhalt getrennt sind.

Dieses bekannte Verfahren der Objekterkennung beruht auf ei­ nem Bildvergleich und ist speziell im medizinisch biologi­ schen Bereich einsetzbar, wo es darum geht unregelmäßige und/oder auch unzusammenhängend geformte Zellstrukturen zu Erkennen und/oder diese Zellcluster zu zählen. Zur besseren Erkennung werden die Zellstrukturen in bestimmter Weise ein­ gefärbt und diese Farbinformation zusätzlich in die Auswer­ tung mit einbezogen. Dazu ist es notwendig, die allgemein im Stand der Technik bekannte Farbtransformation aus dem RGB- Raum in den HSI-Raum (H = Hue = Farbton, Buntart; S = Sa­ turation = Sättigung; I = Intensity = Intensität, Hellig­ keit) durchzuführen.

Insgesamt wird auch in dieser Erfindung lediglich die Grau­ wertskala durch eine Farbskala erweitert, ohne das die Farbe, wie bei der menschlichen Farbwahrnehmung, integrativ in den komplexen Erkennungsprozeß einbezogen wird.

In der Erfindungsbeschreibung DE 39 06 215 A1 werden Pflänz­ linge automatisch klassifiziert. Mit Hilfe eines optischen Meßkopfes, bestehend aus zwei Farbkameras in Stereoanordnung und eines programmierbaren Lichtmuster-Projektors werden die Pflänzlinge erfaßt, die Bilder digitalisiert und mit Hilfe eines Bildverarbeitungsrechners ausgewertet. Die Bildwerte werden in den HSI-Raum umgesetzt und anschließend, also vollständig im HSI-Raum, erfolgt eine Tabellenklassifikati­ on für zusammenhängende Labelgebiete.

Die weitere Verarbeitung, die in dieser Erfindung zur Klassi­ fizierung der geometrischen Form dient, ist umständlich und erfolgt durch eine signifikante Clusterbildung.

In der US 4 991 223, findet eine Umsetzung von einem ersten in einen zweiten Farbraum sowie die Trennung von Buntheit und Helligkeit im analogen Bereich statt. Diese Erfindung hat ebenfalls den Nachteil, daß auch hier anschließend die Struk­ turanalyse über die Kantenerkennung erfolgt.

Schließlich wird in dem Aufsatz von P. Böttger und R. Massen "Form und Farbe: Farbbildverarbeitung für die industrielle Überwachung" in: H. Ernst "Maschinelles Sehen", Europa- Fachpresse-Verlag GmbH, München (1990), Seiten 121-125, eine Kantenerkennung verbunden mit einer Vektorisierung durchge­ führt. Eine Echtzeitverarbeitung bei gleichzeitiger metrisch­ topologischer Beschreibung ist nach diesem Verfahren nicht möglich.

Es ist daher Aufgabe der Erfindung, ein Verfahren zur Analyse und Verarbeitung von Farbbildern und eine Einrichtung zur Durchführung des Verfahrens zu schaffen, in denen bewährte Elemente bekannter Verfahren und Einrichtungen zur Farbbilda­ nalyse und zur Muster- und Objekterkennung mit neuen Elemen­ ten verbunden werden, so daß ein komplexes und in Echtzeit arbeitendes Farbbild-, Erkennungs- und - Verarbeitungssystem entsteht, welches einfacher, ausreichend genau, schneller und zuverlässiger arbeitet sowie universell in der Anwendung und billiger in der Realisierung ist.

Erfindungsgemäß wird die Aufgabe in Bezug auf das Verfahren mit den in dem 1. Anspruch angegebenen Verfahrensschritten und in Bezug auf die Einrichtung mit den Merkmalen des 5. An­ spruches gelöst, indem die von einem Eingabegerät, welches eine Videokamera, ein Scanner oder eine CCD-Matrix sein kann, gewonnenen Bildwerte (R, G, B) eines ersten Farbraumes pixel­ weise klassifiziert und gleichzeitig in einen hinsichtlich Buntart (Hue), Sättigung (Saturation) und Helligkeit (Intensity) (H, S, I) speziell definierten und von dem ersten Farbraum unabhängigen zweiten Farbraum transformiert werden.

Die Umsetzung der Farbwerte aus dem ersten in den zweiten Farbraum erfolgt hardware-mäßig in Videoechtzeit unter Ver­ wendung von Look-Up-Table (LUT)-Bauelementen.

In dem zweiten Farbraum wird eine Trennung von Buntheit (Buntart und Sättigung) und Helligkeit durchgeführt, was die Erkennung bestimmter Farbklassen auch bei Helligkeitsschwan­ kungen erlaubt. Für die später im Verfahren durchzuführende Muster- und Objekterkennung wird zusätzlich der Vorteil ge­ nutzt, daß die Klassifikation der einzelnen Bildpunkte anhand ihrer Farbe unmittelbar zu einer flächenhaften Segmentierung des Abbildes führt.

Die Farbwerte, die im ersten Farbraum, parallel zur Umsetzung in den HSI-Raum, pixelweise klassifiziert wurden, werden in ein sogenanntes Labelbild (Label = Adresse, Kennzeichnung), welches nur noch Klassennummern enthält, überführt.

Technisch erfolgt die Farbklassifikation und die Erzeugung des Labelbildes gleichzeitig und parallel zur Farbtransforma­ tion mittels dem selben LTU, der dafür mit einer entsprechend großen Ausgangswortbreite zur gleichzeitigen Kodierung der Werte des zweiten Farbraumes und der Label ausgestattet ist.

Die Belegung der Ausgangswerte in Form einer Tabelle wird durch ein Verarbeitungssystem vorgenommen. Die Zuordnung der Label, d. h. die Farbklassifikation kann sowohl auf der Basis einer interaktiven Belehrung anhand von Beispielobjekten als auch auf der Basis einer automatischen Analyse von Bildern im zweiten Farbraum durch das Verarbeitungssystem erfolgen.

In dem Labelbild erfolgt dann eine Erkennung der Grenzberei­ che zwischen Gebieten mit verschiedenen Label in Videoecht­ zeit, indem ein Übergang zu einer objektbezogenen Listenver­ arbeitung durch Detektion der Ecken (Erstellung einer Ecken­ kodeliste) durchgeführt wird.

Gegenüber der allgemein bekannten Kantenkodierung (auch das englische Wort "edge" wird mit Kante übersetzt und ist auch eine solche) bei der nebeneinander liegende Pixel erfaßt wer­ den, wird bei der Eckenkodierung die gesamte Umgebung einer Ecke erfaßt. Bei der Auswertung des Eckenkodes können sofort zusammenhängende Gebiete pixelgenau metrisch topologisch be­ schrieben und weiter verarbeitet werden, so daß eine "echte" Echtzeitverarbeitung erst durch die vorliegende Erfindung möglich ist.

Hardware-mäßig erfolgt die Realisierung der Eckenkodeumset­ zung kostengünstig und zweckmäßigerweise in einem speziell dafür entwickelten Eckenkodierer auf der Basis von frei pro­ grammierbaren LCA-Bauelementen. Damit ist die das Verfahren realisierende Schaltung optimal an verschiedene Zwecke anpaß­ bar, ohne für weitere Implementierungen erneut Leiterkar­ tenentwürfe herstellen zu müssen.

Die entstehende Eckenkodeliste, die das Labelbild eindeutig beschreibt, aber wesentlich weniger Daten erfordert als das Labelbild selbst, wird durch das Verarbeitungssystem, das auf einem Universalprozessor beruht, weiterverarbeitet. Zu­ nächst wird eine metrisch-topologische Beschreibung zusam­ menhängender Labelgebiete unter Einbeziehung schneller Kon­ turapproximationsverfahren abgeleitet. Auf dieser Basis und unter Einbeziehung der zielgerichteten Auswertung des ge­ speicherten und transformierten Farbbildes können komplexe Objekte und Objektzusammenhänge auf einer symbolischen Ebene erkannt und analysiert werden.

Eine vorteilhafte Ausgestaltung der Erfindung betrifft die besondere Arbeitsweise und den Aufbau des Eckenkodierers, der aus den in einer Rasterbilddarstellung enthaltenen Kon­ turecken eine Listendarstellung erzeugt. Die als Liste vor­ liegenden Bilddaten werden dann ohne weitere Bildverarbei­ tungs-Spezialhardware in einem Verarbeitungssystem ausgewer­ tet. Der Eckenkodierer erzeugt die Listendarstellung aus der Verarbeitung 2- oder mehrlabeliger (z. B. 16-labeliger) Bild­ daten.

Eine im Eckenkodierer integrierte Vorverarbeitungsstufe er­ möglicht eine Binarisierung von Bilddaten bezüglich program­ mierbarer Schwellenwerte und damit auch die Verarbeitung von Grauwertbildern.

Der Eckenkodierer ist somit für die Verarbeitung von:

• - Binärbildern (2-labelig)
• - Grauwertbildern (nach Binarisierung 2-labelig oder jedem Grauwert ein Label zugeordnet) und
• - Farbbildern (jedem Farbwert oder Farbbereich z. B. über eine LUT ein Label zugeodnet) geeignet.

Die Baugruppe führt die im Rasterbild auszuführenden verar­ beitungs- und rechenzeitintensiven Teilfunktionen des Verar­ beitungsalgorithmusses in Videoechtzeit aus und erzeugt beim Auftreten von Ecken im Bild Codes, die in Listenform ausge­ geben und durch ein Verarbeitungssystem ausgewertet werden.

Die Erfindung wird im folgenden anhand der Figuren 1 bis 7 näher erläutert.

Es zeigen:

Fig. 1 eine schematische Anordnung zur Realisierung des er­ findungsgemäßen Verfahrens

Fig. 2 ein Komunikationsmodell für ein Farbbildverarbei­ tungssystem

Fig. 3 ein Prinzipschaltbild des Eckenkodierers

Fig. 4 die Funktionsweise der Eckenkodegenerierung

Fig. 5 ein aufgenommenes Farbbild in Grauwertdarstellung

Fig. 6 das Ergebnis einer pixelweisen Farbklassifikation entsprechend angelernter Farbklassen

Fig. 7 die Erkennung kreisförmiger Objekte.

Fig. 1 zeigt in einer schematischen Darstellung den prizipi­ ellen Aufbau einer Einrichtung zur Analyse und Verarbeitung von Farbbildern entsprechend des erfindungsgemäßen Verfah­ rens und Fig. 2 ein Kommunikationsmodell des Farbbildverar­ beitungssystems nach Fig. 1. Die Einrichtung besteht aus ei­ nem Eingabegerät 1, einem Farbbildanalysator 2, einem Verar­ beitungssystem 3 und einem Steuerrechner 4. Mit dem Eingabe­ gerät 1 wird eine zu erkennende Bildszene punkt- und zeilen­ weise, trichromatisch abgetastet. Die durch das Eingabegerät 1 gewonnenen Bildwerte (R, G, B) eines ersten Farbraumes 9 werden in Echtzeit über ein A/D-Wandlermodul 5 in eine Farb­ transformations- und -klassifikationstabelle 6 eingelesen, welche die Bildwerte (R, G, B) eines dem Eingabegerät 1 zuge­ ordneten ersten Farbraumes 9 in die funktionsmäßig zugeord­ neten Bildwerte eines von dem ersten Farbraum 9 unabhängigen zweiten Farbraumes 10 sowie in Farbklassennummern (Label 11) umsetzt. Aus dem Labelbild 11 wird anschließend in einem Eckenkodierer 8 eine Eckenkodeliste 12 erstellt und in den Speicher des Verarbeitungssystems 3 übertragen. In einem Bildspeicher 7 werden das klassifizierte Farbbild 10 und das Labelbild 11 gespeichert. In dem Verarbeitungssystems 3, das sowohl mit der Farbtransformations- und -klassifikationsta­ belle 6, dem Bildspeicher 7 und dem Eckenkodierer 8 verbun­ den ist und Informationen aus dem Bildspeicher 7 und dem Eckenkodierer 8 erhält, erfolgt das eigentliche Erkennen (Wahrnehmen) der erfaßten Muster oder Objekte. Über einen Steuerrechner 4 stehen die durch das Verarbeitungssystem 3 erfaßten Ergebnisse zur Ausgabe oder einer anderen Verarbei­ tung, wie beispielsweise einer Prozeßsteuerung, zur Verfü­ gung. Der Steuerrechner 4 übernimmt außerdem die Bildvisua­ lisierung und interaktive Aufgaben.

In dem Verarbeitungssystem 3 wird zunächst wird eine me­ trisch-topologische Beschreibung zusammenhängender Labelge­ biete 13 (Fig. 2) unter Einbeziehung schneller Kontur­ approximationsverfahren aus der Eckenkodeliste 12 abgeleitet und anschließend unter Einbeziehung einer zielgerichteten Auswertung des gespeicherten und transformierten Farbbildes (HSI 10 und Label 11) wird eine komplexe metrisch-topologi­ sche und farbliche Objektbeschreibung 14 durchgeführt.

Fig. 3 beschreibt den prinzipiellen Aufbau des Eckenkodie­ rers 8, der aus einem Prozessorkern 15, welcher typischer­ weise mit einem ASIC (z. B. LCA der Fa. XILINX) realisiert wird, einem Zeilenspeicher 16 (z. B. mittels FIFO realisiert) sowie einem (optionalen) Pufferspeicher 17 (ebenfalls mit­ tels FIFO realisiert) besteht.

Der Zeilenspeicher 16 dient der Generierung eines 2 . 2 Bild­ fensters im Prozessorkern 15, in dem die Eckendetektion er­ folgt. Der Pufferspeicher 17 entkoppelt die Datenerzeugung durch den Prozessorkern 15 von der Datenübernahme durch das Verarbeitungssystem 3, so daß z. B. eine blockweise Übertra­ gung der unregelmäßig anfallenden Listendaten möglich wird.

Die Funktionsweise des Eckenkodierers 8 ist in Fig. 4 darge­ stellt. Die zu verarbeitenden Bilddaten werden dem Eckenko­ dierer 8 nach Fig. 3 durch ein Eingangsinterface bereitge­ stellt. Die temporäre Speicherung der jeweils vorangehenden Bildzeile erfolgt mit einem Zeilenspeicher (FIFO 1) 16. Aus den Daten der aktuellen und der vorhergehenden Bildzeile wird für jeden einlaufenden Bildpunkt die Belegung des ihn einschließenden 2 . 2-Fensters abgeleitet. Ist in diesem Fen­ ster mehr als ein Label vertreten, wird entsprechend Fig. 4 auf das Vorhandensein einer Ecke geprüft. Entsprechend der Art der Ecke wird ein Code gebildet, der zusammen mit der Zeilenposition der Ecke und der aktuellen Belegung des Fen­ sters (4 Label) ausgegeben wird. Zusätzlich wird an jedem Zeilenende ein Zeilenendecode generiert. Aus diesen Werten kann das Verarbeitungssystem 3 (Fig. 1) die vollständige Kontur und morphometrischen Merkmale der im Bild enthaltenen Objekte ermitteln. Der generierte Code dient der Beschleuni­ gung der Auswertung.

Die erzeugten Ausgangsdaten werden in einem Pufferspeicher (FIFO 2) 17 (Fig. 3) abgelegt und zum Verarbeitungssystem 3 (Fig. 1) blockweise übertragen. Der Pufferspeicher 17 ermög­ licht sowohl eine Entkopplung der Datenströme vom Eckenko­ dierer 8 und dem Verarbeitungssystem 3 als auch eine Verar­ beitung von Bildern mit stark gestörten Bildteilen, die kurzzeitig einen Datenanfall erzeugen, der größer ist als die Datenübernahmerate des Verarbeitungssystems 3.

Die Fig. 5 bis 7 zeigen ein Beispiel für die Klassifika­ tion von bunten Objekten nach Farbe, Größe und Form. Fig. 5 gibt das unverarbeitete Originalbild (hier in Grauwertdar­ stellung) wieder. Es handelt sich um linsenförmige bunte Ob­ jekte, von denen einige zerbrochen sind, auf einem unbunten Hintergrund.

Fig. 6 zeigt das Ergebnis einer pixelweisen Farbklassifika­ tion. Bildpunkte, die einer der angelernten Farbklassen ent­ sprechen, sind weiß wiedergegeben, alle anderen schwarz. Das Ergebnis, d. h. die Erkennung von intakten, kreisförmigen Ob­ jekten eines bestimmten Durchmessers, ist in Fig. 7 darge­ stellt.

Nach dieser Systematik, bei der von einer Bildsegmentierung auf Basis von Farbmerkmalen ausgegangen wird, können viele Probleme der Sortierung und Kontrolle von Objekten nach Far­ be, Größe und Form gelöst werden. Das betrifft zum Beispiel die Sortierung und Verpackung von Obst und Gemüse, die Kon­ trolle des Bräunungsgrades von Backwaren, Kontrolle von Ta­ blettenpackungen und vieles andere mehr.

In der Robotertechnik kann auf dieser Basis das Erkennen und Greifen nach unsortierten Teilen in einer Kiste gelöst wer­ den, wenn diese geeignete farbige Merkmale besitzen oder zielgerichtet mit solchen versehen werden.

Auch Überwachungsfunktionen und Bewegungsanalysen können durch bewußte farbliche Gestaltung bzw. Markierungen verein­ facht und nach der Erfindung ausgeführt werden.

Claims (8)

1. Verfahren zur Analyse und Verarbeitung von Farbbildern einer zu erkennenden Bildszene durch Auswerten der durch eine punkt- und zeilenweise, trichromatische Abtastung der Bildszene mittels eines Eingabegerätes (1) gewonnenen Bildwerte (R, G, B) durch ein digital in Echtzeit arbeitendes Bildverarbeitungssystem, wobei die von dem Eingabegerät (1) gewonnenen Bildwerte (R, G, B) eines ersten Farbraumes (9) in einen hinsichtlich Buntheit, Sättigung und Helligkeit (H, S, I) speziell definierten und vom ersten Farbraum (9) unabhängigen zweiten Farbraums (10) pixelweise transformiert und klassifiziert werden und in dem zweiten Farbraum (10) eine Trennung von Buntheit und Helligkeit durchgeführt wird, was die Erkennung bestimmter Farbklassen auch bei Helligkeitsschwankungen erlaubt, dadurch gekennzeichnet, daß

• - die Bildwerte (R, G, B) des ersten Farbraumes (9) gleichzeitig über eine an sich bekannte Farbklassifikations- und -transformationstabelle (6) pixelweise klassifiziert werden und dieses so klassifizierte Labelbild (11), welches nur noch die Klassennummern enthält, überführt und zusammen mit den Bildwerten des zweiten Farbraumes (10) in einem dafür vorgesehenen Bildspeicher (7) gespeichert wird,
• - in dem Labelbild (11) eine Verarbeitung in Videoechtzeit stattfindet, indem ein Übergang zur objektbezogenen Listenverarbeitung durch Detektion der Ecken (Erstellung einer Eckenkodeliste (12)) durchgeführt wird und aus der Eckenkodeliste (12) in einer Verarbeitungseinheit (3) die Ableitung von zusammenhängenden mehrwertigen Labelgebieten (13) erfolgt und schließlich
• - die zusammenhängenden Labelgebiete (13) in der Verarbeitungseinheit (3) metrisch- topologisch analysiert werden als Basis für die Erkennung komplexer Objekte und Objektzusammenhänge auf einer symbolischen Ebene (14), wobei durch den Zugriff auf den Bildspeicher (7) die Auswertung der Farbinformation des zweiten Farbraumes (10) einbezogen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Belehrung der Farbklassifikations- und -transforma­ tionstabelle (6), der klassifi­ zierten Farbwerte, interaktiv anhand von Beispielobjek­ ten oder automatisch durch Analyse der Bildwerte des zweiten Farbraumes (10) durch das Verarbeitungssystem (3) erfolgt.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die metrisch-topologische Beschreibung des Labelbildes (14) durch die Einbeziehung schneller Konturapproximationsverfahren zur Sicherung einer stark verdichteten Beschreibung des Labelbildes (14) erfolgt.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß in dem Verarbeitungssystem (3) auf der Basis der Ecken­ kodeliste (12) und des in den zweiten Farbraum (10) transformierten Bildes eine Analyse der gefundenen farbi­ gen Objekte oder Muster durch das Verarbeitungssystem (3) in Videoechtzeit oder angenäherter Videoechtzeit er­ folgt.

5. Einrichtung zur Analyse und Verarbeitung von Farbbildern einer zu erkennenden Bildszene durch Auswerten der durch eine punkt- und zeilenweise, trichromatische Abtastung der Bildszene mittels eines Eingabegerätes (1) gewonnenen Bildwerte (R, G, B) durch ein digital in Echtzeit arbeitendes Bildverarbeitungssystem, das aus einem Eingabegerät (1), einem Farbbildanalysator (2), einem Verarbeitungssystem (3) und einem Steuerrechner (4) besteht, dadurch gekennzeichnet, daß in dem Farbbildanalysator (2), bestehend aus einem A/D-Wandlermodul (5), einer Farbklassifikations- und -transformationseinrichtung (6) und einem Bildspeicher (7), parallel zum Bildspeicher (7) ein Eckenkodierer zur Erstellung einer Eckenkodeliste (12) angeordnet ist.

6. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die Farbklassifikations- und -transformationseinrichtung (6) im Farbbildanalysator (3) aus Look-Up-Table (LUT)- Baugruppen besteht.

7. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß der Eckenkodierer (8) aus frei programmierbaren LCA-Bau­ elementen und FIFO-Bauelementen besteht.

8. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß das Bildverarbeitungssystem (3) ein kommerziell verfüg­ bares Signalprozessorboard ist.