DE60034554T2

DE60034554T2 - Verfahren und vorrichtung zur bearbeitung von farbbildern

Info

Publication number: DE60034554T2
Application number: DE60034554T
Authority: DE
Inventors: Hyun Doo Sungnam-city SHIN; Yang Lim Paldal-gu CHOI; Yining Santa Barbara DENG; B.S. Santa Barbara MANJUNATH
Original assignee: Samsung Electronics Co Ltd; University of California
Current assignee: Samsung Electronics Co Ltd; University of California
Priority date: 1999-02-05
Filing date: 2000-02-03
Publication date: 2007-12-27
Anticipated expiration: 2020-02-04
Also published as: EP1153366A4; AU753599B2; BR0008002A; NZ513143A; EP1153366A1; CN1495670A; EP1153366B1; JP2002536748A; CN100428278C; KR20010113665A; MY122593A; CN1341247A; NZ528531A; ES2284478T3; MY154501A; WO2000046748A1; JP2004078995A; JP3634266B2; ATE360863T1; MXPA01007911A

Description

Die vorliegende Erfindung betrifft ein Farbbild-Verarbeitungsverfahren und eine -vorrichtung, und im Besonderen ein Farbbildverarbeitungs-Verfahren zum Gewinnen einer Farbmerkmalbeschreibung, die zum Indexieren und Suchen eines Farbbildes verwendet wird.
Unter den visuellen Leistungsmerkmalen zum Beschreiben multimedialer Inhalte ist Farbe das dominanteste Leistungsmerkmal. In Übereinstimmung mit herkömmlichen Farbbild-Verarbeitungsverfahren wird zum Ausdrücken der Farbinformationen eines Bildes ein Farbhistogramm verwendet. Jedoch weisen die herkömmlichen Farbbild-Verarbeitungsverfahren, die ein Farbhistogramm verwenden, das aus 1024 Bins besteht, insofern Nachteile auf, als dass die Komplexität der bildverarbeitenden Schritte zum Beschreiben eines Bildes hoch ist und viel Verarbeitungszeit erforderlich ist.
Eine Farb-Quantisierungstechnik, die dominante Farben identifiziert, wird bei Scharcanski, J. et al. "Colour quantisation for colour texture analysis", 8049e IEE Proceedings-E, 140 (1993) März, Nr. 2, Stevenage, Herts., GB, offenbart.
Der Leser wird darüber hinaus auf das Dokument JP-A-11238077 und Artesian et al., Windsurf: region-based image retrieval using wavelets", Proceedings ICASSP-96, IEEE, 1999, S. 167–173, verwiesen.
In Übereinstimmung mit der Erfindung wird ein Verfahren zum Darstellen eines Farbbildes nach Anspruch 1 der angehängten Ansprüche bereitgestellt.
In Übereinstimmung mit der Erfindung wird des Weiteren eine Farbbild-Verarbeitungsvorrichtung nach Anspruch 9 der angehängten Ansprüche bereitgestellt.
In Übereinstimmung mit der vorliegenden Erfindung wird darüber hinaus ein computerlesbares Medium bereitgestellt, das Programmcodes aufweist, die von einem Computer ausgeführt werden können, um ein Verfahren in Übereinstimmung mit der vorliegenden Erfindung durchzuführen.
Zusätzlich bevorzugte und optionale Leistungsmerkmale werden in den abhängigen Ansprüchen definiert.
Die oben beschriebenen Aufgaben und Vorteile der vorliegenden Erfindung werden anhand einer ausführlichen Beschreibung der bevorzugten Ausführungsformen derselben mit Bezug auf die beigefügten Zeichnungen besser verständlich. In den Zeichnungen ist:
1 ein Ablaufdiagramm, das ein Farbbild-Verarbeitungsverfahren in Übereinstimmung mit der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das die in Schritt 106 aus 1 durchgeführte Bildsegmentierung illustriert.
3 ist ein Blockdiagramm einer Farbbild-Verarbeitungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung, und
Die 4A und 4B zeigen das Ergebnis, das durch Durchführen einer bereichsbasierten Suche mit Bezug auf die Bilder erhalten wird, die ein auf dem Farbbild-Verarbeitungsverfahren in Übereinstimmung mit dieser Erfindung basierendes Computerprogramm indexiert.
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die beigefügten Zeichnungen ausführlich beschrieben.
In Bezug auf 1, die ein Farbbild-Verarbeitungsverfahren in Übereinstimmung mit der vorliegenden Erfindung illustriert, wird ein Farbbild A eingegeben (Schritt 100). Das Farbbild wird in eine Vielzahl von Bereichen F₁, F₂, F₃ und F₄ segmentiert (Schritt 102). Die Segmentierung kann beispielsweise auf Randströmung basierend durchgeführt werden. Dann werden quantisierte Farbvektoren für die entsprechenden Bereiche F₁, F₂, F₃ und F₄ erhalten (Schritt 104).
Der Schritt des Erhaltens der quantisierten Farbvektoren beinhaltet vorzugsweise die folgenden Schritte. Zunächst wird ein vorgegebener Filterschritt zum Glätten und Entfernen von Rauschen eines Bildes als ein vorverarbeitender Schritt durchgeführt. Dann wird die Wahrscheinlichkeit, dass Pixel in dem gefilterten Bild verrauschte Pixel sind, analysiert, um dann eine geeignete Gewichtung auf diese anzuwenden. Die Wahrscheinlichkeit, dass Pixel in dem gefilterten Bild verrauschte Pixel sind, wird durch den Farbabstand von benachbarten Pixeln erhalten. Zum Beispiel werden i Pixel, wobei eine beliebige ganze Zahl ist, die sich zwischen einem Pixel, das den Mindest-Farbabstand aufweist, bewegt, aus den Pixeln ausgewählt, die in Übereinstimmung mit dem Farbabstand von einem zentralen Pixel geordnet sind, und unter den ausgewählten Pixeln wird der Pixelwert mit dem größten Farbabstand auf einen maximalen Farbabstand gesetzt, der durch T(n) bezeichnet wird. Dann werden die Farbvektoren der entsprechenden Pixel durch exp(-T(n)) gewichtet. exp(-T(n)) ist durch v(n) definiert. Anschließend ist in der Annahme, dass der Durchschnitt der T(n)-Werte aller Pixel Tavg ist, die Anzahl N der ursprünglichen in der Quantisierung zu verwendenden Cluster gleich Tavg x eine beliebige Konstante, zum Beispiel 2. Dann wird zum Quantisieren der Farbvektoren ein generalisierter Lloyd-Algorithmus auf die Farbvektoren angewendet, die den gewichteten Pixeln entsprechen. Zunächst wird das Cluster-Centroid (c_i), dargestellt durch Ausdruck (1) verwendet:
wobei X (n) der Pixelwert des n-ten Pixels unter den geordneten Pixels ist, und ein Wert D_i, dargestellt durch Ausdruck (2), wird berechnet: Di = Σ v(n)||X(n) – ci||2 (2)um dann ein Cluster, das den größten Wert von D; aufweist, zu trennen. Dieses Verfahren wird wiederholt, bis N Cluster erzeugt sind. Nachdem N Cluster erzeugt wurden, wird ein generalisierter Lloyd-Algorithmus durchgeführt. Wenn der generalisierte Lloyd-Algorithmus durchgeführt wurde, wird der Cluster-Centroid zum Durchführen eines Updates durch den Ausdruck (1) berechnet.
Dann werden Cluster, die ähnliche Farbvektoren aufweisen, durch eine agglomerative Clusterbildung gehäuft. Agglomerative Clusterbildung wird von R. O. Duda und P. E. Hart in „Pattern Classification and Scene Analysis, John Wiley and Sons, New York, 1973" offenbart, was in dieser Schrift nicht ausführlich beschrieben wird.
Dann werden die Farbvektoren klassifiziert, und dominante Vektoren, die durch Farbvektoren [cL_i, cU_i, cV_i] dargestellt werden, und ihre Anteile P_i werden erhalten (Schritt 106). Hier bezeichnet i die beliebige Seriennummer von Primärbereichen, die sich zwischen 1 und N bewegt, L, U und V bezeichnen Koordinaten des CIE LUV Farb-Koordinatensystems. Die Anteile P_i werden durch Dezimalziffern ausgedrückt. Die Summe der Anteile P_i für i Bereiche ist wie durch Ausdruck (3) dargestellt, 1:
Dann werden die dominanten Farben, die durch die Farbvektoren [cL_i, cU_i, cV_i] und ihre Anteile P_i dargestellt werden, als die Farbmerkmalbeschreibung eines erhaltenen passenden Bereiches (Schritt 108) ausgedrückt. In anderen Worten, die Farbmerkmalbeschreibung F kann durch Ausdruck (4) ausgedrückt werden: F = {{[cLi, cUi, cVi], Pi}, i = 1, ..., N} (4)wobei N eine vorgegebene positive ganze Zahl ist. Auf die Farbmerkmalbeschreibung kann als ein Farbhistogramm mit variablen Bins verwiesen werden.
Durch Kombinieren der Pixelwertdaten in dem k-ten Bereich, das heißt Bereich_k, und die Farbmerkmalbeschreibungsdaten dieses Bereiches, das heißt F_k, wird das Gesamtbild A' durch Ausdruck (5) dargestellt: A' = {Bereich1, F1; Bereich2, F2; ...; Bereichk, Fk} (5) wobei k eine vorgegebene positive ganze Zahl ist, die die Anzahl der segmentierten Bereiche des Bildes A (Schritt 110) darstellt.
Die durch das Farbbild-Verarbeitungsverfahren in Übereinstimmung mit der vorliegenden Erfindung gewonnene Farbmerkmalbeschreibung wird kompakt durch eine kleine Anzahl von Ziffern mit Bezug auf einen Bereich dargestellt. Die kompakte Darstellung der Farbmerkmalbeschreibung kann die Komplexität bedeutend reduzieren. Das ermöglicht ein schnelles Suchen und Gewinnen von Multimedia-basierten Inhalten. Das Farbbild-Verarbeitungsverfahren in Übereinstimmung mit der vorliegenden Erfindung kann auf ein Objekt-basiertes Bildverarbeitungs-Verfahren wie beispielsweise MPEG-7 angewendet werden.
Das Farbbild-Verarbeitungsverfahren kann von einem Computerprogramm programmiert werden.
Codes und Codesegmente, die das Computerprogramm bilden, können leicht von einem Computer-Porgrammierer mit gewöhnlicher Erfahrung auf dem Gebiet der Technik abgeleitet werden. Darüber hinaus wird das Programm in computerlesbaren Medien gespeichert und kann von einem Computer gelesen und ausgeführt werden, wobei das Farbbild-Verarbeitungsverfahren ausgeführt wird. Die Medien beinhalten magnetische Aufnahmemedien, optische Aufnahmemedien, Trägermedien und Gleiches.
Darüber hinaus kann das Farbbild-Verarbeitungsverfahren auf einer Farbbild-Verarbeitungsvorrichtung implementiert werden. 3 ist ein Blockdiagramm einer Farbbild-Verarbeitungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung. In Bezug auf 3 beinhaltet die Farbbild-Verarbeitungsvorrichtung eine Segmentiereinheit 300, eine Farbvektor-Gewinnungseinheit 302, eine Einheit zum Erzeugen einer Farbmerkmalbeschreibung 304 und eine Kombiniereinheit 306.
Beim Betrieb der Farbbild-Verarbeitungsvorrichtung segmentiert die Segmentiereinheit 300 ein Eingangsbild A in k Bereiche und gibt sequenziell Pixelwertdaten Bereich_k in den k-ten Bereich aus. Die Farbvektor-Gewinnungseinheit 302 gewinnt die Pixelwertdaten Bereich_k in dem k-ten Bereich und gewinnt die Farbvektoren [cL_i, cU_i, cV_i]. Wenn i Farbvektoren [cL_i, cU_i, cV_i] alle empfangen sind, erhält die Einheit zum Erzeugen einer Farbmerkmalbeschreibung 304 die Anteile P_i der dominanten Farben, die durch die Farbvektoren [cL_i, cU_i, cV_i] dargestellt sind und erzeugt und gibt Farbmerkmalbeschreibungsdaten F_k aus. Die Farbmerkmalbeschreibungsdaten F beinhalten Informationen über die dominanten Farben, die durch die Farbvektoren [cL_i, cU_i, cV_i] und ihre Anteile P_i dargestellt werden.
Um die Anteile P_i der entsprechenden Farben zu erhalten, ist es stärker vorzuziehen, dass die Farbquantisierung in jedem segmentierten Bereich durchgeführt wird. Demzufolge beinhaltet die Farbbild-Verarbeitungsvorrichtung des Weiteren vorzugsweise eine Quantisiereinheit (nicht dargestellt). Die Farbbild-Verarbeitungsvorrichtung beinhaltet des Weiteren vorzugsweise eine Filtereinheit (nicht dargestellt) zum Durchführen eines vorgegebenen Filterprozesses zum Glätten und zur Entfernung von Rauschen des Eingangsbildes. Die Quantisiereinheit analysiert die Wahrscheinlichkeit, dass Pixel in dem gefilterten Bild verrauschte Pixel sind, wendet eine geeignete Gewichtung darauf an und quantisiert die Farbvektoren, die den gewichteten Pixeln entsprechen, mit einem generalisierten Lloyd-Algorithmus.
Die Kombiniereinheit 306 kombiniert Pixelwertdaten in dem k-ten Bereich, das heißt Bereich_k, und Farbmerkmalbeschreibungsdaten dieses Bereiches, das heißt F_k, um das verarbeitete Bild A' auszugeben. Die Farbbild-Verarbeitungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung kann auf ein Objekt-basiertes Bildverarbeitungsverfahren wie beispielsweise MPEG-7 angewendet werden. Darüber hinaus kann in der Farbbild-Verarbeitungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung das Ausdrücken von Farben, die dominante Farben des Bildes verwenden, auf zahlreiche andere Gebiete neben dem Gebiet der Farbbildverarbeitung angewendet werden.
Wie voranstehend beschrieben wird das Farbbild-Verarbeitungsverfahren in Übereinstimmung mit der vorliegenden Erfindung auf ein Objekt basiertes Bildverarbeitungsverfahren angewendet, wodurch es ein schnelles Suchen und Gewinnen von Multimedia-Inhalten ermöglicht.
Industrielle Anwendbarkeit
Die vorliegende Erfindung kann auf die Gebiete der Objekt-basierten Bildverarbeitung angewendet werden.

Claims

Verfahren zum Darstellen eines Farbbildes, wobei das Verfahren umfasst: (a) Segmentieren eines Eingangsbildes in eine Vielzahl von Bereichen; (b) Ermitteln von Farbvektoren für die Bereiche; (c) Klassifizieren der Farbvektoren, um dominante Farben des Eingangsbildes und Verhältnisse derselben zu ermitteln; und (d) Darstellen der dominanten Farben und der Anteile derselben als eine Farbmerkmalbeschreibung (Coulour Feature Descriptor) des Eingangsbildes.
Verfahren nach Anspruch 1, wobei die Farbvektoren quantisierte Farbvektoren sind.
Verfahren nach Anspruch 1 oder 2, wobei die Anteile durch Dezimalzahlen ausgedrückt werden, deren Summe Eins ist.
Verfahren nach Anspruch 1, 2, oder 3, das des Weiteren den Schritt des Kombinierens der Farbvektoren und der Farbmerkmalbeschreibung sowie des Darstellens des gesamten Bildes mit dem Ergebnis der Kombination umfasst.
Verfahren nach einem der vorangehenden Ansprüche, das des Weiteren den Schritt des Durchführens eines vorgegebenen Filterprozesses zum Glätten des Eingangsbildes vor der Klassifizierung der Farbvektoren zum Ermitteln der dominanten Farben des Eingangsbildes und der Anteile derselben umfasst.
Verfahren nach einem der vorangehenden Ansprüche, das des Weiteren den Schritt des Durchführens eines vorgegebenen Filterprozesses zur Entfernung von Rauschen aus dem Eingangsbild vor der Klassifizierung der Farbvektoren zum Ermitteln der dominanten Farben des Eingangsbildes und der Anteile derselben umfasst.
Verfahren nach einem der vorangehenden Ansprüche, das des Weiteren die folgenden Schritte umfasst: Analysieren der Wahrscheinlichkeit, dass Pixel in dem Eingangsbild verrauschte Pixel sind, und Anwenden geeigneter Gewichtungen auf diese; und Anwenden eines generalisierten Lloyd-Algorithmus auf die Farbvektoren entsprechend den gewichteten Pixeln, um Farb-Quantisierungen vor der Klassifizierung der Farbvektoren zum Ermitteln der dominanten Farben des Eingangsbildes und der Anteile derselben durchzuführen.
Computerlesbares Medium, das Programmcodes aufweist, die durch einen Computer ausgeführt werden können, um ein Farbbild-Verarbeitungsverfahren nach einem der vorangehenden Ansprüche durchzuführen.
Farbbild-Verarbeitungsvorrichtung zum Gewinnen einer Farbmerkmalbeschreibung zum Beschreiben von Farbmerkmalen eines Bildes, die umfasst: eine Segmentiereinheit zum Segmentieren eines Eingangsbildes in k Bereiche, wobei k eine beliebige positive ganze Zahl ist, und sequentielles Ausgeben von Pixelwertdaten, die dem k-ten Bereich entsprechen, eine Farbvektor-Gewinnungseinheit (302) zum Empfangen der Pixelwertdaten und zum Gewinnen von Farbvektoren für ein vorgegebenes Farb-Koordinatensysytem; und eine Einheit (304) zum Erzeugen einer Farbmerkmalbeschreibung, die den Anteil dominanter Farben ermittelt, die durch die Farbvektoren dargestellt werden, wenn alle Farbvektoren empfangen sind, und Farbmerkmalbeschreibungsdaten erzeugt und ausgibt, die die Informationen über die dominanten Farben und die Anteile derselben enthalten.
Vorrichtung nach Anspruch 9, die des Weiteren eine Kombiniereinheit (306) umfasst, die Pixelwertdaten und Farbmerkmalbeschreibungsdaten kombiniert, um ein verarbeitetes Bild auszugeben.
Vorrichtung nach Anspruch 9 oder 10, die des Weiteren eine Kombiniereinheit umfasst, die Pixelwertdaten entsprechend dem k-ten Bereich und Farbmerkmalbeschreibungsdaten des entsprechenden Bereiches in Bezug auf alle k segmentierten Bereiche kombiniert, um ein verarbeitetes Bild auszugeben.
Vorrichtung nach Anspruch 9, 10 oder 11, die des Weiteren eine Quantisiereinheit zum Durchführen von Farbquantisierung in den segmentierten Bereichen umfasst.
Vorrichtung nach Anspruch 12, wobei die Quantisiereinheit die Wahrscheinlichkeit analysiert, dass Pixel in dem gefilterten Bild verrauschte Pixel sind, und geeignete Gewichtungen auf diese anwendet, und einen generalisierten Lloyd-Algorithmus auf die Farbvektoren entsprechend den gewichteten Pixeln anwendet, um Farbquantisierung durchzuführen.
Vorrichtung nach einem der Ansprüche 9 bis 13, die des Weiteren eine Filtereinheit zum Durchführen eines vorgegebenen Filterprozesses zum Glätten des Eingangsbildes umfasst.
Vorrichtung nach einem der Ansprüche 9 bis 14, die des Weiteren eine Filtereinheit zum Durchführen eines vorgegebenen Filterprozesses zum Entfernen von Rauschen aus dem Eingangsbild umfasst.