DE60037497T2

DE60037497T2 - Verfahren und vorrichtung für anzeige oder auswahl von einem objekt in einem bild oder einem computerlesbaren aufzeichnungsmedium

Info

Publication number: DE60037497T2
Application number: DE60037497T
Authority: DE
Inventors: Miroslaw Z. Guildford BOBER
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-07-15
Filing date: 2000-07-12
Publication date: 2008-12-04
Anticipated expiration: 2020-07-13
Also published as: CN101609467A; GB2352076B; CN101609468A; GB2352076A; JP4727879B2; KR100626261B1; KR100626260B1; EP1115088B1; EP2259209A1; KR20060054492A; RU2220452C2; EP1115088A1; US20080065613A1; BR0006938B1; JP2011100465A; CN101609469A; DE60043171D1; EP2128796B1; KR100436532B1; EP2128796A1

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft die Darstellung eines Objekts, das in einem Einzelbild oder einem Videobild, wie z. B. einem in einer Multimediadatenbank abgelegten Bild, erscheint, insbesondere zu Suchzwecken sowie ein Verfahren und eine Vorrichtung für die Suche eines Objektes unter Verwendung einer solchen Darstellung.
STAND DER TECHNIK
In Anwendungsfällen wie z. B. Bild- oder Videobibliotheken ist es erstrebenswert, über eine effiziente Darstellung und Speicherung der Kontur oder Form von Objekten oder Teilen von Objekten, die in Einzel- oder Videobildern erscheinen, zu verfügen. Eine bekannte Methode für das Indizieren und Wiederfinden auf Formbasis benutzt eine Darstellung im Krümmungs-Skalenraum („Curvature Scale Space", engl. „CSS"). Einzelheiten zur CSS-Darstellung sind in den Veröffentlichungen „Robust and Efficient Shape Indexing through Curvature Scale Space", Proc. British Machine Vision conference, S. 53–62, Edinburgh, UK, 1996 und „Indexing an Image Database by Shape Content using Curvature Scale Space", Proc. IEE Colloquium an Intelligent Databases, London, 1996, beide von F. Mokhtarian, S. Abbasi und J. Kittler, nachzulesen.
Die CSS-Darstellung benutzt eine Krümmungsfunktion für die Kontur des Objekts, ausgehend von einem beliebigen Punkt auf der Kontur. Die Konturform wird durch eine Reihe von Deformationen evolviert, die die Form glätten, und dabei wird die Krümmungsfunktion untersucht. Im Speziellen werden die Nulldurchgänge der Ableitung der mit einer Familie von Gauß-Filtern gefalteten Krümmungsfunktion berechnet. Die Nulldurchgänge werden in einem Schaubild aufgetragen, das man Krümmungs-Skalenraum nennt (engl. „Curvature Scale Space", abgekürzt „CSS"), wobei auf der x-Achse die normierte Bogenlänge der Kurve und auf der y-Achse der Evolutionsparameter, im Speziellen der Parameter des angewendeten Filters, aufgetragen werden. Die Auftragungen in dem Schaubild bilden Schlingen aus, die für die Kontur charakteristisch sind. Jeder konvexe oder konkave Teil der Objektkontur entspricht einer Schlinge in dem CSS-Bild. Die Koordinaten der Spitzen der markantesten Schlingen in dem CSS-Bild werden als Darstellung der Kontur benutzt.
Um in Bildern, die in einer Datenbank gespeichert sind, nach Objekten zu suchen, die zu der Form eines eingegebenen Objektes passen, wird die CSS-Darstellung des eingegebenen Objektes berechnet. Die Ähnlichkeit zwischen einer eingegebenen Form und gespeicherten Formen wird bestimmt, indem Position und Höhe der Spitzen in den jeweiligen CSS-Bildern unter Verwendung eines Zuordnungsalgorithmus verglichen werden.
Aus der ersten oben genannten Veröffentlichung ist außerdem bekannt, zwei zusätzliche Parameter, die Zirkularität und die Exzentrizität der ursprünglichen Form, zu benutzen, um Formen aus dem Zuordnungsprozess auszuschließen, deren Zirkularitäts- und Exzentrizitätsparameter wesentlich abweichen.
Ein Problem mit der obenstehend beschriebenen Darstellung besteht darin, dass die Genauigkeit beim Wiederfinden bisweilen schlecht ist, insbesondere für Kurven mit einer kleinen Anzahl von Konkavitäten oder Konvexitäten. Insbesondere kann die Darstellung nicht zwischen verschiedenen konvexen Kurven unterscheiden.
Unter einem Aspekt führt die vorliegende Erfindung ein zusätzliches Mittel zum Beschreiben der Form der „Form des Prototypumrisses" ein. Die Form des Prototypumrisses wird hier vorzugsweise definiert als:

1. die ursprüngliche Form, falls es in dem Umriss keine Konvexitäten oder Konkavitäten gibt (d. h., das CSS-Bild keine Spitzen aufweist), oder
2. der Umriss der Form nach dem Glätten entsprechend der höchsten Spitze im CSS-Bild.

Man beachte, dass die Form des Prototypumrisses stets konvex ist.
Die Form des Umrisses des Prototyps lässt sich zum Beispiel mit Hilfe der Invarianten auf Basis von Regionsmomenten beschreiben, wie in der Veröffentlichung „Visual Pattern Recognition by Moments Invariants", IEEE Transaction an Information Theory, Bd. IT-8, 179–187, 1962 von M. K. Hu nachzulesen ist, oder sie lässt sich unter Verwendung der Fourierdeskriptoren beschreiben, wie in der Veröffentlichung „On Image Analysis by the Methods of Moments", IEEE Transactions an Pattern Analysis and Machine Intelligence, Bd. 10, Nr. 4, Juli 1988 von Cho-Huak The nachzulesen ist, oder unter Verwendung von Parametern wie Exzentrizität, Zirkularität etc. Bei dem obenstehend erwähnten bekannten Verfahren werden die Exzentrizität und die Zirkularität nur in Bezug auf die ursprüngliche Form benutzt. Hier benutzen wir sie in Bezug auf eine „Prototypform", die bei Kurven mit mindestens einer CSS-Spitze anders ist. Ein weiterer Unterschied ist, dass bei dem bekannten Verfahren die Exzentrizität und die Zirkularität benutzt werden, um bestimmte Formen von dem Ähnlichkeitsvergleich auszuschließen, während wir sie hier (zusätzlich zu den CSS-Spitzen) dazu benutzten, um den Wert des Ähnlichkeitsmaßes abzuleiten. Schließlich weiten wir die zusätzlichen Parameter, die bei dem Vergleichsvorgang benutzt werden, auf die Momenteninvarianten, Fourierdeskriptoren und Zernike-Momente aus.
Dank der Erfindung lässt sich die Genauigkeit beim Wiederfinden verbessern.
Die Erfindung schafft ein Verfahren zur Darstellung eines Objekts, das in einem Bild oder einer Bildersequenz erscheint, gemäß Anspruch 1.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm eines Videodatenbanksystems,
2 ist eine Zeichnung einer Kontur eines Objekts und
3 ist eine CSS-Darstellung der Kontur aus 2.
BESTE AUSFÜHRUNGSFORM DER ERFINDUNG
Erste Ausführungsform
1 zeigt ein computerisiertes Videodatenbanksystem gemäß einer Ausführungsform der Erfindung. Das System weist eine Steuereinheit 2 in Form eines Computers, eine Anzeigeeinheit 4 in Form eines Monitors, eine Zeigeeinheit 6 in Form einer Maus, eine Bilddatenbank 8 mit gespeicherten Einzel- und Videobildern und eine Deskriptorendatenbank 10 mit gespeicherten Deskriptoren von Objekten oder Teilen von Objekten, die in den Bildern erscheinen, welche in der Bilddatenbank 8 gespeichert sind.
Die Steuereinheit 2 leitet Deskriptoren für die Formen der einzelnen, in einem Bild in der Bilddatenbank erscheinenden Zielobjekte ab und speichert sie in der Deskriptorendatenbank 10. Die Steuereinheit 2 leitet die Deskriptoren ab, indem sie unter der Steuerung eines geeigneten Programms arbeitet, welches ein Verfahren wie nachstehend beschrieben implementiert.
Zuerst wird für eine gegebene Objektkontur eine CSS-Darstellung der Kontur abgeleitet. Dies erfolgt unter Verwendung des in einer der zuvor erwähnten Veröffentlichungen beschriebenen bekannten Verfahrens.
Spezieller wird die Kontur durch eine Darstellung Ψ = {(x(u), y(u), u ∈ [0, 1]} ausgedrückt, wobei u ein normierter Bogenlängenparameter ist.
Die Kontur wird geglättet, indem Ψ mit einem 1D-Gaußkern g(u, σ) gefaltet wird, und es wird untersucht, wie sich die Nulldurchgänge der Krümmung der evolvierenden Kurve bei sich änderndem σ verändern. Die Nulldurchgänge werden mit Hilfe des folgenden Ausdrucks für die Krümmung ermittelt:
wobei X(u, σ) = x(u)*g(u, σ) Y(u, σ) = y(u)*g(u, σ)und Xu(u, σ) = x(u)*gu(u, σ) Xuu(u, σ) = x(u)* guu(u, σ).
Oben steht * für eine Faltung, und tiefgestellte Indizes stehen für Ableitungen.
Die Anzahl der Nulldurchgänge der Krümmung ändert sich mit sich änderndem σ, und bei hinreichend großem σ wird Ψ zu einer konvexen Kurve ohne Nulldurchgänge.
Die Nulldurchgangspunkte (u, σ) werden in einem Schaubild aufgetragen, das als der CSS-Bildraum bekannt ist. Dies ergibt mehrere Kurven, die für die ursprüngliche Kontur charakteristisch sind. Die Spitzen der charakteristischen Kurven werden identifiziert und die zugehörigen Koordinaten extrahiert und gespeichert. Allgemein ausgedrückt erhält man auf diese Weise eine Menge aus n Koordinatenpaaren [(x1, y1), (x2, y2), ... (xn, yn)] mit n: Anzahl der Spitzen; xi: Bogenlängenposition der i-ten Spitze; yi: Höhe der Spitze. Diese Spitzenkoordinaten bilden die CSS-Darstellung.
Zusätzlich zu der CSS-Darstellung werden der Form weitere Parameter zugeordnet, um den Formdeskriptor (Shape Descriptor) zu erzeugen. Bei dieser Ausführungsform handelt es sich bei den zusätzlichen Parametern um die Exzentrizität und die Zirkularität der „Prototypregion" für die Form, wobei es sich bei der „Prototypregion" der Form um den Umriss der Form nach dem letzten Glättungsschritt handelt, d. h., an dem Punkt, der dem höchsten Spitzenwert σ äquivalent ist. Es können auch andere Werte für σ für die Prototypregion gewählt werden. Es ergibt sich hierdurch für eine Form S ein Formdeskriptor in der Form: {EPR, ZPR, SPITZEN}, mit: EPR: Exzentrizität der Prototypregion; ZPR: Zirkularität der Prototypregion; SPITZEN: CSS-Darstellung.
Es wird nun ein Verfahren zum Suchen nach einem Objekt in einem Bild beschrieben.
Die Deskriptorendatenbank 10 des Systems aus 1 speichert hierbei Formdeskriptoren, die gemäß dem oben beschriebenen Verfahren abgeleitet wurden.
Der Benutzer startet eine Suche, indem er mit Hilfe einer Zeigevorrichtung eine Objektkontur auf der Anzeige zeichnet. Die Steuereinheit 2 leitet daraufhin auf die obenstehend beschriebene Weise einen Formdeskriptor der einge gebenen Kontur ab. Anschließend führt die Steuereinheit einen Übereinstimmungsvergleich mit den einzelnen Formdeskriptoren aus, die in der Datenbank gespeichert sind.
Angenommen, die eingegebene Kontur, Form S1, wird mit einer gespeicherten Form S2 vergleichen, wobei S1 und S2 die jeweiligen Formdeskriptoren sind:

S1: {EPR1, ZPR1, SPITZEN1}
S2: {EPR2, ZPR2, SPITZEN2}

M = a*abs((EPR2 – EPR1)/(EPR2 + EPR1)) + b*abs((ZPR2 – ZPR1)/((ZPR2 + ZPR1)) + SM(SPITZEN1, SPITZEN2)

Ausgehend von zwei geschlossenen Umrissformen, der Bildkurve Ψi und der Modellkurve Ψm und ihren jeweiligen Spitzenmengen {(xi1, yi1), (xi2, yi2), ..., (xin, yin)} und {(xm1, ym1), (xm2, ym2), ..., (xmn, ymn)} wird das Ähnlichkeitsmaß berechnet. Das Ähnlichkeitsmaß ist über die Gesamtkosten der Zuordnung der Spitzen im Modell zu Spitzen im Bild definiert. Mit Hilfe einer dynamischen Programmierung wird diejenige Zuordnung ermittelt, die die Gesamtkosten minimiert. Der Algorithmus ordnet die Spitzen aus dem Modell rekursiv den Spitzen aus dem Bild zu und berech net die Kosten für jede solche Zuordnung. Jede Modellspitze kann nur einer Bildspitze zugeordnet werden, und jede Bildspitze kann nur einer Modellspitze zugeordnet werden. Einige Spitzen aus Bild oder Modell können ohne Übereinstimmung (nicht zugeordnet) übrig bleiben. Für jede solche nicht zugeordnete Spitze fallen zusätzliche Strafkosten an. Zwei Spitzen können zugeordnet werden, wenn ihr horizontaler Abstand kleiner als 0,2 ist. Die Kosten einer Zuordnung entsprechen der Länge der geradlinigen Strecke zwischen den beiden zugeordneten Spitzen. Die Kosten für eine nicht zugeordnete Spitze entsprechen der Höhe dieser Spitze.
Genauer gesagt funktioniert der Algorithmus durch Erstellung und Entwicklung einer baumartigen Struktur, wobei Knoten zugeordneten Spitzen entsprechen:

1. Erstelle den Startknoten, der aus dem größten Maximum des Bilds (xik, yik) und dem größten Maximum des Modells (xir, yir) besteht.
2. Erstelle für jede verbleibende Modellspitze, die mindestens 80% des größten Maximums der Bildspitzen erreicht, einen zusätzlichen Startknoten.
3. Initialisiere die Kosten für jeden der in Schritt 1 und 2 erstellten Startknoten auf den Betrag der Differenz zwischen der y-Koordinate der Bildspitze und der Modellspitze, die durch diesen Knoten miteinander verknüpft werden.
4. Berechne für jeden Startknoten in 3 den CSS-Verschiebungsparameter alpha, der als die Differenz der (horizontalen) x-Koordinaten der Modellspitze und der Bildspitze, die in diesem Startknoten einander zugeordnet werden, definiert ist. Für jeden Knoten ergibt sich ein anderer Verschiebungsparameter.
5. Erstelle für jeden Startknoten eine Liste aus Modellspitzen und eine Liste aus Bildspitzen. Die Liste enthalten Informationen darüber, welche Spitzen noch zugeordnet werden müssen. Markiere für jeden Startknoten die in diesem Knoten zugeordneten Spitzen als „zugeordnet" und alle anderen Spitzen als „nicht zugeordnet".
6. Entwickele rekursiv (ausgehend von jedem in den Schritten 1 bis 6 erstellten Knoten, gefolgt von seinen Tochterknoten) einen Knoten mit den geringsten Kosten, bis die Bedingung in Punkt 8 erfüllt ist. Benutze zum Entwickeln eines Knotens die folgende Prozedur:
7. Entwickeln eines Knotens: Falls mindestens eine Bild- und eine Modellspitze übrig sind, die noch nicht zugeordnet wurden: Wähle das größte nicht zugeordnete Skalenbildkurven-CSS-Maximum (xip, yip). Wende den (in Schritt 4 berechneten) Verschiebungsparameter des Startknotens an, um das gewählte Maximum auf das Modell-CSS-Bild abzubilden – jetzt hat die gewählte Spitze die Koordinaten (xip-alpha, yip). Mache die nächstliegende Modellkurvenspitze ausfindig, die nicht zugeordnet ist (xms, yms). Falls der horizontale Abstand zwischen den beiden Spitzen weniger als 0,2 beträgt (d. h., |xip-alpha – xms| < 0,2), ordne die beiden Spitzen einander zu und definiere als Kosten für die Zuordnung die Länge der geradlinigen Strecke zwischen den beiden Spitzen. Füge die Kosten der Zuordnung den Gesamtkosten dieses Knotens hinzu. Entferne die zugeordneten Spitzen durch Markierung als „zugeordnet" aus den betreffenden Listen. Falls der horizontale Abstand zwischen den beiden Spitzen größer als 0,2 ist, kann die Bildspitze (xip, yip) nicht zugeordnet werden. In diesem Falle: Füge ihre Höhe yip den Gesamtkosten hinzu und entferne nur die Spitze (xip, yip) durch Markierung als „zugeordnet" aus der Liste der Bildspitzen. Andernfalls (es sind nur Bildspitzen oder nur Modellspitzen übrig, die nicht zugeordnet sind): Definiere die Kosten der Zuordnung als die Höhe der höchsten nicht zugeordneten Bild- oder Modellspitze, und entferne diese Spitze aus der Liste.
8. Falls nach dem Entwickeln eines Knotens in 7 sowohl in der Bild- als auch in der Modellliste keine nicht zugeordneten Spitzen verblieben sind, wird die Zuordnungsprozedur beendet. Die Kosten dieses Knotens sind das Ähnlichkeitsmaß zwischen der Bildkurve und der Modellkurve. Andernfalls: Gehe zu Punkt 7 und entwickle den Knoten mit den geringsten Kosten.

Die Bildkurvenspitzen und die Modellkurvenspitzen werden vertauscht, und die obenstehende Prozedur wird wiederholt. Der endgültige Wert der Zuordnung ist der niedrigere der beiden.
Die obenstehenden Schritte werden für jedes Modell in der Datenbank wiederholt.
Die Ähnlichkeitsmaße, die sich aus den Zuordnungsvergleichen ergeben, werden sortiert, und die Objekte, die Deskriptoren mit Ähnlichkeitsmaßen entsprechen, welche die beste Übereinstimmung anzeigen (d. h., hier, mit den niedrigsten Ähnlichkeitsmaßen), werden dem Benutzer auf der Anzeigeeinheit 4 angezeigt. Die Anzahl der anzuzeigenden Objekte kann voreingestellt sein oder vom Benutzer ausgewählt werden.
Bei einer alternativen Ausführungsform können andere Parameter benutzt werden, um die Form der „Prototypregion" zu beschreiben. Zum Beispiel können drei Fourierkoeffizienten der Kurve benutzt werden. Das Ähnlichkeitsmaß kann wie folgt definiert werden: M = a*EUC(F1, F2) + SM(SPITZEN1, SPITZEN2),mit: EUC: euklidischer Abstand zwischen Vektoren E1 und F2, die aus den drei ersten Fourierkoeffizienten der Modell- und der Bildform gebildet sind; a: Konstante; SM: ein in einem Verfahren im Wesentlichen wie obenstehend beschrieben berechnetes Ähnlichkeitsmaß für die CSS-Spitzen.
INDUSTRIELLE ANWENDBARKEIT
Ein erfindungsgemäßes System kann zum Beispiel in einer Bilddatenbank vorgesehen werden. Alternativ hierzu können sich die Datenbanken an einem anderen Ort als die Steuereinheit des Systems befinden und mit der Steuereinheit über eine temporäre Verbindung wie z. B. eine Telefonleitung oder ein Netzwerk wie das Internet verbunden sein. Die Bild- und Deskriptordatenbanken können beispielsweise in einem Permanentspeicher oder auf tragbaren Datenspeichermedien wie CD-ROMs oder DVDs bereitgestellt werden.
Komponenten des beschriebenen Systems können in Form von Software oder Hardware bereitgestellt werden. Die Erfindung wurde zwar in Form eines Computersysteme beschrieben, könnte aber auch in anderen Formen zum Beispiel unter Verwendung eines dedizierten Chips implementiert werden.
Es wurden spezifische Beispiele für Verfahren zur Darstellung einer 2D-Form eines Objekts und für Verfahren zum Berechnen von Werten, welche die Ähnlichkeiten zwischen zwei Formen darstellen, angegeben, es können jedoch alle geeigneten solchen Verfahren benutzt werden.
Die Erfindung kann außerdem zum Beispiel zum Vergleichen von Bildern von Objekten zu Verifizierungszwecken oder zum Filtern benutzt werden.

Claims

Verfahren für die Darstellung eines Objekts, das in einem Bild oder einer Sequenz von Bildern erscheint, durch die Verarbeitung von Signalen, die dem Bild oder den Bildern entsprechen, wobei das Verfahren die Ableitung einer Curvature Scale Space(CSS)-Darstellung der Objektkontur durch Glätten der Objektkontur umfasst, gekennzeichnet durch die Ableitung eines zusätzlichen Parameters, bei dem es sich um die Exzentrizität einer geglätteten Version handelt, entsprechend der höchsten Spitze in dem CSS-Bild, der ursprünglichen Objektkontur, und durch die Zuordnung der CSS-Darstellung und des zusätzlichen Parameters zur Bildung eines Formdeskriptors (Shape Descriptor) des Objekts.
Verfahren für die Darstellung mehrerer Objekte, die in einem Bild oder einer Bildsequenz erscheinen, durch die Verarbeitung von Signalen, die dem Bild oder den Bildern entsprechen, wobei das Verfahren für jede Objektkontur die Bestimmung, ob mindestens eine Spitze in dem CSS-Bild vorhanden ist, umfasst, und dann, wenn mindestens eine Spitze in dem CSS-Bild vorhanden ist, die Ableitung eines Formdeskriptors mithilfe eines Verfahrens nach Anspruch 1, und dann, wenn keine Spitzen in dem CSS-Bild vorhanden sind, die Ableitung eines Formdeskriptors umfassend die Exzentrizität der ursprünglichen Objektkontur.
Vorrichtung, die zur Implementierung eines Verfahrens nach Anspruch 1 oder Anspruch 2 geeignet ist.
Vorrichtung nach Anspruch 3 umfassend Mittel (2) zur Ableitung einer Curvature Scale Space(CSS)-Darstellung der Kontur eines Objekts, das in einem Bild oder einer Sequenz von Bildern erscheint, durch die Verarbeitung von Signalen, die dem Bild oder den Bildern entsprechen, Mittel (2) zur Ableitung eines zusätzlichen Parameters, bei dem es sich um die Exzentrizität einer geglätteten Version handelt, entsprechend der höchsten Spitze in dem CSS-Bild, der ursprünglichen Objektkontur und Mittel (2) für die Zuordnung der CSS-Darstellung und des zusätzlichen Parameters zur Bildung eines Formdeskriptors (Shape Descriptor) des Objekts.
Vorrichtung nach Anspruch 4 ferner umfassend Speichermittel (8, 10) zum Speichern von Bildern und/oder Objektdeskriptoren.
Computersystem, das für den Betrieb gemäß eines Verfahrens nach Anspruch 1 oder Anspruch 2 programmiert ist.
Computer-lesbares Speichermedium, das Computerausführbare Prozessschritte zur Implementierung eines Verfahrens nach Anspruch 1 oder 2 speichert.