DE60310766T2 - Beleuchtungsunabhängige gesichtserkennung - Google Patents

Beleuchtungsunabhängige gesichtserkennung Download PDF

Info

Publication number
DE60310766T2
DE60310766T2 DE60310766T DE60310766T DE60310766T2 DE 60310766 T2 DE60310766 T2 DE 60310766T2 DE 60310766 T DE60310766 T DE 60310766T DE 60310766 T DE60310766 T DE 60310766T DE 60310766 T2 DE60310766 T2 DE 60310766T2
Authority
DE
Germany
Prior art keywords
image
samples
similarity index
index value
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60310766T
Other languages
English (en)
Other versions
DE60310766D1 (de
Inventor
Miroslav Briarcliff Manor TRAJKOVIC
Srinivas Briarcliff Manor GUTTA
Vasanth Briarcliff Manor PHILOMIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE60310766D1 publication Critical patent/DE60310766D1/de
Application granted granted Critical
Publication of DE60310766T2 publication Critical patent/DE60310766T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Description

  • Diese Erfindung betrifft im Allgemeinen die Gesichtserkennung und insbesondere die lichtunabhängige Gesichtserkennung.
  • Gesichtserkennungssysteme werden für die Identifkation und Verifizierung von Personen für viele verschiedene Anwendungen verwendet, wie beispielsweise zum Erlangen des Zutritts zu Einrichtungen, zum Erkennen von Leuten, um Dienste zu personalisieren, wie beispielsweise in einer Heimnetzwerkumgebung, und zum Lokalisieren gesuchter Personen in öffentlichen Einrichtungen. Das ultimative Ziel bei dem Entwurf jedes Gesichtserkennungssystems ist es, die bestmögliche Klassifizierungsleistung (Prädiktionsleistung) zu erzielen. In Abhängigkeit von der Verwendung des Gesichtserkennungssystems kann es mehr oder weniger wichtig sein, sicherzustellen, dass der Vergleich einen hohen Genauigkeitsgrad aufweist. Bei einer Hochsicherheitsanwendung, wie beispielsweise beim Identifizieren gesuchter Personen, ist es sehr wichtig, dass eine Identifikation ungeachtet geringfügiger Veränderungen in dem aufgenommenen Bild gegenüber dem gespeicherten Bild erzielt wird.
  • Der Prozess der Gesichtserkennung erfordert typischerweise die Aufnahme eines Bilds oder mehrerer Bilder einer Person, ein Bearbeiten des Bilds oder der Bilder und dann ein Vergleichen des Bilds mit gespeicherten Bildern. Falls eine positive Übereinstimmung zwischen dem gespeicherten Bild und dem aufgenommenen Bild auftritt, kann die Identität der Person entweder herausgefunden oder verifiziert werden. US-Patent Nr. 6,292,575 beschreibt ein derartiges System und wird hiermit durch Verweis aufgenommen.
  • Das US-Patent 6,072,496 beschreibt ein Verfahren zum robusten Nachverfolgen, bei welchem manuell angeordnete Markierungen auf dem Gesicht eines Darstellers über die Zeit nachverfolgt werden, um menschliche Gesichtsausdrücke zu modellieren. Die Entsprechung zwischen Markierungen wird durch Strahlverfolgung in Verbindung mit RANSAC herausgefunden.
  • Dornaika und Ahlberg („Face Model Adaptation using Robust Matching and Active Appearance Models", Proc. 6th IEEE Workshop on Applications of Computer Vision, Seiten 3 bis 7, 2002) finden robuste 3D-nach-2D-Punktentsprechungen zwischen den Scheitelpunkten eines 3D-Drahtmodells und eines 2D-Bilds unter Verwendung von RANSAC zum Zweck des Nachverfolgens eines menschlichen Gesichts. Die Scheitelpunkte des 3D-Modells entsprechen verschiedenen Gesichtselementen.
  • Das Bearbeiten der Bilder umfasst eine Normalisierung. Eine Normalisierung stellt sicher, dass die Größe des Gesichts in dem aufgenommenen Bild ungefähr die gleiche Größe aufweist wie in den gespeicherten Bildern. Diese Normalisierung ist ein Versuch zum Kontrollieren von Unterschieden, welche in einem aufgenommenen Bild auftreten könnten und welche in einem gespeicherten Bild nicht gefunden werden (und vice versa). Diese Unterschiede verursachen falsche Negatividentifikationsergebnisse, wenn die beiden Gesichter verglichen werden, aber wenn in Wirklichkeit in beiden Bildern die gleiche Person erscheint.
  • Viele Systeme kontrollieren auch die Beleuchtung des aufgenommenen Bilds, um sicherzustellen, dass die Beleuchtung ähnlich der Beleuchtung der gespeicherten Bilder wird. Wenn die Person einmal sachgerecht angeordnet ist, nimmt die Kamera ein einzelnes oder mehrere Bilder der Person auf, und es wird ein Vergleich mit gespeicherten Bildern angefertigt. Ein Problem bei diesen Systemen ist, dass für viele Anwendungen, wie beispielsweise für Sicherheitsanwendungen, manchmal die Beleuchtung des aufgenommenen Bilds von der Beleuchtung verschieden ist, welche für das gespeicherte Bild verwendet wurde. Wenn die Beleuchtung in dem aufgenommenen Bild von der Beleuchtung in dem gespeicherten Bild verschieden ist, tritt eine Wahrscheinlichkeit eines falschen Negatividentifikationsergebnisses auf. Da es nicht immer möglich ist, die gleiche Beleuchtung bereitzustellen, wird ein System benötigt, welches die unterschiedliche Beleuchtung berücksichtigt.
  • Dementsprechend ist es eine Aufgabe der Erfindung, ein System bereitzustellen, welches eine Gesichtsidentifikation/-Verifizierung durchführt, welche gegenüber Fehlern, welche durch Lichtvariation bewirkt werden, weniger empfindlich ist.
  • Diese Aufgabe wird durch Nehmen von Zufallspixelproben innerhalb des Gesichts und durch Durchführen von Vergleichen mit den gleichen Zufallsproben in den gespeicherten Bildern erzielt. Der Vergleich wird unter Verwendung fast jeder Art der Gesichtserkennung durchgeführt. Der RANSAC-Algorithmus wird verwendet, um eine robuste Übereinstimmung (M. Fischler und R. Bolles – „Random Sample Consensus: A paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Communications of the ACM, Bd. 24, Nr. 6, Seiten 381 bis 395, 1981) durchzuführen. Der RANSAC-Algorithmus hilft, die Möglichkeit des Auftretens beschatteter Bereiche des Gesichts zu beseitigen, welche falsche Negativergebnisse bewirken.
  • Bei einer Ausführungsform der Erfindung wird an Stelle einer rein zufälligen Stichprobennahme eine gewichtete Stichprobennahme verwendet, welche in den Bereichen des Gesichts, welche am wenigsten wahrscheinlich durch die Beleuchtung beeinträchtigt werden, gewichtet wird. Es wird eine Bestimmung der Bereiche des Gesichts durchgeführt, welche wahrscheinlicher durch die Beleuchtung beeinträchtigt werden. Die Stichproben werden dann in den Bereichen gewichtet, bei welchen es eine niedrigere Wahrscheinlichkeit von Lichtveränderungen gibt. Diese gewichteten Stichproben werden dann mit den ähnlichen Pixeln in den gespeicherten Bildern unter Verwendung einer Gesichtserkennung verglichen, um eine Ähnlichkeit zu bestimmen.
  • Andere Aufgaben und Vorteile werden im Lichte der Beschreibung und der Ansprüche offensichtlich.
  • Für ein besseres Verständnis der Erfindung wird auf die folgenden Zeichnungen verwiesen:
  • 1a zeigt die Auswahl einer Gerade durch eine Punktmenge in der Gegenwart von Ausreißern.
  • 1b zeigt die Auswahl einer Gerade durch eine Punktmenge in der Gegenwart von Ausreißern unter Verwendung des RANSAC-Algorithmus.
  • 2 zeigt ein Ablaufdiagramm einer bevorzugten Ausführungsform, welche den RANSAC-Algorithmus verwendet, um eine robuste Gesichtserkennung durchzuführen.
  • 3a zeigt Bilder der Zufallspixelproben der Größe 1000, für ein Bild der Größe 64×72.
  • 3b zeigt Zufallspixelproben für wirkliche Bilder der Größe 133×100, und wobei die Zufallsprobe 40% des Bilds beträgt.
  • 4 zeigt ein Ablaufdiagramm, wie eine gewichtete Stichprobennahme bei einer beispielhaften Ausführungsform der Erfindung verwendet wird.
  • 5 zeigt ein Sicherheitssystem gemäß einer bevorzugten Ausführungsform der Erfindung.
  • Bei typischen Gesichtserkennungsprogrammen werden Pixel eines aufgenommenen Bilds mit Pixeln der gespeicherten Bilder unter Verwendung von Gesichtserkennungsverfahren verglichen. Falls ein bestimmter Prozentsatz der Pixel mit den gleichen Pixeln in einem gespeicherten Bild übereinstimmt, werden die Bilder als übereinstimmend angesehen, und es ist eine Verifizierung oder Identifikation aufgetreten. Es gibt viele bekannte Gesichtserkennungsverfahren, welche eine Ähnlichkeit zwischen Bildern bestimmen. Der Begriff „Übereinstimmen", wie er hier verwendet wird, kann eine Wahrscheinlichkeit einer Übereinstimmung oder eine genaue Übereinstimmung bedeuten, oder dass genug Pixel oberhalb einer vorbestimmten Schwelle übereinstimmen, dass eine Identifikation wahrscheinlich ist, oder dass der Ähnlichkeitsindex, welcher nach Durchführen einer Gesichtserkennung mit diesen Stichproben herausgefunden wird, über einer bestimmten Schwelle liegt. Das Problem ist, dass, falls ein Abschnitt des Gesichts in dem aufgenommenen Bild einen Schatten von einer Lichtquelle aufweist und das Bild dieser Person in der gespeicherten Datenbank schattenfrei ist, es beim Vergleichen der Pixel der beiden Bilder wahrscheinlich ist, dass jene Pixel innerhalb des Schattens nicht mit den entsprechenden Pixeln in dem gespeicherten Bild übereinstimmen werden. Dies liegt daran, dass es einen großen Prozentsatz von nicht übereinstimmenden Pixeln aufgrund ungleichmäßiger Beleuchtung gibt, statt dass die Gesichter in den Bildern von verschiedenen Leuten sind. Falls ein bestimmter Prozentsatz der Pixel übereinstimmen muss, um als eine passende Identifkation angesehen zu werden, verursacht der große Prozentsatz nicht übereinstimmender Pixel eine falsche Negativübereinstimmung.
  • Es wurde herausgefunden, dass eine Gesichtserkennung auf Abschnitten eines Gesichts statt auf einem ganzen Gesicht durchgeführt werden kann. Die vorliegende Erfindung wählt Zufallspixelproben innerhalb des Gesichts aus, doch diese Zufallsproben werden als Teil eines Algorithmus ausgewählt, welcher „Ausreißer", d.h. Datenpunkte ignoriert, welche außerhalb einer Mehrheit der Datenpunkte liegen. Der RANSAC-Algorithmus ist ein robuster Abschätzungsalgorithmus, welcher vermeidet, dass „Ausreißer" aus den ausgewählten Stichproben unkorrekte Übereinstimmungsergebnisse bewirken, und er wird bei einer bevorzugten Ausführungsform der vorliegenden Erfindung verwendet. Es können auch andere derartige Algorithmen verwendet werden, wie bei spielsweise der Least Median of Squares (LmedS). Wie nachfolgend ausführlicher erklärt, wählt der RANSAC-Algorithmus zufällig Pixel aus und erkennt „Ausreißer", welcher bei der vorliegenden Erfindung die beschatteten Bereiche sind.
  • Bei einer bevorzugten Ausführungsform der Erfindung wird das aufgenommene Bild mit den gespeicherten Bildern unter Verwendung eines bekannten Gesichtserkennungsalgorithmus verglichen, und falls keine Übereinstimmung gefunden wird, wird dann dem aufgenommenen Bild eine zufällige Stichprobe entnommen, und die Zufallspixelprobe Tj wird mit der gleichen Zufallsprobe in den gespeicherten Bildern unter Verwendung eines Gesichtserkennungsalgorithmus verglichen. Die Anzahl ausgewählter Zufallsproben wird durch die Rechenleistung und den Genauigkeitsgrad bestimmt, welcher für eine bestimmte Anwendung benötigt wird. Bei einer bevorzugten Ausführungsform werden zwischen 100 und 1000 oder mehr Stichprobensätze ausgewählt. Auf allen Stichproben wird eine Gesichtserkennung durchgeführt. Die Stichprobe, welche das beste Ergebnis bereitstellt (d.h. die Stichprobe, welche am nächsten mit der gleichen Stichprobe in einem gespeicherten Bild übereinstimmt) wird ausgewählt, und das Ergebnis des Stichprobenvergleichs wird mit einer Schwelle verglichen. Falls die Stichprobe des aufgenommenen Bilds mit der gleichen Stichprobe in einem gespeicherten Bild übereinstimmt, wird dann angenommen, dass das gespeicherte Bild die gleiche Person wie in dem aufgenommenen Bild zeigt. Das gespeicherte Bild, welches diese Übereinstimmung bereitstellt, weist eine höhere Wahrscheinlichkeit auf, das gleiche Gesicht wie in dem aufgenommenen Bild zu sein, da es wahrscheinlich ist, dass eine der Stichproben relativ frei von Ausreißern sein wird. Dies führt zu weniger falschen Negativergebnissen, da es weniger wahrscheinlich ist, dass die Zufallsprobe die Abschnitte des Gesichts aufweist, welche durch die Beleuchtung beeinträchtigt werden.
  • 2 zeigt ein Ablaufdiagramm eines bevorzugten Verfahrens dieser Erfindung. Bei 10 wird ein Bild erfasst. Bei 12 wird für I = 1 : X eine Zufallsprobenuntermenge 20 erzeugt. I ist ein Inkrement, und X wird auf der Grundlage der Rechenleistung und des benötigten Genauigkeitsgrads bestimmt. Der RANSAC-Algorithmus wird verwendet, um die Untermenge und die Anzahl Untermengen auszuwählen. RANSAC steht für Zufallsprobenübereinstimmung (Random Sample Consensus), und sie wird hier in Bezug auf eine Geradenabschätzung erklärt. Sie arbeitet in anderen Fällen, wie beispielsweise bei Bildern, ähnlich. Es wird angenommen, dass eine Zufallsprobe von Punkten existiert, wie in 1a gezeigt, und eine Gerade A durch diese Punkte angepasst werden muss. Falls es Ausreißer gibt (es gibt zwei O1 und O2 in 1a in dem nordwestlichen Quadranten), wird die Gerade A deutlich von der wahren Position verschoben. 1b zeigt diese gleiche Zufallsprobe von Punkten, doch die Gerade A wird unter Verwendung des RANSAC-Algorithmus angepasst. In 1b ist die Gerade A eine bessere Geradenabschätzung als 1b, wenn angenommen wird, dass O1 und O2 fehlerhafte Datenpunkte sind. RANSAC arbeitet auf die folgende Weise:
    • 1. Zufälliges Entnehmen einer minimalen Anzahl von Punkten, welche benötigt werden, um die Gerade (zwei) abzuschätzen.
    • 2. Anpassen der Gerade durch diese Punkte.
    • 3. Zählen der Anzahl von Punkten aus der Menge, welche nahe der Geraden sind (gemäß einem gegebenen Kriterium, d.h. alle Punkte, welche näher als drei Pixel sind, sind OK – sie unterstützen das Modell.) Bezeichnen der Anzahl Nj, welche die Konzentration von Punkten nahe der Gerade quantitativ repräsentiert.
    • 4. Wiederholen der Schritte 1 bis 3 oft genug, um mit einer bestimmten Wahrscheinlichkeit (gewöhnlich 95 bis 99%) zu gewährleisten, dass zumindest die beiden Punkte, welche ausgewählt wurden, eine gute Repräsentation einer Konzentration der Punkte sind.
    • 5. Finden der größten Anzahl aller Nj und der Geraden, welche diese Nj ergeben hat. Verwenden aller Nj Punkte, welche diese Gerade unterstützen, Abschätzen der optimalen Geraden unter Verwendung des gewöhnlichen Verfahrens der kleinsten Quadrate.
  • Um eine allgemeine, zufällige Pixelprobennahme in einem Bild durchzuführen, wird ein Bild als ein Vektor repräsentiert, d.h. jedem Pixel wird eine eindeutige Zahl zugeordnet, wie in Tabelle 1 gezeigt.
  • Figure 00070001
    Tabelle 1. Pixel-Annotation für ein 64×72-Bild.
  • Um für das in Tabelle 1 gegebene Beispiel eine Stichprobe von 100 zufälligen Pixeln zu erzeugen, wird eine Stichprobe mit Zufallszahlen zwischen 1 und 4616 erzeugt und dann werden einfach Pixel entsprechend der 100 Zufallszahlen ausgewählt. 3a zeigt Bilder der Zufallsproben der Größe 1000 für ein Bild der Größe 64×72. 3b zeigt Zufallspixelproben für wirkliche Bilder der Größe 133×100, und wobei die Zufallsprobe 40% des Bilds beträgt. Es gibt eine breite Vielfalt von Algorithmen, um Zufallszahlen zu erzeugen, welche in jeder Programmiersprache (C/C++, Fortran) oder in jedem Programmierpaket (MATLAB, Mathematica usw.) verfügbar sind.
  • Bei einer bevorzugten Ausführungsform der vorliegenden Erfindung wird eine zufällige Stichprobennahme in der Form von RANSAC verwendet, welche zum Durchführen einer Gesichtserkennung wie folgt angewandt wird:
    • 1. Zufällige Entnahme einer bestimmten Anzahl von Pixeln aus einem Gesichtstestbild (Tj).
    • 2. Vergleichen von Tj mit den (ortsweise) entsprechenden Pixeln des Gesichts in der Datenbank und Berechnen eines Ähnlichkeitsmaßes sj. (Es ist zu beachten, dass sj im ursprünglichen RANSAC-Algorithmus Nj entspricht.)
    • 3. Wiederholen der Schritte 1 bis 2 ausreichend X oft, um mit einer bestimmten Wahrscheinlichkeit (gewöhnlich 95 bis 99%) zu gewährleisten, dass alle
  • Stichprobenpunkte nicht wesentlich durch Lichtveränderungen beeinträchtigt werden. X kann experimentell abgeschätzt werden oder wie folgt berechnet werden:
    Es wird angenommen, dass das fragliche Gesichtsbild aus 1000 Pixeln gebildet wird und dass 50 von ihnen durch Lichtveränderungen beeinträchtigt werden. Weiterhin wird angenommen, dass nur 100 Gesichtspixel ausgewählt werden können, um eine Gesichtserkennung durchzuführen. Falls alle 100 Pixel von den 950 Pixeln sind, welche nicht durch Lichtveränderungen beeinträchtigt werden, sollte es dann gute Erkennungsergebnisse geben. Die Wahrscheinlichkeit, dass keiner der ausgewählten 100 Pixel durch Lichtveränderungen beeinträchtigt wird, ist gegeben durch
    Figure 00080001
  • Falls es nötig ist, zu garantieren, dass mindestens eine Stichprobe mit der Wahrscheinlichkeit von 0,99 frei von Ausreißern ist, kann dann die Anzahl Stichproben X, welche ausgewählt werden müssen, erhalten werden aus
    Figure 00080002
    • 4. Das Ähnlichkeitsmaß wird nun als s = max(sj) erhalten.
    • 5. Falls s über einer gegebenen Schwelle liegt, liegt dann eine Übereinstimmung vor, andernfalls gibt es keine Übereinstimmung.
  • Wie oben stehend erklärt, werden die Sätze von Bereichen zufällig ausgewählt; und für ein X, welches groß genug ist, ist es wahrscheinlich, dass mindestens ein Satz von Bereichen eine konsistente Beleuchtung aufweisen wird, welche gut mit dem entsprechenden Satz von Bereichen in der Datenbank übereinstimmen wird. Falls es eine hohe Ähnlichkeit gibt, tritt dann eine Übereinstimmung zwischen dem aufgenommenen Bild und dem gespeicherten Bild mit hoher Ähnlichkeit auf.
  • Unter Rückbezug auf 2, werden dann für X = 1 bis 1000 Zufallsprobenuntersätze (20) ausgewählt, nachdem das Bild bei 10 erfasst wird. Für jede Stichprobe wird eine Gesichtserkennung auf der Stichprobe unter Verwendung des RANSAC- oder eines anderen Ausreißererkennungsalgorithmus durch Vergleichen der Stichprobe des aufgenommenen Bilds mit den gleichen Zufallsproben in den gespeicherten Bildern bei 30 durchgeführt. Falls es eine hohe Ähnlichkeit 32 zwischen den beiden Stichproben gibt, wird dann eine Übereinstimmung 33 zwischen den Gesichtern angenommen. Der Untersatz mit der höchsten Anzahl Übereinstimmungen wird gespeichert, und es wird bestimmt, ob die Anzahl hoch genug ist, um eine Übereinstimmung zwischen den Bildern zu erklären. Falls nicht, gibt es dann keine Übereinstimmung 34. Bei einer ersten Ausführungsform wird die Gesichtserkennung durchgeführt, bis eine Übereinstimmung gefunden wird oder bis X erreicht wird. Bei einer zweiten Ausführungsform werden alle Stichproben verglichen, und die Stichprobe mit der höchsten Ähnlichkeit wird mit einer Schwelle verglichen, um zu bestimmen, ob es eine Übereinstimmung gibt.
  • GEWICHTETE PROBENNAHME FÜR EINE LICHTUNABHÄNGIGE ERKENNUNG
  • Während bei der gleichmäßigen Stichprobennahme alle Pixel die gleiche Wahrscheinlichkeit aufweisen, ausgewählt zu werden, werden bei einer gewichteten Stichprobennahme einige Pixel wahrscheinlicher ausgewählt als die anderen. Die gewichtete Stichprobennahme wurde auch ausführlich in der Literatur studiert, und der Unterschied dazwischen und einer gleichmäßigen Stichprobennahme wird durch das folgende Beispiel erklärt.
  • Es wird angenommen, dass eine Zahl zwischen 1 und 5 (Matrix X) gewählt werden muss, dass aber die Stichprobennahme nicht gleichmäßig sondern gewichtet ist, wie in Tabelle 2 gezeigt.
  • Figure 00090001
    Tabelle 2
  • Ein Weg, eine gewichtete Stichprobennahme unter Verwendung der Gewichte durchzuführen, welche in Tabelle 2 dargelegt sind, wäre es, eine Hilfsmatrix Y = {1, 2, 2, 3, 3, 3, 4, 4, 5, 5} zu bilden.
  • Diese Matrix weist 10 Elemente auf, und, wenn eine gleichmäßige Stichprobennahme auf der Matrix Y durchgeführt wird, ist dies äquivalent zu einer gewichteten Stichprobennahme auf X. Bei diesem Beispiel ist es zweimal wahrscheinlicher, dass 2 auftritt als 1; und 3 wird am wahrscheinlichsten mit der Wahrscheinlichkeit von 0,3 auftreten.
  • Eine gewichtete Stichprobennahme für eine lichtunabhängige Gesichtserkennung ist einfach eine Erweiterung der Verwendung des RANSAC-Algorithmus bei der Gesichtserkennung. Bei dem vorhergehenden Fall wird die Stichprobennahme gleichmäßig durchgeführt, d.h. jeder Pixel des Satzes Tj wird mit gleicher Wahrscheinlichkeit 1/(Zahl der Pixel in dem Gesicht) ausgewählt. Bei einer gewichteten Stichprobennahme werden einige Pixel auf der Grundlage der folgenden Kriterien wahrscheinlicher ausgewählt als die anderen.
  • Es wird angenommen, dass ein Gesicht mit 100 verschiedenen Ausleuchtungen fotografiert wurde. Jeder Pixel pj in dem ursprünglichen Gesichtsbild (d.h. mit gleichmäßiger Beleuchtung) wird mit dem gleichen Pixel in den Bildern verglichen, welche unter verschiedenen Ausleuchtungen erhalten wurden, und es wird gezählt, wie oft der Unterschied zwischen ihnen unter einer gegebenen Schwelle liegt. Diese Anzahl wird mit nj bezeichnet, wobei
    Figure 00100001
  • Die Pixel mit höherer nj sind nützlicher, da sie weniger wahrscheinlich durch Beleuchtungsveränderungen beeinträchtigt werden, so dass diese Pixel zu höherer Genauigkeit führen, wenn sie Teil der Vergleiche sind. In anderen Worten ist es bei Verwendung dieser Pixel wahrscheinlicher, einen Vergleich zu finden, welcher beleuchtungsunabhängig ist. Dementsprechend werden bei der Ausführungsform der gewichteten Stichprobennahme dieser Erfindung diese „lichtunabhängigen Pixel" häufiger als Teil von Tj ausgewählt. Die Wahrscheinlichkeit, dass ein Pixel in der gewichteten Stichprobe ausgewählt wird, ist nicht gleichmäßig, sondern wird durch die folgende Formel gegeben
    Figure 00110001
  • Der Algorithmus fährt nun auf die gleiche Weise fort wie mit der zuvor beschrieben beleuchtungsunabhängigen RANSAC-Erkennung.
  • Ersatzweise kann Computergrafik verwendet werden, um Gewichte für eine Stichprobennahme zu berechnen. Es wird ein 3D-Modell eines Kopfs erzeugt, wobei Lichtquellen in verschiedenen Richtungen angeordnet werden. Viele Computergrafikpakete können dann das 3D-Bild auf 2 Dimensionen zurückbringen, wobei die verschiedenen Lichtquellen verschiedene Wirkungen auf die 2-dimensionalen Bilder erzeugen. Es kann dann bestimmt werden, welche Bereiche des Gesichts eine höhere Wahrscheinlichkeit aufweisen, sich mit verschiedenen Lichtquellen zu verändern. Die Abschnitte des Gesichts, welche eine geringe Wahrscheinlichkeit aufweisen, sich zu verändern, können dann ein höheres Gewicht oder eine höhere Wahrscheinlichkeit erhalten, ausgewählt zu werden, als die Pixel mit einer hohen Wahrscheinlichkeit, sich zu verändern. Beispiele von Programmen, welche diesen Typ der Strahlverfolgung durchführen, sind POV-Ray oder OpenGL.
  • 4 zeigt ein Ablaufdiagramm eines Verfahrens dieser Erfindung, bei welchem eine gewichtete Stichprobennahme verwendet wird. In diesem Fall wird bei 10 ein Bild erfasst. Die Abschnitte des Bilds, welche am stärksten durch Licht beeinträchtigt sind, werden bei 15 bestimmt. Die Pixel werden dann bei 35 zu Gunsten der lichtunabhängigen Pixel gewichtet. Bei 12 wird für I = 1 : X ein gewichteter Stichprobenuntersatz bei 45 ausgewählt. Bei 55 wird der gewichtete Untersatz unter Verwendung der gleichen Art der Gesichtserkennung mit der gleichen gewichteten Stichprobe des gespeicherten Bilds verglichen. Eine Wahrscheinlichkeit einer Übereinstimmung wird dann auf der Grundlage des Untersatzes mit dem besten Ergebnis bestimmt.
  • 5 zeigt eine Sicherheitsanwendung gemäß der vorliegenden Erfindung. Von einer Bilderzeugungsvorrichtung 70 wird ein Bild einer Person 72 eingefangen, welche in einen Raum mit einer Lichtquelle 71 über Kopf läuft. Das Bild wird mit Bildern verglichen, welche gemäß der Erfindung im Computer 73 gespeichert sind.
  • Während hier gezeigt und beschrieben wurde, was als bevorzugte Ausführungsformen der Erfindung angesehen wird, versteht es sich natürlich, dass verschiedene Modifizierungen und Veränderungen an Form oder Einzelheiten unmittelbar angefertigt werden können. Es ist deshalb vorgesehen, dass die Erfindung nicht auf die genauen Formen beschränkt ist, welche beschrieben und illustriert wurden, sondern so anzusehen ist, dass sie alle Modifikationen abdeckt, welche innerhalb des Schutzumfangs der angefügten Ansprüche fallen können.

Claims (16)

  1. Verfahren zum Vergleichen eines aufgenommenen Bilds eines Gesichts mit gespeicherten Gesichtsbildern, umfassend: a) Abrufen eines aufgenommenen Bilds; b) Einstellen eines vorgegebenen Ähnlichkeitsindexwerts; c) iteratives Aktualisieren des Ähnlichkeitsindexwerts durch Durchführen der folgenden Schritte bei jeder Iteration: c.1) Nehmen von Zufallspixelproben aus Gesichtsbereichen des aufgenommenen Bilds; c.2) Nehmen von ortsweise entsprechenden Pixelproben aus Gesichtsbereichen des gespeicherten Bilds eines Gesichts; c.3) Durchführen einer Gesichtserkennung durch: c.3.1) Vergleichen der Zufallspixelproben des aufgenommenen Gesichtsbilds mit den ortsweise entsprechenden Zufallspixelproben des gespeicherten Gesichtsbilds; c.3.2) Berechnen eines neuen Ähnlichkeitsindexwerts, welcher für den Vergleich zwischen den Zufallsproben des aufgenommenen Gesichtsbilds und der ortsweise entsprechenden Zufallspixelproben des gespeicherten Bilds kennzeichnend ist; c.3.3) Ersetzen des Ähnlichkeitsindexwerts, falls der neue Ähnlichkeitsindex höher ist als ein Ähnlichkeitsindexwert, welcher in vorhergehenden Iterationen erhalten wurde, und d) Annehmen, dass eine Übereinstimmung aufgetreten ist, falls der Ähnlichkeitsindexwert über einem vorbestimmten Schwellenwert liegt.
  2. Verfahren nach Anspruch 1, wobei ein Ausreißererkennungsalgorithmus verwendet wird, welcher Stichproben aus der Gesichtserkennung entfernt, welche als fehlerhaft angesehen werden.
  3. Verfahren nach Anspruch 2, wobei der Ausreißererkennungsalgorithmus der RANSAC-Algorithmus ist.
  4. Verfahren nach Anspruch 2, wobei der Ausreißererkennungsalgorithmus der Least-Median-of-Squares-Algorithmus ist.
  5. Verfahren nach Anspruch 1, wobei Pixel innerhalb des Gesichtsbereichs des Bilds in Abhängigkeit von der Wahrscheinlichkeit, durch Licht beeinträchtigt zu werden, gewichtet werden und wobei ein Nehmen von Zufallspixelproben von Gesichtsbereichen des aufgenommenen Bilds von den Gewichtungen der Pixel abhängt.
  6. Verfahren nach Anspruch 1, wobei der Schritt des Annehmens derartig während der Iteration auftritt, dass, falls es eine Übereinstimmung gibt, keine zusätzlichen Zufallsproben genommen und verglichen werden müssen.
  7. Verfahren nach Anspruch 1, wobei die Anzahl Iterationen gemäß einer erwünschten Genauigkeit derartig eingerichtet wird, dass eine der Stichproben mit einer erwünschten Wahrscheinlichkeit ausreißerfrei ist.
  8. Verfahren nach Anspruch 1, wobei die Anzahl Iterationen gemäß Berechnungsanforderungen eingerichtet wird.
  9. Vorrichtung zum Vergleichen eines aufgenommenen Bilds eines Gesichts mit einem gespeicherten Gesicht, umfassend: – eine Vorrichtung, welche ein aufgenommenes Gesichtsbild empfängt; – eine Vorrichtung, welche ein gespeichertes Gesichtsbild erhält; – einen Prozessor, welcher die folgende Funktion durchführt: – Einstellen eines vorgegebenen Ähnlichkeitsindexwerts; – Vergleichen von Zufallspixelproben des aufgenommenen Bilds mit den ortsweise entsprechenden Zufallspixelproben des gespeicherten Bilds; – Berechnen eines neuen Ähnlichkeitsindexwerts, welcher für den Vergleich zwischen den Zufallsproben des aufgenommenen Gesichtsbilds und der ortsweise entsprechenden Zufallspixelproben des gespeicherten Gesichtsbilds kennzeichnend ist; – Ersetzen des Ähnlichkeitsindexwerts mit dem neuen Ähnlichkeitsindexwert, falls der neue Ähnlichkeitsindex höher ist als ein Ähnlichkeitsindexwert, welcher in vorhergehenden Iterationen erhalten wurde, und – Annehmen, dass eine Übereinstimmung aufgetreten ist, falls der Ähnlichkeitsindexwert über einem vorbestimmten Schwellenwert liegt.
  10. Vorrichtung nach Anspruch 9, wobei der Prozessor einen Bildvergleich unter Verwendung eines Ausreißererkennungsalgorithmus durchführt, welcher eine Gesichtserkennung durch Entfernen von Stichproben aus der Gesichtserkennung durchführt, welche als fehlerhaft angesehen werden.
  11. Vorrichtung nach Anspruch 10, wobei der Ausreißererkennungsalgorithmus ein RANSAC-Algorithmus ist.
  12. Vorrichtung nach Anspruch 10, wobei der Ausreißererkennungsalgorithmus der Least-Median-of-Squares-Algorithmus ist.
  13. Vorrichtung nach Anspruch 9, wobei Pixel innerhalb des Gesichtsbereichs des Bilds in Abhängigkeit von der Wahrscheinlichkeit, durch Licht beeinträchtigt zu werden, gewichtet werden und wobei ein Nehmen von Zufallspixelproben von Gesichtsbereichen des aufgenommenen Bilds von den Gewichtungen der Pixel abhängt.
  14. Vorrichtung nach Anspruch 9, wobei das Annehmen derartig während der Iteration auftritt, dass, falls es eine Übereinstimmung gibt, keine zusätzlichen Zufallsproben genommen und verglichen werden müssen.
  15. Vorrichtung nach Anspruch 9, wobei die Anzahl Iterationen gemäß Berechnungsanforderungen eingerichtet wird.
  16. Vorrichtung nach Anspruch 9, wobei die Anzahl Iterationen gemäß einer erwünschten Genauigkeit derartig eingerichtet wird, dass eine der Stichproben mit einer erwünschten Wahrscheinlichkeit ausreißerfrei ist.
DE60310766T 2002-12-20 2003-12-17 Beleuchtungsunabhängige gesichtserkennung Expired - Fee Related DE60310766T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US43524702P 2002-12-20 2002-12-20
US435247P 2002-12-20
PCT/IB2003/006108 WO2004057522A1 (en) 2002-12-20 2003-12-17 Illumination invariant face recognition

Publications (2)

Publication Number Publication Date
DE60310766D1 DE60310766D1 (de) 2007-02-08
DE60310766T2 true DE60310766T2 (de) 2007-10-11

Family

ID=32682201

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60310766T Expired - Fee Related DE60310766T2 (de) 2002-12-20 2003-12-17 Beleuchtungsunabhängige gesichtserkennung

Country Status (9)

Country Link
US (1) US20060251327A1 (de)
EP (1) EP1579371B1 (de)
JP (1) JP2006510985A (de)
KR (1) KR20050084448A (de)
CN (1) CN1729471A (de)
AT (1) ATE349739T1 (de)
AU (1) AU2003286377A1 (de)
DE (1) DE60310766T2 (de)
WO (1) WO2004057522A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0502844D0 (en) 2005-02-11 2005-03-16 Univ Edinburgh Storing digital content for access using a captured image
KR100847142B1 (ko) * 2006-11-30 2008-07-18 한국전자통신연구원 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR102170689B1 (ko) 2014-01-14 2020-10-27 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법
US10417824B2 (en) * 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
JP2016174203A (ja) * 2015-03-16 2016-09-29 株式会社東芝 半導体装置及びカメラ端末
CN112115740B (zh) * 2019-06-19 2024-04-09 京东科技信息技术有限公司 用于处理图像的方法和装置
CN111862172B (zh) * 2020-08-07 2023-08-01 成都交大光芒科技股份有限公司 变电所辅助监控系统状态指示灯全天候识别方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416851A (en) * 1991-07-30 1995-05-16 Xerox Corporation Image analysis based on location sampling
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
US6151073A (en) * 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images

Also Published As

Publication number Publication date
CN1729471A (zh) 2006-02-01
DE60310766D1 (de) 2007-02-08
ATE349739T1 (de) 2007-01-15
US20060251327A1 (en) 2006-11-09
EP1579371B1 (de) 2006-12-27
WO2004057522A1 (en) 2004-07-08
JP2006510985A (ja) 2006-03-30
AU2003286377A1 (en) 2004-07-14
EP1579371A1 (de) 2005-09-28
KR20050084448A (ko) 2005-08-26

Similar Documents

Publication Publication Date Title
DE69914370T2 (de) Bestimmung von gesichtsunterräumen
DE60215743T2 (de) Verfahren und Rechnerprogrammprodukt zur Lagebestimmung von Gesichtsmerkmalen
DE60209989T2 (de) Robuste Ansichtsmodelle zur visuellen Bewegungsanalyse und Nachführung
DE69833999T2 (de) Verfahren zur automatischen erkennung menschlicher augen in digitalbildern
EP2467828B1 (de) Verfahren und system zur automatischen objekterkennung und anschliessenden objektverfolgung nach massgabe der objektform
EP2584493B1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
DE60316690T2 (de) System zur bildvergleichung mit verwendung eines dreidimensionalen objectmodelles, bildvergleichverfahren und bildvergleichprogramm
DE102006010607A1 (de) Wahrscheinlichkeitstheoretischer Verstärkungsbaum-Rahmen zum Lernen von Unterscheidungsmodellen
DE102017220896A1 (de) Verfahren und Vorrichtung zur Sicherheitskontrolle
DE102004004528A1 (de) Verfahren, Vorrichtung und Programm zur Verarbeitung eines Stereobildes
EP1444654A2 (de) Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
DE112010003796B4 (de) System und Verfahren zur Erzeugung und Verwendung von Iriscodes geringer Länge
DE60303138T2 (de) Vergleichen von mustern
DE102016113904A1 (de) Online Pro-Merkmal-Deskriptoranpassung
DE102017216821A1 (de) Verfahren zur Erkennung einer Objektinstanz und/oder Orientierung eines Objekts
DE112017007246T5 (de) Bildanalysevorrichtung, bildanalyseverfahren und bildanalyseprogramm
DE102016122649B3 (de) Biometrisches Verfahren
DE60310766T2 (de) Beleuchtungsunabhängige gesichtserkennung
EP0394959A2 (de) Verfahren zur Bildauswertung
WO2011039351A1 (de) Verfahren und vorrichtung zum erkennen einer fehldetektion eines objekts in einem bild
WO2002093931A2 (de) Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern
WO2003025843A2 (de) Modellbasierte objektklassifikation und zielerkennung
DE102008057979B4 (de) Lerneinheit für ein Objekterkennungssystem und Objekterkennungssytem
Rogers et al. Optoelectronic computation of waveletlike-based features
EP1145086A2 (de) Verfahren und anordnung zur ermittlung eines ähnlichkeitsmasses einer ersten struktur mit mindestens einer vorgegebenen zweiten struktur

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee