DE60133788T2

DE60133788T2 - Bildverarbeitungsgerät und Verfahren zum Ermitteln von Merkmalen von Gesichtern

Info

Publication number: DE60133788T2
Application number: DE60133788T
Authority: DE
Inventors: Akio 1-chome Minato-ku Okazaki; Toshio 1-chome Minato-ku Sato
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-03-16
Filing date: 2001-03-02
Publication date: 2009-06-25
Anticipated expiration: 2021-03-03
Also published as: EP1134691A3; EP1134691B1; US20030206645A1; EP1134691A2; US6873713B2; DE60133788D1; JP2001331799A

Description

Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung und ein Verfahren, die vorzugsweise angewendet werden für das Eingangs/Ausgangs-Management eines bedeutenden Gebäudes oder für das Zugriffsmanagement eines Computer (Endgerätvorrichtung), und sind geeignet anwendbar auf eine Personenauthentifikationsvorrichtung zum Authentifizieren einer Person basierend auf Vitalinformation (biometrischer Information) beispielsweise eines Gesichtsbilds.
In den vergangenen Jahren wird aus Sicht der Anwendung auf eine menschliche Schnittstelle, Sicherheit und dergleichen eine persönliche Authentifikationstechnik basierend auf Vitalinformation (biometrische Information) wie beispielsweise basierend auf einem Gesichtsbild oder dergleichen immer wichtiger, und verschiedene Techniken sind entwickelt worden.
Als biometrische Information werden Fingerabdrücke, Handballenabdrücke, Stimmenabdrücke und Unterschriftsverifikationen, Retina- und Iris-Scans und dergleichen in der Praxis umgesetzt. Diese Schemen sind kategorisiert in „Kontakttyp", also die Person muss direkt eine Vorrichtung berühren, und „Nicht-Kontakttyp", also die Person muss nicht die Vorrichtung berühren.
In den obigen von Biometrie-Beispielen gehören Fingerabdrücke, Handballenabdrücke und die Unterschriftsverifikationen zu dem „Kontakttyp". Die Kategorie der Unterschriftsverifikationen ist jedoch etwas verschieden von der Fingerabdruckverifikation und dergleichen, da die Unterschriftsverifikation voraussetzt, dass eine Person einen Vorgang vornimmt, also unterschreibt.
Biometrie, die ähnlich einen Vorgang der Person erfordert, ist die Stimmenabdruck (Sprach) Verifikation, jedoch gehört sie zu dem „Nicht-Kontakttyp". Die Retina- und Iris-Scans gehören zu den „Nicht-Kontakttypen", da eine Kamera ein Bild eines gewünschten Bereichs erfasst und das erfasste Bild verarbeitet wird. Da eine Retina jedoch am Boden eines Augapfels lokalisiert ist und gescannt werden muss, während das Auge fast eine Linse kontaktiert, ist diese Kategorie nahe am „Kontakttyp".
Man beachte, dass die Iris auf der Oberfläche des Augapfels vorhanden ist, und durch eine Kamera an einer separaten Position abgetastet werden kann. Da ein Mikromuster abgetastet werden muss, ist der maximale Abstand zwischen dem Auge und der Kamera von Natur aus begrenzt.
Andererseits hat in letzter Zeit die Gesichtsbildverifikation als Nicht-Kontaktbiometrie viel Aufmerksamkeit erlangt, und verschiedene Techniken, die diese verwenden, sind entwickelt worden. Ein Gesichtsmuster hat eine größere Skalierung als das oben genannte Irismuster.
In einer persönlichen Authentifikationsvorrichtung, die die Gesichtsbildbildverifikation anwendet, ist eine Überwachungskamera an einer entsprechenden Position angeordnet, um ein Gesichtsbild einer vollständigen Gesichts- oder nahezu vollständigen Gesichtspose zu erfassen, und das erfasste Bild wird einer Musterverifikation mit Gesichtsbilddaten unterworfen, die im Voraus unter ähnlichen Bedingungen registriert worden sind.
Ein System, bei dem eine Kamera an einer relativ unteren Position angeordnet ist, um ein Nachobenschauen des Gesichtsbilds zu erfassen, zu registrieren und zu verifizieren ist ebenso vorgeschlagen worden.
Die japanische Patentveröffentlichung KOKAI Veröffentlichungsnummer 11-196398 offenbart beispielsweise eine Technik, die eine Bildverarbeitungsvorrichtung betrifft, bei der Videokameras angeordnet sind, um einen gegebenen Winkel zu bilden, ein Gesichtsbild einer Vollgesichtspose ist in einem Vollgesichtvorlagenspeicher gespeichert, ein Gesichtsbild einer linke Gesichtshälfte ist in einem linken Gesichtshälftenvorlagenspeicher gespeichert, und die Korrelation zwischen Bildern, die von den Videokameras ausgegeben werden, und Daten, die in dem Speicher gespeichert sind, wird berechnet, um die Gesichtsbewegung einer Person zu bestimmen (im Folgenden Bezug genommen als Stand der Technik 1).
Darüber hinaus schlägt Fukui und Yamaguchi „Facial Feature Point Extraction by Combining Shape Extraction and Pattern Verification", Journal of IEICE (D-II), Vol. j-80-D-II, Nr. 8, August 1997 ein Verfahren vor zum Extrahieren von Gesichtsmerkmalspunkten einer Pupille, eines Nasalhohlraums, eines Mundrands und dergleichen aus einem bewegten Bild mit hoher Geschwindigkeit und hoher Präzision für eine Gesichtserkennung (im Folgenden Bezug genommen als Stand der Technik 2).
Ebenso schlägt Yamaguchi, Fukui und Maeda „Facial Recognition System Using Moving Image" IEICE Transactions PRMU97-50, Juni 1997 ein Personenidentifikationsverfahren zur Gesichtserkennung vor unter Verwendung eines bewegten Bilds (Zeitserienbilder) anstelle eines einzelnen Bilds (im Folgenden als Stand der Technik 3 bezeichnet).
Die US 4,975,969 offenbart ein Verfahren und eine Vorrichtung zur eindeutigen Identifizierung von Personen durch Messen von Abständen zwischen bestimmten Gesichtsmerkmalen und durch Berechnen von Verhältnissen basierend auf den gemessenen Abständen.
Yamaguchi, Osamu, et al., „Face recognition using temporal image sequence" 1998 Procceedings of the Third IEEE International Conference an Nara, Japan, 14–16 April 1988, IEEE Comput. Soc., US offenbart ein Verfahren zum Erkennen von Gesichtern, indem Zeitserien von Bildern unter Verwendung einer einzelnen Kamera aufgenommen werden, ein ausgewählter Bereich der Gesichtsbilder für die Serien von Bildern normalisiert wird, die Zeitserien der ausgewählten Gesichtsbildbereiche akkumuliert werden, um einen Nebenraum zu bilden, und das Mutual-Subspace Verfahren auf den Nebenraum angewendet wird.
Gordon, Gaile G., „Face Recognition from Frontal and Profile Views", Proceedings of the International Workshop an Automatic Face and Gesture Recognitation, 28 Juni 2005, XP-002297247 offenbart eine Vorrichtung und ein Verfahren gemäß den Oberbegriffen der Patentansprüche 1 bzw. 9.
Aufgabe der Erfindung ist die Schaffung einer Bildverarbeitungsvorrichtung und eines Verfahrens.
Diese Aufgabe wird durch die Erfindung gemäß den Ansprüchen 1 und 9 erreicht.
Weiterentwicklungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Die Erfindung kann durch die folgende detaillierte Beschreibung in Verbindung mit den beigefügten Zeichnungen besser verstanden werden. Es zeigen:
1 ein schematisches Blockdiagram, das die Anordnung einer Bildverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
2 ein Beispiel eines Kameralayouts gemäß dem ersten Ausführungsbeispiel;
3 Beispiele von Gesichtsbildern, die durch jeweilige Kameras in dem ersten Ausführungsbeispiel aufgenommen worden sind;
4 ein Flussdiagram zum Erklären der Gesichtsbildregistrierungs- und Verifikationsprozesse durch einen Prozessor gemäß dem ersten Ausführungsbeispiel;
5 Beispiele von Merkmalspunktextraktionsergebnissen gemäß dem ersten Ausführungsbeispiel;
6 eine Ansicht zum Erklären eines Normalisierungsprozesses gemäß dem ersten Ausführungsbeispiel;
7 eine Ansicht zum Erklären eines Normalisierungsprozesses gemäß dem ersten Ausführungsbeispiel;
8 eine Ansicht zum Erklären eines Schemas zum Berechnen eines Merkmalsmusters in einem Vektorformat gemäß dem ersten Ausführungsbeispiel;
9 ein Beispiel eines Kameralayouts in einer Bildverarbeitungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
10 ein Beispiel von extrahierten Gesichtsbildern und Merkmalspunkten gemäß dem zweiten Ausführungsbeispiel;
11 eine Ansicht zum Erklären eines Normalisierungsprozesses, wenn drei Merkmalspunkte gewonnen werden gemäß dem zweiten Ausführungsbeispiel;
12 eine Ansicht zum Erklären eines Normalisierungsprozesses wenn drei Merkmalspunkte gewonnen werden gemäß dem zweiten Ausführungsbeispiel;
13 ein Beispiel eines Kameralayouts in einer Bildverarbeitungsvorrichtung gemäß dem dritten Ausführungsbeispiel der vorliegenden Erfindung;
14 ein Beispiel eines Kameralayouts in einer Bildverarbeitungsvorrichtung gemäß dem sechsten Ausführungsbeispiel der vorliegenden Erfindung;
15 ein Diagram zum Erklären eines Registrierungsprozesses gemäß dem siebenten Ausführungsbeispiel der vorliegenden Erfindung;
16 ein Diagram zum Erklären eines Verifikationsprozesses gemäß dem siebenten Ausführungsbeispiel;
17 ein Beispiel eines Kameralayouts in einer Bildverarbeitungsvorrichtung gemäß dem achten Ausführungsbeispiel der vorliegenden Erfindung;
18 ein schematisches Blockdiagramm, das die Anordnung der Bildverarbeitungsvorrichtung gemäß dem achten Ausführungsbeispiel zeigt; und
19 ein Flussdiagram zum Erklären eines Verifikationsberechnungsprozesses durch einen Prozessor gemäß dem achten Ausführungsbeispiel.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Das erste Ausführungsbeispiel der vorliegenden Erfindung wird im Folgenden beschrieben.
1 zeigt die Anordnung einer Bildverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel. Bezug nehmend auf 1 ist eine Mehrzahl von Videokameras (einfach Bezug genommen als Kameras im Folgenden) 1-1, 1-2, ..., 1-N als ein Bilderfassungsmittel zum Erfassen eines Objektbilds vertikal aufgereiht, mit einem gegebenen Abstand. Dieses Ausfüh rungsbeispiel verwendet Videokameras, die monochrome Bilder erfassen können. Die Ausgänge von den Kameras 1-1, 1-2, ..., 1-N sind jeweils verbunden mit Erfassungsplatinen 2-1, 2-2, Ein Videosignal (analoge Daten) 1 von der Kamera 1-1 werden also in digitale Daten durch einen A/D-Umwandler 2-1a umgewandelt, und die digitalen Daten werden vorübergehend in einem Bildspeicher 2-1b gespeichert. Die Erfassungsplatinen 2-2, ..., 2-N enthalten ähnliche A/D-Wandler und Bildspeicher (nicht gezeigt aus Gründen der Einfachheit), und Videosignale 2-N werden ähnlichen Prozessen unterworfen wie in den Erfassungsplatinen 2-2, ..., 2-N.
Wenn jede der Kameras 1-1, 1-2, ..., 1-N eine USB (Unversal Serial Bus) Schnittstelle aufweist, wird eine USB Schnittstelle hinzugefügt an die Stelle des A/D-Umwandlers 2-1a. Das Gleiche gilt für einen Fall, bei dem die Kamera eine digitale I/O Schnittstelle aufweist, wie beispielsweise IEEE-1394, die eine Andere als USB ist.
Die Erfassungsplatinen 2-1, 2-2, ..., 2-N, ein Prozessor 4, eine Arbeitsspeicher 5, einen Anzeigenkarte 6, und ein Verzeichnis 7 sind über einen Systembus 3 miteinander verbunden, so dass sie miteinander kommunizieren können. Darüber hinaus ist eine Anzeige 8 mit der Anzeigenkarte 6 verbunden. Das Verzeichnis 7 ist ein Registrierungsmittel, in dem eine Mehrzahl von Verzeichnisdaten (Referenzmerkmalsmuster) registriert (gespeichert) werden. Die Anzeige 8 gibt beispielsweise ein Verifikationsergebnis aus.
Der Prozessor 4 sendet ein Steuerungssignal zur Übernahme der Synchronisation mit den Kameras 1-1, 1-2, ..., 1-N, empfängt digitale Daten, die Gesichtsbilder betreffen, die von den Kameras 1-1, 1-2, ..., 1-N gesendet werden, und führt Bildregistrierungs-, Verifikations- und Bestimmungsprozesse (die später beschrieben werden) der empfangenen Bilddaten unter Verwendung des Arbeitsspeichers 5 und des Verzeichnisses 7 durch.
Man beachte, dass Prozessoren, die exklusiv verwendet werden, um die Bilder, die durch die Kameras 1-1, 1-2, ..., 1-N erfasst worden sind, zu verarbeiten, parallel angeordnet sein können, um eine Hochgeschwindigkeitsverarbeitung zu erreichen.
2 zeigt Einzelheiten eines Beispiels des Layouts der Kameras 1-1, 1-2, ..., 1-N, und 3 zeigt Beispiele von Gesichtsbildern, die durch die Kameras 1-1, 1-2, ..., 1-N erfasst worden sind.
In diesem Beispiel sind drei Kameras 1-1, 1-2 und 1-3 vertikal aufgereiht mit einem entsprechenden Abstand, und ein Objekt (Gesicht) F ist vor diesen Kameras 1-1, 1-2 und 1-3 angeordnet. Mit diesem Layout erfassen die Kameras 1-1, 1-2 bzw. 1-3 ein nachuntenschauendes Gesichtsbild (siehe (a) von 3), ein Frontalgesichtsbild (siehe (b) von 3) und ein nachobenschauendes Gesichtsbild (siehe (c) von 3).
Man beachte, dass die Kameras 1-1, 1-2 und 1-3 als unabhängige Eingabevorrichtungen verdeutlicht sind. Alternativ können die Kameras 1-1, 1-2 und 1-3 in einem einzelnen Gehäuse untergebracht sein, so dass sie als eine einzelne Eingabevorrichtung für den Benutzer erscheinen.
Der Gesichtsbildregistrierungsprozess und Verifikationsprozess durch den Prozessor 4 der Bildverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel werden im Folgenden im Einzelnen unter Bezugnahme auf das in 4 gezeigte Flussdiagram beschrieben.
Man beachte, dass das Flussdiagram in 4 Prozesse zeigt, die individuell für Gesichtsbilder durchgeführt werden, die von den Kameras 1-1, 1-2 und 1-3 erfasst werden.
Die Kameras 1-1, 1-2 und 1-3 erfassen ein Objektbild von unterschiedlichen Richtungen aus (S0). Der Prozessor 4 sucht nach einer Gesichtsbildregion von dem Gesamteingabebild (S1). Pupillen und Nasalhohlraumregionen, die als im Wesentlichen kreisförmige Regionen angesehen werden, werden detektiert, und die zentralen Positionen dieser Regionen werden detektiert als Merkmalspunkt des Gesichtsbilds (S2). Man beachte, dass die Prozesse in den Schritten S1 und S2 das herkömmliche Verfahren anwenden können, das beispielsweise im Stand der Technik 2 beschrieben wird. Die Detektionsergebnisse der Merkmalspunkte sind gezeigt in (a), (b) und (c) von 5, und „x" Markierungen in diesen Figuren geben die detektierten Merkmalspunkte an. Man beachte, dass (a) von 5 dem Gesichtsbild entspricht, das von der Kamera 1-1 aufgenommen wird (b) von 5 entspricht dem Gesichtsbild, das von der Kamera 1-2 aufgenommen wird, und (c) von 5 entspricht dem Gesichtsbild, das von der Kamera 1-3 aufgenommen wird.
Dann wird ein Normalisierungsprozess, der die Extraktion einer Merkmalsregion (S3) und die Segmentierung der Region (S4) enthält, ausgeführt. Der Normalisierungsprozess, in den Schritten S3 und S4 ist ein Kern der Gesichtsbildregistrierungs- und -Verifikationsprozesse in diesem Ausführungsbeispiel. Der Normalisierungsprozess wird im Folgenden im Einzelnen unter Bezugnahme auf die 6 und 7 beschrieben.
Wie in den 6 und 7 gezeigt nimmt der Normalisierungsprozess unterschiedliche Prozeduren vor in Abhängigkeit von der Anzahl an gewonnenen Merkmalspunkten (zwei oder vier Punkte). Wenn die Anzahl der gewonnenen Merkmalspunkte anders ist als zwei oder vier, wird der Normalisierungsprozess übersprungen.
Eine Merkmalsregion wird definiert als ein Rechteck, das gewonnen wird durch Vergrößern eines Rechtecks, das spezifiziert ist durch eine Mehrzahl von Merkmalspunkten mit einer Vergrößerung, die eingestellt wird für jede Kamera. Spezieller, wenn zwei Merkmalspunkte gewonnen werden, wie gezeigt in beispielweise (a) von 6 wird eine rechteckige Region (p1, p2, p3, p4), die gewonnen wird durch weiteres Vergrößern eines Rechtecks, das gebildet wird durch Vorgeben einer vorbestimmten Breite für ein Liniensegment f1f2 bei einer vorbestimmten Vergrößerung, definiert als eine Merkmalsregion, wie in (b) von 6 gezeigt. In diesem Beispiel ist die gewonnene Merkmalsregion unterteilt in 10 × 5 kleine rechteckige Regionen, wir in (c) von 6 gezeigt.
Andererseits, wenn vier Merkmalspunkte gewonnen werden, wie beispielweise in (a) von 7 gezeigt, wird eine rechteckige Region (q1, q2, q3, q4), die gewonnen wird durch weiteres Vergrößern eines Rechtecks, das gebildet wird durch Vorgeben einer vorbestimmten Breiten zu Liniensegmenten f1f2 und f3f4 bei einer vorbestimmten Vergrößerung, als eine Merkmalsregion definiert, wie in (b) von 7 gezeigt. In diesem Beispiel ist die Merkmalsregion unterteilt in 10 × 15 kleine rechteckige Regionen, wie in (c) von 7 gezeigt.
In diesem Ausführungsbeispiel wird eine rechteckige Merkmalsregion verwendet. Die vorliegende Erfindung ist jedoch nicht auf diese beschränkt, solange eine Region eindeutig berechnet werden kann aus zwei oder vier Merkmalspunkten. Andererseits wird die Merkmalsregion aufgebrochen, indem ein gleichmäßiges Segmentieren der jeweiligen Seiten des Rechtecks vorgenommen wird. Alternativ haben die segmentierten kleinen Bereiche variable Größen, also Bereiche, unter Berücksichtigung der Merkmalsstärke. Die Anzahl an äquivalenten segmentierten Bereichen ist nicht auf die oben genannten Werte begrenzt. Als ein charakteristisches Merkmal der Bildverarbeitungsvorrichtung gemäß diesem Ausführungsbeispiel können in die Parameter des Normalisierungsprozesses in Einheiten von Kameras optimiert werden.
Die Beschreibung nimmt jetzt erneut Bezug auf 4. Ein Merkmalsmuster zur Registrierung und Verifikation wird berechnet (extrahiert) (S5). In diesem Prozess werden durchschnittliche Werte der Helligkeitspegel in Einheiten von Teilregionen, die in Schritt S4 aufgebrochen werden, berechnet, und in einer Reihenfolge (Rasterabtastreihenfolge), wie in 8 gezeigt, angeordnet, um Gesichtsmerkmalmusterdaten auszudrücken (einfach im Folgenden als Merkmalsvektor bezeichnet):
(V11, V12, ..., Vnm-1, Vnm)
Als eine Modifikation des Prozesses in Schritt S5 werden die Pixel in der Merkmalsregion einer Dichtekorrektur unterworfen, bevor der Durchschnittswert berechnet wird, um den Dichtebereich zu normalisieren. Alternativ kann ein Merkmalsbetonungsfilterprozess, beispielsweise ein Differenzialprozess ausgeführt werden. Darüber hinaus können andere Dichte- oder Graphikmerkmalswerte, wie beispielsweise die häufigsten Werte (Moduswerte), prinzipiellen Richtungen von Rändern (extrahiert durch den Differenzialprozess) und dergleichen verwendet werden anstelle der Durchschnittswerte als Merkmalswerte in segmentierten kleinen Bereichen.
Es wird dann geprüft, ob die Registrierung oder Verifikation erfolgt ist (S6). Wenn die Registrierung erfolgt ist, wird eine Mehrzahl von Merkmalsmustern gespeichert (S7, S8), Verzeichnisdaten werden erzeugt unter Verwendung des Schemas (Teilraumverfahren) gemäß dem Stand der Technik 2 (S9), und eine Prozedur zur Registrierung der Verzeichnisdaten in dem Verzeichnis 7 zusammen mit der Personenattributinformation erfolgt (S10), wodurch die Registrierung endet.
Andererseits, wenn die Verifikation durchzuführen ist, erfolgt ein Verifikationsberechnungsprozess unter Verwendung des Schemas (Teilraumverfahren) gemäß dem Stand der Technik 2 (S11), und ein Verifikationsniveauausgabeprozess wird dann ausgeführt (S12).
Wie oben beschrieben wird gemäß dem ersten Ausführungsbeispiel ein einzelnes eingegebenes Gesichtsbild (Standbild) verarbeitet. Unter Berücksichtigung von Abweichungen der Eingabebedingungen, kann eine Mehrzahl von aufeinanderfolgenden Gesichtsbildern (bewegte Bilder) erfasst werden bei gegebenen Zeitintervallen, und in einem Bildspeicher 2-1b der Erfassungskarte 2-1 gespeichert werden, wie in 1 gezeigt. Das Verfahren der Verifikationsberechnung unter Verwendung eines bewegten Bilds (Zeitserienbilder) wird im Einzelnen im Stand der Technik 3 beschrieben (wechselseitiges Teilraumverfahren).
In dem Verarbeitungsfluss eines bewegten Bilds können die Prozesse in den Schritten S1–S4 die gleichen sein, wie in dem Flussdiagramm in 4, und die Inhalte von nur den Schritten S9 und S10 müssen nur geändert werden. Nachdem eine vorbestimmte Anzahl von Merkmalsmustern als Registrierung gespeichert worden ist, erfolgt ein statistischer Prozess wie beispielweise eine Hauptkomponentenanalyse oder dergleichen, basierend auf dieser Mehrzahl von Merkmalsvektoren, und ein Musterverifikationsprozess wird dann durchgeführt.
Ein charakteristisches Merkmal des oben genannten ersten Ausführungsbeispiels liegt in der integrierten Steuerung der Prozesse für Gesichtsbilder von den Kameras 1-1, 1-2 und 1-3. Zusammenfassend führt der Prozessor 4 die folgende Steuerung aus.
Zuerst detektieren die Kameras 1-1 und 1-2 die zentralen Positionen der Augen als zwei (rechter und linker) Merkmalspunkte, und die Kamera 1-3 detektiert die zwei zentralen Punkte der Nasalhohlräume, wodurch folglich insgesamt vier Merkmalspunkte gewonnen werden.
Wenn diese Bedingung nicht erfüllt ist, und mindestens eine dieser Kameras kein Bild detektiert, wird bestimmt, dass der Prozess zu diesem Zeitpunkt nicht erfolgreich ist, und der Prozess wird sofort unterbrochen. Dann wird der Prozess erneut versucht oder eine Fehlernachricht wird dem Benutzer angezeigt.
Zweitens werden bei der Registrierung Merkmalsvektoren, die Gesichtsbildern von allen Kameras 1-1, 1-2 und 1-3 entsprechen, als ein Satz von Personendaten registriert.
Drittens, wenn die Verifikationsniveaus zwischen Gesichtsbildern, die durch alle Kameras 1-1, 1-2 und 1-3 erfasst werden, und registrierten Daten einer gegebenen Person ausgegeben werden als M1, M2 und M3, wird bestimmt, dass „diese Person identifiziert ist", nur wenn eine Bedingung:
M1 >= K1 und M2 >= K2 und M3 >= K3,
wobei K1, K2 und K3 vorbestimmte Schwellenwert sind, erfüllt ist.
Bei einem Suchen nach einer Person, die dem eingegebenen Gesichtsbild entspricht, von Personen, deren Daten die obige Bedingung erfüllen (wenn keine Personendaten die obige Bedingung erfüllen, wird „kein Zusammenpassen" bestimmt), wird eine Person, die einem maximalen Durchschnittswert der Verifikationsniveaus entspricht, also (M1 + M2 + M3)/3 letztendlich als übereinstimmend bestimmt.
Das zweite Ausführungsbeispiel der vorliegenden Erfindung wird im Folgenden beschrieben. Die Grundanordnung einer Bildverarbeitungsvorrichtung gemäß dem zweiten Ausführungsbeispiel ist im Wesentlichen gleich wie in dem in 1 (erstes Ausführungsbeispiel), ausgenommen, dass die Kameras 1-1, 1-2 und 1-3 horizontal aufgereiht sind.
Das Layout dieser Kameras 1-1, 1-2 und 1-3 ist in 9 gezeigt. Wie in 9 gezeigt, sind die Kameras 1-1, 1-2 und 1-3 horizontal aufgereiht mit einem entsprechenden Abstand, so dass sie leicht nach oben gewinkelt sind. Mit diesem Layout erfassen die Kameras 1-1, 1-2 und 1-3 ein Gesichtsbild einer linken Gesichtshälftenpose, eine nach oben schauendes Gesichtsbild eine Vollgesichtspose und ein Gesichtsbild einer rechten Gesichtshälftenpose.
Beispiele der Gesichtsbilder, die von den Kameras 1-1, 1-2 und 1-3 eingegeben werden, und Merkmalspunkte, die davon extrahiert worden sind, sind in (a), (b) und (c) von 10 gezeigt, und „x" Markierungen dieser Figuren geben die detektierten Merkmalspunkte an. Man beachte, dass (a) von 10 der Kamera 1-1 entspricht, (b) von 10 der Kamera 1-2 entspricht, und (c) von 10 der Kamera 1-3 entspricht.
Der Prozess, der durch den Prozessor 4 ausgeführt wird, ist im Wesentlichen gleich wie der gemäß dem ersten Ausführungsbeispiel, ausgenommen, dass der Prozess, der bei Gewinnung von zwei Merkmalspunkten in dem ersten Ausführungsbeispiel ausgeführt wird, ersetzt wird durch den, der ausgeführt wird bei Gewinnung von drei Merkmalspunkten wie im Folgenden im Einzelnen beschrieben.
Beispiele des Normalisierungsprozesses bei Gewinnung von drei Merkmalspunkten werden im Folgenden unter Bezugnahme auf die 11 und 12 beschrieben.
Spezieller, wenn drei Merkmalspunkte gewonnen werden aus dem rechten Halbgesichtsbild, wie in (a) von 11 gezeigt, wird eine rechteckige Region (p1, p2, p3, p4) basierend auf einem Dreieck (f1, f2, f3) definiert als eine Merkmalsregion, wie in (b) von 11 gezeigt. In diesem Beispiel wird diese Merkmalsregion in 10 × 15 kleine rechteckige Regionen aufgebrochen, wie in (c) von 11 gezeigt.
In ähnlicher Weise, wenn drei Merkmalspunkte von dem Bild der linken Gesichtshälfte gewonnen werden, wie in (a) von 12 gezeigt, wird eine rechteckige Region (q1, q2, q3, q4) basierend auf einem Dreiecke (f1, f2, f3) definiert als eine Merkmalsregion, wie in (b) von 12 gezeigt. In diesem Beispiel ist diese Merkmalsregion in 10 × 15 kleine Rechteckregionen aufgebrochen, wie in (c) von 12 gezeigt.
Um eine rechteckige Region aus drei Merkmalspunkten zu erhalten, wird eine Linie, die parallel zu einem Liniensegment f1f2 ist und durch f3 verläuft, gezogen, zwei Punkte, die mit einem gegebenen Abstand von f3 getrennt sind, werden auf der Linie auf den zwei Seiten von f3 gesetzt, ein Rechteck, das als Eckpunkte insgesamt vier Punkten aufweist, die diese zwei Punkte enthalten, und f1 und f2 können mit einer vorbestimmten Vergrößerung vergrößert werden. Zu diesem Zeitpunkt ist die Vergrößerung im Voraus gesetzt für jede Kamera. Die vorliegende Erfindung ist jedoch nicht auf dieses Verfahren beschränkt, und eine Merkmalsregion muss nur im Voraus definiert werden, so dass sie einheitlich bestimmt werden kann.
Im Folgenden wird das dritte Ausführungsbeispiel der vorliegenden Erfindung beschrieben.
Die Grundanordndung einer Bildverarbeitungsvorrichtung gemäß dem dritten Ausführungsbeispiel ist im Wesentlichen gleich wie in 1 (erstes Ausführungsbeispiel), ausgenommen das neun Kameras 1-1, 1-2, ..., 1-9 zweidimensional angeordnet sind.
Das Layout dieser Kameras 1-1, 1-2, ..., 1-9 ist in 13 gezeigt. Wie in 13 gezeigt erfassen also die Kameras 1-1, 1-2 und 1-9 jeweils leicht nach unten schauende Gesichtsbilder einer linken Gesichtshälfte, einer vollen Gesichtspose und einer rechten Gesichtshälfte. Die Kameras 1-4, 1-5 und 1-6 erfassen jeweils Gesichtsbilder einer Pose einer linken Gesichtshälfte, einer Pose eines Vollgesichts und eine Pose einer rechten Gesichtshälfte. Darüber hinaus erfassen die Kameras 1-7, 1-8 bzw. 1-9 leicht nach oben schauende Gesichtsbilder einer Pose einer linken Gesichtshälfte, einer Pose eines Vollgesichts und einer Pose einer rechten Gesichtshälfte.
Man beachte, dass der Prozess, der durch den Prozessor 4 gemäß dem dritten Ausführungsbeispiel ausgeführt wird, implementiert werden kann durch Kombinieren der Prozess der oben beschriebenen ersten und zweiten Ausführungsbeispiele.
Das vierte Ausführungsbeispiel der vorliegenden Erfindung wird jetzt beschrieben.
Die Grundanordnung einer Bildverarbeitungsvorrichtung gemäß dem vierten Ausführungsbeispiel ist im Wesentlichen gleich wie die in 1 gezeigte (erstes Ausführungsbeispiel). Das Kameralayout ist ebenso gleich wie das gemäß einem der ersten bis dritten Ausführungsbeispiele.
Der Prozess, der durch den Prozessor 4 gemäß dem vierten Ausführungsbeispiel ausgeführt wird, kann realisiert werden, indem ein Merkmalsvektorextraktionsprozess zu dem in dem ersten bis dritten Ausführungsbeispielen erklärten hinzugeführt wird. Ein Integrationsprozess von Merkmalsvektoren, die von einer Mehrzahl von Gesichtsbildern extrahiert werden, wird also hinzugefügt.
Spezieller, wenn eine Mehrzahl von Kameras 1-1, 1-2, ..., 1-n eingesetzt wird, wenn Merkmalsvektoren:
Kamera 1-1: (V11; ...; V1L1) (L1 Dimension)
Kamera 1-2: (V21; ...; V2L2) (L2 Dimension)
Kamera 1-n: (Vn1; ...; VnLn) (Ln Dimension)
berechnet werden aus den Ausgangssignalen der Kameras 1-1, 1-2, ..., 1-n, werden diese Merkmalsvektoren integriert durch ein der Reihe nach Koppeln:
(V11, ..., V1L1, V21, ..., V2L2, ..., Vn1, ..., VnLn)
(L1 + L2 +...+ Ln) Dimension
Als ein Ergebnis einer derartigen Merkmalsvektorintegration können die gleichen Registrierungs- und Verifikationsprozesse (Teiltraumverfahren) wie bei einer einzelnen Kamera, wie beispielsweise gemäß dem Stand der Technik 2 beschrieben ist, erfolgen, obwohl eine Mehrzahl von Kameras verwendet wird.
Das fünfte Ausführungsbeispiel der vorliegenden Erfindung wird im Folgenden beschrieben.
Die Grundanordnung einer Bildverarbeitungsvorrichtung gemäß dem fünften Ausführungsbeispiel ist im Wesentlichen gleich wie in 1 (erstes Ausführungsbeispiel). Ebenso ist das Kameralayout das Gleiche wie bei einem der ersten bis dritten Ausführungsbeispiele.
Der Prozess, der durch den Prozessor 4 gemäß dem fünften Ausführungsbeispiel durchgeführt wird, kann realisiert werden, indem ein Merkmalsvektorextraktionsprozess zu dem in dem ersten bis dritten Ausführungsbeispiel erklärten hinzugefügt wird. Man beachte, dass eingegebene Gesichtsbilder zeitseriell in gegebenen Zeitintervallen erfasst werden, und ein hinzuzufügender Prozess zum Zweck der Verbesserung der Verifikationsgenauigkeit ein Integrationsprozess von Merkmalsvektoren über die Zeitserie ist, wie im Folgenden beschrieben wird.
Wenn die Merkmalsvektoren zu Zeitpunkten 1, 2, ..., s (angenommen, das Merkmalsmuster von einer Mehrzahl von Kameras bereits durch das Verfahren gemäß dem vierten Ausführungsbeispiel integriert worden sind und L die Gesamtdimension darstellt) berechnet werden, werden die Eingabemerkmalsvektoren
Zeit 1: (V11, ..., V1L)
Zeit 2: (V21, ...; V2L)
...
Zeit S: (Vs1, ..., VsL)
über die Zeitserie integriert, um einen Durchschnittsvektor zu erhalten, wie er beschrieben wird durch:
(v1, v2, ..., vL)
wenn ein bewegtes Bild verwendet wird.
Als ein Ergebnis der Integration über die Zeitserie kann das Verfahren gemäß dem Stand der Technik 2 verwendet werden, wie im Fall einer einzelnen Kamera. Das Verfahren gemäß dem Stand der Technik 3 kann angewendet werden ohne ein Ausführen eines derartigen Prozesses zum Gewinnen des durchschnittlichen Merkmalsvektors.
Wie oben beschrieben ist gemäß dem ersten bis fünften Ausführungsbeispiel eine Mehrzahl von Kameras innerhalb eines Bereichs angeordnet, in welchem sie eine gegebene Bedingung erfüllen, um so gleichzeitig Gesichtsbilder einer identischen Person zu erfassen, und ein Korrekturprozess wird durchgeführt basierend auf insgesamt vier Teilen von Merkmalspunktpositionsinformation von Pupillen und Nasalhohlräumen, wodurch folglich die Verifikationsgenauigkeit verbessert wird, während die Last auf den Benutzer so gering wie im Stand der Technik bleibt.
Wenn Merkmalsmuster, die von einer Mehrzahl von Gesichtsbildern extrahiert worden sind, in eines integriert werden, um den gleichen Musterverifikationsprozess wie im Stand der Technik auszuführen, wird die Berechnung komplizierter und Verarbeitungskosten können minimiert werden.
Das sechste Ausführungsbeispiel der vorliegenden Erfindung wird im Folgenden beschrieben.
Die Grundanordnung einer Bildverarbeitungsvorrichtung gemäß dem sechsten Ausführungsbeispiel ist im Wesentlichen gleich wie in 1 (erstes Ausführungsbeispiel), ausgenommen das Layout und das Verwendungsverfahren der Kameras 1-1, 1-2, ..., 1-N, und eines entsprechenden Integrationsprozesses.
14 zeigt ein Beispiel, bei dem zwei Kameras 1-1 und 1-2 vertikal ausgelegt sind. Wie in 14 gezeigt sind die Kameras 1-1 und 1-2 vertikal aufgereiht mit einem ungefähren Abstand, um leicht nach oben abgewinkelt zu sein. Ein Objekt F ist vor diesen Kameras 1-1 und 1-2 lokalisiert. Mit diesem Layout erfassen die Kameras 1-1 und 1-2 leicht nach oben schauende Gesichtsbilder einer Vollgesichtspose. In 14 kennzeichnet das Bezugszeichen 9-1 eine Beleuchtungslampe, die über der Kamera 1-1 angeordnet ist; und 9-2 eine Beleuchtungslampe, die unter der Kamera 1-2 angeordnet ist.
In dem in 14 gezeigten Beispiel ist die Kamera 1-1 auf einer Höhe angeordnet, die die durchschnittliche Größe einer erwachsenen Person annimmt, und die Kamera 1-2 ist auf einer Höhe angeordnet, die die Größe einer erwachsenen Person kleiner oder gleich der durchschnittliche Größe oder eines Kindes annimmt. Selbst wenn eine sehr große Person aus dem Betrachtungsfeld der Kamera herausfällt, kann sein oder ihr Gesichtsbild eingegeben werden, wenn er oder sie sich nach unten beugt. Ein Säugling kann von dem Prozess ausgeschlossen werden oder sein oder ihr Gesichtsbild kann eingegeben werden unter Verwendung eines Stuhls oder während es in den Armen seiner oder ihrer Eltern hochgehoben ist. Die Kamera 1-2 kann verwendet werden für eine behinderte Person in einem Rollstuhl.
Der Integrationsprozess wird ausgeführt durch den Prozessor 4 gemäß dem folgenden sechsten Ausführungsbeispiel. In dem ersten Ausführungsbeispiel, wenn die Merkmalspunktdetektion basierend auf mindestens einem der Gesichtsbilder von einer Mehrzahl von Kameras fehlschlägt, wird also bestimmt, das der Prozess zu diesem Zeitpunkt nicht erfolgreich ist, und der Prozess wird sofort unterbrochen. Dann wird der Prozess erneut versucht oder eine Fehlernachricht wird für den Benutzer angezeigt. In dem sechsten Ausführungsbeispiel erfolgt eine Verifikation für ein Gesichtsbild von dem Merkmalspunkte erfolgreich detektiert werden können, und wenn die Verifikation von mindestens einem Gesichtsbild erfolgreich ist, wird bestimmt, dass „die Person identifiziert ist".
Spezieller, wenn die Verifikationslevel zwischen den Gesichtsbildern, die durch die Kameras 1-1 und 1-2 erfasst worden sind, und die registrierten Daten (Verzeichnisdaten) einer gegebenen Person als M1 und M2 ausgegeben werden, wird bestimmt, dass „diese Person identifiziert ist", wenn eine Bedingung M1 >= K1 oder M2 >= K2 erfüllt ist, wobei K1 und K2 vorbestimmte Schwellenwerte sind.
Mit diesem Prozess kann eine flexible Verifikation durchgeführt werden entsprechend individuellen Größendifferenzen.
In dem sechsten Ausführungsbeispiel werden zwei Kameras verwendet. Drei oder mehr Kameras können jedoch verwendet werden. Zusätzlich, nur wenn eine Verifikation einer vorbestimmten Anzahl oder von mehr Gesichtsbildern erfolgreich ist anstelle des einen Gesichtsbilds, wird bestimmt, dass „die Person identifiziert ist". Wenn die Verifikationslevel zwischen Gesichtsbildern, die durch die Kameras 1-1, 1-2, ..., 1-N erfasst worden sind, und den registrierten Daten (Verzeichnisdaten) einer gegebenen Person als M1, M2, ..., Mn ausgegeben werden, wird bestimmt, dass „diese Person identifiziert ist", wenn eine Bedingung: R >= T (T > 2)erfüllt ist, wobei
R die Anzahl von Zeitpunkten angibt, bei denen Mi >+ Ki (i = 1, 2, ..., n) erfüllt ist, und Ki und T sind vorbestimmte Schwellenwerte.
Das siebenten Ausführungsbeispiel der vorliegenden Erfindung wird im Folgenden beschrieben.
In dem siebenten Ausführungsbeispiel wird eine Kamera, die zur Erfassung eines Gesichtsbilds verwendet wird, bei dem Registrierungs- und Verifikationsprozess durch den Prozessor 4 in dem sechsten Ausführungsbeispiel bestimmt. Bei einer Registrierung wird eine Kamera, die verwendet wird zur Gewinnung eines Gesichtsbilds, bestimmt, und ein Gesichtsbild wird zusammen mit der Kameranummer registriert. Spezieller, wie in 15 gezeigt, bestimmt ein Registrierer eine der Kameras 1-1 und 1-2, die er oder sie verwenden möchte in Abhängigkeit von seiner oder ihrer physischen Konstitution und Größe, und wählt diese Kamera (S41) aus. Der Registrierer gibt auch einen ID-Code über eine Tastatur, eine Karte oder dergleichen als seine oder Ihre eigene Identifikationsinformation ein.
Ein Gesichtsbild, das durch die ausgewählte Kamera eingegeben worden ist, wird dem oben genannten Bildprozess unterzogen, um ein Merkmalsmuster (S1 bis S5) zu extrahieren, und das extrahierte Merkmalsmuster wird in dem Verzeichnis 7 zusammen mit dem eingegebenen ID-Code des Registrierers und der Kameranummer als Positionsinformation der ausgewählten Kamera (also Positionsinformation, die die Bilderfassungsposition eines Objektbilds angibt) (S7 bis S10) registriert.
Man beachte, dass die Kamera, die zu verwenden ist, durch den Registrierer selbst bestimmt werden kann, aber eine Kamera, die ein Gesichtsbild gewinnen kann, von dem Merkmalspunkte extrahiert werden können, die zwei Pupillen oder zwei Nasalhohlräumen entsprechen, und dessen zentraler Bereich am nächsten zu diesen Positionen ist, kann automatisch bestimmt werden. In diesem Beispiel kann Information, die eine Kamera, die zu verwenden ist, angibt (Kameranummer als Kamerapositionsinformation) ebenso als persönliche Information verwendet werden, wodurch ein höherer Sicherheitslevel gesetzt wird.
Bei einer Verifikation erfolgt ein Verifikationsprozess nur für ein Gesichtsbild, das von einer Kamera gewonnen wird, die der registrierten Kameranummer entspricht. Spezieller, wie in 16 beispielsweise gezeigt, gibt eine Person, die zu verifizieren ist, seinen oder ihren eigenen ID-Code über eine Tastatur, Karte oder dergleichen ein, und das Verzeichnis 7 wird nach der Kameranummer und dem Merkmalsmuster, die entsprechend mit diesem ID-Code registriert worden sind, durchsucht (S42).
Eine Kamera, die der Kameranummer entspricht, die aus dem Verzeichnis 7 geholt wird, wird ausgewählt (S43), und ein Gesichtsbild, das durch die ausgewählte Kamera eingegeben wird, wird dem oben genannten Bildprozess unterzogen, um ein Merkmalsmuter zu extrahieren (S1 bis S5). Das extrahierte Merkmalsmuster wird mit dem Merkmalsmuster verifiziert, das aus dem Verzeichnis 7 geholt worden ist, um zu bestimmen, ob die Person, die zu verifizieren ist, die Person selbst ist (S11, S12).
In dem siebenten Ausführungsbeispiel werden zwei Kameras verwendet. Alternativ können drei oder mehr Kameras verwendet werden.
Das achte Ausführungsbeispiel wird im Folgenden beschrieben, wobei das achte Ausführungsbeispiel als Hintergrundausführungsbeispiel dient und nicht Teil der vorliegenden Erfindung ist.
In dem ersten bis siebenten Ausführungsbeispiel wird im Voraus eine erforderliche Anzahl an Kameras eingestellt. Gemäß dem achten Ausführungsbeispiel wird ein Kamerabewegungsmechanismus angeordnet, und bewegt eine einzelne Kamera zu einer vorbestimmten Position, so dass der oben genannte Prozess ausgeführt wird. In diesem Fall wird eine Bilderfassungszeit leicht verlängert, aber nur eine Kamera ist erforderlich, was ein einfaches Einstellen zur Folge hat.
17 zeigt ein Beispiel, bei dem eine Kamera 1 eingestellt wird. Spezieller, wie in 17 gezeigt, wird die Kamera 1 an einer vertikalen Führungsschiene 10 fixiert, um vertikal gleitbar zu sein, und durch einen Kamerabewegungsmechanismus (nicht gezeigt) an eine erste Position P1 bewegt (entsprechend der Position der Kamera 1-1 in 14) oder an eine zweite Position P2 (entsprechend der Position der Kamera 1-2 in 14). Die Kamera 1 wird leicht nach oben gewinkelt eingestellt.
Die Grundanordnung einer Bildverarbeitungsvorrichtung gemäß dem achten Ausführungsbeispiel ist im Wesentlichen gleich wie die in 1 (erstes Ausführungsbeispiel), ausgenommen, dass die Anzahl an Sätzen von Kameras und Erfassungskarten um eins reduziert ist, und eine Kamerapositionssteuerung 12 zum Steuern eines Kamerabewegungsmechanismus 11, der die Kamera 1 bewegt, und eine Verbindungskarte 13 zur Verbindung der Kamerapositionssteuerung 12 zu dem Systembus 3 sind hinzugefügt, wie in 18 gezeigt.
Der Prozess, der durch den Prozessor 4 gemäß dem achten Ausführungsbeispiel ausgeführt wird, ist grundsätzlich gleich wie in 4 (erstes Ausführungsbeispiel), ausgenommen für die Inhalte des Verifikationsberechnungsprozesses in Schritt S11. Der Verifikationsberechnungsprozess in Schritt S11 wird im Folgenden im Einzelnen unter Bezugnahme auf das in 19 gezeigte Flussdiagram beschrieben.
Der Betrieb weicht in Abhängigkeit davon ab, ob eine 1:1 oder 1:N Verifikation erfolgt (S21). Man beachte, dass die 1:1 Verifikation ein Verifikationsprozess ist, der durchgeführt wird, wenn eine Person, die zu verifizieren ist, seinen oder ihren eigenen ID-Code eingibt, um die zu verifizierenden registrierten Daten zu bestimmen, und die 1:N Verifikation ist ein Verifikationsprozess, der durchgeführt wird, wenn eine Person, die zu verifizieren ist, keinen ID-Code eingibt, um alle registrierten Daten als zu verifizierende Daten zu wählen.
Wenn die 1:1 Verifikation erfolgt, wird der ID-Code, der durch die zu verifizierende Person eingegeben wird, gelesen (S22). Registrierte Daten (Teilraum), die dem eingegebenen ID-Raum entsprechen, werden aus dem Verzeichnis 7 gelesen (S23). Der Verifikationslevel zwi schen dem Teilraum und den registrierten Daten und dem eingegebenen Teilraum wird berechnet, um die Verwendung zu verifizieren, beispielsweise das Teilraumverfahren (S24). Der Verifikationslevel wird verglichen mit einem vorbestimmten Schwellenwert (S25, S26), um ein 1:1 Verifikationsergebnis auszugeben (S27).
Wenn eine 1:1 Verifikation durchgeführt wird, werden alle registrierten zu verifizierenden Daten aus dem Verzeichnis 7 gelesen (S28). Die Verifikationslevel dieser registrierten Daten werden berechnet (S29). Ein Maximaler der berechneten Verifikationslevel wird ausgewählt (S3) und als ein 1:N Verifikationsergebnis ausgegeben (S32).
In diesem Fall, wenn der maximale Verifikationslevel einem Schwellenwertprozess unterzogen wird, wie in Schritt S31, begrenzt durch die gestrichelte Linie in 19, kann geprüft werden, ob das Verifikationsergebnis korrekt ist (S33). Wenn beispielsweise der Verifikationslevel zu gering ist, wird bestimmt, dass keine Übereinstimmung gefunden wurde.
Man beachte, dass eine 1:1 Verifikation ein Verifikationsprozess ist, der ausgeführt wird, wenn eine zu verifizierende Person keinen ID-Code eingibt, um alle registrierten Daten als zu verifizierende Daten auszuwählen, und entspricht dem Verifikationsprozess gemäß dem oben beschriebenen ersten bis sechsten Ausführungsbeispiel.
In dem achten Ausführungsbeispiel wird nur eine Kamera verwendet, aber zwei oder mehr Kameras können verwendet werden. Darüber hinaus wird nur eine Kamera bewegt. Wenn jedoch zwei oder mehr Kameras verwendet werden, können diese Kameras bewegt werden.
Die Ausführungsbeispiele der vorliegenden Erfindung sind erklärt worden, aber die vorliegende Erfindung ist nicht auf diese spezifischen Ausführungsbeispiele beschränkt und verschiedene Änderungen können durchgeführt werden, ohne den Bereich der Erfindung zu verlassen. Beispielsweise können die oben genannten Ausführungsbeispiele entsprechend kombiniert werden.
In den obigen Ausführungsbeispielen wird eine Kamera mit einem normalen sichtbaren Wellenlängenbereich verwendet. Alternativ kann eine Infrarotstrahlkamera eines Infrarotbereichs verwendet werden, oder ein Entfernungsmesser, der Distanzinformation (Tiefeninformation) gewinnen kann, kann verwendet werden. Ebenso können Bildeingabevorrichtungen unterschiedlicher Typen gemischt werden.
Wie oben beschrieben können gemäß der vorliegenden Erfindung eine Bildverarbeitungsvorrichtung und ein Verfahren, die die Last auf den Benutzer bei der Registrierung und Verifikation reduzieren können, stark die Verifikationsperformance verbessern, und Zunahmen bei komplizierten Berechnungen und ebenso Verarbeitungskosten minimieren ohne groß den Musterverifikationsprozessalgorithmus von einer einzelnen Richtung zu ändern.
Im Gegensatz dazu, verarbeitet die Technik gemäß dem Stand der Technik 1 unabhängig Bilder, obwohl sie eine Mehrzahl von Kameras verwendet, und eine Funktion ist beschränkt auf die Detektion der Gesichtsrichtung. Die Techniken gemäß dem Stand der Technik 2 und 3, da die Kontenance einer Person dreidimensionale Forminformation aufweist, begrenzt zweidimensionale Gesichtsbildinformation, die von nur einer Richtung aus aufgenommen wird, die persönliche Identifikationsperformance, und die Identifikationsperformance kann in der Praxis nicht so groß werden, wie verglichen mit einer Fingerabdrucksverifikation, Retina- und Irisscanns, und dergleichen.

Claims

Gesichtsbildverarbeitungsvorrichtung, enthaltend: ein erstes Gesichtsbilderfassungssmittel (1-1), das an einer ersten Position ist zum Erfassen eines ersten Gesichtsbilds (F) von einer ersten Richtung aus, um eine Anzahl X₁ (f1, f2; f1– f3) von Merkmalspunkten aus dem Erstgesichtsbild zu extrahieren, und zum Eingeben des ersten Gesichtsbilds, das an der ersten Position erfasst worden ist, unter Verwendung des ersten Gesichtsbilderfassungsmittels; ein zweites Gesichtsbilderfassungsmittel (1-2), das an einer zweiten Position ist, die von der ersten Position verschieden ist, zum Erfassen eines zweiten Gesichtsbilds (F) von einer zweiten Richtung aus, um eine Anzahl X₂ (f1–f4) von Merkmalspunkten aus dem zweiten Gesichtsbild zu extrahieren, und zum Eingeben des zweiten Gesichtsbilds, das an der zweiten Position erfasst worden ist, unter Verwendung des zweiten Gesichtsbilderfassungsmittels; und einen Prozessor (4) zum Extrahieren einer Mehrzahl der Merkmalspunkte (f1, f2; f1–f3; f1–f4) von jedem von dem ersten und zweiten Gesichtsbild, die durch das erste bzw. zweite Gesichtsbilderfassungsmittel erfasst worden sind; dadurch gekennzeichnet, dass der Prozessor (4) ferner angepasst ist zum Prüfen, ob die Anzahl an Merkmalspunkten, die aus dem ersten Gesichtsbild (F) extrahiert worden sind, der vorgesetzten X₁ Anzahl entspricht, Prüfen, ob die Anzahl an Merkmalspunkten, die aus dem zweiten Gesichtsbild (F) extrahiert worden sind, der vorgesetzten X2 Anzahl entspricht, und nur wenn beide Prüfungen erfolgreich sind, fortfahren mit: Setzen einer ersten Merkmalsregion (p1–p4) des ersten Gesichtsbilds, die definiert ist durch die X₁ Anzahl von extrahierten Merkmalspunkten, Setzen einer zweiten Merkmalsregion (q1–q4) des zweiten erfassten Gesichtsbilds, die durch die X₂ Anzahl von extrahierten Merkmalspunkten definiert ist, Segmentieren der gesetzten ersten Merkmalsregion für das erfasste erste Gesichtsbild in eine Mehrzahl von kleinere Bereichsregionen (v₁₁–V_nm), Berechnen von erster Information in jeder segmentierten Region für das erfasste erste Gesichtsbild, und Berechnen eines ersten Merkmalsmusters für das erfasste erste Gesichtsbild basierend auf der berechneten ersten Information Segmentieren der gesetzten zweiten Merkmalsregion für das erfasste zweite Gesichtsbild in eine Mehrzahl von kleinere Bereichsregionen (v₁₁–v_nm), Berechnen von zweiter Information in jeder segmentierten Region für das erfasste zweite Gesichtsbild, und Berechnen eines zweiten Merkmalsmusters für das erfasste zweite Gesichtsbild basierend auf der berechneten zweiten Information.
Vorrichtung nach Anspruch 1, wobei die erste Information, die in jeder segmentierten Region für das erfasste erste Gesichtsbild berechnet worden ist, ein erster Durchschnittswert von Helligkeitspegeln in jeder segmentierten Region für das erfasste erste Gesichtsbild ist, und die zweite Information, die in jeder segmentierten Region für das erfasste zweite Gesichtsbild berechnet worden ist, ein zweiter Durchschnittswert von Helligkeitspegeln in jeder segmentierten Region für das erfasste zweite Gesichtsbild ist, und die Vorrichtung ferner enthält: ein Registierungsmittel (4, 7) zum Registrieren des ersten und zweiten Merkmalsmusters, die durch den Prozessor (4) berechnet werden als Merkmalsmuster, die zu einem vorbestimmten Gesicht gehören; ein Verifikationsmittel (4, 7) zum Spezifizieren eines Gesichts, das zu dem ersten und zweiten Gesichtsbild (F) gehört, durch Vergleichen des ersten und zweiten Merkmalsmusters mit dem ersten und zweiten Merkmalsmuster, die in dem Registrierungsmittel registriert sind.
Vorrichtung nach Anspruch 2, wobei das erste und zweite Gesichtsbilderfassungsmittel (1-1, 1-2) vertikal in Reihe aufgestellt sind, und der Prozessor (4) angepasst ist zum Berechnen des zweiten Merkmalsmusters unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille und zentrale Punkte (f3, f4) der rechten und linken Nasenhöhle des zweiten Gesichtsbilds (F) enthält, und zum Berechnen des ersten Merkmalsmusters unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille des ersten Gesichtsbilds (F) enthält.
Vorrichtung nach Anspruch 2, wobei das erste und zweite Gesichtsbilderfassungsmittel (1-1, 1-2) horizontal in Reihe aufgestellt sind, und der Prozessor (4) angepasst ist zum Berechnen des zweiten Merkmalsmusters unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille und zentrale Punkte (f3, f4) der rechten und linken Nasenhöhlen des zweiten Gesichtsbilds (F) enthält und zum Berechnen des ersten Merkmalsmusters unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille und einen zentralen Punkt (f3) einer linken Nasenhöhle des ersten Gesichtsbilds (F) enthält.
Vorrichtung nach Anspruch 2, wobei der Prozessor (4) angepasst ist zum Extrahieren von Merkmalsvektoren von unterschiedlichen Dimensionen aus dem ersten und zweiten Gesichtsbild (F), die von dem ersten bzw. zweiten Gesichtsbilderfassungsmittel (1-1, 1-2) erfasst worden sind und zum Anordnen der extrahierten Merkmalsvektoren verschiedenen Dimensionen der Reihe nach, um sie als ein mehrdimensionales Merkmalsmuster zu integrieren.
Vorrichtung nach Anspruch 2, wobei der Prozessor (4) angepasst ist zum Erfassen des ersten und zweiten Gesichtsbilds (F), die von dem ersten und zweiten Gesichtsbilderfassungsmittel (1-1, 1-2) jeweils erfasst worden sind, bei vorbestimmten Zeitintervallen, zum Berechnen des ersten und zweiten Merkmalsmusters des ersten bzw. zweiten Gesichtsbilds zu identischen Zeitpunkten, und zum Anordnen des ersten und zweiten Merkmalsmusters zu unterschiedlichen Zeitpunkten der Reihe nach, um sie als ein Zeit-Serien Merkmalsmuster zu integrieren.
Vorrichtung nach Anspruch 1, ferner enthaltend ein Verifikationsmittel (4, 7) zum Verifizieren des ersten und zweiten Merkmalsmuster, die von dem Prozessor (4) extrahiert worden sind, mit einem Referenzmerkmalsmuster, das im voraus registriert ist; und ein Diskriminierungsmittel (4) zum Bestimmen, dass das Gesicht, das zu dem ersten und zweiten Gesichtsbild (F) gehört, eine Person selbst ist, wenn mindestens eines der extrahierten ersten und zweiten Merkmalsmuster mit dem vorher registrierten Referenzmerkmalsmuster als Ergebnis der Verifikation durch das Verifikationsmittel zusammenpasst.
Vorrichtung nach Anspruch 7, ferner enthaltend ein Merkmalsmusterextraktionsmittel (4) zum Berechnen von durchschnittlichen Helligkeitswerten in den segmentierten kleineren Bereichsregionen (V₁₁–v_nm) und zum Extrahieren des ersten und zweiten Merkmalsmuster, die Merkmale des Gesichts (F) darstellen, basierend auf den durchschnittlichen Helligkeitswerten.
Bildverarbeitungsverfahren mit Erfassen (S0) eines ersten Gesichtsbilds (F) von einer ersten Richtung aus, um eine Anzahl X₁ (f1, 12; f1–f3) von Merkmalspunkten aus dem ersten Gesichtsbild zu extrahieren, unter Verwendung eines ersten Gesichtsbilderfassungsmittels (1-1), das an einer ersten Position ist; Erfassen eines zweiten Gesichtsbilds (F) von einer zweiten Richtung aus, die verschieden ist von der ersten Richtung, um eine Anzahl X₂ (f1–f4) von Merkmalspunkten aus dem zweiten Gesichtsbild zu extrahieren, unter Verwendung eines zweiten Gesichtsbilderfassungsmittels (1-2), das an einer zweiten Position ist; wobei die Merkmalspunkte spezifische Gesichtsorte sind, wie Pupillen oder Nasenhöhlen; Extrahieren (S2) einer Mehrzahl der Merkmalspunkte aus dem ersten Gesichtsbild, das in der ersten Richtung erfasst worden ist, Extrahieren (S2) einer Mehrzahl der Merkmalspunkte aus dem zweiten Gesichtsbild, das in der zweiten Richtung erfasst worden ist, gekennzeichnet durch: Prüfen, ob die Anzahl an Merkmalspunkten, die aus dem ersten Gesichtsbild (F) extrahiert worden sind, der vorgesetzten X₁ Anzahl entspricht, Prüfen, ob die Anzahl der Merkmalspunkte, die aus dem zweiten Gesichtsbild (F) extrahiert worden sind, der vorgesetzten X₂ Anzahl entspricht, wobei nur wenn beide Prüfungen erfolgreich sind, fortgefahren wird mit Setzen einer ersten Merkmalsregion (p1–p4) des erfassten ersten Gesichtsbilds, die definiert ist durch die X₁ Anzahl von extrahierten Merkmalspunkten, Setzen einer zweiten Merkmalsregion (q1–q4) des erfassten zweiten Gesichtbilds, die definiert ist durch die X₂ Anzahl von extrahierten Merkmalspunkten, Segmentieren (S4) der gesetzten ersten Merkmalsregion für das erfasste erste Gesichtsbild in eine Mehrzahl von kleinere Bereichsregionen (v₁₁–v_nm), Segmentieren (S4) der gesetzten zweiten Merkmalsregion für das erfasste zweite Gesichtsbild in eine Mehrzahl von kleinere Bereichsregionen (v₁₁–v_nm), Berechnen (S5) von erster Information in jeder segmentierten Region für das erfasste erste Gesichtsbild, Berechnen (S5) von zweiter Information in jeder segmentierten Region für das erfasste zweite Gesichtsbild, Berechnen (S5) eines ersten Merkmalsmusters für das erfasste erste Gesichtsbild basierend auf der berechneten ersten Information, Berechnen (S5) eines zweiten Merkmalsmusters für das erfasste zweite Gesichtsbild basierend auf der berechneten zweiten Information.
Verfahren nach Anspruch 9, wobei der Schritt des Berechnens (S5) von erster Information in jeder segmentierten kleineren Bereichsregion (v₁₁–v_mn) ein Berechnen eines Durchschnittswerts von Helligkeitspegeln in jeder segmentierten Region des erfassten ersten Gesichtsbilds (F) enthält und der Schritt des Berechnens (S5) von zweiter Information in jeder segmentierten kleineren Bereichsregion (v₁₁–v_mn) ein Berechnen eines Durchschnittswerts von Helligkeitspegeln in jeder segmentierten Region des erfassten zweiten Gesichtsbilds (F) enthält; und das Verfahren ferner aufweist: Registrieren (S7) des ersten und zweiten Merkmalsmusters als Merkmalsmuster, die zu einem vorbestimmten Gesicht gehören; und Spezifizieren (S11, S12) eines Gesichts, das zu dem ersten und zweiten Gesichtsbild (F) gehört, durch Vergleichen des berechneten ersten und zweiten Merkmalsmusters mit den registrierten ersten und zweiten Merkmalsmustern.
Verfahren nach Anspruch 10, wobei das erste und zweite Gesichtsbild (F) von der ersten und zweiten Richtung aus, die vertikal in Reihe aufgestellt sind, erfasst werden und das zweite Merkmalsmuster berechnet wird unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille und zentrale Punkte (f3, f4) der rechten und linken Nasenhöhle des zweiten Gesichtsbilds enthält und das erste Gesichtsmuster berechnet wird unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille des ersten Gesichtsbilds enthält.
Verfahren nach Anspruch 10, wobei das erste und zweite Gesichtbild (F) von der ersten und zweiten Richtung aus, die horizontal in Reihe aufgestellt sind, erfasst werden und das zweite Merkmalsmuster berechnet wird unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der rechten und linken Pupille und zentrale Punkte (f3, f4) der rechten und linken Nasenhöhle des zweiten Gesichtsbilds enthält und die erste Merkmalsgruppe berechnet wird unter Verwendung einer Merkmalspunktgruppe, die zentrale Punkte (f1, f2) der linken und rechten Puppille und einen zentralen Punkt (f3) einer linken Nasenhöhle des ersten Gesichtsbilds enthält.
Verfahren nach Anspruch 9, ferner mit Extrahieren von Merkmalsvektoren unterschiedlicher Dimensionen aus dem ersten und zweiten Gesichtsbild (F), und Anordnen der extrahierten Merkmalsvektoren von unterschiedlichen Dimensionen der Reihe nach, um sie als ein mehrdimensionales Merkmalsmuster zu integrieren.
Verfahren nach Anspruch 9, ferner mit Erfassen des ersten und zweiten Gesichtsbilds (F) bei vorbestimmten Zeitintervallen, Berechnen eines ersten und zweiten Merkmalsmusters des ersten und zweiten Gesichtsbilds zu identischen Zeitpunkten und Anordnen des ersten und zweiten Merkmalsmusters zu unterschiedlichen Zeitpunkten der Reihe nach, um sie als ein Zeit-Serien Merkmalsmuster zu integrieren.
Verfahren nach Anspruch 9, ferner mit Verifizieren (S11) des extrahierten ersten und zweiten Merkmalsmusters mit einem Referenzmerkmalmuster, das im voraus registriert wird; Bestimmen (S12), dass ein Gesicht, das zu dem ersten und zweiten Gesichtsbild (F) gehört, eine Person selbst ist, wenn mindestens eines der extrahierten ersten und zweiten Merkmalsmuster zu dem vorher registrierten Referenzmerkmalsmuster zusammenpasst, als Ergebnis des Verifikationsschritts.
Verfahren nach Anspruch 9, wobei der Schritt des Berechnens (S5) der ersten und zweiten Information in jeder segmentierten kleineren Bereichsregion (v₁₁–v_mn) ein Berechnen von durchschnittlichen Helligkeitswerten in den segmentierten kleineren Bereichsregionen enthält, und das Verfahren ferner enthält: Extrahieren des ersten und zweiten Merkmalsmusters, die ein Merkmal des Gesichts darstellen, basierend auf den durchschnittlichen Helligkeitswerten.