DE102020211007A1

DE102020211007A1 - Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren, und Bildverarbeitungsprogramm

Info

Publication number: DE102020211007A1
Application number: DE102020211007.7A
Authority: DE
Inventors: Tomoaki Matsunami
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-09-13
Filing date: 2020-09-01
Publication date: 2021-03-18
Also published as: US20210081652A1; JP2021043914A; US11380132B2

Abstract

Eine Bildverarbeitungseinrichtung beinhaltet ein erstes Mittel zum Speichern einer Vielzahl von durch Bildaufnehmen eines Gesichts einer Person erfassten Bildern; und ein zweites Mittel zum Erfassen eines Pixelwertmusters, das eine Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in einem Bereich angibt, der Teile des Gesichts jedes der Vielzahl von Bildern aufweist, und Auswählen eines zu verarbeitenden Bildes aus der Vielzahl von Bildern, basierend auf den Pixelwertmustern der Vielzahl von Bildern.

Description

GEBIET
Die hierein diskutierte Ausführungsform bezieht sich auf eine Bildverarbeitungseinrichtung, ein Bildverarbeitungsverfahren und eine Bildverarbeitungsprogramm.
HINTERGRUND
Eine biometrische Authentifizierungstechnik ist eine Technik, welche eine Identitäts-Authentifizierung unter Verwendung biometrischer Information an einer Authentifizierungs-Zielperson durchführt. Die biometrische Authentifizierungstechnik beinhaltet eine Gesichts-Authentifizierungstechnik, eine Fingerabdruck-Authentifizierungstechnik, eine Venen-Authentifizierungstechnik, eine Stimmabdruck-Authentifizierungstechnik, und so weiter.
Bei der Gesichts-Authentifizierungstechnik wird die Identitäts-Authentifizierung unter Verwendung biometrischer Information durchgeführt, die aus einem Gesichtsbild einer Authentifizierungs-Zielperson erfasst wird. In diesem Fall variiert die Bildaufnahme-Umgebung zum Aufnehmen eines Gesichtsbilds oft zwischen Registrierungsverarbeitung zum Registrieren biometrischer Information an eine Registrierungs-Zielperson, und Authentifizierungs-Verarbeitung zum Authentifizieren einer Authentifizierungs-Zielperson.
Beispielsweise kann in der Registrierungs-Verarbeitung ein Gesichtsbild aufgenommen werden, wenn eine Registrierungs-Zielposition still steht und zur Front gewendet ist. Andererseits kann in der Authentifizierungs-Verarbeitung ein Gesichtsbild aufgenommen werden, während eine Authentifizierungs-Zielperson geht. Weil die Möglichkeit besteht, dass Gesichtsbilder eines Gesichts in unterschiedlichen Richtungen und Gesichtsausdrücken in solchen Authentifizierungs-Verarbeitungen aufgenommen werden, kann es sein, dass registrierte biometrische Information und für die Authentifizierung der identischen Person erfasste biometrische Information nicht übereinstimmen und es kann sein, dass die Identitäts-Authentifizierung nicht erfolgreich ist.
in Bezug auf die Gesichts-Authentifizierungstechnik sind eine neue Registrierungsvorrichtung für eine Gesichtsbild-Datenbank, welche die Arbeit der Datenbank-Registrierung einer neuen Person automatisiert, und eine Registrierungseinrichtung zum Registrieren von Wörterbuchdaten für Fußgänger-Authentifizierung, die auf Gesichtsbildern basiert, bekannt gewesen (siehe japanische Patentoffenlegungsschrift Nr. JP 2002-133423 A und japanische Patentoffenlegungsschrift Nr. JP 2008-243093 A ).
ZUSAMMENFASSUNG
Technisches Problem
Gemäß einer Gesicht-Authentifizierungstechnik in der Vergangenheit ist es schwierig, ein Gesichtsbild, das zur Authentifizierungs-Verarbeitung geeignet ist, aus einer Vielzahl von Gesichtsbildern auszuwählen, die durch Aufnehmen von Bildern einer gehenden Authentifizierungs-Zielperson erfasst werden.
Ein solches Problem tritt auch auf, wenn ein Gesichtsbild, welches für die Registrierungs-Verarbeitung geeignet ist, auszuwählen ist, ohne auf einen Fall beschränkt zu sein, bei dem ein Gesichtsbild, welches für die Authentifizierungs-Verarbeitung geeignet ist, auszuwählen ist. Das Problem tritt auch in verschiedenen Arten von Informationsverarbeitung auf, die Gesichtsbilder verwendet, ohne sich auf die Identitäts-Authentifizierung unter Verwendung eines Gesichtsbilds zu beschränken.
Problemlösung
Gemäß einem Aspekt beinhaltet eine Bildverarbeitungseinrichtung erste Mittel zum Speichern einer Vielzahl von Bildern, die durch Bildaufnahme eines Gesichts einer Person erfasst werden; und ein zweites Mittel zum Erfassen eines Pixelwertmusters, das in einer Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in einem Bereich angibt, das Teile des Gesichts jeder der Vielzahl von Bildern aufweist, und Auswählen eines zu verarbeitenden Bildes aus der Vielzahl von Bildern, basierend auf den Pixelwertmustern der Vielzahl von Bildern.
Vorteilhafte Effekte der Erfindung
Gemäß einem Aspekt kann ein für die Informationsverarbeitung zu verwendendes, geeignetes Bild aus einer Vielzahl von durch Bildaufnehmen eines Gesichts einer Person erfassten Bildern ausgewählt werden.
Figurenliste

Fig. list ein Funktionskonfigurationsdiagramm einer Bildverarbeitungseinrichtung.
2 ist ein Flussdiagramm von Bildverarbeitung.
3 ist ein Funktionskonfigurationsdiagramm, welches ein spezifisches Beispiel der Bildverarbeitungseinrichtung illustriert.
4A und 4B illustrieren ein Bild und Merkmalspunkte.
5 illustriert einen Teilbereich, der Teile eines Gesichts enthält.
6A und 6B illustrieren helle und dunkle Muster in einer vertikalen Richtung.
7 illustriert einen partiellen Bereich, der Augen enthält.
8A und 8B illustrierten helle und dunkle Muster in einer horizontalen Richtung.
9 ist ein Flussdiagramm, das ein spezifisches Beispiel von Bildverarbeitung illustriert.
10 ist ein Flussdiagramm von einer Bild erhaltenden Verarbeitung.
11 ist ein Flussdiagramm, welches ein spezifisches Beispiel von Bildverarbeitung unter Verwendung von zwei Typen von Pixelwertmustern illustriert.
12 ist ein Hardware-Konfigurationsdiagramm einer Informationsverarbeitungseinrichtung.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Gemäß einer Gesichts-Authentifizierungstechnik in der Vergangenheit ist es schwierig, ein Gesichtsbild auszuwählen, das für die Authentifizierungs-Verarbeitung geeignet ist, aus einer Vielzahl von Gesichtsbildern, die durch Aufnehmen von Bildern einer gehenden Authentifizierungs-Zielperson erfasst werden.
Ein solches Problem tritt auch auf, wenn ein Gesichtsbild, welches für die Registrierungs-Verarbeitung geeignet ist, auszuwählen ist, ohne auf den Fall beschränkt zu sein, bei dem ein Gesichtsbild, welches für die Authentifizierungs-Verarbeitung geeignet ist, auszuwählen ist. Das Problem tritt auch bei verschiedenen Arten von Informationsverarbeitung auf, die Gesichtsbilder verwendet, ohne auf die Identitäts-Authentifizierung unter Verwendung eines Gesichtsbilds beschränkt zu sein.
Nachfolgend wird eine Ausführungsform im Detail unter Bezugnahme auf die Zeichnungen beschrieben.
Beispielsweise gemäß der Technologie in der japanischen Patentoffenlegungsschrift Nr. JP 2002-133423 A wird die Richtung eines für die Rahmenauswahl zu verwendenden Gesichts unter Verwendung einer Vielzahl von Gesichts-Merkmalspunkten abgeschätzt, die aus einem Gesichtsbild detektiert werden, durch ein persönliches Gesichtsbild-Detektions-, - Verfolgungs- und -Erkennungssystem.
Gemäß der Technologie in der japanischen Patentoffenlegungsschrift Nr. JP 2008-243093 A werden für die Registrierung Haltungsänderungsdaten und Gehdaten einer Registrierungs-Zielpersonen, die auf einem Streifen geht, als Wörterbuchdaten registriert. Die Haltungsänderungsdaten sind Daten wie etwa Merkmalsbeträge eines aus Gesichtsbildern einer Registrierungs-Zielperson erfassten Gesichts, aufgenommen, wenn die Registrierungs-Zielperson verschiedene Haltungen (Gesichtsrichtungen) an einer Vielzahl von Punkten innerhalb einer Passage aufweist. Die G-Daten sind Daten wie etwa Haltungsänderungen, während die Registrierungs-Zielperson auf der Passage geht. Als Authentifizierung wird eine Haltung unter Verwendung von Gesichts-Merkmalspunkten wie etwa Augen- und Nasenhöhlen bestimmt, die aus einem Gesichtsbild eines Fußgängers extrahiert werden, und werden ein Merkmalsbetrag des Gesichts des Fußgängers oder ein Merkmalsbetrag des Gesichts in einer nahen Haltung, aufgezeichnet in Wörterbuchdaten, verglichen.
Durch Verwenden einer solchen Gesichts-Authentifizierungstechnik wird eine Vielzahl von Gesichtsbildern durch Aufnehmen von Bewegtbildern einer gehenden Authentifizierungs-Zielperson erfasst, und wird ein Gesichtsbild, das für Authentifizierungs-Verarbeitung geeignet ist, aus den Gesichtsbildern ausgewählt, so dass die Stabilität der Identitäts-Authentifizierung verbessert werden kann.
Jedoch kann es sein, dass das Verfahren, welches die Richtung eines Gesichts unter Verwendung einer Positionsbeziehung von Gesichts-Merkmalspunkten, die Gesichtsteile wie etwa Augen, Nase und Mund repräsentiert, abschätzt, keine stabile Identitäts-Authentifizierung realisiert. Beispielsweise kann es einen Fall geben, bei dem ein Gesichtsbild des Gesichts in einer anderen Richtung als der registrierten Richtung als das Ergebnis unrichtiger Detektion eines Gesichts-Merkmalspunkt ausgewählt wird, oder einen Fall, bei dem ein Gesichtsbild des Gesichts in derselben Richtung wie die registrierte Richtung, aber mit einem anderen Gesichtsausdruck, wie etwa einem Blinzeln und Öffnen des Mundes, ausgewählt wird.
1 illustriert ein Funktionskonfigurations-Beispiel einer Bildverarbeitungseinrichtung einer Ausführungsform. Eine Bildverarbeitungseinrichtung 101 in 1 beinhaltet eine Speichereinheit 111, eine Mustererzeugungseinheit 112, und eine Auswahleinheit 113. Die Speichereinheit 111 speichert eine Vielzahl durch Bildaufnahme eines Gesichts einer Person erfassten Bildern. Die Mustererzeugungseinheit 112 und die Auswahleinheit 113 führen Bildverarbeitung unter Verwendung der in der Speichereinheit 111 gespeicherten Bilder durch.
2 ist ein Flussdiagramm, das ein Beispiel von durch die Bildverarbeitungseinrichtung 101 in 1 durchgeführter Bildverarbeitung illustriert. Zuerst erfasst die Mustererzeugungseinheit 112 ein Pixelwertmuster, das eine Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in Bereichen mit Gesichtsteilen jeder einer Vielzahl von Bildern angibt (Schritt 201). Als Nächstes wählt die Auswahleinheit 113 ein zu verarbeitendes Bild aus den Bildern aus, basierend auf den Pixelwertmustern der Vielzahl von Bildern (Schritt 202).
Mit der Bildverarbeitungseinrichtung 101 in 1 kann ein für die Informationsverarbeitung zu verwendendes geeignetes Bild aus einer Vielzahl von durch Bildaufnehmen eines Gesichts einer Person erfassten Bildern ausgewählt werden.
3 illustriert ein spezifisches Beispiel der Bildverarbeitungseinrichtung 101 in 1. Die Bildverarbeitungseinrichtung 301 in 3 beinhaltet eine Speichereinheit 311, eine Bildermittlungseinheit 312, eine Merkmalspunkt-Extraktionseinheit 313, eine Frontgrad-Recheneinheit 314, eine Mustererzeugungseinheit 315, eine Auswahleinheit 316, eine Merkmals-Extraktionseinheit 317, eine Registriereinheit 318, und eine Authentifizierungseinheit 319. Die Speichereinheit 311, die Mustererzeugungseinheit 315 und die Auswahleinheit 316 entsprechen der Speichereinheit 111, der Mustererzeugungseinheit 112 bzw. der Datenformat-Registriereinheit 113 in 1.
Eine Bildgebungseinrichtung 302 ist beispielsweise eine Kamera mit einer Bildgebungsvorrichtung, wie etwa einer Charge-Coupled Device (CCD) und einem Komplementär-Metalloxid-Halbleiter (CMOS), und nimmt Video oder ein Bild eines Subjekts auf. Durch die Bildgebungseinrichtung 302 aufgenommenes Video beinhaltet eine Vielzahl von Zeitreihenbildern. Ein Bild zu jeder Zeit kann ein „Rahmen“ genannt werden.
Die Bildverarbeitungseinrichtung 301 ist beispielsweise eine biometrische Authentifizierungseinrichtung und führt biometrische Informationsverarbeitung durch, basierend auf einem Bild einer Registrierungs-Zielperson oder einer Authentifizierungs-Zielperson. Wenn die biometrische Informationsverarbeitung eine Registrierungsverarbeitung ist, die biometrische Information zu einer Registrierungs-Zielperson registriert, ist das Subjekt eine Registrierungs-Zielperson. Wenn die biometrische Informationsverarbeitung eine Authentifizierungsverarbeitung ist, welche eine Authentifizierungs-Zielperson authentifiziert, ist das Subjekt eine Authentifizierungs-Zielperson.
Die Bildgebungseinrichtung 302 nimmt Video oder Bilder eines Gesichts einer Person auf, die ein Subjekt ist, und gibt Bilder, die in dem aufgenommenen Video oder auf den aufgenommenen Bildern sind, an die Bildverarbeitungseinrichtung 301 aus. Falls das Gesicht der Person identifiziert werden mag, ist die Haltung oder Bewegung der Person nicht beschränkt. Es kann einen Fall geben, bei dem die Person still steht in Bezug auf die Bildgebungseinrichtung 302 und sein oder ihr Gesicht zur Bildgebungseinrichtung 302 wendet (zur Front wendet), einen Fall, bei dem die Person geht, so dass sie sich der Bildgebungseinrichtung 302 nähert, oder einen Fall, bei dem sich die Richtung seines oder ihres Gesichts ändert, um sich umzusehen.
Nachfolgend wird eine Bildverarbeitung beschrieben, welche durchgeführt wird, wenn eine Person sich zu der Bildgebungseinrichtung 302 bewegt, und das Gesicht der Person sich in verschiedene Richtungen wendet, mit Änderungen von seiner oder ihrem Gesichtsausdruck, wie etwa Blinzeln.
Die Bildermittlungseinheit 312 ermittelt N Bilder 331 (wobei N eine Ganzzahl gleich oder größer als 2 ist), die aus der Bildgebungseinrichtung 302 ausgegeben werden, und speichert sie in der Speichereinheit 311. Obwohl die Anzahl von Bildern, die aufgenommen werden kann, gemäß dem variiert, wie sich die Person bewegt und der Positionsbeziehung, beispielsweise zwischen der Person und der Bildgebungseinrichtung 302, ist N wünschenswerter Weise eine Ganzzahl gleich oder größer als 3M in einem Fall, bei dem M, eine gegebene Anzahl, von Bild oder Bildern, die zu verarbeiten sind (M ist eine Ganzzahl gleich oder größer als 1 und niedriger als N) auszuwählen ist oder sind.
Die Merkmalspunkt-Extraktionseinheit 313 extrahiert Merkmalspunkte, die alle eine Position eines Gesichtsteils angeben, aus jedem Bild 331 und speichert Merkmalspunkt-Information 332, die eine Position des Merkmalspunkts in der Speichereinheit 311 angeben. Der Gesichtsteil kann Augen, eine Nase, einen Mund oder dergleichen sein und der Merkmalspunkt kann Pupillen, innere Ecken der Augen, äußere Ecken der Augen, ein Oberteil der Nase, Nasenhöhlen, obere und untere, und rechte und linke Ecken des Mundes oder dergleichen sein.
4A und 4B illustrieren Beispiele des durch das Bildaufnehmen eines Gesichts einer Position und von Merkmalspunkten erfassten Bilds 331. 4A illustriert ein Beispiel des Bilds 331 und 4B illustriert ein Beispiel von Merkmalspunkten, die aus dem Bild 331 in 4A extrahiert werden. Ein Merkmalspunkt 401 gibt die Pupille des rechten Auges an, ein Merkmalspunkt 402 gibt die Pupille des linken Auges an, ein Merkmalspunkt 403 gibt ein Oberteil der Nase an, ein Merkmalspunkt 404 gibt ein rechtes Ende des Mundes an, und ein Merkmalspunkt 405 gibt ein linkes Ende des Mundes an. Beispielsweise kann die Merkmalspunkt-Extraktionseinheit 313 jede Merkmalspunkte extrahieren, durch eine Objekterkennung oder ein Maschinenlernverfahren.
Jedoch, wenn das Gesicht sich weitgehend zu der oberen, unteren, rechten oder linken Richtung dreht, oder ein Teil des Gesichts durch eine Hand der Person, einen Rahmen von Brillen, eine Maske oder dergleichen bei der Bildaufnahme verborgen ist, kann es sein, dass ein Original-Merkmalspunkt des Gesichts nicht im aufgenommenen Bild enthalten ist. In diesem Fall besteht die Möglichkeit, dass ein schattiger Teil aufgrund eines Rahmens von Brillen, Augenbrauen oder einer Vertiefung auf dem Gesicht als ein Merkmalspunkt ungeeignet detektiert wird. Wenn ein Merkmalspunkt ungeeignet detektiert wird, ist es schwierig, korrekt Merkmalsinformation zum Identifizieren einer Person zu extrahieren. Daher kann die ungeeignete Detektion zu einem Scheitern der Identitäts-Authentifizierung führen. Als Ergebnis wird es nicht bevorzugt, dass ein solches Bild für die Registrierungs-Verarbeitung oder die Authentifizierungsverarbeitung verwendet wird.
Die Frontgrad-Recheneinheit 314 berechnet einen Frontgrad 333, der repräsentiert, wie viel sich das in jedem der Bilder 331 enthaltene Gesicht zur Front der Bildgebungseinrichtung 302 wendet und speichert den Frontgrad 333 in der Speichereinheit 311. Der Frontgrad 333 wird auch Gesichtsqualitätswert genannt und steigt mit der Distanz des Gesichts zur Front abnehmend und sinkt mit der Distanz des Gesichts zur Front steigend.
Die Mustererzeugungseinheit 315 erfasst ein Pixelwertmuster 334, was eine Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in einem Bereich, der einen Gesichtsteil jedes der Bilder 331 enthält, angibt, und speichert das Pixelwertmuster 334 in der Speichereinheit 311. Die gegebene Richtung kann beispielsweise eine Oben/Unten-Richtung des Gesichts oder eine Rechts/Linksrichtung des Gesichts sein.
Beispielsweise berechnet die Mustererzeugungseinheit 315 eine Statistik zu Pixelwerten aus Pixelwerten einer Vielzahl von Pixeln, die in einer vertikalen Richtung um eine gegebene Richtung an Positionen der Pixel in der gegebenen Richtung ausgerichtet sind. Die Statistik zu Pixelwerten kann eine Gesamtsumme, ein Mittelwert oder dergleichen sein. Als Nächstes erfasst die Mustererzeugungseinheit 315 als ein Pixelwertmuster 334 ein Muster, das eine Beziehung zwischen Positionen der Pixel in der gegebenen Richtung und der Statistik angibt. Die Mustererzeugungseinheit 315 berechnet einen Charakteristik-Wert 335, der ein Merkmal des Pixelwertmusters 334 angibt, unter Verwendung des Pixelwertmusters 334, und speichert den Charakteristik-Wert 335 in der Speichereinheit 311.
Unter Verwendung von Statistik zu Pixelwerten einer Vielzahl von Pixeln, die in einer Richtung rechtwinklig zu einer gegebenen Richtung ausgerichtet sind, statt von Pixelwerten von Pixeln in der gegebenen Richtung, kann das Pixelwertmuster 334, welches die Pixelwerte der Gesamtfläche mit einem Gesichtsteil reflektiert, erfasst werden. Durch Berechnen des Charakteristik-Werts 335, der ein Merkmal des Pixelwertmusters 334 angibt, kann, ob das Bild 331 für die Registrierungsverarbeitung und die Authentifizierungs-Verarbeitung geeignet ist oder nicht, basierend auf dem berechneten Charakteristik-Wert 335 bestimmt werden.
Die Auswahleinheit 316 wählt M zu verarbeitende Bilder, basierend auf den Frontgraden 330 und den Charakteristik-Werten 335 der N Bilder 331 aus. Ein in der Registrierungs-Verarbeitung zu verarbeitendes Bild ist ein zu registrierendes Bild und ein in der Authentifizierungsverarbeitung zu verarbeitendes Bild ist ein zu authentifizierendes Bild.
Die Merkmals-Extraktionseinheit 317 extrahiert Merkmalsinformation des Gesichts, das im ausgewählten, zu verarbeitenden Bild enthalten ist. Beispielsweise kann die Merkmalsinformation eines Gesichts Positionsinformation sein, die Positionen von Teilen des Gesichts angeben. Die Merkmals-Extraktionseinheit 317 kann Merkmalsinformation zu dem Gesicht, basierend auf der Merkmalspunkt-Information 332 extrahieren. In der Extrahierungsverarbeitung speichert die Registriereinheit 318 die extrahierte Merkmalsinformation in der Speichereinheit 311 als registrierte biometrische Information 336 der Registrierungs-Zielperson. Bei der Identifizierungsverarbeitung vergleicht die Authentifizierungseinheit 319 die extrahierte Merkmalsinformation mit der registrierten biometrischen Information 336, um Authentifizierung an der Authentifizierungs-Zielperson durchzuführen.
Durch Auswählen eines zu verarbeitenden Bildes basierend auf dem Frontgrad 333 kann ein Bild 331 mit einem Gesicht bei einer nahen Distanz zur Front als ein zu verarbeitendes Bild ausgewählt werden. Indem das Bild 331 mit einer zur Front gerichteten Sicht als ein zu verarbeitendes Bild verwendet wird, kann Merkmalsinformation zu dem Gesicht, welches für die Registrierungsverarbeitung und die Authentifizierungs-Verarbeitung geeignet ist, extrahiert werden.
Durch Auswählen eines zu verarbeitenden Bildes, basierend auf dem Charakteristik-Wert 335, der ein Merkmal des Pixelwertmusters 334 angibt, kann das, echte Merkmalspunkte des Gesichts enthaltende Bild 331 als das zu verarbeitende Bild ausgewählt werden. Durch Verwenden des Bilds 331, das rechte Merkmalspunkte des Gesichts beinhaltet, als ein zu verarbeitendes Bild, kann Merkmalsinformation zu dem Gesicht, welches für die Registrierungsverarbeitung geeignet ist und die Authentifizierungsverarbeitung, extrahiert werden.
Daher, können bei der Bildverarbeitungseinrichtung 301, selbst während sich eine Person bewegt, sein oder ihr Gesicht zu verschiedenen Richtungen wendet und Änderung beim Gesichtsausdruck auftreten, Faktoren, welche die Präzision der Authentifizierung senken, wie etwa ungeeignete Detektion eines Merkmalspunkts und eine Änderung des Gesichtsausdrucks, ausgeschlossen werden, und es kann ein geeignetes, zu verarbeitendes Bild angewendet werden. Als ein Ergebnis kann eine stabile Identitäts-Authentifizierung realisiert werden.
Als Nächstes wird ein Beispiel der Berechnung des Frontgrads 333 unter Bezugnahme auf 4B beschrieben. Zuerst führt die Frontgrad-Recheneinheit 314 eine affine Transformation am Bild 331 so durch, dass der Merkmalspunkt 401 und der Merkmalspunkt 402 auf derselben Höhe sind und dass der Merkmalspunkt 404 und der Merkmalspunkt 405 auf derselben höchstens sind, und erzeugt somit ein normalisiertes Bild.
Als Nächstes berechnet die Frontgrad-Recheneinheit 314 einen Frontgrad QS des Gesichts in Rechts-Linksrichtung und einen Frontgrad QH des Gesichts in Oben-Unten-Richtung in dem normalisierten Bild und berechnet einen Frontgrad Q entsprechend dem Frontgrad 333 unter Verwendung von QS und QH. Beispielsweise kann der Frontgrad Q ein Mittelwert (arithmetisches Mittel, geometrisches Mittel oder harmonisches Mittel) von QS und QH sein.
Eine x-Achse und eine y-Achse werden als Koordinatenachsen für das normalisierte Bild gesetzt und die x-Achse gibt die horizontale Richtung des normalisierten Bilds an und die y-Achse gibt die vertikale Richtung des normalisierten Bilds an. Die horizontale Richtung ist die Rechts-Links-Richtung des Gesichts und die vertikale Richtung ist die Oben-Unten-Richtung des Gesichts. In diesem Fall berechnet die Frontgrad-Recheneinheit 314 QS beispielsweiseunter Verwendung der nachfolgenden Ausdrücke. $D i f f = \sum_{y = 0}^{H} \sum_{x = 0}^{W / 2} \frac{| I (x, y) - I (W - x + 1, y) |}{255}$
$Q S = 1 - \frac{D i f f}{H * (\frac{W}{2})}$
W gibt eine Breite des normalisierten Bildes an, und H gibt eine Höhe des normalisierten Bildes an. I(x,y) in Ausdruck (1) gibt einen Intensitätswert bei Koordinaten (x,y) auf dem normalisierten Bild an und I(W-x+1,y) gibt einen Intensitätswert an einer symmetrischen Position zu den Koordinaten (x, y) um einen Bisektor (Halbierungslinie) an, der das normalisierte Bild in der Rechts-Links-Richtung in zwei gleiche Teil unterteilt.
In diesem Fall repräsentiert Diff in Ausdruck (1) eine Gesamtsumme, welche durch Addieren von Information hinsichtlich einer Differenz zwischen Intensitätswerten von zwei an symmetrischen Positionen um den Bisektor des normalisierten Bilds vorhanden Pixeln für das gesamte normalisierte Bild erfasst wird. QS in Ausdruck (2) repräsentiert Rechts-Links-Symmetrie des normalisierten Bildes und steigt mit sinkendem Diff. Wenn das normalisierte Bild vollständig rechts-links-symmetrisch ist, ist QS auf einem Maximum. Der höchste Wert von QS ist 1 und der niedrigste Wert von QS ist 0. Die Frontgrad-Recheneinheit 314 kann Diff unter Verwendung eines RGBM eines Farbdifferenzsignals oder dergleichen jedes Pixels statt des Intensitätswerts jedes Pixels berechnen.
Andererseits wird QH aus einer Positionsbeziehung der Augen, der Nase und des Mundes berechnet, die beispielsweise im normalisierten Bild enthalten sind. Die Merkmalspunkt-Extraktionseinheit 313 extrahiert Merkmalspunkte P1 bis P5 aus durch Bildaufnahmen von Frontgesichtern einer Vielzahl unspezifischer Person vorab erfasst wurden. Der Merkmalspunkt P1 gibt die Pupille des rechten Auges an, der Merkmalspunkt P2 gibt die Pupille des linken Auges an, der Merkmalspunkt P3 gibt eine Oberseite der Nase an, der Merkmalspunkt P4 gibt ein rechtes Ende des Mundes an und der Merkmalspunkt P5 gibt ein linkes Ende des Mundes an. Die Frontgrad-Recheneinheit 314 berechnet einen Durchschnitt Myk und eine Standardabweichung σyk der y-Koordinate des Merkmalspunkts Pk (k = 1 bis 5).
Die Frontgrad-Recheneinheit 314 erfasst beispielsweise y1 bis y5 als y-Koordinaten der Merkmalspunkte 401 bis 405 im normalisierten Bild und berechnet QH durch den nachfolgenden Ausdruck. $Q H = 1 - {\sum_{k = 1}^{S} (\frac{y k - M y k}{σ y k})}^{2}$
QH in Ausdruck (3) repräsentiert, wie viel das Gesicht zu der Front in Auf-Ab-Richtung gerichtet ist, und ist auf einem Maximum, wenn alle yk zu Myk passen, und sinkt mit steigender Differenz zwischen yk und Myk. Jedoch, wenn die rechte Seite von Ausdruck (3) niedriger als 0 ist, wird QH = 0 eingestellt. Daher ist der höchste Wert von QH 1 und ist der niedrigste Wert von QH 0.
Der höchste Wert von Q, der ein Mittelwert von QS und QH ist, beträgt 1 und der niedrigste Wert von Q beträgt 0. Es kann gesagt werden, dass, je mehr 1 an Q ist, desto näher das Gesicht zur Front gerichtet ist. Wenn das Gesicht sich nach links oder rechts wendet, ist QS niedriger. Daher ist auch Q niedriger. Wenn das Gesicht sich auf- oder ab wendet, ist QH niedrig. Daher ist auch Q niedriger.
Wenn jedoch eine ungeeignete Detektion eines Merkmalspunkts auftritt, ist es schwierig, einen korrekten Frontgrad 333 zu erfassen. Daher, wenn ein zu verarbeitendes Bild unter Verwendung des Frontgrads 333 angewendet wird, besteht die Möglichkeit, dass ein zu verarbeitendes Bild, das nicht geeignet ist, ausgewählt wird. Entsprechend erfasst die Mustererzeugungseinheit 315 das Pixelwertmuster 334 und berechnet einen Charakteristik-Wert 335 als einen Index zum Auswählen eines zu verarbeitenden Bilds.
Zuerst entscheidet die Mustererzeugungseinheit 315 über einen partiellen Bereich, der einen Teil des Gesichts in einem normalisierten Bild enthält. Beispielsweise wird ein Bereich, der einen Gesichtsteil enthält, als der partielle Bereich verwendet und wird über den partiellen Bereich unter Verwendung eines Merkmalspunkts entschieden, der durch die Merkmalspunkt-Information 332 angegeben wird. Eine m-Achse und eine n-Achse werden als Koordinatenachsen für den partiellen Bereich eingestellt. Die m-Achse gibt eine horizontale Richtung des partiellen Bereichs ein und die n-Achse gibt eine vertikale Richtung des partiellen Bereichs an. Die horizontale Richtung ist rechtwinklig zur vertikalen Richtung.
5 illustriert einen, Teile eines Gesichts enthaltenen partiellen Bereich. Ein partieller Bereich 501 in 5 ist ein Bereich, der Merkmalspunkte 401 bis 405, die in 4B illustriert sind, beinhaltet.
Als Nächstes erfasst die Mustererzeugungseinheit 315 ein Pixelwertmuster 334 unter Verwendung der vertikalen Richtung als der gegebenen Richtung und unter Verwendung eines Intensitätswerts als dem Pixelwert in dem partiellen Bereich, der die Augen, Nase und Mund enthält. In diesem Fall, an einer Position n von jedem Pixel in der vertikalen Richtung, wird eine Gesamtsumme L(n) der Intensitätswerte aller Pixel, die in der horizontalen Richtung ausgerichtet sind, berechnet, und wird ein helles und dunkles Muster, das eine Beziehung zwischen der Position n jedes Pixels und L(n) repräsentiert, als das Pixelwertmuster 334 in der vertikalen Richtung erfasst.
6A und 6B illustriert Beispiele von hellen und dunklen Mustern in der vertikalen Richtung. Die horizontale Achse repräsentiert die n-Achse und die vertikale Achse gibt L(n) an. 6A illustriert ein Beispiel eines hellen und dunklen Musters, welches aus dem partiellen Bereich erfasst wird, wenn alle Merkmalspunkte korrekt detektiert sind.
Das Gesicht einer Person ist dunkler an Positionen der Augen, der Nasenhöhlen und eines Teils zwischen Ober- und Unterlippe, als die Umgebungen, und leichter an den Positionen der Oberseite der Nase und oberer und unterer Lippen. Daher, wenn alle der Merkmalspunkte korrekt detektiert werden, weist L(n) drei Minimalwerte auf, wie in 6A illustriert. Ein Minimalwert 601 gibt die Position der rechten und linken Augen an, ein Minimalwert 602 gibt die Position von Nasenhöhlen an und ein Minimalwert 603 gibt die Position des Teils zwischen den oberen und unteren Lippen an.
Andererseits illustriert 6B ein Beispiel des hellen und dunklen Musters, das aus einem partiellen Bereich erfasst wird, wenn unrichtig detektierte Merkmalspunkte existieren. Wenn unrichtig detektierte Merkmalspunkte existieren, tritt beispielsweise ein horizontaler Versatz bei einer Höhe der rechten und linken Augen auf. Daher, wie in 6B illustriert, wird ein helles und dunkles Muster mit vier oder mehr Minimalwerten erfasst, und stimmen die Positionen der Teile und die Positionen der Minimalwerte nicht überein. Entsprechend berechnet die Mustererzeugungseinheit 315 als den Charakteristik-Wert 335 eine dritte harmonische Komponente in einer Frequenz-Charakteristik des Pixelwertmusters 334. Beispielsweise kann ein durch durchführen von diskreter Fourier-Transformation an L(n) erfasstes Leistungsspektrum als die Frequenz-Charakteristik des Pixelwertmusters 334 verwendet werden und kann eine dritte harmonische Komponente S3 im Leistungsspektrum als der Charakteristik-Wert 335 verwendet werden.
Weil das helle und dunkle Muster in 6A eine gekrümmte Linie mit drei Minimalwerten ist, ist S3 hoch. Jedoch, weil das helle und dunkle Muster in 6B eine gekrümmte Linie mit vielen Minimalwerten ist, ist S3 niedrig. Daher wird S3 im Leistungsspektrum von L(n) als der Charakteristik-Wert 335 verwendet, so dass, ob die Merkmalspunkte korrekt detektiert werden oder nicht, bestimmt werden kann.
Die Mustererzeugungseinheit 315 kann auch ein Pixelwertmuster 334 erfassen, durch Verwenden der horizontalen Richtung als der gegebenen Richtung und Verwenden eines Intensitätswerts als dem Pixelwert im partiellen Bereich, der die Augen enthält.
7 illustriert ein Beispiel eines partiellen Bereichs, der die Augen beinhaltet. Ein partieller Bereich 701 in 7 beinhaltet den Merkmalspunkt 401 und den Merkmalspunkt 402, die in 4B illustriert sind, und beinhaltet nicht die Merkmalspunkte 403 bis 405.
In diesem Fall, an einer Position m jedes Pixels in der horizontalen Richtung, wird eine Gesamtsumme H(m) der Intensitätswerte aller Pixel, die in der vertikalen Richtung ausgerichtet sind, berechnet, und wird ein Hell- und DunkelMuster, das eine Beziehung zwischen der Position m jedes Pixels und H(m) repräsentiert, als das Pixelwertmuster 334 in der horizontalen Richtung erfasst.
8 und 8B illustrieren Beispiele von hellen und dunklen Mustern in der horizontalen Richtung. Die horizontale Achse gibt die m-Achse an und die vertikale Achse gibt H(m) an. 8A illustriert ein Beispiel eines hellen und dunklen Musters, das aus einem partiellen Bereich erfasst wird, einschließlich der rechten und linken Augen offen.
Weil die Intensitätswerte an den Positionen der Pupillen der offenen Augen niedriger als die Intensitätswerte der Umgebungen sind, weist H(m) zwei Minimalwerte auf, wie in 8A illustriert. Ein Minimalwert 801 gibt die Position der rechten Pupille an und ein Minimalwert 802 gibt die Position der linken Pupille an.
Andererseits illustriert 8B ein Beispiel eines hellen und dunklen Musters, das aus einem partiellen Bereich erfasst wird, der die rechten und linken Augen enthält, die blinzeln. Während die Augen blinzeln, bedecken die Augenlider die Pupillen. Die Intensitätswerte an den Positionen der Pupillen sind nahe an den Intensitätswert der Farbe der umgebenden Haut. Daher sind die Positionen der Minimalwerte uneindeutig, wie in 8B illustriert.
Entsprechend berechnet die Mustererzeugungseinheit 315 als den Charakteristik-Wert 335 eine zweite harmonische Komponente in einer Frequenz-Charakteristik des Pixelwertmusters 334. Beispielsweise kann ein durch Durchführen von diskreter Fourier-Transformation an H(m) erfasstes Leistungsspektrum als die Frequenz-Charakteristik des Pixelwertmusters 334 verwendet werden und kann eine zweite harmonische Komponente S2 im Leistungsspektrum als der Charakteristik-Wert 335 verwendet werden.
Weil das helle und dunkle Muster in 8A eine gekrümmte Linie mit zwei Minimalwerten ist, ist S2 hoch. Jedoch, weil das helle und dunkle Muster in 8B eine gekrümmte Linie mit unklaren Minimalwerten ist, ist S2 niedrig. Daher wird S2 im Leistungsspektrum von H(m) als der Charakteristik-Wert 335 verwendet, so dass die Anwesenheit von Blinzeln bestimmt werden kann.
Die Mustererzeugungseinheit 315 kann sowohl ein helles und dunkles Muster in der vertikalen Richtung als auch ein helles und dunkles Muster in der horizontalen Richtung erfassen und Charakteristik-Werte der hellen und dunklen Muster berechnen. In diesem Fall können S3 im Leistungsspektrum von L(n) und S2 im Leistungsspektrum von H(m) als die Charakteristik-Werte 335 verwendet werden.
Die Mustererzeugungseinheit 315 kann auch den Charakteristik-Wert 335 unter Verwendung von Information berechnen, welche die Frequenz-Charakteristika des Pixelwertmusters 334 ausschließt. Beispielsweise berechnet die Mustererzeugungseinheit 315 vorab einen Durchschnitt Lmean(n) von L(n) aus durch Bildaufnehmen von Frontalgesichtern einer Vielzahl unspezifizierter Leute erfassten Bildern und berechnet eine Gesamtsumme Esum von Fehlern von L(n), erfasst aus den Bildern 331, und Lmean(n). $E s u m = \sum_{n = 1}^{H p} | L m e a n (n) - L (n) |$
Hp in Ausdruck (4) repräsentiert eine Höhe eines partiellen Bereichs, der zum Erfassen eines hellen und dunklen Musters in der vertikalen Richtung verwendet wird. Esum ist niedrig, wenn Merkmalspunkte korrekt detektiert sind und ist hoch, wenn ein falsch detektierter Merkmalspunkt existiert. Daher wird Esum als der Charakteristik-Wert 335 verwendet, so dass, ob ein Merkmalspunkt oder Merkmalspunkte korrekt detektiert werden oder nicht, bestimmt werden kann.
Die Mustererzeugungseinheit 315 kann den Charakteristik-Wert 335 unter Verwendung eines RGB, eines Farb-Differenzsignals oder dergleichen jedes Pixels statt des Intensitätswerts jedes Pixels berechnen.
Die Auswahleinheit 316 berechnet eine Statistik an den Charakteristik-Werten 335 aus den Charakteristik-Werten 335 von N Bildern 331 und bezieht sich auf die N Charakteristik-Werte 335 in absteigender Reihenfolge der Frontgrade 333. Beispiele der Statistik zu dem Charakteristik-Wert 335 beinhalten einen Durchschnittswert, einen Medianwert und einen Moduswert.
Die Auswahleinheit 316 wiederholt eine Operation von, wenn eine Differenz zwischen dem Bezug genommenen Charakteristik-Wert 335 und der Statistik größer als ein Schwellenwert ist, Bezugnehmen auf den Charakteristik-Wert 335 des nächsten Bilds 331, und, wenn die Differenz niedriger als der Schwellenwert ist, Auswählen des Bilds 331 mit dem Bezug genommenen Charakteristik-Wert 335 als einem zu verarbeitenden Bild. Somit werden M Bild oder Bilder 331 als zu verarbeitende Bilder ausgewählt.
Die N Charakteristik-Werte 335 werden in absteigender Reihenfolge der Frontgrade 333 referenziert, so dass Bilder 331, welche das Gesicht beinhalten, das sich in einer Richtung nahe zur Front wendet, als durch Priorität zu verarbeitende Bilder ausgewählt werden, und dass die Effizienz der Verarbeitung des Auswählens von zu verarbeitenden Bildern gesteigert werden kann.
9 ist ein Flussdiagramm, das ein spezifisches Beispiel von durch die Bildverarbeitungseinrichtung 301 in 3 durchzuführender Bildverarbeitung illustriert. Die Bildermittlungseinheit 312 ermittelt N Bilder 331, die aus der Bildgebungseinrichtung 302 ausgegeben werden (Schritt 901). Die Merkmalspunkt-Extraktionseinheit 313 extrahiert Merkmalspunkte, die Positionen von Teilen eines Gesichts angeben, aus jedem der Bilder 331 und erzeugt eine Merkmalspunkt-Information 332, welche Positionen der Merkmalspunkte angibt (Schritt 902).
Die Frontgrad-Recheneinheit 314 berechnet den Frontgrad 333 jedes der Bilder 331 unter Verwendung der durch die Merkmalspunkt-Information 332 angegebenen Merkmalspunkte (Schritt 903). Beispielsweise berechnet die Frontgrad-Recheneinheit 314 Q(j), die einen Durchschnittswert des Frontgrads QS in der Rechts-Links-Richtung und des Frontgrads QH in der Auf-Ab-Richtung des Gesichts angibt, als den Frontgrad 333 des j-ten Bilds 331 (j = 1 bis N).
Die Mustererzeugungseinheit 315 erfasst ein Pixelwertmuster 334 jedes der Bilder 331 unter Verwendung der durch die Merkmalspunkt-Information 332 angegebenen Merkmalspunkte (Schritt 904), und berechnet den Charakteristik-Wert 335 unter Verwendung des Pixelwertmusters 334 (Schritt 905).
Nachfolgend wird der Charakteristik-Wert 335 des j-ten Bilds 331 als C(j) geschrieben. Beispielsweise wird als C(j), S3(j), welches eine dritte Wunschkomponente im Leistungsspektrum von L(n) angibt, S2(j), das eine zweite harmonische Komponente im Leistungsspektrum von H(m) angibt, oder Esum(j), was eine Gesamtsumme von Fehlern zwischen L(n) und Lmean(n) angibt, verwendet.
Die Auswahleinheit 316 berechnet einen Durchschnittswert MC und eine Standardabweichung σC von C(1) bis C(N) und sortiert die Bilder 331 und C(j) in absteigender Reihenfolge von Q(j) (Schritt 906).
Die Auswahleinheit 316 stellt 1 als eine Steuervariable i ein, die angibt, jedes der Bilder 331 (Schritt 907), und sich auf C(i) des i-ten Bits 331 in der Reihenfolge nach der Sortierung bezieht (Schritt 908). Die Auswahleinheit 316 prüft, ob C(i) eine gegebene Bedingung erfüllt oder nicht (Schritt 909). Beispielsweise ist die gegebene Bedingung, dass D(i) des nachfolgenden Ausdrucks niedriger als ein Schwellenwert ist. $D (i) = | C (i) - MC | / σ C$
D(i) von Ausdruck (5) repräsentiert eine Differenz zwischen C(i) und MC. Entsprechend vergleicht die Auswahleinheit 316 D(i) und einen Schwellenwert.
Wenn D(i) gleich oder höher als der Schwellenwert ist (NEIN in S909), inkrementiert die Auswahleinheit 316 i um 1 (Schritt 913) und wiederholt die Verarbeitung im Schritt 908 und die nachfolgenden Schritte ohne auswählen des i-ten Bilds 331.
Andererseits, wenn D(i) niedrig als der Schwellenwert ist (JA in S909), wählt die Auswahleinheit 316 das i-te Bild 331 als ein zu verarbeitendes Bild aus (Schritt 910), und überprüft, ob M Bilder 331 als zu verarbeitende Bilder ausgewählt worden sind oder nicht (Schritt 911).
Wenn nicht M Bilder 31 ausgewählt worden sind (NEIN in S911), wiederholt die Auswahleinheit 316 die Verarbeitung in Schritt 913 und den nachfolgenden Schritten.
Wenn M Bilder 331 ausgewählt worden sind (JA in S911), extrahiert die Merkmals-Extraktionseinheit 317 Merkmalsinformation zum Gesicht aus jedem der zu verarbeitenden Bilder und führt die Registriereinheit 318 oder die Authentifizierungseinheit 319 geometrische Informationsverarbeitung durch (Schritt 912). Wenn die biometrische Informationsverarbeitung die Registrierungs-Verarbeitung ist, registriert die Registriereinheit 318 die extrahierte Merkmalsinformation bei der Speichereinheit 311 als registrierte biometrische Information 336 über die Registrierungs-Zielperson. Wenn die biometrische Informationsverarbeitung die Authentifizierungs-Verarbeitung ist, vergleicht die Authentifizierungseinheit 319 die extrahierte Merkmalsinformation mit der registrierten biometrischen Information 336, um Authentifizierung der Authentifizierungs-Zielperson durchzuführen.
Wenn beispielsweise S3(i) als C(i) verwendet wird und wenn eine ungeeignete Detektion eines Merkmalspunkts auftritt, ist S3(i) niedriger. Daher ist D(i) höher. Als Ergebnis wird ein solches Bild 331 aus den zu verarbeitenden Bildern ausgeschlossen und kann die Genauigkeitsminderung einer Authentifizierung aufgrund ungeeigneter Detektion eines Merkmalspunkts verringert werden.
Andererseits, wenn S2(i) als C(i) verwendet wird und während die Augen blinzeln, ist S2(i) niedriger. Daher ist D(i) höher. Als ein Ergebnis wird ein solches Bild 331 aus den zu verarbeitenden Bildern ausgeschlossen und kann die Reduktion der Genauigkeit der Authentifizierung aufgrund des Blinzelns verringert werden.
Wenn Esum(i) als C(i) verwendet wird und wenn eine ungeeignete Detektion eines Merkmalspunkts auftritt, ist Esum(i) höher. Daher ist D(i) höher. Als Ergebnis wird ein solches Bild 331 aus den zu verarbeitenden Bildern ausgeschlossen und kann die Genauigkeitsminderung der Authentifizierung aufgrund ungeeigneter Detektion eines Merkmalspunktes verringert werden.
Durch Erfassen von D(i), basierend auf dem Millimeterwellenradar MC und der Standardabweichung σC der Charakteristik-Werten 335 der N Bilder 331 einer identischen Person kann ein geeignetes Bild 331 ausgewählt werden, ohne von einer individuellen Differenz, wie etwa der Form eines Gesichtsteils und der Positionsbeziehung zwischen Teilen abzuhängen.
Wenn die Bildgebungseinrichtung 302 Video eines Gesichts einer Person aufnimmt und das Video an die Bildverarbeitungseinrichtung 301 ausgibt, wird eine Vielzahl von Rahmen, die in dem Video enthalten ist, bei derselben Sequenz aufgenommen. Daher ist eine Änderung zwischen Bildern von zwei Rahmen, die in Zeitreihe angrenzend sind, oft klein. Jedoch, um eine Vielzahl von zu verarbeitenden Bildern auszuwählen, können mehr Änderungen der zu verarbeitenden ausgewählten Bildern mit mehr Haltungsänderungen assoziiert werden.
In diesem Fall bezieht sich im Schritt 901 die Bildermittlungseinheit 312 auf die Aufnahmezeiten der aus der Bildgebungseinrichtung 302 ausgegebenen Bilder, in der Reihenfolge der Aufnahmezeiten. Die Bildermittlungseinheit 312 wiederholt Operationen von, wenn eine Differenz zwischen der bezuggenommenen Aufnahmezeit und der Aufnahmezeit des unmittelbar zuvor erhaltenen Bilds kürzer als eine gegebene Zeit ist, Bezugnehmen auf die Aufnahmezeit des nächsten Bildes, wird referenziert, und wenn die Differenz länger als die gegebene Zeit ist, Erhalten des Bilds mit der bezuggenommenen Aufnahmezeit. Somit werden N Bilder 331 als Zeitintervalle gleich oder länger als die gegebene Zeit ermittelt.
10 ist ein Flussdiagramm, das ein Beispiel der Bilderhaltungsverarbeitung in Schritt 901 illustriert. Die Bildermittlungseinheit 312 empfängt ein Bild aus der Bildgebungseinrichtung 302 (Schritt 1001), führt Gesichts-Detektionsverarbeitung des Detektierens eines Gesichts aus dem empfangenen Bild durch (Schritt 1002), und bestimmt, ob ein Gesicht detektiert worden ist oder nicht (Schritt 1003). Wenn ein Gesicht nicht detektiert worden ist (NEIN in Schritt S1003), verwirft die Bildermittlungseinheit 312 das empfangene Bild und wiederholt die Verarbeitung in Schritt 1001 und den nachfolgenden Schritten.
Wenn andererseits ein Gesicht detektiert worden ist (JA in Schritt 1003), vergleicht die Bildermittlungseinheit 312 eine Differenz zwischen der Aufnahmezeit des empfangenen Bilds und der Aufnahmezeit des unmittelbar zuvor erhaltenen Bilds mit einer gegebenen Zeit T (Schritt 1004). Wenn die Differenz kleiner als T ist (NEIN in Schritt 1004), wiederholt die Bildermittlungseinheit 312 die Verarbeitung in Schritt 1001 und den nachfolgenden Schritten.
Wenn andererseits die Differenz gleich oder länger als T ist (JA in Schritt 1004), ermittelt die Bildermittlungseinheit 312 das empfangene Bild und speichert es in der Speichereinheit 311 als ein Bild 331 (Schritt 1005). In diesem Fall wird auch die Aufnahmezeit des empfangenen Bilds in der Speichereinheit 311 zusammen mit dem Bild 331 gespeichert.
Die Bildermittlungseinheit 312 überprüft, ob N Bilder 331 erhalten worden sind oder nicht (Schritt 1006). Wenn N Bilder 331 nicht erhalten worden sind (NEIN in Schritt 1006), wiederholt die Bildermittlungseinheit 312 die Verarbeitung in Schritt 1001 und nachfolgenden Schritten. Wenn N Bilder 331 erhalten worden sind (JA in Schritt 1006), verlässt die Bildermittlungseinheit 312 die Verarbeitung.
Gemäß der Bilderhaltungsverarbeitung in 10 können N Bilder 331 mit einer großen Bildänderung zwischen ihnen in Zeitintervallen gleich oder länger als einer gegebenen Zeit aus, aus der Bildgebungseinrichtung 302 ausgegebenem Video erhalten werden.
Die Bildverarbeitungseinrichtung 301 kann zu verarbeitende Bilder unter Verwendung einer Vielzahl von Typen von Pixelwertmustern 334 in Kombination auswählen. Beispielsweise können als die Vielzahl von Typen von Pixelwertmustern 334 zwei Typen von Pixelwertmustern 334 in der vertikalen Richtung und der horizontalen Richtung verwendet werden.
11 ist ein Flussdiagramm, das ein spezifisches Beispiel von Bildverarbeitung unter Verwendung von zwei Typen von Pixelwertmustern 334 illustriert. Die Verarbeitung in Schritten 1101 bis 1103 und Schritten 1113 bis 1116 in 11 ist die gleiche wie die Verarbeitung in Schritten 901 bis 903 und Schritten 910 bis 913 in 9.
Nachdem die Frontgrade 333 der Bilder 331 berechnet sind, erfasst die Mustererzeugungseinheit 315 ein Pixelwertmuster P1 in der vertikalen Richtung jedes der Bilder 331 unter Verwendung der Merkmalspunkte, welche durch die Merkmalspunkt-Information 332 angegeben sind (Schritt 1104). Die Mustererzeugungseinheit 315 berechnet S3(j), das eine dritte harmonische Komponente im Leistungsspektrum von L(n) repräsentiert, unter Verwendung des Pixelwertmusters P1 (Schritt 1105).
Die Mustererzeugungseinheit 315 erfasst ein Pixelwertmuster P2 in der horizontalen Richtung jedes der Bilder 331 unter Verwendung der Merkmalspunkte, welche durch die Merkmalspunkt-Information 332 angegeben sind (Schritt 1106). Die Mustererzeugungseinheit 315 berechnet S2(j), was eine zweite harmonische Komponente im Leistungsspektrum von H(m) repräsentiert, unter Verwendung des Pixelwertmusters P2 (Schritt 1107).
Die Auswahleinheit 316 berechnet einen Durchschnittswert und eine Standardabweichung von S3(1) bis S3(N) und einen Durchschnittswert und Standardabweichung von S2(1) bis S2(N) und sortiert die Bilder 331, S3(j) und S2(j) in abnehmender Reihenfolge von Q(j) (Schritt 1108).
Die Auswahleinheit 316 stellt 1 als eine Steuervariable i ein, die jedes der Bilder 331 angibt (Schritt 1109) und bezieht sich auf S3(i) und S2(i) des i-ten Bilds 331 in der Reihenfolge nach der Sortierung (Schritt 1110). Die Auswahleinheit 316 überprüft, ob S3(i) eine gegebene Bedingung erfüllt oder nicht (Schritt 1111). Die Bedingung in Schritt 1111 ist die gleiche wie die Bedingung in Schritt 909 in 9.
Wenn S3(i) die gegebene Bedingung nicht erfüllt (NEIN in S1111), wiederholt die Auswahleinheit 316 die Verarbeitung in Schritt 1116 und den nachfolgenden Schritten. Wenn andererseits S3(i) die gegebene Bedingung erfüllt (JA in Schritt 1111), wird überprüft, ob S2(i) eine gegebene Bedingung erfüllt oder nicht (Schritt 1112). Die Bedingung in Schritt 1112 ist die gleiche wie die Bedingung in Schritt 909 in 9.
Wenn S2(i) die gegebene Bedingung nicht erfüllt (NEIN in Schritt 1112), wiederholt die Auswahleinheit 316 die Verarbeitung in Schritt 1116 und den nachfolgenden Schritten. Wenn andererseits S2(i) die gegebene Bedingung erfüllt (JA in Schritt 1112), wählt die Auswahleinheit 316 das i-te Bild 331 als ein zu verarbeitendes Bild aus (Schritt 1113), und führt die Verarbeitung in Schritt 1114 und den nachfolgenden Schritten durch.
Gemäß der Bildverarbeitung in 11 kann ein Bild 331, aus dem eine ungeeignete Detektion eines Merkmalspunkts auftritt, und ein Bild 331 mit blinzelnden Augen aus den zu verarbeitenden Bildern ausgeschlossen werden. Daher kann die Genauigkeit der Authentifizierung verbessert werden im Vergleich zu einem Fall, bei dem nur ein Typ von Pixelwertmustern 334 verwendet wird. Die Konfigurationen der Bildverarbeitungseinrichtung 101 in 1 und der Bildverarbeitungseinrichtung 301 in 3 sind lediglich Beispiele und einige Komponenten können weggelassen oder geändert werden, entsprechend der Verwendung oder Bedingungen der Bildverarbeitungseinrichtung. Im Beispiel kann in der Bildverarbeitungseinrichtung 301 in 3 die Bildermittlungseinheit 312 weggelassen werden, wenn N Bilder 331 vorab in der Speichereinheit 311 gespeichert werden.
Die Merkmalspunkt-Extraktionseinheit 313 kann weggelassen werden, wenn Merkmalspunkte nicht für die Berechnung des Frontgrads 333 und des Charakteristik-Werts 335 verwendet werden. Die Frontgrad-Recheneinheit 314 kann weggelassen werden, wenn der Frontgrad 333 nicht zum Auswählen eines zu verarbeitenden Bildes verwendet wird.
Die Merkmals-Extraktionseinheit 317, die die Registriereinheit 318 und die Authentifizierungseinheit 319 können weggelassen werden, wenn die biometrische Informationsverarbeitung durch eine externe Vorrichtung durchgeführt wird. Die Bildverarbeitungseinrichtung 301 kann andere Informationsverarbeitung unter Verwendung eines zu verarbeitenden Bildes durchführen, statt der Durchführung der biometrischen Informationsverarbeitung unter Verwendung eines zu verarbeitenden Bilds.
Die Flussdiagramme in 2 und 9 bis 11 sind lediglich Beispiele und ein Teil der Verarbeitung kann weggelassen oder verändert werden, entsprechend der Konfiguration oder der Bedingungen der Bildverarbeitungseinrichtung. Beispielsweise werden in der Bildverarbeitung in 9 und 11, wenn N Bilder 331 vorab in der Speichereinheit 311 gespeichert werden, kann die Verarbeitung im Schritt 901 und Schritt 1101 weggelassen werden.
Die Verarbeitung im Schritt 902 und Schritt 1102 kann weggelassen werden, wenn Merkmalspunkte nicht für die Berechnung des Frontgrads 333 und des Charakteristik-Werts 335 verwendet werden. Die Verarbeitung in Schritt 903, Schritt 906, Schritt 1103 und Schritt 1108 kann weggelassen werden, wenn der Frontgrad 333 nicht zum Auswählen eines zu verarbeitenden Bildes verwendet wird.
Die Verarbeitung in Schritt 912 und Schritt 1115 kann weggelassen werden, wenn die biometrische Informationsverarbeitung durch eine externe Vorrichtung durchgeführt wird. Die Bildverarbeitungseinrichtung 301 kann andere Informationsverarbeitung in Schritt 912 und Schritt 1115 statt der biometrischen Informationsverarbeitung durchführen. Die Bildverarbeitungseinrichtung 301 kann eine andere Bedingung verwenden, welche die Bedingung ausschließt, dass D(i) niedriger als der Schwellenwert in Schritt 909, Schritt 1111 und Schritt 1112 ist.
Die Verarbeitung in Schritt 1002 und Schritt 1003 kann weggelassen werden, wenn es sicher ist, dass ein Gesicht in aus der Bildgebungseinrichtung 302 ausgegebenen Bildern enthalten ist, in der Bildermittlungs-Verarbeitung in 10.
Die Bilder und Merkmalspunkte in 4B, die partiellen Bereiche in 5 und 7, und die hellen und dunklen Muster in 6 und 8 sind lediglich Beispiele und die Bilder, die Merkmalspunkte, die partiellen Bereiche und die hellen und dunklen Muster variieren gemäß der Subjekt seienden Person.
Ausdrücke 1 bis 5 sind lediglich Beispiele und die Bildverarbeitungseinrichtung 301 kann eine Bildverarbeitung unter Verwendung anderer Rechenausdrücke durchführen.
12 illustriert ein Hardware-Konfigurationsbeispiel einer Informationsverarbeitungseinrichtung (Computer), die als die Bildverarbeitungseinrichtung 101 in 1 und die Bildverarbeitungseinrichtung 301 in 3 verwendet wird. Die Informationsverarbeitungseinrichtung in 12 beinhaltet eine Zentraleinheit (CPU) 1201, einen Speicher 1202, eine Eingabevorrichtung 1203, eine Ausgabevorrichtung 1204, eine Hilfsspeichervorrichtung 1205, eine Mediums-Antriebsvorrichtung 1206 und eine Netzwerkkoppelvorrichtung 1207. Diese Bestandteile sind Hardware-Teile und sind miteinander durch einen Bus 1208 gekoppelt. Die Bildgebungseinrichtung 302 in 3 kann mit dem Bus 1208 gekoppelt sein.
Der Speicher 1202 ist beispielsweise ein Halbleiterspeicher, wie ein Nurlesespeicher (ROM), ein Wahlfreizugriffsspeicher (RAM), oder ein Flash-Speicher und speichert darin Programme und Daten, welche für die Verarbeitung verwendet werden. Der Speicher 1202 kann als die in 1 illustrierte Speichereinheit 111 oder die in 3 illustrierte Speichereinheit 311 verwendet werden.
Die CPU 1201 (Prozessor) führt beispielsweise ein Programm aus, durch Verwenden des Speichers 1202, um als die Mustererzeugungseinheit 112 und die Auswahleinheit 113 in 1 zu arbeiten. Die CPU 1201 arbeitet auch als die Bildermittlungseinheit 312, die Merkmalspunkt-Extraktionseinheit 313, die Frontgrad-Recheneinheit 314, die Mustererzeugungseinheit 315, die Auswahleinheit 316, die Merkmals-Extraktionseinheit 317, die Registriereinheit 318 und die Authentifizierungseinheit 319 in 3, durch Ausführen des Programms unter Verwendung des Speichers 1202.
Die Eingabevorrichtung 1203 ist beispielsweise eine Tastatur, eine Zeigevorrichtung oder dergleichen und wird zum Eingeben von Anweisungen oder Information von einem Bediener oder einen Anwender verwendet. Die Ausgabevorrichtung 1204 ist beispielsweise eine Anzeigevorrichtung, ein Drucker, ein Lautsprecher oder dergleichen und wird zur Ausgabe von Anfragen oder Anweisungen an den Bediener oder den Anwender und Ausgabe von Verarbeitungsergebnissen verwendet. Das Verarbeitungsergebnis kann ein Authentifizierungs-Ergebnis sein, das einen Erfolg oder Scheitern einer Authentifizierung angibt.
Die Hilfsspeichervorrichtung 1205 ist beispielsweise ein Magnetdisk-Laufwerk, ein optisches Disk-Laufwerk, ein optisches Disk-Laufwerk, ein magnet-optisches Disk-Laufwerk, ein Bandlaufwerk oder dergleichen. Die Hilfsspeichervorrichtung 1205 kann ein Festplattenantrieb oder ein Flash-Speicher sein. Die Informationsverarbeitungseinrichtung speichert ein Programm und Daten in der Hilfsspeichereinheit 1205 und kann das Programm und die Daten durch ihr Laden in den Speicher 1202 verwenden. Diese Speichervorrichtung 1205 kann als die in 1 illustrierte Speichereinheit 111 oder die in 3 illustrierte Speichereinheit 311 verwendet werden.
Die Medien-Antriebsvorrichtung 1206 treibt ein tragbares Aufzeichnungsmedium 1209 an und greift auf darauf aufgezeichnete Daten zu. Das tragbare Aufzeichnungsmedium 1209 ist eine Speichervorrichtung, eine flexible Disk, eine optische Disk, eine magnet-optische Disk oder dergleichen. Das tragbare Aufzeichnungsmedium 1209 kann ein Compact-Disk-Nurlesespeicher (CD-ROM), eine Digital Versatile Disc (DVD), ein Universal Serial Bus (USB)-Speicher oder dergleichen sein. Der Bediener oder der Anwender können ein Programm und Daten auf dem tragbaren Aufzeichnungsmedium 1209 speichern und das Programm und die Daten durch ihr Laden in den Speicher 1202 verwenden.
Ein computerlesbares Aufzeichnungsmedium, in welchem ein Programm und Daten, die für die Verarbeitung zu verwenden sind, gespeichert sind, wie oben beschrieben, ist ein physikalisches (nicht-transitorisches) Aufzeichnungsmedium, wie der Speicher 1202, die Hilfsspeichervorrichtung 1205 oder das tragbare Aufzeichnungsmedium 1209.
Die Netzwerk-Koppelvorrichtung 1207 ist eine Kommunikationsschnittstellenschaltung, die mit einem Kommunikationsnetzwerk, wie etwa einem Lokalbereichsnetzwerk (LAN) oder einem Weitbereichsnetzwerk (WAN) gekoppelt ist, und die Datenumwandlung, die bei der Kommunikation involviert ist, durchführt. Die Informationsverarbeitungseinrichtung kann Programm und Daten aus externen Vorrichtungen über die Netzwerk-Koppelvorrichtung 1207 empfangen und die Programme und Daten durch ihr Laden in den Speicher 1202 verwenden.
Die Informationsverarbeitungseinrichtung muss nicht alle die Bestandteilelemente in 12 enthalten, und ein Teil der Bestandteilelemente kann weggelassen werden, abhängig von ihrer Verwendung oder Bedingungen. Beispielsweise, falls eine Schnittstelle mit einem Bediener oder einem Anwender unnötig ist, können die Eingabevorrichtung 1203 und die Ausgabevorrichtung 1204 weggelassen werden. In einem Fall, bei dem das tragbare Aufzeichnungsmedium 1209 oder das Kommunikationsnetzwerk nicht verwendet wird, kann die Mediums-Antriebsvorrichtung 1206 oder die Netzwerk-Koppelvorrichtung 1207 weggelassen werden.
Während die Ausführungsform der Offenbarung und Vorteile derselben im Detail beschrieben worden sind, können Fachleute verschiedene Änderungen, Hinzufügungen und Weglassungen vornehmen, ohne vom Schutzumfang der Erfindung abzuweichen, die in den angehängten Ansprüchen dargestellt sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2002133423 A [0005, 0013]
JP 2008243093 A [0005, 0014]

Claims

Bildverarbeitungseinrichtung, umfassend: ein erstes Mittel zum Speichern einer Vielzahl von durch Bildaufnehmen eines Gesichts einer Person erfassten Bildern; und ein zweites Mittel zum Erfassen eines Pixelwertmusters, das eine Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in einem Bereich angibt, der Teile des Gesichts jedes der Vielzahl von Bildern aufweist, und Auswählen eines zu verarbeitenden Bilds aus der Vielzahl von Bildern, basierend auf den Pixelwertmustern der Vielzahl von Bildern.
Bildverarbeitungseinrichtung gemäß Anspruch 1, wobei an Positionen von Pixeln in der gegebenen Richtung das zweite Mittel zum Berechnen einer Statistik zu Pixelwerten aus Pixelwerten einer Vielzahl von Pixeln, die in einer Richtung rechtwinklig zu der gegebenen Richtung ausgerichtet sind, Erfassen, als das Pixelwertmuster, eines Musters, das eine Beziehung zwischen Positionen von Pixeln in der gegebenen Richtung und der Statistik angibt, Berechnen eines charakteristischen Werts unter Verwendung des Pixelwertmusters und Auswählen des zu verarbeitenden Bilds, basierend auf den charakteristischen Werten der Vielzahl von Bildern.
Bildverarbeitungseinrichtung gemäß Anspruch 2, wobei in einem Bereich, der Augen, eine Nase und einen Mund als die Teile des Gesichts enthält, das zweite Mittel zum Erfassen des Pixelwertmusters unter Verwendung einer Oben-Unten-Richtung des Gesichts als der gegebenen Richtung und verwenden von Intensitätswerten als die Pixelwerte und Berechnen einer dritten harmonischen Komponente in einer Frequenz-Charakteristik des Pixelwertmusters als der Charakteristik-Wert.
Bildverarbeitungseinrichtung gemäß Anspruch 2, wobei in einem Bereich, der Augen als Teil des Gesichts enthält, das zweite Mittel zum Erfassen des Pixelwertmusters unter Verwendung einer Rechts-Links-Richtung des Gesichts als der gegebenen Richtung und Verwenden von Intensitätswerten als den Pixelwerten, und Berechnen einer zweiten harmonischen Komponente in einer Frequenz-Charakteristik des Pixelwertmusters, als den charakteristischen Wert.
Bildverarbeitungseinrichtung gemäß Anspruch 2, wobei in einem Bereich, der Augen, eine Nase und einen Mund als die Teile des Gesichts beinhaltet, das zweite Mittel zum Erfassen eines Pixelwertmusters in einer Auf-Ab-Richtung des Gesichts unter Verwendung der Auf-Ab-Richtung des Gesichts als der gegebenen Richtung und Verwenden von Intensitätswerten als den Pixelwerten und Berechnen einer dritten harmonischen Komponente in einer Frequenz-Charakteristik des Pixelwertmusters in der Auf-Ab-Richtung des Gesichts als den Charakteristik-Wert, und, in einem die Augen als die Teile des Gesichts beinhaltenden Bereich das zweite Mittel zum Erfassen eines Pixelwertmusters in einer Rechts-Links-Richtung des Gesichts unter Verwendung der Rechts-Links-Richtung des Gesichts als der gegebenen Richtung und Verwenden von Intensitätswerten als den Pixelwerten, Berechnen einer zweiten harmonischen Komponente in der Frequenz-Charakteristik des Pixelwertmusters in der Rechts-Links-Richtung des Gesichts als den Charakteristik-Wert und Auswählen des zu verarbeitenden Bilds, basierend auf der dritten harmonischen Komponente jedes der Vielzahl von Bildern und der zweiten harmonischen Komponente jedes der Vielzahl von Bildern.
Bildverarbeitungseinrichtung gemäß einem der Ansprüche 2 bis 5, wobei das zweite Mittel zum Berechnen eines Frontgrads, der angibt, wie weit das in jedem der Vielzahl von Bildern enthaltene Gesicht sich zur Front wendet, und Auswählen eines zu verarbeitenden Bilds, basierend auf dem charakteristischen Wert jedes der Vielzahl von Bildern und dem Frontgrad jedes der Vielzahl von Bildern.
Bildverarbeitungseinrichtung gemäß Anspruch 6, wobei das zweite Mittel zum Auswählen einer gegebenen Anzahl von Bildern als den zu verarbeitenden Bildern durch Wiederholen von Operationen des Berechnens einer Statistik jedes der Vielzahl von Bildern, Bezugnehmen auf charakteristische Werte der Vielzahl von Bildern in absteigender Reihenfolge der Frontgrade und, wenn eine Differenz zwischen dem bezuggenommenen charakteristischen Wert und der Statistik zum charakteristischen Wert höher als ein Schwellenwert ist, Bezugnehmen auf den charakteristischen Wert eines nächsten Bildes, und wenn die Differenz niedriger als der Schwellenwert ist, Auswählen des Bilds, welches den bezuggenommenen charakteristischen Wert aufweist, als das zu verarbeitende Bild.
Bildverarbeitungseinrichtung gemäß einem der Ansprüche 1 bis 7, wobei das zweite Mittel zum Ermitteln der Vielzahl von Bildern durch Wiederholen von Operationen des Bezugnehmens auf eine Aufnahmezeit eines das Gesicht beinhaltenden Bilds in der Reihenfolge der Aufnahmezeiten, und, wenn eine Differenz zwischen der referenzierten Aufnahmezeit und der Aufnahmezeit eines unmittelbar zuvor erhaltenen Bilds kürzer als eine gegebene Zeit ist, Bezugnehmen auf eine Aufnahmezeit eines nächsten Bildes, und wenn die Differenz zwischen der referenzierten Aufnahmezeit und der Aufnahmezeit des unmittelbar zuvor erhaltenen Bilds länger als die gegebene Zeit ist, Ermitteln des Bildes, welches die referenzierte Aufnahmezeit aufweist.
Bildverarbeitungseinrichtung gemäß einem der Ansprüche 1 bis 8, wobei das zu verarbeitende Bild ein zu registrierendes oder zu authentifizierendes Bild ist.
Programm, um einen Prozessor zu veranlassen, einen Prozess auszuführen, wobei der Prozess umfasst: Erfassen eines Pixelwertmusters, das eine Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in einem Bereich angibt, der Teile eines Gesichts aufweist, jedes der Vielzahl von Bildern, welche durch das Bildaufnehmen eines Gesichts einer Person erfasst werden; und Auswählen eines zu verarbeitenden Bilds aus der Vielzahl von Bildern, basierend auf den Pixelwertmustern der Vielzahl von Bildern.
Programm gemäß Anspruch 10, wobei an Positionen von Pixeln in der gegebenen Richtung das Programm eine Statistik zu Pixelwerten aus Pixelwerten einer Vielzahl von Pixeln, die in einer Richtung rechtwinklig zu der gegebenen Richtung ausgerichtet sind, berechnet, als das Pixelwertmuster ein Muster erfasst, das eine Beziehung zwischen Positionen von Pixeln in der gegebenen Richtung und der Statistik angibt, einen charakteristischen Wert unter Verwendung des Pixelwertmusters berechnet und das zu verarbeitende Bild basierend auf den charakteristischen Werten der Vielzahl von Bildern auswählt.
Programm gemäß Anspruch 10, wobei in einem Bereich, der Augen, eine Nase und einen Mund als die Teile des Gesichts beinhaltet, das Programm den Pixelwert unter Verwendung einer Oben-Unten-Richtung des Gesichts als die gegebene Richtung erfasst, und unter Verwendung von Intensitätswerten als den Pixelwerten, und eine dritte harmonische Komponente in einer Frequenz-Charakteristik des Pixelwertmusters als den Charakteristik-Wert berechnet.
Verfahren, um einen Computer zu veranlassen, eine Verarbeitung auszuführen, umfassend: Erfassen eines Pixelwertmusters, das eine Beziehung zwischen Positionen in einer gegebenen Richtung und Pixelwerten in einem Bereich angibt, der Teile eines Gesichts aufweist, jedes der Vielzahl von Bildern, welche durch Bildaufnehmen eines Gesichts einer Person erfasst werden; und Auswählen eines zu verarbeitenden Bilds aus der Vielzahl von Bildern, basierend auf den Pixelwertmustern der Vielzahl von Bildern.
Verfahren gemäß Anspruch 13, wobei an Positionen von Pixeln in der gegebenen Richtung das Programm eine Statistik zu Pixelwerten aus Pixelwerten einer Vielzahl von Pixeln berechnet, die in einer Richtung rechtwinklig zur gegebenen Richtung ausgerichtet sind, als das Pixelwertmuster ein Muster erfasst, das eine Beziehung zwischen Positionen von Pixeln in der gegebenen Richtung und der Statistik angibt, einen charakteristischen Wert unter Verwendung des Pixelwertmusters berechnet und das zu verarbeitende Bild basierend auf den charakteristischen Werten der Vielzahl von Bildern auswählt.
Verfahren gemäß Anspruch 13, wobei in einem, Augen, eine Nase und einen Mund als Teile des Gesichts enthaltenden Bereich das Programm das Pixelwertmuster unter Verwendung einer Oben-Unten-Richtung des Gesichts als der gegebenen Richtung und unter Verwendung von Intensitätswerten als den Pixelwerten erfasst, und eine dritte harmonische Komponente in einer Frequenz-Charakteristik des Pixelwertmusters als den Charakteristik-Wert berechnet.