DE102004051159A1

DE102004051159A1 - Gesichts-Identifizierungsvorrichtung, Gesicht-Identifizierungsverfahren und Gesicht-Identifizierungsprogramm

Info

Publication number: DE102004051159A1
Application number: DE102004051159A
Authority: DE
Inventors: Takahiro Wako Oohashi; Naoaki Wako Sumida; Nobuo Wako Higaki
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-02-13
Filing date: 2004-10-20
Publication date: 2005-09-08
Anticipated expiration: 2024-10-21
Also published as: JP4317465B2; DE102004051159B4; KR20050081850A; JP2005228042A; US20050180611A1; KR100617390B1; US7362887B2

Abstract

Gesichts-Identifizierungsvorrichtung (4) zur Identifizierung eines Gesichts umfasst entwurfsgemäß eine Gesicht-Erwartungsbereich-Einrichtung (50), welche einen Bereich innerhalb des von ihm/ihr aufgenommenen Bildes festlegt, von dem erwartet wird, dass es sein/ihr Gesicht aufweist; eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung (60) zur Konvertierung des Gesichtsbereiches zu einem Bild mit einer Standard-Größe, womit dieses zu einem Standard-Bild wird, und zur Ermittelung seiner/ihrer Rechte/Linke-Pupille-Kandidatenpunkte aus einem innerhalb des Standard-Bildes liegenden Such-Bereich; eine Referenz-Daten-Erzeugungseinrichtung (70) zur Erzeugung eines Normalisierungsbildes aus dem Standard-Bild, womit der Abstand zwischen dem Rechte/Linke-Pupille-Kandidatenpunkt standardisiert wird, und zur Erzeugung von Referenz-Daten, um die Zweckmäßigkeit von dem Gesichtsbereich aus dem Normalisierungsbild zu bewerten; und eine Gesichtsbereich-Bewertungseinrichtung (80) zum Erhalten eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches.

Description

Hintergrund der Erfindung
1. Erfindungsgebiet
Die vorliegende Erfindung bezieht sich auf eine Gesicht-Identifizierungsvorrichtung, ein Gesicht-Identifizierungsverfahren und ein Gesicht-Identifizierungsprogramm zur Identifizierung eines Gesichts einer Zielperson auf einem Zielbild; im besonderen bezieht sie sich auf die Gesicht-Identifizierungsvorrichtung, das Gesicht-Identifizierungsverfahren und das Gesicht-Identifizierungsprogramm um zu entscheiden, ob oder ob nicht ein Bereich eines Gesichts (Gesichtsbereich), welcher in einem durch Aufnehmen der Zielperson erhaltenem Bild erwartet wird (aufgenommenem Bild), geeignet ist. Und Identifizierung des Gesichts der Zielperson, auf Grundlage des für geeignet bewerteten Bereiches des Gesichts (Gesichtsbereiches).

In den letzten Jahren wurden viele Verfahren und Vorrichtungen zur Identifizierung einer Zielperson von einem Bild vorgeschlagen, wobei die Zielperson von einer Videokamera (nachstehend einfach als „Kamera" bezeichnet), wie z.B. eine CCD (ladungsgekoppeltes Bauelement, engt. „Charged Coupled Device") Kamera, aufgenommen wird.

Konventionelle Technologien dieser Art sind beschrieben in: Patentdokument 1, japanische Patent-Offenlegungsschrift Hei Nr. 09-251534 (Absatz 0021); Patentdokument 2, japanische Patent-Offenlegungsschrift Hei Nr. 10-232934 (Absatz 0023 und 1); und Patentdokument 3, japanische Patent-Offenlegungsschrift Hei Nr. 11-015979 (Absatz 0015 bis 0031 und 2).

Die in diesen Patentdokumenten beschriebenen Erfindungen extrahieren einen Bereich eines Gesichts (Gesichtsbereich) aus einem durch Aufnehmen einer Zielperson erzielten Bild, wenden Normalisierungsprozesse auf den Gesichtsbereich an, nehmen Merkmale wie Augen und einen Mund in den extrahierten Gesichtsbereich auf, und dadurch wird ein normalisiertes Gesichtsbereich-Bild (normalisiertes Gesichtsbild) erstellt. Die Erfindungen vergleichen/ordnen das normalisierte Gesichtsbild mit einem zuvor erstellten Verzeichnis-Bild und erkennen/identifizieren die Zielperson.

Die in den Patentdokumenten 1 und 2 beschriebenen Erfindungen führen die Extrahierung des Gesichtsbereiches durch, indem ein Korrelationswert berechnet wird, während ein Standard-Gesichtsbild (Vorlage) über den gesamten Bereich des Bildes bewegt wird, und der Bereich mit dem höchsten Korrelationswert als Gesichtsbereich angesehen wird.

Zusätzlich führt die in dem Patentdokument 3 beschriebene Erfindung die Extrahierung des Gesichtsbereiches durch, indem in dem Bild nach einem Fleischfarben-Bereich und nach einem dunklen Bereich gesucht wird, und der Fleischfarben-Bereich, in welchem der dunkle Bereich mit einem konstanten Verhältnis eingeschlossen ist, als Gesichtsbereich angesehen wird.

Aber da sich eine Positionsbeziehung zwischen einer Lichtquelle und der Zielperson ändert, wenn sich eine Zielperson bewegt oder wenn eine Aufnahme der Zielperson unter Bewegung gemacht wird, entsteht in manchen Fällen ein Schatten auf dem Gesicht der Zielperson innerhalb des Bildes, und die Extrahierung des Gesichtsbereiches kann nicht geeignet durchgeführt werden, da diese einen Einfluss durch den Schatten erfährt.

In so einem Fall erkennen/identifizieren die in den Patentdokumenten beschriebenen Erfindungen die Zielperson ohne zu beurteilen, ob oder ob nicht der extrahierte Gesichtsbereich für die Erkennung/Identifizierung der Zielperson geeignet ist. Dementsprechend haben die Erfindungen, falls ein ungeeigneter Gesichtsbereich extrahiert wird, die Erkennung/Identifizierung der Zielperson auf Grundlage des ungeeigneten Gesichtsbereiches zur Folge, und dabei entsteht das Problem, dass diese Erfindungen die Zielperson nicht richtig erkennen/identifizieren können.

Infolgedessen besteht ein starker Bedarf für ein Verfahren und eine Vorrichtung, durch die solche Probleme nicht entstehen.

Zusammenfassung der Erfindung

Die vorliegende Erfindung bezieht sich auf eine Gesicht-Identifizierungsvorrichtung, umfassend eine Identifizierungseinrichtung zur Identifizierung eines Gesichts einer Zielperson, anhand eines mit einer Kamera aufgenommenen Bildes (aufgenommenes Bild) der Zielperson.

Die Gesicht-Identifizierungsvorrichtung umfasst: eine Gesicht-Erwartungsbereich-Einrichtung zur Festlegung eines Bereiches, von dem erwartet wird, dass dieser ein Gesichtsbereich der Zielperson ist, auf Grundlage von Entfernungsinformationen, welche eine Entfernung von dieser Kamera bis zu dieser Zielperson darstellen, und auf Grundlage von Profil-Informationen und Fleischfarben-Bereichsinformationen dieser Zielperson, welche aus diesem Bild erzeugt werden; eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung zur Erzeugung eines Standard-Bildes, indem dieser Gesichtsbereich zu einem Bild mit einer Standard-Größe auf Grundlage der Entfernungsinformationen umgewandelt wird, indem ein Such-Bereich festgelegt wird, womit dieser zu einem Schwerpunkt des Gesichtsbereiches in dem Standard-Bild gemacht wird, und indem nach einer kreisförmigen Kante zu jedem innerhalb des Such-Bereiches liegenden Pixel gesucht wird, und ein Rechte-Pupille-Kandidatenpunkt und ein Linke-Pupille-Kandidatenpunkt der Zielperson anhand von Pixeln mit vorgegebener kreisförmiger Kante ermittelt wird; eine Referenz-Daten-Erzeugungseinrichtung zur Rotation des Standard-Bildes, so dass ein den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt verbindendes Linien-Segment innerhalb des Standard-Bildes horizontal wird, woraufhin ein Normalisierungsbild erzeugt wird, womit der Abstand zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt standardisiert wird, und Referenz-Daten erstellt werden, um die Zweckmäßigkeit dieses Gesichtsbereiches aus dem Normalisierungsbild zu bewerten; und eine Gesichtsbereich-Bewertungseinrichtung zur Ermittelung eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches, anhand des ermittelten Näherungsgrades.

Die Gesicht-Identifizierungsvorrichtung ist bevorzugt so ausgeführt, dass die Pupillen-Kandidatenpunkt-Erkennungseinrichtung jeweils mindestens einen Rechte-Pupille-Kandidatenpunkt und einen Linke-Pupille-Kandidatenpunkt erkennt, und die Referenzdaten für alle Kombinationen von ermittelten Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten erzeugt werden.

Desweiteren ist die Gesicht-Identifizierungsvorrichtung so ausgeführt, dass, falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als ungeeignet eingestuft wird, die Bewertungseinrichtung die Gesicht-Erwartungsbereich-Einrichtung auffordert erneut einen Gesicht-Erwartungsbereich der Zielperson festzulegen. Falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als geeignet eingestuft wird, macht die Bewertungseinrichtung bevorzugt die von der Pupillen-Kandidatenpunkt-Erkennungseinrichtung erkannten Rechte-Pupille-Kandidatenpunkt und Linke-Pupille-Kandidatenpunkt zu einem Standard und gleicht den Gesichtsbereich ab.

Zusätzlich liefert die vorliegende Erfindung ein Verfahren zur Identifizierung eines Gesichts einer Zielperson, anhand eines mit einer Kamera aufgenommenen Bildes der Zielperson, und bezieht sich auf ein Gesicht-Identifizierungsverfahren umfassend:
einen Gesicht-Erwartungsbereich-Schritt zur Festlegung eines Bereiches, von dem erwartet wird, dass dieser ein Gesichtsbereich der Zielperson ist, auf Grundlage von Entfernungsinformationen, welche eine Entfernung von dieser Kamera bis zu dieser Zielperson darstellen, und auf Grundlage von Profil- Informationen und Fleischfarben-Bereichsinformationen dieser Zielperson, welche aus diesem Bild erzeugt werden; einen Pupillen-Kandidatenpunkt-Erkennungsschritt zur Erzeugung eines Standard-Bildes, indem dieser Gesichtsbereich zu einem Bild mit einer Standard-Größe auf Grundlage der Entfernungsinformationen umgewandelt wird, indem ein Such-Bereich festgelegt wird, womit dieser zu einem Schwerpunkt des Gesichtsbereiches in dem Standard-Bild gemacht wird, und indem nach einer kreisförmigen Kante zu jedem innerhalb des Such-Bereiches liegenden Pixel gesucht wird, und ein Rechte-Pupille-Kandidatenpunkt und ein Linke-Pupille-Kandidatenpunkt der Zielperson anhand von Pixeln mit vorgegebener kreisförmiger Kante ermittelt wird; einen Referenz-Daten-Erzeugungsschritt zur Rotation des Standard-Bildes, so dass ein den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt verbindendes Linien-Segment innerhalb des Standard-Bildes horizontal wird, woraufhin ein Normalisierungsbild erzeugt wird, womit der Abstand zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt standardisiert wird, und Referenz-Daten erstellt werden, um die Zweckmäßigkeit dieses Gesichtsbereiches aus dem Normalisierungsbild zu bewerten; und einen Gesichtsbereich-Bewertungsschritt zur Ermittelung eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches, anhand des ermittelten Näherungsgrades; einen Gesichtsdaten-Erzeugungsschritt, in welchem Gesichtsdaten der Zielperson aus dem Normalisierungsbild erzeugt werden, falls der Gesichtsbereich in dem Gesichtsbereich-Bewertungsschritt als geeignet bewertet wurde; und einen Gesicht-Identifizierungsschritt, in welchem die Gesichtsdaten, die in dem Gesichtsdaten-Erzeugungsschritt erstellt wurden, mit Gesichtsdaten, welche in einer Speicher-Einrichtung erfasst sind, verglichen und zugeordnet werden.

Um ein Gesicht einer Zielperson anhand von einem von einer Kamera aufgenommenen Bild dieser Zielperson zu identifizieren, bezieht sich die vorliegende Erfindung des weiteren auf ein Gesichts-Identifizierungsprogramm, wobei man einen Computer wirken lässt als: eine Gesicht-Erwartungsbereich-Einrichtung zur Festlegung eines Bereiches, von dem erwartet wird, dass dieser ein Gesichtsbereich der Zielperson ist, auf Grundlage von Entfernungsinformationen, welche eine Entfernung von dieser Kamera bis zu dieser Zielperson darstellen, und auf Grundlage von Profil-Informationen und Fleischfarben-Bereichsinformationen dieser Zielperson, welche aus diesem Bild erzeugt werden; eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung zur Erzeugung eines Standard-Bildes, indem dieser Gesichtsbereich zu einem Bild mit einer Standard-Größe auf Grundlage der Entfernungsinformationen umgewandelt wird, indem ein Such-Bereich festgelegt wird, womit dieser zu einem Schwerpunkt des Gesichtsbereiches in dem Standard-Bild gemacht wird, und indem nach einer kreisförmigen Kante zu jedem innerhalb des Such-Bereiches liegenden Pixel gesucht wird, und ein Rechte-Pupille-Kandidatenpunkt und ein Linke-Pupille-Kandidatenpunkt der Zielperson anhand von Pixeln mit vorgegebener kreisförmiger Kante ermittelt wird; eine Referenz-Daten-Erzeugungseinrichtung zur Rotation des Standard-Bildes, so dass ein den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt verbindendes Linien-Segment innerhalb des Standard-Bildes horizontal wird, woraufhin ein Normalisierungsbild erzeugt wird, womit der Abstand zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt standardisiert wird, und Referenz-Daten erstellt werden, um die Zweckmäßigkeit dieses Gesichtsbereiches aus dem Normalisierungsbild zu bewerten; und eine Gesichtsbereich-Bewertungseinrichtung zur Ermittelung eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches, anhand des ermittelten Näherungsgrades; einen Gesichtsdaten-Erzeugungsschritt, in welchem Gesichtsdaten der Zielperson aus dem Normalisierungsbild erzeugt werden, falls der Gesichtsbereich in dem Gesichtsbereich-Bewertungsschritt als geeignet bewertet wurde; und
einen Gesicht-Identifizierungsschritt, in welchem die Gesichtsdaten, die in dem Gesichtsdaten-Erzeugungsschritt erstellt wurden, mit Gesichtsdaten, welche in einer Speicher-Einrichtung erfasst sind, verglichen und zugeordnet werden.

Kurze Beschreibung der Zeichnungen
1 ist ein Block-Diagramm, welches die generelle Konfiguration einer Gesicht-Identifizierungsanordnung A zeigt.
2 ist ein Block-Diagramm, welches eine Konfiguration einer Bild-Analyse-Vorrichtung 2 und einer Profil-Extraktionsvorrichtung zeigt, welche in der in 1 gezeigten Gesicht-Identifizierungsanordnung A enthalten sind.
3A ist eine Zeichnung, die ein Entfernungsbild D1 zeigt; 3B ist eine Zeichnung, die ein Unterschiedsbild D2 zeigt; 3C ist eine Zeichnung, die ein Kanten-Bild D3 zeigt; und 3D ist eine Zeichnung, die Fleischfarben-Bereiche R1 und R2 zeigt.
4A und 4B sind Zeichnungen zur Veranschaulichung eines Verfahrens zur Festlegung einer Ziel-Entfernung.
5A und 5C sind Zeichnungen zur Veranschaulichung von Verfahren zur Festlegung eines Zielbereiches T und zur Extrahierung eines Profils O einer Zielperson C aus dem Zielbereich.
6. ist ein Block-Diagramm, welches eine Konfiguration einer Gesicht-Identifizierungsvorrichtung 4 zeigt, welche in der in 1 dargestellten Gesicht-Identifizierungsanordnung A enthalten ist.
7A ist eine Zeichnung, welche ein Verfahren zur Bestimmung eines Gesicht-Erwartungsbereiches in einem Standard-Bild, welches aus einem Bild erzeugt wurde; 7B ist eine vergrößerte Zeichnung der Umgebung eines Bereiches, welcher als Gesicht-Erwartungsbereich in einem Standard-Bild bestimmt wurde.
8A ist eine Zeichnung, welche einen innerhalb des Gesicht-Erwartungsbereiches liegenden Rechte-Auge-Bereich und einen Linke-Auge-Bereich zeigt, in denen nach einem Rechte-Auge-Kandidatenpunkt und einem Linke-Auge-Kandidatenpunkt gesucht wird; 8B ist eine Zeichnung, welche ein Aspekt eines kreisförmigen Kanten-Filters beschreibt.
9A ist eine Zeichnung, welche Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte zeigt, die in einem Rechte-Auge-Bereich und einem Linke-Auge-Bereich gefunden wurden; 9B ist eine Zeichnung, die alle Kombinationen von Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten auflistet.
10A ist eine Zeichnung, die ein Verfahren veranschaulicht, mit der ein ungeeignetes Paar der Paare von Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten entfernt werden kann; 10B ist eine Zeichnung, die ein weiteres Verfahren veranschaulicht, mit der ein ungeeignetes Paar der Paare von Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten entfernt werden kann.
11 ist eine Zeichnung, die einen Ablauf zur Erzeugung eines normalisierten Gesichtsbildes aus einem Standard-Bild beschreibt.
12 ist eine Zeichnung, die einen Fall beschreibt, in dem ein Näherungsgrad zwischen Referenz-Daten und aus einem Gesicht-Erwartungsbereich erzeugte Standard-Daten ermittelt wird.
13 ist eine Zeichnung, die ein Beispiel zeigt, in dem ein Bereich, der das Gesicht nicht enthält, als Gesicht-Erwartungsbereich festgelegt wurde.
14 ist ein Ablauf-Diagramm, welches die Verarbeitung in der Gesicht-Identifizierungsvorrichtung 4 beschreibt.
15 ist ein Ablauf-Diagramm, welches die Verarbeitung in der Gesicht-Identifizierungsanordnung A beschreibt.
16 ist eine schematische Zeichnung, die ein Ergebnis einer Näherungs-Rechnung beschreibt, welche durchgeführt wird, um ein Pupillen-Kandidatenpunkt abzugleichen.
Beschreibung bevorzugter Ausführungsformen
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Erfindung mit Bezugnahme auf die Zeichnungen beschrieben. Als erstes wird hierbei die Konfiguration einer Gesicht-Identifizierungsanordnung A beschrieben, die ein der vorliegenden Erfindung entsprechende Gesicht-Identifizierungsvorrichtung 4 umfasst, Bezug nehmend auf 1 bis 5. Dann wird eine Funktionsweise der Gesicht-Identifizierungsanordnung A, Bezug nehmend auf 14 und 15, beschrieben.
[Konfiguration einer Gesicht-Identifizierungsanordnung A]
Als erstes wird eine generelle Konfiguration der Gesicht-Identifizierungsanordnung A beschrieben, die eine der vorliegenden Erfindung entsprechende Gesicht-Identifizierungsvorrichtung 4 umfasst, Bezug nehmend auf 1.
Wie in 1 dargestellt, umfasst die Gesicht-Identifizierungsanordnung A zwei Kameras 1 (1a und 1b) zur Aufnahme eines Bildes einer Zielperson (nicht dargestellt); eine Bild-Analyse-Vorrichtung 2 für die Analysierung des von den Kameras 1 aufgenommen Bildes (aufgenommenes Bild), und für die Erzeugung verschiedener Informationen; eine Profil-Extraktionsvorrichtung 3 zur Extraktion eines Profils der Zielperson, auf Grundlage der verschiedenen von der Bild-Analyse-Vorrichtung 2 erzeugten Informationen; und die Gesicht-Identifizierungsvorrichtung 4 zur Identifizierung des Gesichts der Zielperson, auf Grundlage der verschiedenen von der Bild-Analyse-Vorrichtung 2 erzeugten Informationen und des Profils (Profil-Informationen) der Zielperson, welches von der Profil-Extraktionsvorrichtung 3 extrahiert wurde. Hier werden die Kameras 1, die Bild-Analyse-Vorrichtung 2, die Profil-Extraktionsvorrichtung 3 und die Gesicht-Identifizierungsvorrichtung 4 der Reihe nach beschrieben.
[Kameras 1]
Die Kameras 1 (1a, 1b) sind Farb-CCD-Kameras und die rechte Kamera 1a und die linke Kamera 1b sind nebeneinander im Abstand B angeordnet. Hier ist die rechte Kamera 1a eine Referenz-Kamera. Bilder (aufgenommene Bilder), die von der rechten Kamera 1a und der linken Kamera 1b aufgenommen wurden, werden in einer nicht dargestellten Bildfangschaltung („Framegrabber") bildweise abgespeichert, und dann synchron an die Bild-Analyse-Vorrichtung 2 übergeben.
Währenddessen führen die rechte Kamera 1a und die linke Kamera 1b eine Kalibrierung und eine Verbesserung der Bilder (aufgenommene Bilder) mittels eines nicht dargestellten Abgleich-Instrumentes durch, und geben diese in die Bild-Analyse-Vorrichtung 2 nach Abgleichen der Bilder ein. Zusätzlich sind die Kameras 1 bewegbare Kameras, und wenn ein Hintergrund innerhalb der Bilder sich ändert, kompensieren die Kameras diese Änderung, auf Grundlage von Kamera-Bewegungsgrößen wie z.B. durch Schwenken oder Neigen der Kameras je Bild.
[Bild-Analyse-Vorrichtung 2]
Die Bild-Analyse-Vorrichtung 2 ist eine Vorrichtung zur Analyse von Bildern (aufgenommene Bilder), welche von den Kameras 1a und 1b übergeben werden, und zur Erzeugung von „Entfernungsinformationen", „Bewegungsinformationen", „Kanten-Informationen", und „Fleischfarben-Bereichsinformationen".
Wie in 2 dargestellt umfasst die Bild-Analyse-Vorrichtung 2 ein Entfernungsinformationen-Erzeugungselement 21 zur Erzeugung der „Entfernungsinformationen", ein Bewegungsinformationen-Erzeugungselement 22 zur Erzeugung der „Bewegungsinformationen", ein Kanten-Informationen-Erzeugungselement 23 zur Erzeugung der Kanten-Informationen, und ein Fleischfarben-Bereichsinformationen-Erzeugungselement 24 zur Erzeugung der „Fleischfarben-Bereichsinformationen".
[Entfernungsinformationen-Erzeugungselement 21]
Das Entfernungsinformationen-Erzeugungselement 21 ermittelt für jedes Pixel eine Entfernung von den Kameras 1, auf Grundlage einer Parallaxe von zwei Bildern, welche von den Kameras 1a und 1b zur gleichen Zeit aufgenommen wurden. Konkreter, das Element 21 ermittelt die Parallaxe aus einem ersten, von der Referenz-Kamera 1a aufgenommenen Bild und einem zweiten, von der Kamera 1b aufgenommenen Bild, unter Verwendung eines Block-Korrelationsverfahrens; und dann schreibt das Element 21 die Distanz von den Kameras 1 zu einem aufgenommenen Ziel in jedes Pixel entsprechend der Parallaxe, unter Verwendung eines Dreiecksverfahrens. Das Element 21 erzeugt eine Übereinstimmung zwischen der ermittelten Entfernung und jedem Pixel des ersten Bildes, und erzeugt ein Entfernungsbild D1 (siehe 3A), in welchem die Entfernung durch ein Pixel-Wert ausgedrückt ist. Das Entfernungsbild D1 entspricht den Entfernungsinformationen. In einem Beispiel in 3A existiert eine Zielperson C bei einer gleichen Entfernung.
Das Block-Korrelationsverfahren ist ein Verfahren zum Ermitteln der Parallaxe, in dem derselbe Block (z.B. 16 × 16 Pixel) einer bestimmten Größe auf dem ersten Bild und auf dem zweiten Bild miteinander verglichen wird, und untersucht wird, um wie viele Pixel ein Ziel innerhalb des Blocks zwischen dem ersten und dem zweiten Bild verschoben ist.
[Bewegungsinformationen-Erzeugungselement 22]
Das Bewegungsinformationen-Erzeugungselement 22 ermittelt eine Bewegung der Zielperson C, auf Grundlage eines Unterschiedes zwischen einem „Bild (t)" zum Zeitpunkt t und einem „Bild (t + 1)" zum Zeitpunkt t + 1, welche von der Referenz-Kamera 1a aufgenommen wurden. Konkreter, das Element 22 ermittelt aus dem Unterschied zwischen Bild (t) und Bild (t + 1) eine Verschiebung jedes Pixels. Das Element 22 ermittelt einen Verschiebungsvektor, auf Grundlage der ermittelten Verschiebung, und erzeugt ein Unterschiedsbild D2 (siehe 3B), in welchem der berechnete Verschiebungsvektor in einem Pixelwert ausgedrückt ist. Das Unterschiedsbild D2 entspricht der Bewegungsinformation. In dem Beispiel aus 3B ist die Bewegung des linken Armes der Zielperson C detektiert worden.
[Kanten-Informationen-Erzeugungselement 23]
Das Kanten-Informationen-Erzeugungselement 23 erzeugt ein Kanten-Bild, in welchem eine in einem Bild liegende Kante extrahiert ist, auf Grundlage von Schatten- oder Farb-Informationen jedes Pixels in einem Bild (aufgenommenes Bild), aufgenommen von der Referenz-Kamera 1a. Konkreter, das Element 23 ermittelt einen Abschnitt, in welchem eine Helligkeit sich in hohem Maße entlang einer Kante ändert, auf Grundlage der Helligkeit jedes Pixels in dem Bild, und erstellt ein Kanten-Bild D3 (siehe 3C), welches nur aus der Kante besteht. Das Kanten-Bild D3 entspricht den Kanten-Informationen.
Die Kanten-Erkennung wird zum Beispiel durchgeführt, indem Sobel-Operatoren für jedes Pixel Multipliziert werden, und ein Linien-Segment mit einer vorgegebenen Differenz zu einem benachbarten Liniensegment als Kante (laterale Kante oder longitudinale Kante) für eine Zeilen- oder Spalten-Einheit erkannt wird. Währenddessen sind die Sobel-Operatoren eine Koeffizienten-Matrix mit einem Gewichtungskoeffizienten für ein Pixel aus dem Umgebungsbereich eines bestimmten Pixels.
[Fleischfarben-Bereichsinformationen-Erzeugungselement 24]
Das Fleischfarben-Bereichsinformationen-Erzeugungselement 24 extrahiert ein Fleischfarben-Bereich einer auf einem Bild befindlichen Zielperson, von dem Bild (aufgenommenes Bild), welches von der Referenz-Kamera 1a aufgenommen wurde. Konkreter, das Element 24 konvertiert RGB-Werte aller Pixel in dem Bild in einen HLS („Hyper Logic Space") Raum bestehend aus Farbton, Helligkeit und Chrominanz; und das Element 24 extrahiert die Pixel, für die die Farbton-, Helligkeit- und Chrominanz-Werte innerhalb von vorher festgelegten Grenzwertbereichen liegen, als ein Fleischfarben-Bereich (siehe 3D). In dem Beispiel in 3D wird das Gesicht der Zielperson C als ein Fleischfarben-Bereich R1 extrahiert, und eine Hand wird als ein Fleischfarben-Bereich R2 extrahiert. Die Fleischfarben-Bereiche R1 und R2 entsprechen den Fleischfarben-Bereichsinformationen.
Die „Entfernungsinformationen (Entfernungsbild D1)", die „Bewegungsinformationen (Unterschiedsbild D2)" und die „Kanten-Informationen (Kanten-Bild D3)" werden an die Profil-Extraktionsvorrichtung 3 übergeben. Zusätzlich werden die „Entfernungsinformationen (Entfernungsbild D1)" und die „Fleischfarben-Bereichsinformationen (Fleischfarben-Bereiche R1, R2) an die Gesicht-Identifizierungsvorrichtung 4 übergeben.
[Gesichtsprofil-Extraktionsvorrichtung 3]
Die Gesichtsprofil-Extraktionsvorrichtung 3 ist eine Vorrichtung zum Extrahieren eines Profils der Zielperson C, auf Grundlage von den „Entfernungsinformationen (Entfernungsbild D1)", den „Bewegungsinformationen (Unterschiedsbild D2)" und den „Kanten-Informationen (Kanten-Bild D3)", welche von der Bild-Analyse-Vorrichtung 2 erstellt wurden (siehe 1).
Wie in 2 gezeigt, umfasst die Gesichtsprofil-Extraktionsvorrichtung 3: ein Zielentfernung-Bestimmungselement 31 zur Bestimmung der „Zielentfernung", die eine Entfernung ist, an der sich die Zielperson C befindet; ein Zielentfernungsbild-Erzeugungselement 32 zur Erzeugung eines „Zielentfernungsbildes", auf Grundlage der „Zielentfernung"; ein Zielbereich-Bestimmungselement 33 zur Bestimmung des „Zielbereiches" in dem „Zielentfernungsbild; und ein Profil-Extraktionselement 34 zur Extraktion eines „Zielperson-Profils" aus dem „Zielbereich".
[Zielentfernung-Bestimmungselement 31]
Das Zielentfernung-Bestimmungselement 31 bestimmt die „Zielentfernung", die eine Entfernung ist, an der sich die Zielperson C befindet, auf Grundlage des Entfernungsbildes D1 (siehe 3A), welches von der Bild-Analyse-Vorrichtung 2 erstellt wurde, und des Unterschiedsbildes D2 (siehe 3B), welches von dem Bewegungsinformationen-Erzeugungselement 22 erstellt wurde. Konkreter, das Element 31 gruppiert Pixel, welche den gleichen Pixel-Wert haben, zu einer Gruppe (Pixel-Gruppe) und summiert die Pixel-Werte der Pixel-Gruppe in dem Unterschiedsbild D2 auf. Das Element 31 betrachtet das als bewegtes Ziel mit einem größten Bewegungsbetrag, d.h. die Zielperson C, was in einem Bereich existiert, in welchem ein Summenwert der Pixelwerte größer als ein festgelegter Wert ist und in einem Abstand nächst den Kameras 1 gelegen ist; und das Element 31 macht diese Entfernung zu der Zielentfernung (siehe 4A). In dem Beispiel in 4A wird die Zielentfernung auf 2.2 m bestimmt. Die von dem Zielentfernung-Bestimmungselement 31 bestimmte Entfernung wird an das Zielentfernungsbild-Erzeugungselement 32 übergeben.
[Zielentfernungsbild-Erzeugungselement 32]
Das Zielentfernungsbild-Erzeugungselement 32 bezieht das von der Bild-Analyse-Vorrichtung 2 erstellte Entfernungsbild D1 (siehe 3A) und erzeugt ein „Zielentfernungsbild D4", in welchem die Pixel aus dem Kanten-Bild D3 (siehe 3C) extrahiert sind, die den Pixeln entsprechen, die zwischen einer von dem Zielentfernung-Bestimmungselement 31 festgelegten Ziel-Entfernung von ± am liegen. Konkreter, das Element 32 bezieht die Pixel, die einer Zielentfernung von ± am entsprechen, aus der Eingabe des Entfernungsbildes D1 von dem Zielentfernung-Bestimmungselement 31. Das Element 32 extrahiert nur die Pixel, die von dem von dem Kanten-Informationen-Erzeugungselement 23 erzeugten Kanten-Bild D3 (siehe 3C) bezogen wurden, und erzeugt das Zielentfernungsbild D4 (siehe 4B). Währenddessen ist in dem Beispiel in 3C α auf 0.5 m gesetzt. Das von dem Zielentfernungsbild-Erzeugungselement 32 erzeugte Zielentfernungsbild D4 wird an das Zielbereich-Bestimmungselement 33 und das Profil-Extraktionselement 34 übergeben.
[Zielbereich-Bestimmungselement 33]
Das Zielbereich-Bestimmungselement 33 bestimmt ein „Zielbereich T" in dem von dem Zielentfernungsbild-Erzeugungselement 32 erzeugten Zielentfernungsbild D4. Konkreter, das Element 33 erzeugt ein Histogramm H, in dem Pixelwerte des Zielentfernungsbildes D4 entlang einer vertikalen Richtung aufsummiert werden, und das Element 33 legt eine Position, an der eine Frequenz in dem Histogramm H maximal wird, als Mittelpunkt-Position der Zielperson C in horizontaler Richtung fest (siehe 5A). Das Element 33 bestimmt einen Bereich einer bestimmten Größe (z.B. 0.5 m) links und rechts von der festgelegten Mittelpunkt-Position als Zielbereich T (siehe 5B). Währenddessen wird ein Bereich in vertikaler Richtung des Zielbereiches T auf eine bestimmte Größe (z.B. 2 m) festgelegt. Zusätzlich bezieht das Element 33 bei der Festlegung des Zielbereiches T Kamera-Parameter wie Neigungswinkel und Höhe der Kameras 1 mit ein, und gleicht einen festgelegten Bereich des Zielbereiches T ab. Der von dem Zielbereich-Bestimmungselement 33 bestimmte Zielbereich T wird an das Profil-Extraktionselement 34 übergeben.
[Profil-Extraktionselement 34]
Das Profil-Extraktionselement 34 extrahiert ein Profil der Zielperson C aus dem von dem Zielbereich-Bestimmungselement 33 bestimmten Zielbereich T in dem von dem Zielentfernungsbild-Erzeugungselement 32 erzeugten Zielentfernungsbild D4 (siehe 4B). Konkreter, das Element 34 extrahiert ein Profil O der Zielperson C unter Verwendung eines Snakes genannten Verfahrens (auch: aktive Konturen) (siehe 5C). Währenddessen ist das Snakes-Verfahren ein Verfahren zur Extrahierung eines Profils eines Ziels, unter Verwendung eines dynamischen Profil-Models, bestehend aus einer Snake genannten geschlossenen Kurve und Verkleinern/Deformieren der geschlossenen Kurve, so dass eine vorher festgelegte Energie minimiert wird. Das von dem Profil-Extraktionselement 34 extrahierte Profil O der Zielperson C wird an die Gesicht-Identifizierungsvorrichtung 4 als „Profil-Information" übergeben (siehe 1).
[Gesicht-Identifizierungsvorrichtung 4]
Die Gesicht-Identifizierungsvorrichtung 4 ist eine Vorrichtung zur Ermittlung des Bereiches (Gesicht-Erwartungsbereiches), von dem erwartet wird, dass es ein Gesichtsbereich der Zielperson C ist, aus einem Bild, welches von ihm/ihr aufgenommen wurde; zur Beurteilung, ob oder ob nicht der Gesicht-Erwartungsbereich geeignet verwendet werden kann, um sein/ihr Gesicht zu identifizieren; zu seiner/ihrer Identifizierung, nur wenn der Gesicht-Erwartungsbereich als geeignet verwendbar beurteilt wurde; zur erneuten Festlegung eines Bereiches, von dem erwartet wird, dass es ein Gesichtsbereich der Zielperson C ist, falls der Gesicht-Erwartungsbereich als ungeeignet verwendbar beurteilt wurde; und dergleichen, auf Grundlage von den von der Profil-Extraktionsvorrichtung 3 übergebenen Profil-Informationen und den Fleischfarben-Bereichsinformationen und den Entfernungsinformationen, welche von der Bild-Analyse-Vorrichtung 2 übergeben wurden.
Wein den 1 bis 6 dargestellt, umfasst die Gesicht-Identifizierungsvorrichtung 4 eine Gesicht-Enwartungsbereich-Einrichtung 50, eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60, eine Referenz-Daten-Erzeugungseinrichtung 70, eine Gesichtsbereich-Bewertungseinrichtung 80, eine Gesicht-Identifizierungseinrichtung 90 und eine Speicher-Einrichtung 100.
In der Speicher-Einrichtung 100 sind eine Gesichtsdatenbank eingetragen, eine Pupillendatenbank und eindeutige Vektoren eines Gesichts und von Pupillen, die einen erzeugten eindeutigen Raum festsetzen, und die jeweils der Gesichtsdatenbank und der Pupillendatenbank entsprechen.
In der Gesichtsdatenbank sind Koeffizienten einer Mehrzahl von Personen eingetragen, indem individuelle Gesichter als lineare Summation von eindeutigen Vektoren (engl. „unique vectors") ausgedrückt werden.
In der Pupillendatenbank sind Koeffizienten einer Mehrzahl von Personen eingetragen, indem individuelle Pupillen als lineare Summation von eindeutigen Vektoren (engl. „unique vectors") ausgedrückt werden.
Der eindeutige Gesichtsvektor (engl. „face unique vector") ist einer der eindeutigen Vektoren mit einem höheren Beitragsverhältnis erhalten durch Durchführung einer Analyse der Hauptkomponenten einer Mehrzahl von normalisierten Gesichtsbildern mit ausreichenden Variationen.
Der eindeutige Pupillen-Vektor (engl. „pupil unique vector") ist einer der eindeutigen Vektoren mit einem höheren Beitragsverhältnis erhalten durch Durchführung einer Analyse der Hauptkomponenten einer Mehrzahl von normalisierten Pupillen-Bildern mit ausreichenden Variationen.
[Gesicht-Erwartungsbereich-Einrichtung 50]
Die Gesicht-Erwartungsbereich-Einrichtung 50 ist eine Einrichtung zur Bestimmung eines Bereiches (Gesicht-Erwartungsbereich), von dem erwartet wird, dass es ein Gesichtsbereich der Zielperson C ist, aus dem Bild (aufgenommenes Bild), welches von den Kameras 1 aufgenommen wurde, auf Grundlage von den von der Profil-Extraktionsvorrichtung 3 übergebenen Profil-Informationen und von den von der Bild-Analyse-Vorrichtung 2 übergebenen Entfernungsinformationen.
Die Gesicht-Erwartungsbereich-Einrichtung 50 umfasst ein Gesichtsbereich-Such-Element 51.
Das Gesichtsbereich-Such-Element 51 der Gesicht-Erwartungsbereich-Einrichtung 50 ist ein Element zum Suchen des Bereiches (Gesicht-Erwartungsbereich), von dem erwartet wird, dass es ein Gesichtsbereich der Zielperson C ist, aus einem von ihm/ihr aufgenommenen Bild.
Konkreter, wie in 7A dargestellt, bezieht das Gesichtsbereich-Such-Element 51 die von der Profil-Extraktionsvorrichtung 3 übergebenen Informationen, und überprüft einen Bereich (Zielperson-Existenz-Bereich), in dem die Zielperson C innerhalb des Bildes existiert. Das Element 51 bezieht die von der Bild-Analyse-Vorrichtung 2 übergebenen Fleischfarben-Bereichsinformationen und überprüft einen innerhalb des Zielperson-C-Existenz-Bereiches liegenden Fleischfarben-Bereich, und legt den überprüften Fleischfarben-Bereich und einen dazu angrenzenden Bereich als Such-Bereich fest. Das Element 51 scannt den Such-Bereich mit einer vorher erstellten elliptischen Gesichtsschablone ab, und macht einen Fleischfarben-Bereich, welcher eine vorher festgelegte Tauglichkeit für die Gesichtsschablone aufweist, zu dem Gesicht-Erwartungsbereich.
Die Ausführungsform ermittelt jeweils ein Flächenverhältnis des innerhalb der Ellipse der Gesichtsschablone liegenden Fleischfarben-Bereichs und einen Überlappungsgrad zwischen einer Kante der Gesichtsschablone und der Kante des Fleischfarben-Bereiches (Kanten-Tauglichkeit), und falls das Flächenverhältnis und/oder die Kanten-Tauglichkeit einen vorher festgelegten Grenzwert übersteigt, wird der Fleischfarben-Bereich, in dem sich die Ellipse der Gesichtsschablone befindet, als Gesicht-Erwartungsbereich festgelegt.
Das Gesichtsbereich-Such-Element 51 erzeugt Daten (Gesicht-Erwartungsbereich-Daten), welche ausdrücken, wo sich der Gesicht-Erwartungsbereich innerhalb des Bildes befindet, nimmt Bezug auf Pixel-Werte von den Pixeln, die innerhalb des Gesicht-Erwartungsbereiches liegen, und erstellt Entfernungsdaten, welche Entfernungen zwischen dem Gesicht-Erwartungsbereich und den Kameras 1 ausdrücken.
Das Gesichtsbereich-Such-Element 51 übergibt den Gesicht-Erwartungsbereich und die Entfernungsdaten an ein Standard-Bild-Erzeugungselement 61 der Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60.
[Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60]
Die Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 ist eine Einrichtung zur Bestimmung eines Bereiches (Linke-Auge-Kandidatenpunkt), von dem erwartet wird, dass es das linke Auge der Zielperson C ist, und eines Bereiches (Rechte-Auge-Kandidatenpunkt), von dem erwartet wird, dass es sein/ihr rechtes Auge ist.
Die Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 umfasst das Standard-Bild-Erzeugungselement 61, ein Pupillen-Suchbereich-Bestimmungselement 62 und ein Pupillen-Kandidatenpunkt-Erkennungselement 63.
Das Standard-Bild-Erzeugungselement 61 ist ein Element zum Skalieren des Aufnahme-Bildes der Zielperson C und Angleichen des Bildes an eine Bildgröße, die einer Größe an einer vorher festgelegten Entfernung entspricht (Standard-Bild).
Konkreter, das Standard-Bild-Erzeugungselement 61 bezieht die von dem Gesichtsbereich-Such-Element 51 übergebenen Entfernungsdaten, und bezieht Entfernungen von den Kameras 1 zu dem Gesicht-Erwartungsbereich der Zielperson C (Gesicht der Zielperson C). Falls die vorher festgelegte Distanz auf 1 m festgelegt ist, gleicht das Element 61 die Größe des Bildes an eine Bildgröße an, die dem Fall entspricht, dass die Abstände von den Kameras 1 zu dem Gesicht-Erwartungsbereich 1 m sind, und macht dieses Bild zum Standard-Bild.
In anderen Worten, falls die Entfernungen von den Kameras 1 zu dem Gesicht-Erwartungsbereich der Zielperson C 1.5 m sind, vergrößert das Standard-ßild-Erzeugungselement 61 die Größe des Bildes zu einer Bildgröße, die Entfernungen von 1 m entspricht; falls die Entfernungen von den Kameras 1 zu dem Gesicht-Erwartungsbereich der Zielperson C 0.5 m sind, verkleinert das Standard-Bild-Erzeugungselement 61 die Größe des Bildes zu einer Bildgröße, die Entfernungen von 1 m entspricht.
Hier kann das Standard-Bild erzeugt werden, indem das Bild mit α multipliziert wird, und α hat die in der nächsten Formel ausgedrückte Beziehung:
α = (ein Mittelwert eines Entfernungswertes von innerhalb eines Gesicht-Erwartungsbereiches liegenden Pixeln)/eine vorher festgelegte Entfernung
Da eine Normalisierungsbearbeitung in einem Normalisierungsbearbeitungselement 73 der später beschriebenen Referenz-Daten-Erzeugungseinrichtung 70 so durchgeführt wird, dass ein Abstand zwischen rechte/linke Pupille der Zielperson C zu einer vorher festgelegten Anzahl an Pixeln wird (z.B. N Pixel), wird in der Ausführungsform bevorzugt der Abstand zwischen rechte/linke Pupille der Zielperson C in einem Standard-Bild zu einer fast gleichgroßen Anzahl an Pixel gemacht, das heißt zu dem Standard-Bild, dessen Größe zu N Pixel wird.
Zum Beispiel, im Falle einer Kamera mit einer Brennweite von f mm und einer Pixelzellen-Größe von C mm/Pixel, kann ein vorher festgelegter ungefährer Abstand X, an dem die N Pixel zu 65 mm werden, erlangt werden, da der Abstand L zwischen Pupillen von Menschen im Durchschnitt 65 mm ist, indem die oben genannten Werte in folgende Formel eingesetzt werden: X = fL/NC = 65f/NC.
Dementsprechend wird die vorher festgelegte Entfernung entsprechend der Brennweite und der Pixelzellen-Größe der Kameras 1 geändert.
Das Standard-Bild-Erzeugungselement 61 gibt Daten (Standard-Bild-Daten), welche das erzeugte Standard-Bild aufweisen, an das Pupillen-Suchbereich-Bestimmungselement 62 und an das Normalisierungsbearbeitungselement 73 der Referenz-Daten-Erzeugungseinrichtung 70 aus.
Obwohl die Ausführungsform währenddessen dieses Bild selbst durch Skalieren des Bildes zu einem Bild mit gleicher Skalierung wie ein Bild an einer festgelegten Entfernung macht, kann die Ausführungsform auch so ausgelegt sein, dass das Standard-Bild zu einem Bild gemacht wird (siehe 7B), in dem ein ein Gesicht- Erwartungsbereich einschließendes Randgebiet mit einer vorher festgelegten Größe aus dem Standard-Bild heraus geschnitten wird.
Da der Informationsgehalt des Standard-Bildes in diesem Fall reduziert werden kann, kann eine Bearbeitungslast des Pupillen-Suchbereich-Bestimmungselementes 62, des Pupillen-Kandidatenpunkt-Erkennungselementes 63 und der Referenz-Daten-Erzeugungseinrichtung 70, welche sich an dem Standard-Bild-Erzeugungselement 61 nachfolgenden Stufen befinden, reduziert werden.
Für eine Einfachheit der Beschreibung wird hier aus dem Standard-Bild ein Teil (siehe 7B) des Randgebietes des Gesicht-Erwartungsbereiches aus dem Standard-Bild heraus geschnitten.
Das Pupillen-Suchbereich-Bestimmungselement 62 ist ein Element, um einen Schwerpunkt G des Gesicht-Erwartungsbereiches zu einem Standard zu machen, und um einen innerhalb des Standard-Bildes liegenden Bereich (Rechte-Auge-Bereich R) festzulegen, in dem nach dem rechten Auge der Zielperson C gesucht wird, und um einen innerhalb des Standard-Bildes liegenden Bereich (Linke-Auge-Bereich L) festzulegen, in dem nach dem linken Auge der Zielperson C gesucht wird.
Konkreter, wie in 8A dargestellt, ermittelt das Pupillen-Suchbereich-Bestimmungselement 62 den Schwerpunkt G des Gesicht-Erwartungsbereiches, indem es die von dem Gesichtsbereich-Such-Element 51 erzeugten Gesicht-Erwartungsbereich-Daten bezieht, und bestimmt, wo der Schwerpunkt G innerhalb des Standard-Bildes liegt, indem es die von dem Standard-Bild-Erzeugungselement 61 übergebenen Standard-Bild-Daten bezieht.
Das Element 62 macht in dem Standard-Bild den Schwerpunkt G zu einem Mittelpunkt, und legt dann Bereiche von vorher festgelegter Größe fest, wie zum Beispiel wie viele Pixel zur oberen Seite, wie viele Pixel zur unteren Seite, wie viele Pixel zur linken Seite und wie viele Pixel zur rechten Seite.
Um einen Rechte-Auge-Kandidatenpunkt und einen Linke-Auge-Kandidatenpunkt zu erkennen, ist das Element 62 in der Ausführungsform so ausgelegt, dass es einen Bereich (Rechte-Auge-Bereich R) für eine Rechte-Auge-Kandidatenpunkt-Suche und einen Bereich (Linke-Auge-Bereich L) für eine Linke-Auge-Kandidatenpunkt-Suche (siehe 8A) festlegt.
Indem der Schwerpunkt G zu einem Mittelpunkt gemacht wird, wird jeder Bereich (Rechte-Auge-Bereich R und Linke-Auge-Bereich L) auf eine Intervall-Länge festgesetzt, so dass die obere Seite breiter und die untere Seite schmäler wird, und dass die Mittelpunk-Seite des Standard-Bildes schmäler und beide Seiten des Standard-Bildes breiter werden.
Ein Grund warum der Schwerpunkt G zu einem Standard gemacht wird ist folgender: wenn dieser zu einem Mittelpunkt in rechts/links Richtung eines ermittelten Gesicht-Erwartungsbereiches gemacht wird und der Rechte-Auge-Bereich R und der Linke-Auge-Bereich L festgelegt werden und das Gesicht der Zielperson C in dem Bild geneigt ist, könnten die Pupillen der Zielperson C nicht in dem festgelegten Rechte-Auge-Bereich R und dem Linke-Auge-Bereich L liegen.
Da die Ausführungsform zusätzlich Fleischfarben-Bereichsinformationen benutzt und den Gesicht-Erwartungsbereich festlegt, kann der Fleischfarben-Bereich aufgrund von Schatten durch die Beleuchtung nicht korrekt erkannt werden, und dadurch sind der Schwerpunkt G und ein wahrer Gesichtsmittelpunkt in manchen Fällen versetzt.
Wenn zum Beispiel der Gesicht-Erwartungsbereich so festgelegt wird, dass er den dem Hals der Zielperson C entsprechenden Fleischfarben-Bereich mit einschließt, wird angenommen, dass der Schwerpunkt G auf einer niedriger gelegenen Seite sich befindet, als der Schwerpunkt G des Gesicht-Erwartungsbereiches an sich, und dadurch werden die Pupillen und der Schwerpunkt G der Zielperson C abgetrennt. Folglich wird jeder Bereich (Rechte-Auge-Bereich R und Linke-Auge-Bereich L) und besonders die obere Seite des Schwerpunktes G des Standards breiter gemacht, um sogar in so einem Fall die Rechte-Pupille-Kandidatenpunkt-Suche und Linke-Pupille-Kandidatenpunkt-Suche zu ermöglichen.
9A ist eine vergrößerte Darstellung des festgelegten Rechte-Auge-Bereiches R und des Linke-Auge-Bereiches L in einem Standard-Bild. Wie aus 9A ersichtlich, sind Bereiche in der Nähe der Augen der Zielperson C innerhalb des festgelegten Rechte-Auge-Bereiches R und des Linke-Auge-Bereiches L dargestellt, indem eine Mehrzahl von Pixeln eingefärbt sind.
Das Pupillen-Kandidatenpunkt-Erkennungselement 63 ist ein Element zur Suche nach einer kreisförmigen Kante für jedes innerhalb des festgelegten Rechte-Auge-Bereiches R und des Linke-Auge-Bereiches L liegenden Pixels und zur Ermittelung der Pupillen-Kandidatenpunkte aus den Pixeln die eine vorher festgelegte kreisförmige Kante aufweisen, das heißt, die Pixel, dessen Kreis-Kanten-Intensität höher ist.
Konkreter, das Pupillen-Kandidatenpunkt-Erkennungselement 63 scannt den Rechte-Auge-Bereich R und den Linke-Auge-Bereich L jeweils durch einen Kreis-Kantenfilter, und berechnet einen Rundheitswert für jeden innerhalb jedes Bereiches liegenden Pixel. Aus jedem Bereich ermittelt das Element 63 ein Pixel, dessen Rundheitswert am höchsten ist und macht dieses Pixel zu dem Pupillen-Kandidatenpunkt. Somit wird folglich in jedem Bereich mindestens ein Pupillen-Kandidatenpunkt ermittelt.
Wie in 8B dargestellt, ist der in der Ausführungsform verwendete Kreis-Kantenfilter aus einer Mehrzahl von Ringen mit verschieden Radien aufgebaut, und der von der folgenden Formel berechnete Rundheitswert wird als Wert eines Pixels behandelt, das sich in dem Mittelpunktsteil des Kreis-Kantenfilters befindet: R
undheitswert = (mittlerer Helligkeitswert von Bereich 1)/(mittlerer Helligkeitswert von Bereich 2).
Der Rundheitswert gibt an, ob sich ein Kreis um ein Pixel herum befindet, das der Mittelpunkt des Kreises ist, bezüglich des Pixels, an dem sich ein Mittelpunktsabschnitt e einer Mehrzahl von Ringen befindet, und die Bereiche 1, 2 in der Formel bezeichnen in 8A zum Beispiel zwei Bereiche wie (a, b) und (b, c). Ein höherer Rundheitswert bedeutet, dass ein Kreis existiert, das heißt, dass die Kreis-Kantenintensität höher ist.
In der Ausführungsform ermittelt das Pupillen-Kandidatenpunkt-Erkennungselement 63 die Pixel mit den höchsten Rundheitswerten als die Pupillen-Kandidatenpunkte in dem jeweiligen Bereich (Rechte-Auge-Bereich R und Linke-Auge-Bereich L). Das Element 63 vergibt eine Identifizierungsnummer an jeden ermittelten Pupillen-Kandidatenpunkt. Wie in 9A dargestellt legt das Element 63 in anderen Worten die in dem Rechte-Auge-Bereich R ermittelten Pupillen-Kandidatenpunkte nacheinander als Rechte-Auge-Kandidatenpunkte R1, R2 und R3 fest, und die in dem Linke-Auge-Bereich L ermittelten Pupillen-Kandidatenpunkte nacheinander als Linke-Auge-Kandidatenpunkte L1, L2 und L3 fest.
Für jeden Pupillen-Kandidatenpunkt erzeugt das Element 63 Positionsinformationen, die eine Position der Pupillen-Kandidatenpunkte innerhalb jedes Bereiches (Rechte-Auge-Bereich R und Linke-Auge-Bereich L) enthält, und Pupillen-Kandidatenpunkt-Daten, die eine für den Pupillen-Kandidatenpunkt relevante Identifizierungsnummer enthalten, und übergibt die erzeugten Pupillen-Kandidatenpunkt-Daten an die Referenz-Daten-Erzeugungseinrichtung 70.
Obwohl die Ausführungsform die Erkennung des Pupillen-Kandidatenpunktes durchführt, indem ein Rundheitswert für jedes Pixel ermittelt wird, das innerhalb des in dem Standard-Bild festgelegten Rechte-Auge-Bereich R und Linke-Auge-Bereich L liegt, kann die Ausführungsform so ausgeführt sein, dass die Suche nach dem Pupillen-Kandidatenpunkt durch Mustervergleich (engl. „pattern matching") mit einer schwarzen Kreisvorlage erfolgt.
[Referenz-Daten-Erzeugungseinrichtung 70]
Die Referenz-Daten-Erzeugungseinrichtung 70 ist eine Einrichtung zur Standardisierung von einem in jeder Kombination vorhandenen Rechte-Pupille-Kandidatenpunkt und Linke-Pupille-Kandidatenpunkt, zur Durchführung von Normalisierungsbearbeitung eines Standard-Bildes, und somit zur Erzeugung von Referenz-Daten für alle Kombinationen von erkannten Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten.
Die Referenz-Daten sind hier Daten, die für die Durchführung einer Gesichtsbereich-Bewertung in einer Gesichtsbereich-Bewertungseinrichtung 80 verwendet werden, welche sich an einer der Referenz-Daten-Erzeugungseinrichtung 70 nachfolgenden Stufen befindet, und für eine Bewertung verwendet werden, ob oder ob nicht eine Kombination von ausgewähltem Rechte-Pupille-Kandidatenpunkt und Linke-Pupille-Kandidatenpunkt für die Identifizierung der Zielperson C geeignet ist.
Die Referenz-Daten-Erzeugungseinrichtung 70 umfasst ein Pupillen-Paar-Bestimmungselement 71, ein Pupillen-Paar-Anpassungselement 72, das Normalisierungsbearbeitungselement 73 und ein Referenz-Daten-Erzeugungselement 74.
Das Pupillen-Paar-Bestimmungselement 71 ist ein Element zur Bestimmung der Kombinationen aus den Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten, welche von dem Pupillen-Kandidatenpunkt-Erkennungselement 63 ermittelt wurden.
Konkreter, das Pupillen-Paar-Bestimmungselement 71 bezieht Pupillen-Kandidatenpunkt-Daten von der Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60, überprüft die Anzahl der Linke-Pupillen-Kandidatenpunkte und der Rechte-Pupille-Kandidatenpunkte, und bestimmt alle Kombinationen aus Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten.
Da die Ausführungsform, wie in 9A gezeigt, jeweil drei Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten in dem Rechte-Auge-Bereich R und in dem Linke-Auge-Bereich L umfasst, werden im Ganzen neun Kombinationen (Paare 1 bis 9) bestimmt, wie in 9B gezeigt.
Folglich werden, wenn die Anzahl der Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte jeweils zwei ist, im Ganzen vier Kombinationen von dem Pupillen-Paar-Bestimmungselement 71 bestimmt.
Das Pupillen-Paar-Bestimmungselement 71 übergibt Informationen, mit dem in 9B dargestellten Inhalt, als Kombinations-Informationen an das Pupillen-Paar-Anpassungselement 72.
Das Pupillen-Paar-Anpassungselement 72 ist ein Element zum Erzeugen eines Standards, Eignung und ähnlichem einer geometrischen Anordnung von einem Rechte-Pupille-Kandidatenpunkt und einem Linke-Pupille-Kandidatenpunkt aus den von dem Pupillen-Paar-Bestimmungselement 71 bestimmten Kombinationen (Paare 1 bis 9), und zum Auswählen der Pupillen-Kandidatenpunkte, das heißt, Ausschließen eines Paares, welches Pupillen-Kandidatenpunkte umfasst, die offensichtlich nicht den Pupillen entsprechen.
Konkreter, das Pupillen-Paar-Anpassungselement 72 ermittelt einen Abstand d zwischen einem Rechte-Pupille-Kandidatenpunkt und einem Linke-Pupille-Kandidatenpunkt für jedes Paar (siehe 10A), und, falls der ermittelte Abstand d nicht in einen vorher festgelegten Bereich fällt, schließt das Paar aus.
Da in dem Fall der Ausführungsform ein Standard-Bild erzeugt wird, kann das Pupillen-Paar-Anpassungselement 72, auf Grundlage der Entfernungsinformationen, einen Abstand zwischen zwei innerhalb des Standard-Bildes liegenden Punkten (Pixeln) ermitteln. In anderen Worten, der Abstand d zwischen einem Rechte-Pupille-Kandidatenpunkt und einem Linke-Pupille-Kandidatenpunkt kann aus den Positionsinformationen, welche in den Pupillen-Kandidatenpunkt-Daten enthalten sind, ermittelt werden.
Entsprechend kann geurteilt werden, dass mindestens einer von dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt nicht der Pupille entsprechen, falls ein Wert des berechneten Abstandes d nicht in den vorher festgelegten Bereich fällt.
Währenddessen ist der hier benutzte vorher festgelegte Wert beliebig gewählt und wird zu einem Standard gemacht, indem er auf einen mittleren Abstand von 65 mm zwischen Pupillen eines Menschen gesetzt wird.
Im Folgenden werden Gründe genannt, warum ein Paar mit Pupillen-Kandidatenpunkten, die offensichtlich nicht den Pupillen entsprechen, in dem Pupillen-Paar-Anpassungselement 72 ausgeschlossen werden: 1) Da in den gesuchten Pupillen-Kandidatenpunkten (Rechte-Pupille-Kandidatenpunkte R1 bis R3 und Linke-Pupille-Kandidatenpunkte L1 bis L3), wie in den 8A bis 9A dargestellt, ein Bereich enthalten ist, der nicht der Pupille entspricht, zum Beispiel eine Augenbraue, kann die Bearbeitung in dem Normalisierungsbearbeitungselement 73, welches sich an einer dem Pupillen-Paar-Anpassungselement 72 nachfolgenden Stufe befindet, erleichtert werden, indem eine Kombination ausgeschlossen wird, die Pupillen-Kandidatenpunkte (R1, R2 und/oder L1) umfasst, die nicht der Pupille entsprechen.
2) Da der Bereich, der offensichtlich nicht der Pupille entspricht, durch die Verarbeitung in dem Pupillen-Paar-Anpassungselement 72 ausgeschlossen werden kann, kann eine Genauigkeit der Pupillen-Kandidatenpunkt-Erkennung verbessert werden, indem die Anzahl der in jedem Pupillen-Such-Bereich ermittelten Pupillen-Kandidatenpunkte erhöht wird.
Indem nicht nur der Abstand d zwischen einem Rechte-Pupille-Kandidatenpunkt und einem Link-Pupille-Kandidatenpunkt ermittelt wird, sondern, wie in 10B dargestellt, auch ein Schnittwinkel α zwischen einem Linien-Segment A und einem Linien-Segment B, welches den Rechte-Pupille-Kandidatenpunkt und den Link- Pupille-Kandidatenpunkt verbindet, kann das Pupillen-Paar-Anpassungselement 72 auch so ausgelegt sein, dass ein Paar ausgeschlossen wird, dessen Winkel α nicht kleiner als ein vorher festgelegter Winkel ist.
Betrachtet man einen Fall, in dem das Gesicht der Zielperson in schräger Lage aufgenommen wird, ist es in diesem Fall vorzuziehen, dass der vorgegebene Winkel α auf ungefähr 20 Grad festgesetzt wird.
Entsprechend wird in diesem Fall ein Paar ausgeschlossen, dessen Schnittwinkel α nicht weniger als 20 Grad beträgt.
Das Pupillen-Paar-Anpassungselement 72 bestimmt, dass ein nicht ausgeschlossenes Paar (Normalisierungsobjekt-Paar) das Objekt einer Normalisierungsbearbeitung wird, erzeugt Informationen, welche Paare die Objekte der Normalisierungsbearbeitung sind, und weitere Informationen (Normalisierungsobjekt-Informationen), welche Daten bezüglich der in dem Paar enthaltenen Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkt und Linke-Pupille-Kandidatenpunkt) enthalten, und übergibt diese an das Normalisierungsbearbeitungselement 73.
Wenn von den in 9B gezeigten Paaren, zum Beispiel, die Paare 2, 3 und 9 nicht innerhalb von vorher festgelegten Grenzwerten liegen, dann bestimmt das Pupillen-Paar-Anpassungselement 72, dass die Paare 1, 4, 5, 6, 7 und 8 Normalisierungsobjekt-Paare sind, erzeugt die Information, die angibt, welche Paare als Normalisierungsobjekt-Paare ermittelt wurden, und erzeugt die Normalisierungsobjekt-Informationen, welche die Pupillen-Kandidatenpunkt-Daten bezüglich der in den Paaren enthaltenen Pupillen-Kandidatenpunkte enthält, und übergibt diese an das Normalisierungsbearbeitungselement 73.
Falls alle Paare ausgeschlossen werden, übergibt das Pupillen-Paar-Anpassungselement 72 währenddessen Paar-Nichtexistenz-Informationen an die Gesichtsbereich-Bewertungseinrichtung 80.
Das Normalisierungsbearbeitungselement 73 ist ein Element zum Standardisieren der in den Normalisierungsobjekt-Paaren enthaltenen Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte), und zum Erzeugen eines normalisierten Gesichtsbildes aus einem Gesicht-Erwartungsbereich in dem Standard-Bild.
Konkreter, das Normalisierungsbearbeitungselement 73 bezieht die von dem Pupillen-Paar-Anpassungselement 72 übergebenen Normalisierungsobjekt-Informationen und überprüft die Paare, welche die Objekte der Normalisierungsbearbeitung sind. Für jeder Paar, welches das Objekt der Normalisierungsbearbeitung ist, standardisiert das Element 73 einen Abstand zwischen einem in jedem Paar enthaltenen Rechte-Pupille-Kandidatenpunkt und einem Linke-Pupille-Kandidatenpunkt, führt die Normalisierungsbearbeitung des innerhalb des Standard-Bildes liegenden Gesicht-Erwartungsbereiches durch, und erstellt das normalisierte Gesichtsbild, welches aus einem Bereich mit festgelegter Anzahl an Pixel aufgebaut ist (Bereich ausgedrückt in M × M Pixel).
Wie in 11 gezeigt, rotiert das Normalisierungsbearbeitungselement 73 in der Ausführungsform einen von der Gesicht-Erwartungsbereich-Einrichtung 50 bestimmten Gesicht-Erwartungsbereich, so dass ein die Mittelpunkte des Rechte-Auge-Kandidatenpunktes und des Linke-Auge-Kandidatenpunktes verbindendes Liniensegment innerhalb des Bildes horizontal wird. Das Element 73 ordnet die Pupille-Kandidatenpunkte (Rechte-Auge-Kandidatenpunkt und Linke-Auge-Kandidatenpunkt) an drei-viertel der Höhe vom unteren Ende aus bei festgelegter Anzahl der Pixel an, skaliert den Gesicht-Erwartungsbereich nach der Rotation, so dass ein Abstand zwischen dem Rechte-Auge-Kandidatenpunkt und dem Linke-Auge-Kandidatenpunkt eine festgelegte Anzahl an Pixel (N Pixel) beträgt, und erstellt somit das normalisierte Gesichtsbild.
Falls die Paare 1, 4, 5, 6, 7 und 8 die Normalisierungsobjekt-Paare sind, werden dementsprechend im Ganzen sechs normalisierte Gesichtsbilder von dem Normalisierungsbearbeitungselement 73 erstellt.
Das Normalisierungsbearbeitungselement 73 übergibt die durch die Normalisierungsbearbeitung erzielten normalisierten Gesichtsbilder an das Referenz-Daten-Erzeugungselement 74 (siehe 6).
Das Referenz-Daten-Erzeugungselement 74 ist ein Element zum Erzeugen von Referenz-Daten aus einem normalisierten Gesichtsbild, welches von dem Normalisierungsbearbeitungselement 73 übergeben wurde. Die Referenz-Daten sind hier Daten, die für die Durchführung einer Gesichtsbereich-Bewertung in einer Gesichtsbereich-Bewertungseinrichtung 80 verwendet werden, welche sich an einer der Referenz-Daten-Erzeugungseinrichtung 70 nachfolgenden Stufen befindet, und für eine Bewertung verwendet werden, ob oder ob nicht eine Kombination von ausgewähltem Rechte-Pupille-Kandidatenpunkt und Linke-Pupille-Kandidatenpunkt für die Identifizierung der Zielperson C geeignet ist.
Konkreter, das Referenz-Daten-Erzeugungselement 74 ist, wie in 12 dargestellt, ein Element zum Festlegen eines Randbereiches um ein Rechte-Auge-Kandidatenpunkt herum (Rechte-Auge-Normalisierungsbild), welcher diesen Punkt einschließt, und zum Festlegen eines Randbereiches um ein Linke-Auge-Kandidatenpunkt herum (Linke-Auge-Normalisierungsbild), welcher diesen Punkt einschließt, aus einem normalisierten Gesichtsbild, welches von dem Normalisierungsbearbeitungselement 73 übergeben wurde, und zum Ausdrücken eines innerhalb des festgelegten Bereiches liegenden Pixelwertes durch einen Vektor.
Nimmt man an, dass der das Rechte-Auge-Normalisierungsbild ausgedrückende Vektor ein Rechte-Auge-Referenz-Vektor ist, und dass der das Linke-Auge-Normalisierungsbild ausgedrückende Vektor ein Linke-Auge-Referenz-Vektor ist, so erstellt das Referenz-Daten-Erzeugungselement 74 für jedes Normalisierungsobjekt-Paar den Rechte-Auge-Referenz-Vektor, den Linke-Auge-Referenz-Vektor und die Referenz-Daten, welche die Information enthält aus welchem Normalisierungsobjekt-Paar diese Vektoren erzeugt wurden, und übergibt die erzeugten Referenz-Daten an die Gesichtsbereich-Bewertungseinrichtung 80.
Falls die Paare 1, 4, 5, 6, 7 und 8 die Normalisierungspaare sind, werden entsprechend im Ganzen sechs der Referenzdaten an die Gesichtsbereich-Bewertungseinrichtung 80 übergeben.
Desweiteren bezieht das Referenz-Daten-Erzeugungselement 74 Ziel-Identifizierungsinformationen von der später beschriebenen Gesichtsbereich-Bewertungseinrichtung 80 und übergibt das für ein in der Ziel-Identifizierungsinformation angegebene Paar (zum Beispiel Paar 8) erstellte normalisierte Gesichtsbild an eine Gesicht-Identifizierungseinrichtung 90.
Die Gesichtsbereich-Bewertungseinrichtung 80 ist eine Einrichtung zum Beurteilen der als Normalisierungsobjekt-Paare festgelegten Paare, auf Grundlage der von dem Referenz-Daten-Erzeugungselement 74 übergebenen Referenz-Daten:

1) welches dieser Paare einen Rechte-Auge-Kandidatenpunkt und einen Linke-Auge-Kandidatenpunkt enthält, die für die Darstellung des rechten Auges und des linken Auges der Zielperson C geeignet sind; und
2) ob oder ob nicht ein von dem Gesichtsbereich-Such-Element 51 der Gesicht-Erwartungsbereich-Einrichtung 50 herausgesuchter Gesicht-Erwartungsbereich geeignet für die Identifizierung des Gesichtes der Zielperson C ist.

Konkreter, die Gesichtsbereich-Bewertungseinrichtung 80 ermittelt einen Abstandswert Ll eines Näherungsgrades zu einem eindeutigen Linke-Auge-Vektor, der in einer Speicher-Einrichtung 100 gespeichert ist. Desweiteren ermittelt das Element 80 einen Abstandswert Lr eines Näherungsgrades zu einem eindeutigen Rechte-Auge-Vektor, der in einer Speicher-Einrichtung 100 gespeichert ist.
Währenddessen wird eine Berechnung mittels eines sogenannten Eindeutige-Gesichtsverfahrens (engl. „unique face technique") durchgeführt und ein Euklidischer Abstand entsprechend einer DFES (Abstand vom Augen-Raum, engl. „Difference From Eye Space") Berechnung ermittelt.
Die Gesichtsbereich-Bewertungseinrichtung 80 ermittelt einen Abstandswert (Ll, Lr) für alle Normalisierungsojekt-Paare, sucht unter diesen ein Normalisierungsojekt-Paar mit dem kleinsten Abstandswert, und vergleicht den Abstandswert des Normalisierungsojekt-Paares mit dem kleinsten Abstandswert mit einem vorgegebenen Grenzwert.
Zum Beispiel wurden die den Paaren 1, 4, 5, 6, 7 und 8 entsprechenden Referenz-Vektoren schon an die Gesichtsbereich-Bewertungseinrichtung 80 übergeben, und falls das Paar 8 den kleinsten Abstandswert aufweist, vergleicht die Einrichtung 80 den Abstandswert des Paares 8 mit dem vorgegebenen Grenzwert.
Falls der Abstandswert kleiner als der vorgegebene Grenzwert ist, das heißt der Näherungsgrad ist genügend hoch, dann urteilt die Gesichtsbereich-Bewertungseinrichtung 80, dass die in dem Paar 8 enthaltenen Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkt und Linke-Pupille-Kandidatenpunkt) geeignete Punkte sind, um das rechte Auge und das linke Auge der Zielperson C darzustellen, und damit stellt die Einrichtung fest, dass der von der Erwartungsbereich-Einrichtung 50 herausgesuchte Gesicht-Erwartungsbereich geeignet für die Identifizierung des Gesichtes der Zielperson C ist.
Die Einrichtung 80 übergibt die Ziel-Identifizierungsinformation, welche das als geeignet bewertete Normalisierungsobjekt-Paar (hier das Paar 8) anzeigt, an das Referenz-Daten-Erzeugungselement 74.
Wenn das Referenz-Daten-Erzeugungselement 74 diese bezogen hat, übergibt es das für das Normalisierungsobjekt-Paar (hier das Paar 8) erstellte normalisierte Gesichtsbild an die Gesicht-Identifizierungseinrichtung 90.
Falls auf der anderen Seite der Abstandswert größer als der vorgegebene Grenzwert ist, oder von dem Pupillen-Paar-Anpassungselement 72 Paar- Nichtexistenz-Informationen übergeben wurden, hält die Gesichtsbereich-Bewertungseinrichtung 80 den von der Gesicht-Erwartungsbereich-Einrichtung 50 bestimmten Gesicht-Erwartungsbereich für ungeeignet, um das Gesicht der Zielperson C zu identifizieren, und gibt ein Signal an die Gesicht-Erwartungsbereich-Einrichtung 50 aus, dass eine erneute Suche nach einem Gesicht-Erwartungsbereich anfordert.
Folglich bestimmt die Gesicht-Erwartungsbereich-Einrichtung 50 erneut den Gesicht-Erwartungsbereich aus Bildern oder eines anderen Vollbildes der Bilder.
Wie in 13 dargestellt, wird bei der Festlegung eines Gesicht-Erwartungsbereiches durch die Gesicht-Erwartungsbereich-Einrichtung 50, falls ein Bereich der das Gesicht nicht enthält als Gesicht-Erwartungsbereich festgelegt wurde, zum Beispiel in jedem Fall in dem ein Halsbereich der Zielperson C und ein Bereich in der Nähe der Stirn als Gesicht-Erwartungsbereich festgelegt wurde, ein Abstandswert zwischen einem von dem ermittelten Gesicht-Erwartungsbereich bestimmten Referenz-Vektor und einem in der Speicher-Einrichtung 100 gespeicherten eindeutigen Vektor-Raum größer. Es kann überprüft werden, dass der festgelegte Gesicht-Erwartungsbereich ungeeignet ist.
[Gesicht-Identifizierungseinrichtung 90]
Die Gesicht-Identifizierungseinrichtung 90 ist eine Einrichtung zum Zugriff auf die Speicher-Einrichtung 100 bezüglich Merkmalparameter, die aus einem normalisierten Gesichtsbild ermittelt wurden, und zum Suchen nach einer Person mit Merkmal-Parametern, die den ermittelten Merkmal-Parametern am ähnlichsten sind, aus einer Gruppe von Personen, deren Merkmal-Parameter in der Speicher-Einrichtung 100 gespeichert sind.
Konkreter, die Gesicht-Identifizierungseinrichtung 90 ermittelt die das Gesicht der Zielperson C beschreibende Merkmal-Parameter durch eine Merkmal-Extrahierung aus dem normalisierten Gesichtsbild, welches von dem Referenz-Daten-Erzeugungselement 74 übergeben wurde, und greift auf die Speicher- Einrichtung 100 bezüglich der ermittelten Merkmal-Parameter zu. Die Einrichtung 90 sucht nach einer Person mit Merkmal-Parametern, die den durch die Merkmal-Extrahierung aus dem normalisierten Gesichtsbild, welches von dem Referenz-Daten-Erzeugungselement 74 übergeben wurde, ermittelten Merkmal-Parametern am ähnlichsten sind, aus einer Gruppe von Personen, deren Merkmal-Parameter in der Speicher-Einrichtung 100 gespeichert sind.
Falls in der Ausführungsform ein von dem Referenz-Daten-Erzeugungselement 74 übergebenes normalisiertes Gesichtsbild ein Bild für das Paar 8 ist, ermittelt die Gesicht-Identifizierungseinrichtung 90 die Merkmal-Parameter des normalisierten Gesichtsbildes, indem das Paar 8 zu einem Standard gemacht wird. Die Einrichtung 90 sucht in der Speicher-Einrichtung 100 nach einer Zielperson C mit Merkmal-Parametern, die den ermittelten am ähnlichsten sind.
Bei der Suche nach der Zielperson C mit Merkmal-Parametern, die den ermittelten am ähnlichsten sind, sucht die Gesicht-Identifizierungseinrichtung 90 in der Speicher-Einrichtung 100 nach Merkmal-Parametern, für die ein Unterschied zwischen den ermittelten Merkmal-Parametern und den für jede Person in der Speicher-Einrichtung 100 abgespeicherten Merkmal-Parametern nicht größer als ein bestimmter Grenzwert ist; und Gesichtsdaten mit Merkmal-Parametern, die diese Bedingung erfüllen, werden als Gesichtsdaten mit passenden Merkmal-Parametern behandelt (siehe 12).
Falls Gesichtsdaten mit passenden Merkmal-Parametern in der Speicher-Einrichtung 100 existieren, bezieht die Gesicht-Identifizierungseinrichtung 90 die Namensinformationen der Gesichtsdaten, identifiziert wer die Zielperson C ist, und gibt das Identifizierungsergebnis aus.
Falls andererseits Gesichtsdaten mit passenden Merkmal-Parametern nicht existieren, gibt die Gesicht-Identifizierungseinrichtung 90 als Identifizierungsergebnis aus, dass die Zielperson C nicht registriert ist.
[Verarbeitungsablauf in der Gesicht-Identifizierungsvorrichtung]
Als nächstes wird die in der Gesicht-Identifizierungsvorrichtung 4 durchgeführte Verarbeitung im Detail beschrieben, unter Bezugnahme auf das in 1 gezeigte Block-Diagramm und das in 14 gezeigte Ablaufdiagramm.
Wenn ein Bild der Zielperson C von der Bild-Analyse-Vorrichtung 2 aufgenommen wird und an die Gesicht-Identifizierungsvorrichtung 4 jeweils die Entfernungsinformationen und die Fleischfarben-Bereichsinformationen von der Bild-Analyse-Vorrichtung 2 und die Profil-Informationen von der Profil-Extraktionsvorrichtung 3 übergeben werden, bezieht das Gesichtsbereich-Such-Element 51 der Gesicht-Erwartungsbereich-Einrichtung 50 die Profilinformationen und die Fleischfarben-Bereichsinformationen, legt einen Fleischfarben-Bereich und ein daran angrenzenden Bereich innerhalb des von der Zielperson C aufgenommenen Bildes als einen Such-Bereich fest, scannt den Such-Bereich mit einer vorher erstellten elliptischen Gesichtsschablone ab, und macht einen Bereich, welcher eine vorher festgelegte Tauglichkeit für die Gesichtsschablone aufweist, zu dem Gesicht-Erwartungsbereich (Schritt S301).
Das Gesichtsbereich-Such-Element 51 erzeugt Daten (Gesicht-Erwartungsbereich-Daten), welche ausdrücken, wo sich der Gesicht-Erwartungsbereich innerhalb des Bildes befindet, nimmt Bezug auf Pixel-Werte von Pixeln die innerhalb des Gesicht-Erwartungsbereiches liegen, und erstellt Entfernungsdaten, welche Entfernungen zwischen dem Gesicht-Erwartungsbereich und den Kameras 1 ausdrücken (Schritt S302).
Das Standard-Bild-Erzeugungselement 61 der Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 skaliert das Aufnahme-Bild der Zielperson C und gleicht es an ein Bild (Standard-Bild) mit einer Größe an, welche einer Größe an einer vorher festgelegten Entfernung entspricht (Schritt S303).
Nacheinander macht das Pupillen-Suchbereich-Bestimmungselement 62 der Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 den Schwerpunkt G des Gesicht-Erwartungsbereiches zu einem Standard, und legt innerhalb des Standard-Bildes liegende Bereiche (Rechte-Auge-Bereich R und Linke-Auge-Bereich L) fest, in denen nach dem rechten Auge und dem linken Auge der Zielperson C gesucht wird (Schritt S304).
Wobei das Pupillen-Kandidatenpunkt-Erkennungselement 63 der Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 den Rechte-Auge-Bereich R und den Linke-Auge-Bereich L jeweils (Schritt S305) durch einen Kreis-Kantenfilter scannt, und Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte) aus jedem der Bereiche ermittelt (Schritt S306).
Das Pupillen-Paar-Bestimmungselement 71 der Referenz-Daten-Erzeugungseinrichtung 70 überprüft die Anzahl der Rechte-Pupille-Kandidatenpunkte und die Anzahl der Linke-Pupille-Kandidatenpunkte, welche von dem Pupillen-Kandidatenpunkt-Erkennungselement 63 ermittelt wurden, und legt alle Kombinationen von Rechte-Pupille-Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten fest (Schritt S307).
Wobei das Pupillen-Paar-Anpassungselement 72 der Referenz-Daten-Erzeugungseinrichtung 70 einen Abstand d zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt für jede Kombination (Paar) der im Schritt S307 (siehe 10B) festgelegten Kombinationen bestimmt, überprüft ob oder ob nicht der ermittelte Abstand d in einen vorher festgelegten Bereich fällt (Schritt S308), und Paare ausschließt, die nicht in den vorher festgelegten Bereich fallen, und nicht ausgeschlossene Paare als Normalisierungsobjekt-Paare festlegt (Schritt S309).
Das Normalisierungsbearbeitungselement 73 der Referenz-Daten-Erzeugungseinrichtung 70 standardisiert die in den Normalisierungsobjekt-Paaren enthaltenen Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte), und erzeugt ein normalisiertes Gesichtsbild aus einem Gesicht-Erwartungsbereich in einem Standard-Gesichtsbild (Schritt S310).
Das Referenz-Daten-Erzeugungselement 74 der Referenz-Daten-Erzeugungseinrichtung 70 legt jeweils Randbereiche, welche ein Rechte-Auge-Normalisierungsbild und ein Linke-Auge-Normalisierungsbild einschließen fest, entsprechend dem von dem Normalisierungsbearbeitungselement 73 übergebenen normalisierten Gesichtsbild, drückt die jeweiligen festgelegten Bereiche durch Vektoren aus, macht die jeweiligen Vektoren zu einem Rechte-Auge-Referenz-Vektor und einem Linke-Auge-Referenz-Vektor, und erzeugt Referenz-Daten, die diese umfassen (Schritt S311).
Die Gesichtsbereich-Bewertungseinrichtung 80 bezieht jeweils den in den Referenz-Daten enthaltenen Rechte-Auge-Referenz-Vektor und Linke-Auge-Referenz-Vektor, und ermittelt den Näherungsgrad beschreibenden Abstand Lr zu einem eindeutigen Rechte-Auge-Vektor und den Näherungsgrad beschreibenden Abstand Ll zu einem eindeutigen Linke-Auge-Vektor, welche in der Speicher-Einrichtung 100 gespeichert sind.
Die Gesichtsbereich-Bewertungseinrichtung 80 bewertet auf Grundlage des Näherungsgrades, ob oder ob nicht der Gesicht-Erwartungsbereich für die Gesicht-Identifizierung geeignet ist (Schritt S312).
Falls der Gesicht-Ewartungsbereich für die Identifizierung als geeignet bewertet wurde (Ja), ermittelt die Gesicht-Identifizierungseinrichtung 90 Merkmal-Paramter aus dem von dem Referenz-Daten-Erzeugungselement 74 übergebenen normalisierten Gesichtsbild, vergleicht die ermittelten Merkmal-Parameter mit der Speicher-Einrichtung 100, und sucht nach einer Zielperson C mit Merkmal-Parametern, die den durch die Merkmal-Extrahierung aus dem normalisierten Gesichtsbild, welches von dem Referenz-Daten-Erzeugungselement 74 übergeben wurde, ermittelten Merkmal-Parametern am ähnlichsten sind, aus einer Gruppe von Personen, deren Merkmal-Parameter in der Speicher-Einrichtung 100 gespeichert sind; und falls Gesichtsdaten mit Merkmal-Parametern existieren, welche die vorgegebenen Bedingungen erfüllen, bezieht das Element 90 die Namensinformationen der Gesichtsdaten, identifiziert die Zielperson C, und gibt das Identifizierungsergebnis aus (Schritt S313).
[Funktionsweise der Gesicht-Identifizierungsanordnung A]
Als nächstes wird eine Funktionsweise der Gesicht-Identifizierungsanordnung A beschrieben, unter Bezugnahme auf das Block-Diagramm in 1, welches die allgemeine Konfiguration der Gesicht-Identifizierungsanordnung A zeigt, und auf das Ablaufdiagramm in 15.
[Bild-Analyse-Schritt]
Falls an die Bild-Analyse-Vorrichtung 2 Bilder von den Kameras 1a und 1b übergeben wurden (Schritt S101), wie in dem Ablaufdiagramm in 15 dargestellt, erzeugt das Entfernungsinformationen-Erzeugungselement 21 das den Entfernungsinformationen entsprechende Entfernungsbild D1 (siehe 3A) aus den Bildern (Schritt S102), und das Bewegungsinformationen-Erzeugungselement 22 erzeugt das den Bewegungsinformationen entsprechende Unterschiedsbild D2 (Siehe 3B) aus den Bildern (Schritt S103). Zusätzlich erzeugt das Kanten-Informationen-Erzeugungselement 23 das den Kanten-Informationen entsprechende Kanten-Bild D3 (siehe 3C) (Schritt S104), und das Fleischfarben-Bereichsinformationen-Erzeugungselement 24 extrahiert die den Fleischfarben-Bereichsinformationen entsprechenden Fleischfarben-Bereiche R1 und R2 (siehe 3D) (Schritt S105).
[Profil-Extrahierungsschritt]
Wie weiterhin in dem Ablaufdiagramm in 15 dargestellt, wird als erstes in dem Zielentfernung-Bestimmungselement 31 der Profil-Extraktionsvorrichtung 3 eine Zielentfernung festgelegt, an der sich die Zielperson befindet, aus dem Entfernungsbild D1 und dem Unterschiedsbild D2, welche in den Schritten S102 und S103 erzeugt wurden (Schritt S106). Danach erzeugt das Zielentfernungsbild-Erzeugungselement 32 das Zielentfernungsbild D4 (siehe 4B), in welches die Pixel aus dem in Schritt S104 erzeugten Kanten-Bild D3 extrahiert werden, die an der in Schritt S106 festgelegten Zielentfernung existieren (Schritt S107).
Als nächstes legt das Zielbereich-Bestimmungselement 33 den Zielbereich T (siehe 5B) innerhalb des in Schritt S107 erzeugten Zielentfernungsbildes D4 fest (Schritt S108). Das Profil-Extraktionselement 34 extrahiert das Profil O (siehe 5C) der Zielperson C aus dem im Schritt S108 festgelegten Zielbereich T (Schritt S109).
[Gesichtsbereich-Bestimmungsschritt]
Wie in dem Ablaufdiagramm in 15 dargestellt bestimmt die Gesicht-Erwartungsbereich-Einrichtung 50 einen Bereich (Gesicht-Erwartungsbereich), in dem das Gesicht der Zielperson C innerhalb der Bilder existieren könnte, auf Grundlage der Entfernungsinformationen, der Fleischfarben-Bereichsinformationen und der jeweils in den Schritten S102, S105 und S109 erzeugten Profil-Informationen; und die Gesicht-Ewartungsbereich-Einrichtung 50 erzeugt Entfernungsdaten, welche die Entfernungen zwischen dem Gesicht-Erwartungsbereich und den Kameras 1 ausdrücken (Schritt S110).
[Pupillen-Kandidatenpunkt-Erkennungsschritt]
Nacheinander erzeugt die Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 ein Standard-Bild auf Grundlage der in Schritt S110 erstellten Entfernungsdaten, macht den Schwerpunkt G des Gesicht-Erwartungsbereiches in dem Standard-Bild zu einem Standard, und legt einen Bereich in dem Standard-Bild fest, in dem nach den Pupillen der Zielperson C gesucht wird. Die Einrichtung 60 scannt den Bereich mit einem kreisförmigen Kanten-Filter ab und ermittelt Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte) (Schritt S111).
[Referenz-Daten-Erzeugungsschritt]
Die Referenz-Daten-Erzeugungseinrichtung 70 legt alle möglichen Kombinationen aus den in den Pupillen-Kandidatenpunkten enthaltenen Rechte-Pupille- Kandidatenpunkten und Linke-Pupille-Kandidatenpunkten fest, und ermittelt eine Kombination (Paar) eines Rechte-Pupille-Kandidatenpunkt und eines Linke-Pupille-Kandidatenpunkt, dessen Abstand in einem festgelegten Bereich liegt, als das Normalisierungsobjekt-Paar.
Die Referenz-Daten-Erzeugungseinrichtung 70 standardisiert die in dem Normalisierungsobjekt-Paar enthaltenen Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte), erzeugt ein normalisiertes Gesichtsbild aus dem Gesicht-Erwartungsbereich in dem Standard-Gesichtsbild, und erzeugt aus diesen Referenz-Daten, welche in einem nachfolgenden Schritt S113 für eine Bewertung verwendet werden (Schritt S112).
[Gesichtsbereich-Bewertungsschritt]
Nacheinander urteilt die Gesichtsbereich-Bewertungseinrichtung 80, auf Grundlage der Referenz-Daten, ob der von der Gesicht-Erwartungsbereich-Einrichtung 50 festgelegte Gesichtsbereich für die Gesicht-Identifizierung der Zielperson C geeignet ist oder nicht (Schritt S113).
[Gesicht-Identifizierungsschritt]
Falls der von der Gesicht-Erwartungsbereich-Einrichtung 50 im Schritt S113 festgelegte Gesichtsbereich für die Gesicht-Identifizierung der Zielperson C geeignet ist, ermittelt als letztes die Gesicht-Identifizierungseinrichtung 90 die Merkmal-Parameter aus dem in Schritt S112 erzeugten normalisierten Gesichtsbild, sucht in der Speicher-Einrichtung 100 nach Merkmal-Parametern, die denen des normalisierten Gesichtsbildes am ähnlichsten sind, und identifiziert das mit den Kameras 1 aufgenommene Gesicht der Zielperson C (Schritt S114).
[Abgleichung der Pupillen-Kandidatenpunkte]
In der zuvor beschriebenen Ausführungsform scannt das Pupillen-Kandidatenpunkt-Erkennungselement 63 den Rechte-Auge-Bereich R und den Linke-Auge-Bereich L jeweils mit einem kreisförmigen Kanten-Filter ab, berechnet einen Rundheitswert für jedes Pixel, das in einem der Bereiche liegt, und macht das Pixel mit dem höchsten Rundheitswert zu einem Pupillen-Kandidatenpunkt.
Zur Verbesserung der Genauigkeit der Positionen der Pupillen-Kandidatenpunkte kann das Pupillen-Kandidatenpunkt-Erkennungselement 63 auch so ausgelegt sein, dass es des weiteren ein Pupillen-Kandidatenpunkt-Abgleich-Element 75 enthält, um das als geeignet bewertete Normalisierungsobjekt-Paar für die Gesicht-Identifizierung der Zielperson C zu überprüfen, und um die Positionen der in dem Normalisierungsobjekt-Paar enthaltenen Pupillen-Kandidatenpunkte (Rechte-Pupille-Kandidatenpunkte und Linke-Pupille-Kandidatenpunkte) abzugleichen.
Das Pupillen-Kandidatenpunkt-Abgleich-Element 75 macht die um den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt herum liegenden Pixel jeweils zu einem Standard, und ermittelt erneut einen Rechte-Auge-Referenz-Vektor und einen Linke-Auge-Referenz-Vektor. Das Element 75 ermittelt Näherungsgrade zwischen den Rechte/Linke-Auge-Referenz-Vektoren und den eindeutigen Rechte/Linke-Auge-Vektoren, und falls es in der Umgebung des Rechte-Pupille-Kandidatenpunktes und des Linke-Pupille-Kandidatenpunktes ein Pixel gibt, dessen Näherungsgrad höher ist, tauscht das Element 75 die Pupillen-Kandidatenpunkte mit dem Pixel aus.
Unter Bezugnahme auf 16 kann dies präziser erklärt werden: auf der Bodenfläche eines Graphen in 16 ist ein Bild dargestellt, das ein linkes Auge und eine Augenbraue umfasst, und die darüber liegende gekrümmte Fläche ist ein Näherungsgrad (DFES-Wert) für jedes Pixel. 16 zeigt, dass je näher der Abstand zwischen der gekrümmten Fläche und der Bodenfläche ist, desto höher ist der Näherungsgrad.
Sogar wenn zum Beispiel ein Pixel X in 16 als Pupillen-Kandidatenpunkt festgelegt wurde, ermittelt das Pupillen-Kandidatenpunkt-Abgleich-Element 75 entsprechend dem oben genannten Verfahren den Näherungswert (DFES-Wert) für um das Pixel X herum liegende Pixel, und falls ein Pixel Y einen höheren Näherungsgrad aufweist, bewertet das Element 75 das Pixel Y als besser geeignet als ein Pupillen-Kandidatenpunkt und tauscht den Pupillen-Kandidatenpunkt mit dem Pixel Y aus.
Wenn das Normalisierungsbearbeitungselement 73 ein normalisiertes Gesichtsbild erneut erzeugt und die Gesicht-Identifizierungseinrichtung 90 die Zielperson C identifiziert, kann er/sie somit mit höherer Genauigkeit identifiziert werden.
[Ein weiterer Aspekt der Verarbeitung im Referenz-Daten-Erzeugungselement 74]
Wie zuvor beschrieben ist das Referenz-Daten-Erzeugungselement 74 in der Ausführungsform so ausgelegt, dass es das Rechte-Auge-Normalisierungsbild und das Linke-Auge-Normalisierungsbild in dem von dem Normalisierungsbearbeitungselement 73 übergebenen normalisierten Gesichtsbild festlegt und jeden Bereich in einem Vektor ausdrückt (Rechte-Auge-Referenz-Vektor und Linke-Auge-Referenz-Vektor).
Jedoch kann das Referenz-Daten-Erzeugungselement 74 auch so ausgelegt sein, dass es nicht den Rechte-Auge-Referenz-Vektor und den Linke-Auge-Referenz-Vektor erzeugt, sondern einen Gesichtsreferenz-Vektor, wobei in diesem Vektor das ganze normalisierte Gesichtsbild ausgedrückt ist.
In diesem Fall ermittelt die Gesichtsbereich-Bewertungseinrichtung 80 einen Abstandswert zwischen dem Gesichtsreferenz-Vektor und einem eindeutigen Gesichtsvektor in der Speicher-Einrichtung 100, das heißt, die Einrichtung 80 ermittelt einen Euklidischen Abstand mittels einer DFFS (Abstand vom Gesichtsraum, engl.: „Differenz From Face Space") Berechnung und kann beurteilen, ob ein von der Gesicht-Erwartungsbereich-Einrichtung 50 festgelegter Gesicht-Erwartungsbereich, entsprechend dem zuvor beschriebenen Verfahren, für die Gesicht-Identifizierung der Zielperson C geeignet ist oder nicht (siehe 12).
[Abgleichung des Gesicht-Erwartungsbereiches]
Wenn die Gesichtsbereich-Bewertungseinrichtung 80 urteilt, dass ein Bereich (Gesicht-Erwartungsbereich), von dem erwartet wird, dass in diesem das Gesicht der Zielperson C liegt, für ein Gesichtsbereich der Zielperson C geeignet ist, kann die Einrichtung 80 auch so ausgelegt sein, dass die von der Pupillen-Kandidatenpunkt-Erkennungseinrichtung 60 erkannten Rechte-Auge-Kandidatenpunkte und Linke-Auge-Kandidatenpunkte zu einem Standard gemacht werden, und dass erneut ein Gesicht-Erwartungsbereich festgelegt wird, das heißt, er wird abgeglichen.
Konkreter, wenn die Gesichtsbereich-Bewertungseinrichtung 80 einen in einem Bild festgelegten Suchbereich mit einer elliptischen Gesichtsschablone abscannt, um nach dem Gesicht der Zielperson C zu suchen, passt die Einrichtung 80 Positionen, die in der Gesichtsschablone Augen entsprechen, den Positionen der Pupillen-Kandidatenpunkte an, das heißt, macht einen Rechte-Auge-Kandidatenpunkt und einen Linke-Auge-Kandidatenpunkt zu einem Standard und legt erneut (gleicht ab) den Gesicht-Erwartungsbereich fest.
Da der abgeglichene Gesicht-Erwartungsbereich (Nach-Abgleichung-Gesicht-Erwartungsbereich) einen Bereich anzeigt, in dem das Gesicht der Zielperson C mit einer höheren Genauigkeit existiert, als in dem als erstes angenommenen Gesicht-Erwartungsbereich, kann folglich ein Bereich ermittelt werden, in dem das Gesicht der Zielperson C mit einer höheren Genauigkeit existiert.
Obwohl die bevorzugten Ausführungsformen der vorliegenden Erfindung beschrieben werden, ist die Erfindung nicht auf diese beschränkt. Obwohl zum Beispiel die Ausführungsformen als eine Gesicht-Identifizierungsanordnung beschrieben werden, sind diese auch als ein Programm vorstellbar, welches die Verarbeitung jeder Konfiguration der Gesicht-Identifizierungsanordnung mit einer Mehrzweck-Computersprache beschreibt.
Zusätzlich kann eine erfindungsgemäße Gesicht-Identifizierungsvorrichtung bevorzugt eine Gesicht-Identifizierung einer Zielperson sogar in einer Situation durchführen, in der sich eine Positionsbeziehung zwischen einer Lichtquelle und ihm/ihr ändert, und eine Extrahierung eines Gesichtbereiches ist nicht immer erfolgreich in dem Fall, dass er/sie sich bewegt und sein/ihr Bild unter Bewegung aufgenommen wird, da die Vorrichtung die Durchführung der Extrahierung des Gesichtbereich auf die Beurteilung stützt, ob der Gesichtsbereich für die Gesichtidentifizierung geeignet ist oder nicht.
Entsprechend ist die Gesicht-Identifizierungsvorrichtung auch auf verschiedene bewegte Körper, wie ein mit Füßen laufender Roboter oder Kraftfahrzeuge anwendbar.
Eine Gesicht-Identifizierungsvorrichtung (4) zur Identifizierung eines Gesichts umfasst entwurfsgemäß eine Gesicht-Erwartungsbereich-Einrichtung (50), welche einen Bereich innerhalb des von ihm/ihr aufgenommenen Bildes festlegt, von dem erwartet wird, dass es sein/ihr Gesicht aufweist; eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung (60) zur Konvertierung des Gesichtsbereiches zu einem Bild mit einer Standard-Größe, womit dieses zu einem Standard-Bild wird, und zur Ermittelung seiner/ihrer Rechte/Linke-Pupille-Kandidatenpunkte aus einem innerhalb des Standard-Bildes liegenden Such-Bereich; eine Referenz-Daten-Erzeugungseinrichtung (70) zur Erzeugung eines Normalisierungsbildes aus dem Standard-Bild, womit der Abstand zwischen dem Rechte/Linke-Pupille-Kandidatenpunkt standardisiert wird, und zur Erzeugung von Referenz-Daten, um die Zweckmäßigkeit von dem Gesichtsbereich aus dem Normalisierungsbild zu bewerten; und eine Gesichtsbereich-Bewertungseinrichtung (80) zum Erhalten eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches.

Claims

Gesicht-Identifizierungsvorrichtung, umfassend: eine Gesicht-Identifizierungseinrichtung zur Identifikation eines Gesichts einer Zielperson (C), auf Grundlage eines mit einer Kamera (1) aufgenommenen Bildes dieser Zielperson; eine Gesicht-Erwartungsbereich-Einrichtung (50) zur Festlegung eines Bereiches, von dem erwartet wird, dass dieser ein Gesichtsbereich der Zielperson ist, auf Grundlage von Entfernungsinformationen, welche eine Entfernung von dieser Kamera bis zu dieser Zielperson darstellen, und auf Grundlage von Profil-Informationen und Fleischfarben-Bereichsinformationen dieser Zielperson, welche aus diesem Bild erzeugt werden; eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung (60) zur Erzeugung eines Standard-Bildes, indem dieser Gesichtsbereich zu einem Bild mit einer Standard-Größe auf Grundlage der Entfernungsinformationen umgewandelt wird, indem ein Such-Bereich festgelegt wird, womit dieser zu einem Schwerpunkt des Gesichtsbereiches in dem Standard-Bild gemacht wird, und indem nach einer kreisförmigen Kante zu jedem innerhalb des Such-Bereiches liegenden Pixel gesucht wird, und ein Rechte-Pupille-Kandidatenpunkt und ein Linke-Pupille-Kandidatenpunkt der Zielperson anhand von Pixeln mit vorgegebener kreisförmiger Kante ermittelt wird; eine Referenz-Daten-Erzeugungseinrichtung (70) zur Rotation des Standard-Bildes, so dass ein den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt verbindendes Linien-Segment innerhalb des Standard-Bildes horizontal wird, woraufhin ein Normalisierungsbild erzeugt wird, womit der Abstand zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt standardisiert wird, und Referenz-Daten erstellt werden, um die Zweckmäßigkeit dieses Gesichtsbereiches aus dem Normalisierungsbild zu bewerten; und eine Gesichtsbereich-Bewertungseinrichtung (80) zur Ermittelung eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches, anhand des ermittelten Näherungsgrades.
Gesicht-Identifizierungsvorrichtung nach Anspruch 1, wobei die Pupillen-Kandidatenpunkt-Erkennungseinrichtung jeweils mindestens einen Rechte-Auge-Kandidatenpunkt und einen Linke-Auge-Kandidatenpunkt erkennt, und die Referenz-Daten-Erzeugungseinrichtung die Referenzdaten für alle Kombinationen von ermittelten Rechte-Auge-Kandidatenpunkten und Linke-Auge-Kandidatenpunkten erzeugt.
Gesicht-Identifizierungsvorrichtung nach Anspruch 1, wobei, falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als ungeeignet eingestuft wird, die Gesichtsbereich-Bewertungseinrichtung die Gesicht-Erwartungsbereich-Einrichtung auffordert erneut einen Gesicht-Erwartungsbereich der Zielperson festzulegen.
Gesicht-Identifizierungsvorrichtung nach Anspruch 2, wobei, falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als ungeeignet eingestuft wird, die Gesichtsbereich-Bewertungseinrichtung das Gesicht-Erwartungsbereich-Einrichtung auffordert erneut einen Gesicht-Erwartungsbereich der Zielperson festzulegen.
Gesicht-Identifizierungsvorrichtung nach Anspruch 1, wobei, falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als geeignet eingestuft wird, die Gesichtsbereich-Bewertungseinrichtung den Rechte-Auge-Kandidatenpunkt und den Linke-Auge-Kandidatenpunkt zu einem Standard macht und den Gesichtsbereich abgleicht.
Gesicht-Identifizierungsvorrichtung nach Anspruch 2, wobei, falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als geeignet eingestuft wird, die Gesichtsbereich-Bewertungseinrichtung den Rechte-Auge-Kandidatenpunkt und den Linke-Auge-Kandidatenpunkt zu einem Standard macht und den Gesichtsbereich abgleicht.
Gesicht-Identifizierungsvorrichtung nach Anspruch 3, wobei, falls der Gesichtsbereich von der Gesichtsbereich-Bewertungseinrichtung als geeignet eingestuft wird, die Gesichtsbereich-Bewertungseinrichtung den Rechte-Auge-Kandidatenpunkt und den Linke-Auge-Kandidatenpunkt zu einem Standard macht und den Gesichtsbereich abgleicht.
Verfahren zur Identifizierung eines Gesichts einer Zielperson, auf Grundlage eines mit einer Kamera aufgenommenen Bildes dieser Zielperson; das Verfahren umfassend: einen Gesicht-Erwartungsbereich-Schritt zur Festlegung eines Bereiches, von dem erwartet wird, dass dieser ein Gesichtsbereich der Zielperson ist, auf Grundlage von Entfernungsinformationen, welche eine Entfernung von dieser Kamera bis zu dieser Zielperson darstellen, und auf Grundlage von Profil-Informationen und Fleischfarben-Bereichsinformationen dieser Zielperson, welche aus diesem Bild erzeugt werden; einen Pupillen-Kandidatenpunkt-Erkennungsschritt zur Erzeugung eines Standard-Bildes, indem dieser Gesichtsbereich zu einem Bild mit einer Standard-Größe auf Grundlage der Entfernungsinformationen umgewandelt wird, indem ein Such-Bereich festgelegt wird, womit dieser zu einem Schwerpunkt des Gesichtsbereiches in dem Standard-Bild gemacht wird, und indem nach einer kreisförmigen Kante zu jedem innerhalb des Such-Bereiches liegenden Pixel gesucht wird, und ein Rechte-Pupille-Kandidatenpunkt und ein Linke-Pupille- Kandidatenpunkt der Zielperson anhand von Pixeln mit vorgegebener kreisförmiger Kante ermittelt wird; einen Referenz-Daten-Erzeugungsschritt zur Rotation des Standard-Bildes, so dass ein den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt verbindendes Linien-Segment innerhalb des Standard-Bildes horizontal wird, woraufhin ein Normalisierungsbild erzeugt wird, womit der Abstand zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt standardisiert wird, und Referenz-Daten erstellt werden, um die Zweckmäßigkeit dieses Gesichtsbereiches aus dem Normalisierungsbild zu bewerten; und einen Gesichtsbereich-Bewertungsschritt zur Ermittelung eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches, anhand des ermittelten Näherungsgrades; einen Gesichtsdaten-Erzeugungsschritt, in welchem Gesichtsdaten der Zielperson aus dem Normalisierungsbild erzeugt werden, falls der Gesichtsbereich in dem Gesichtsbereich-Bewertungsschritt als geeignet bewertet wurde; und einen Gesicht-Identifizierungsschritt, in welchem die Gesichtsdaten, die in dem Gesichtsdaten-Erzeugungsschritt erstellt wurden, mit Gesichtsdaten, welche in einer Speicher-Einrichtung erfasst sind, verglichen und zugeordnet werden.
Gesicht-Identifizierungsprogramm, welches zur Identifizierung eines von einer Kamera aufgenommenen Bildes dieser Zielperson einen Computer wirken lässt als: eine Gesicht-Erwartungsbereich-Einrichtung zur Festlegung eines Bereiches, von dem erwartet wird, dass dieser ein Gesichtsbereich der Zielperson ist, auf Grundlage von Entfernungsinformationen, welche eine Entfernung von dieser Kamera bis zu dieser Zielperson darstellen, und auf Grundlage von Profil-Informationen und Fleischfarben-Bereichsinformationen dieser Zielperson, welche aus diesem Bild erzeugt werden; eine Pupillen-Kandidatenpunkt-Erkennungseinrichtung zur Erzeugung eines Standard-Bildes, indem dieser Gesichtsbereich zu einem Bild mit einer Standard-Größe auf Grundlage der Entfernungsinformationen umgewandelt wird, indem ein Such-Bereich festgelegt wird, womit dieser zu einem Schwerpunkt des Gesichtsbereiches in dem Standard-Bild gemacht wird, und indem nach einer kreisförmigen Kante zu jedem innerhalb des Such-Bereiches liegenden Pixel gesucht wird, und ein Rechte-Pupille-Kandidatenpunkt und ein Linke-Pupille-Kandidatenpunkt der Zielperson anhand von Pixeln mit vorgegebener kreisförmiger Kante ermittelt wird; eine Referenz-Daten-Erzeugungseinrichtung zur Rotation des Standard-Bildes, so dass ein den Rechte-Pupille-Kandidatenpunkt und den Linke-Pupille-Kandidatenpunkt verbindendes Linien-Segment innerhalb des Standard-Bildes horizontal wird, woraufhin ein Normalisierungsbild erzeugt wird, womit der Abstand zwischen dem Rechte-Pupille-Kandidatenpunkt und dem Linke-Pupille-Kandidatenpunkt standardisiert wird, und Referenz-Daten erstellt werden, um die Zweckmäßigkeit dieses Gesichtsbereiches aus dem Normalisierungsbild zu bewerten; und eine Gesichtsbereich-Bewertungseinrichtung zur Ermittelung eines Näherungsgrades zwischen den Referenzdaten und zuvor erstellten Standarddaten, und zum Bewerten der Zweckmäßigkeit des Gesichtsbereiches, anhand des ermittelten Näherungsgrades; einen Gesichtsdaten-Erzeugungsschritt, in welchem Gesichtsdaten der Zielperson aus dem Normalisierungsbild erzeugt werden, falls der Gesichtsbereich in dem Gesichtsbereich-Bewertungsschritt als geeignet bewertet wurde; und einen Gesicht-Identifizierungsschritt, in welchem die Gesichtsdaten, die in dem Gesichtsdaten-Erzeugungsschritt erstellt wurden, mit Gesichtsdaten, welche in einer Speicher-Einrichtung erfasst sind, verglichen und zugeordnet werden.