DE112016005939B4

DE112016005939B4 - Fahrgasterkennungsvorrichtung, Fahrgasterkennungssystem und Fahrgasterkennungsverfahren

Info

Publication number: DE112016005939B4
Application number: DE112016005939.6T
Authority: DE
Inventors: Natsuki Tahara; Takashi Hirano; Masanobu Osawa
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-02-18
Filing date: 2016-02-18
Publication date: 2020-02-27
Anticipated expiration: 2036-02-19
Also published as: JP6320661B2; US10621418B2; WO2017141401A1; CN108701345B; US20190026540A1; DE112016005939T5; CN108701345A; JPWO2017141401A1

Abstract

Eine Vorrichtung (10) zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts, umfassend:eine Gesichtsbilderfassungseinheit (12), die ein Gesichtsbild eines Fahrgasts in einem Fahrzeug erhält, wobei das Gesichtsbild in einem Zustand aufgenommen ist, in dem der Fahrgast mit Bestrahlungslicht aus einer Vielzahl von Lichtquellen einer Bestrahlungseinheit (1), welche eine charakteristische Form der Lichtquellen bildet, bestrahlt wird;eine Reflexionsbild-Positions-Erfassungseinheit (14), die Positionen jeweiliger reflektierter Bilder der Vielzahl von Lichtquellen aus dem von der Gesichtsbilderfassungseinheit (12) erhaltenen Gesichtsbild erfasst, wobei die reflektierten Bilder auf einer vom Fahrgast getragenen Brille erscheinen;eine Brillenmerkmals-Informations-Erfassungseinheit (15), die aus dem Gesichtsbild, das durch die Gesichtsbild-Erfassungseinheit erhalten wird, Informationen über eine Position oder Form der Brille als Merkmalsinformationen erfasst, die der Gesichtsausrichtung des Fahrgastes entspricht;eine Kopfpositionserfassungseinheit (16), die eine Kopfposition des Fahrgastes auf der Grundlage der Positionen der jeweiligen reflektierten Bilder erfasst, die von der Reflexionsbild-Positions-Erfassungseinheit (14) erfasst werden; undeine Gesichtsausrichtungserfassungseinheit (17), die die Gesichtsausrichtung des Fahrgastes auf der Grundlage der von der Kopfpositionserfassungseinheit (16) erfassten Kopfposition des Fahrgastes, der von der Reflexionsbild-Positions-Erfassungseinheit (14) erfassten Positionen der jeweiligen reflektierten Bilder und der von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Merkmalsinformationen der Brille erfasst.

Description

TECHNISCHES GEBIET
Die Erfindung bezieht sich auf eine Fahrgasterkennungsvorrichtung, ein Fahrgasterkennungssystem und ein Fahrgasterkennungsverfahren zur Erfassung der Gesichtsausrichtung eines Fahrgastes in einem Fahrzeug.
HINTERGRUND
Eine herkömmliche Fahrer-Erfassungsvorrichtung, die die Gesichtsausrichtung eines Fahrgastes erfasst, hat das Problem, dass beim Tragen einer Brille oder Sonnenbrille Gesichtspunkte nicht erfasst werden können und somit die Gesichtsausrichtung nicht erfasst werden kann. So wird in der Patentliteratur 1 eine Gesichtszustandserfassungsvorrichtung vorgeschlagen, die die Gesichtsausrichtung anhand von Bildern von Fahrzeugkarosseriestrukturen, die auf den Brillengläsern usw. reflektiert werden, die von einem Fahrgast getragen werden, und den Positionen der Bilder erfasst.
US 20070291231 A1 betrifft ein Verfahren zur Erfassung einer Brille, wobei das Vorhandensein einer Brille, die von einer Person getragen wird, unabhängig davon erfasst wird, ob der Kopf der Person frontal oder im Profil betrachtet wird. Bilddaten innerhalb von Suchfenstern, definiert in Bezug auf das Auge des Probanden, werden verarbeitet, um lineare Darstellungen von Kantenbegrenzungen zu bilden. Durch Schnitte der linearen Darstellungen gebildete Winkel werden bestimmt und als Grundlage für die Bestimmung, ob Brillengläser vorhanden sind, verwendet. Bei der Erkennung von vorgeschriebenen Brillenbestandteilen werden Augenerkennungs- und - verfolgungsroutinen entsprechend konfiguriert.
US 8208027 B2 betrifft eine Bildaufnahmevorrichtung und ein Verfahren zur Aufnahme von Bildern. Die Bildaufnahmevorrichtung beinhaltet ein erstes Lichtbestrahlungselement zum Strahlen von erstem Licht; ein zweites Lichtbestrahlungselement zum Strahlen von zweitem Licht; ein Bildaufnahmeelement und eine Steuerung. Ein erster Bestrahlungsbereich des ersten Lichtbestrahlungselements ist teilweise mit einen zweiten Bestrahlungsbereich des zweiten Lichtbestrahlungselements überlappt. Die Steuerung steuert das Bildaufnahmeelement, um ein nicht bestrahltes Bild eines Objekts aufzunehmen, wenn kein Lichtbestrahlungselement Licht ausstrahlt. Die Steuerung steuert das Bildaufnahmeelement, um ein erstes Bild des Objekts aufzunehmen. wenn das erste Lichtbestrahlungselement das erste Licht ausstrahlt. Außerdem steuert die Steuerung das Bildaufnahmeelement so, dass es ein zweites Bild des Objekts aufnimmt, wenn das zweite Lichtbestrahlungselement das zweite Licht ausstrahlt.
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Die Gesichtszustandserfassungsvorrichtung nach Patentliteratur 1 ist in der oben beschriebenen Weise konfiguriert und hat daher das Problem, dass, wenn reflektierte Bilder nicht auf den Brillengläsern etc. erscheinen, nachts ohne Außenlicht, an einem bewölkten Tag oder ähnlichem, die Gesichtsausrichtung nicht erfasst werden kann. Hinzu kommt ein weiteres Problem: Da die Extraktion der auf den Objektiven reflektierten Bilder von Karosseriestrukturen durch Bildverarbeitung erfolgt, ist eine hochwertige Kamera erforderlich, was zu hohen Kosten führt.
Die vorliegende Erfindung soll die oben genannten Probleme lösen, und ein Gegenstand der Erfindung ist es, die Gesichtsausrichtung eines Fahrgastes immer zu geringen Kosten zu erkennen, ohne von der Zeit, dem Wetter und dergleichen beeinflusst zu werden.
PROBLEMLÖSUNG
Die vorliegende Erfindung ist in den beigefügten Ansprüchen definiert. Eine Fahrgasterkennungsvorrichtung nach der Erfindung, die eine Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts ist, beinhaltet: eine Gesichtsbild-Erfassungseinheit, die ein Gesichtsbild eines Fahrgastes in einem Fahrzeug erfasst, wobei das Gesichtsbild in einem Zustand erfasst ist, in dem der Fahrgast mit Bestrahlungslicht von einer Vielzahl von Lichtquellen einer Bestrahlungseinheit, welche eine charakteristische Form der Lichtquellen bildet, bestrahlt wird; eine Positionserfassungseinheit, die Positionen der jeweiligen reflektierten Bilder der Vielzahl von Lichtquellen aus dem von der Gesichtsbild-Erfassungseinheit erhaltenen Gesichtsbild erfasst, wobei die reflektierten Bilder auf einer vom Fahrgast getragenen Brille erscheinen; eine Brillen-Erfassungseinheit, die aus dem Gesichtsbild, das durch die Gesichtsbild-Erfassungseinheit erhalten wird, Informationen über eine Position oder Form der Brille als Merkmalsinformationen erfasst, die der Gesichtsausrichtung des Fahrgastes entspricht; eine Kopfpositionserfassungseinheit, die eine Kopfposition des Fahrgasts auf der Grundlage der Positionen der jeweiligen reflektierten Bilder erfasst, die von der Positionserfassungseinheit für reflektierte Bilder erfasst werden; und eine Gesichtsausrichtungserfassungseinheit, die eine Gesichtsausrichtung des Fahrgasts auf der Grundlage der von der Kopfpositionserfassungseinheit erfassten Kopfposition des Fahrgasts, der Positionen der jeweiligen reflektierten Bilder, die von der Positionserfassungseinheit für reflektierte Bilder erfasst werden, und der Merkmalsinformation der von der Brillenerfassungseinheit erfassten Brillen erfasst wird.
VORTEILHAFTE EFFEKTE DER ERFINDUNG
Der Erfindung zufolge wird die Gesichtsausrichtung eines Fahrgastes in einem Fahrzeug anhand eines Gesichtsbildes erfasst, das in einem Zustand aufgenommen wird, in dem der Fahrgast mit einem Bestrahlungslicht aus einer Vielzahl von Lichtquellen bestrahlt wird, so dass die Gesichtsausrichtung des Fahrgastes immer kostengünstig und ohne Beeinträchtigung durch Zeit, Wetter und dergleichen erfasst werden kann.
Figurenliste

1 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach einer ersten Ausführungsform der Erfindung zeigt;
2A ist ein Diagramm, das eine Positionsbeziehung zwischen Bestrahlungseinheiten, einer Abbildungseinheit und einem Fahrgast der ersten Ausführungsform veranschaulicht, und 2B bis 2E sind Diagramme, die eine beispielhafte Anordnung einer Vielzahl von Lichtquellen in einer Bestrahlungseinheit zeigen;
3 ist ein Flussdiagramm, das den Betrieb eines Fahrgasterkennungssystems gemäß der ersten Ausführungsform zeigt;
4A bis 4C sind Diagramme zur Erläuterung einer Methode zur Erkennung einer Kopfposition, die von der Fahrgasterkennungseinrichtung entsprechend der ersten Ausführungsform durchgeführt wird;
5A bis 5F sind Diagramme zur Erklärung der Lagebeziehung zwischen einer Brillenlinse und reflektierten Bildern auf der Linse;
6 ist ein Diagramm, das die Positionen der reflektierten Bilder auf Brillengläsern zeigt, wenn ein Brillenträger sein Gesicht in verschiedene Richtungen ausrichtet;
7 ist ein Diagramm zur Erläuterung einer Methode zur Erfassung des horizontalen Winkels und des vertikalen Winkels der Gesichtsausrichtung, die von der Fahrgasterkennungsvorrichtung entsprechend der ersten Ausführungsform durchgeführt wird;
8A und 8B sind Diagramme zur Erläuterung einer Methode zur Erfassung eines Neigungswinkels der Gesichtsausrichtung, die von der Fahrgasterkennungsvorrichtung entsprechend der ersten Ausführungsform durchgeführt wird;
9 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach einer zweiten Ausführungsform zeigt;
10 ist ein Flussdiagramm, das den Betrieb eines Fahrgasterkennungssystems gemäß der zweiten Ausführungsform zeigt;
11 ist ein Diagramm zur Erklärung der Formen von Brillengläsern der zweiten Ausführungsform; es handelt sich dabei um ein Diagramm;
12A, 12B und 12C sind Diagramme zur Erläuterung einer Methode zur Erkennung der Gesichtsausrichtung, die von der Fahrgasterkennungsvorrichtung gemäß der zweiten Ausführungsform durchgeführt wird;
13 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach einer dritten Ausführungsform der Erfindung zeigt;
14 ist ein Flussdiagramm, das den Betrieb eines Fahrgasterkennungssystems nach der dritten Ausführungsform zeigt;
15 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach einer vierten Ausführungsform der Erfindung zeigt;
16 ist ein Flussdiagramm, das den Betrieb eines Fahrgasterkennungssystems nach der vierten Ausführungsform zeigt;
17 zeigt die Fortsetzung des in 16 gezeigten Flussdiagramms; und
18 ist ein Hardware-Konfigurationsdiagramm des Fahrgasterkennungssystems entsprechend der jeweiligen Ausführungsform der Erfindung.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Um die Erfindung näher zu beschreiben, werden im Folgenden einige Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems, das ein System zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts ist, nach einer ersten Ausführungsform der Erfindung zeigt. Das in 1 gezeigte Fahrgasterkennungssystem umfasst eine Bestrahlungseinheit 1, eine Bildeinheit 2 und eine Fahrgasterkennungsvorrichtung 10, die eine Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts ist. In jeder der folgenden Ausführungsformen der Erfindung wird ein Beispiel für ein Fahrgasterkennungssystem an einem Automobil erläutert. Alternativ kann das Fahrgasterkennungssystem auch an einem Fahrzeug wie einem Schienenfahrzeug, einem Schiff, einem Flugzeug oder ähnlichem montiert werden.
Die Bestrahlungseinheit 1 umfasst eine Vielzahl von Lichtquellen. Die Bestrahlungseinheit 1 wird in einem Fahrzeuginnenraum vor einem Fahrgast installiert und bestrahlt den Fahrgast mit Bestrahlungslicht aus der Vielzahl von Lichtquellen.
Die Bildeinheit 2 enthält eine oder mehrere Kameras. Die Bildeinheit 2 wird im Fahrzeuginnenraum installiert und erfasst das Gesicht eines Fahrgastes und gibt das Bild als Gesichtsbild aus.
Beispielsweise können Leuchtdioden (LEDs), die sichtbares Licht abstrahlen, als Lichtquelle der Bestrahlungseinheit 1 und eine Kamera mit einer Empfindlichkeit in einem Bereich von sichtbarem Licht als Bildeinheit 2 verwendet werden. Alternativ können LEDs, die unsichtbares Licht wie Infrarotstrahlen abstrahlen, als Lichtquellen der Bestrahlungseinheit 1 und eine Kamera mit einer Empfindlichkeit in einem Bereich des unsichtbaren Lichts als Bildeinheit 2 verwendet werden. Bei Verwendung von LEDs mit unsichtbarem Licht wird der Fahrgast auch bei nächtlicher Einstrahlung nicht geblendet.
2A zeigt ein Beispiel für eine Positionsbeziehung zwischen den Bestrahlungseinheiten 1, der Bildeinheit 2 und einem Fahrgast. Im Beispiel von 2A sind die Bestrahlungseinheiten 1 und 2 vor einem Fahrgast installiert. Die beiden Bestrahlungseinheiten 1 mit je fünf Lichtquellen sind auf der linken und rechten Seite der Bildeinheit 2 angeordnet.
Im Beispiel von 2A werden LEDs für sichtbares Licht verwendet, und die beiden Bestrahlungseinheiten 1 sind auf beiden Seiten der Bildeinheit 2 installiert, so dass das Gesicht eines Fahrgasts nicht abgeschattet wird. Bei Verwendung von Infrarot-LEDs darf nur eine Bestrahlungseinheit 1 verwendet werden.
Weiterhin kann, wie in 2A dargestellt, ein einziges Gehäuse, in das die Bestrahlungseinheiten 1 und die Bildeinheit 2 integriert sind, oder ein Gehäuse für die Bestrahlungseinheiten 1 und ein Gehäuse für die Bildeinheit 2 getrennt werden.
Im Folgenden wird, wie in 2A dargestellt, die horizontale Richtung als x-Richtung, die vertikale Richtung als y-Richtung und die Tiefenrichtung als z-Richtung dargestellt.
2B, 2C, 2D und 2E sind Diagramme, die beispielhaft die Anordnung mehrerer Lichtquellen in einer Bestrahlungseinheit 1 zeigen. Eine in 2B gezeigte Bestrahlungseinheit 1 ist so konfiguriert, dass vier Lichtquellen oben, unten, links und rechts angeordnet sind. Eine in 2C gezeigte Bestrahlungseinheit 1 ist so konfiguriert, dass fünf Lichtquellen kreuzförmig angeordnet sind. Eine in 2D dargestellte Bestrahlungseinheit 1 ist so konfiguriert, dass fünf Lichtquellen zu einer X-Form angeordnet sind. Eine in 2E gezeigte Bestrahlungseinheit 1 ist so konfiguriert, dass acht Lichtquellen kreuzförmig angeordnet sind.
Wie in den Zeichnungen dargestellt, ist es vorzuziehen, dass die Bestrahlungseinheit 1 eine charakteristische Anordnung wie eine vertikale Linie, eine horizontale Linie, eine schräge Linie oder eine durch eine Kombination davon gebildete Kreuzform oder eine dreieckige Form bildet, die es erlaubt, das Bestrahlungslicht von der Bestrahlungseinheit 1 bei Reflexion auf Brillengläsern von anderem Licht zu unterscheiden. Als Referenz gilt, dass anderes Licht als das Bestrahlungslicht der Bestrahlungseinheit 1 z.B. externes Licht von der Außenseite des Fahrzeugs umfasst und von einer Linse reflektiertes externes Licht eine ebene Form oder eine Einzelpunktform hat.
Die Fahrgasterkennungsvorrichtung 10 umfasst eine Steuereinheit 11, eine Gesichtsbildaufnahmeeinheit 12, eine Gesichtserkennungseinheit 13, eine Reflexionsbild-Positions-Erfassungseinheit 14, eine Brillenmerkmals-Informations-Erfassungseinheit 15, eine Kopfpositionserkennungseinheit 16 und eine Gesichtsausrichtungserfassungseinheit 17. Die Fahrgasterkennungsvorrichtung 10 erfasst die Gesichtsausrichtung eines Fahrgastes mit Brille im Allgemeinen, einschließlich einer Brille zur Sehkorrektur, einer Sonnenbrille oder einer Schutzbrille oder ähnlichem.
Die Steuereinheit 11 steuert den Betrieb der Bestrahlungseinheit 1, der Bildeinheit 2 und der Fahrgasterkennungsvorrichtung 10. Die Steuereinheit 11 weist die Bestrahlungseinheit 1 an, das Ein- und Ausschalten der mehreren Lichtquellen zu steuern. Weiterhin weist die Steuereinheit 11 die Bildeinheit 2 an, ein Bild des mit Bestrahlungslicht bestrahlten Fahrgasts von der Bestrahlungseinheit 1 mit der Kamera aufzunehmen. Darüber hinaus weist die Steuereinheit 11 die Gesichtsbilderfassungseinheit 12, die Gesichtserfassungseinheit 13, die Reflexionsbild-Positions-Erfassungseinheit 14, die Brillenmerkmals-Informations-Erfassungseinheit 15, die Kopfpositionserfassungseinheit 16 und die Gesichtsausrichtungserfassungseinheit 17 in der Fahrgasterfassungseinheit 10 an, den Betriebszeitpunkt zu steuern oder den Empfang und die Ausgabe von Informationen zu steuern.
Die Gesichtsbilderfassungseinheit 12 erhält ein Gesichtsbild von der Bildeinheit 2 und gibt das Gesichtsbild an die Steuereinheit 11 aus.
Die Gesichtserkennungseinheit 13 empfängt das Gesichtsbild von der Bildeinheit 2 über die Steuereinheit 11, erkennt ein Gesicht aus dem Gesichtsbild und gibt das Ergebnis der Gesichtserkennung an die Steuereinheit 11 aus. Die Gesichtserkennungseinheit 13 ist z.B. eine Klassifikationseinheit mit gängigen Algorithmen wie Adaboost und Cascade. Die Fahrgasterkennungsvorrichtung 10 kann nicht für die Gesichtserkennungseinheit 13 konfiguriert werden, und eine externe Vorrichtung wie die Bildeinheit 2 kann für die Gesichtserkennungseinheit 13 konfiguriert werden. Wenn ein externes Gerät so konfiguriert ist, dass es die Gesichtserkennungseinheit 13 enthält, erhält die Gesichtsbild-Erfassungseinheit 12 ein Gesichtsbild und ein Gesichtserkennungsergebnis von der Gesichtserkennungseinheit 13 in dem externen Gerät und gibt das Gesichtsbild und das Gesichtserkennungsergebnis an die Steuereinheit 11 aus.
Die Reflexionsbild-Positions-Erfassungseinheit 14 empfängt das Gesichtsbild und das Gesichtserfassungsergebnis durch die Steuereinheit 11 und erfasst reflektierte Bilder, die die gleiche Form wie die Anordnung der Bestrahlungseinheit 1 haben, aus einem Gesichtserfassungsrahmen im Gesichtsbild, wobei die reflektierten Bilder auf Brillengläsern des Fahrgastes reflektiert werden. Wenn beispielsweise die mehreren Lichtquellen der Bestrahlungseinheit 1 wie in 2C dargestellt angeordnet sind, werden die auf den Brillengläsern im Gesichtsbild reflektierten Bilder auch zu mehreren weißen Punkten wie in 2C. Es wird davon ausgegangen, dass Informationen über die Anordnung der Bestrahlungseinheit 1 zur Detektion von reflektierten Bildern vorab an die Reflexionsbild-Positions-Erfassungseinheit 14 gegeben werden. Zur Erfassung der reflektierten Bilder kann die Reflexionsbild-Positions-Erfassungseinheit 14 eine Kantenerkennung innerhalb des Gesichtserfassungsrahmens oder einen Vergleich der Leuchtdichtewerte durchführen.
Wenn die Reflexionsbild-Positions-Erfassungseinheit 14 reflektierte Bilder erfasst, die die gleiche Form wie die Anordnung der Bestrahlungseinheit 1 haben, bestimmt die Reflexionsbild-Positions-Erfassungseinheit 14, dass der Fahrgast eine Brille trägt, und erfasst die Positionen der jeweiligen reflektierten Bilder entsprechend der Vielzahl von Lichtquellen der Bestrahlungseinheit 1. Die Reflexionsbild-Positions-Erfassungseinheit 14 gibt dann die Erkennungsergebnisse der Positionen der jeweiligen Reflexbilder an die Steuereinheit 11 aus.
Wenn die Reflexionsbild-Positions-Erfassungseinheit 14 dagegen keine reflektierten Bilder erfasst, die die gleiche Form wie die Anordnung der Bestrahlungseinheit 1 haben, stellt die Reflexionsbild-Positions-Erfassungseinheit 14 fest, dass der Fahrgast keine Brille trägt, und gibt das Messergebnis an die Steuereinheit 11 aus.
Die Brillenmerkmals-Informations-Erfassungseinheit 15 empfängt über die Steuereinheit 11 das Gesichtsbild und das Gesichtserkennungsergebnis und erkennt Brillengläser, die vom Fahrgast getragen werden oder Rahmen, die die Gläser im Gesichtserkennungsrahmen im Gesichtsbild fixieren. Dann erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15 anhand der Erkennungsergebnisse der Gläser oder Fassungen die Positionen der Mittelpunkte der Linsenformen als Merkmalsinformationen, die die Position der Brille entsprechend der Gesichtsausrichtung des Fahrgasts anzeigen, und gibt die Erkennungsergebnisse an die Steuereinheit 11 aus. Zur Erkennung von Gläsern oder Brillenfassungen kann die Brillenmerkmals-Informations-Erfassungseinheit 15 eine Kantenerkennung innerhalb des Gesichtserkennungsrahmens oder einen Vergleich der Leuchtdichtewerte durchführen.
Beachten Sie, dass die Reflexionsbild-Positions-Erfassungseinheit 14 und die Brillenmerkmals-Informations-Erfassungseinheit 15 beispielsweise die Positionen der jeweiligen reflektierten Bilder und die Positionen der Linsenmittelpunkte in Bezug auf ein Koordinatensystem mit im Gesichtsbild eingestellten x- und y-Achsen erfassen.
Die Kopfpositionserfassungseinheit 16 empfängt über die Steuereinheit 11 die Erfassungsergebnisse der Positionen der jeweiligen reflektierten Bilder und ermittelt die Abstände zwischen den reflektierten Bildern von den Positionen der jeweiligen reflektierten Bilder und erkennt dadurch eine Kopfposition des Fahrgastes. Die Kopfpositionserfassungseinheit 16 gibt das Messergebnis der Kopfposition an die Steuereinheit 11 aus. Eine Methode zur Erkennung einer Kopfposition wird später detailliert beschrieben.
Die Gesichtsausrichtungserfassungseinheit 17 erfasst die Gesichtsausrichtung des Fahrgastes und hat die Funktion, die Gesichtsausrichtung für einen Brillenträger und die Gesichtsausrichtung für einen nicht brillentragenden Fahrgast zu erfassen. Die Funktion der Gesichtsausrichtungserkennung für den Fall, dass der Fahrgast keine Brille trägt, darf jedoch nicht enthalten sein.
Wenn der Fahrgast eine Brille trägt, empfängt die Gesichtsausrichtungserfassungseinheit 17 über die Steuereinheit 11 die Erfassungsergebnisse der Positionen der jeweiligen reflektierten Bilder, der Positionen der Mittelpunkte der Linsen und der Kopfposition und erfasst die Gesichtsausrichtung des Fahrgasts anhand einer Positionsbeziehung zwischen den reflektierten Bildern, den Mittelpunkten der Linsen und der Kopfposition. Die Gesichtsausrichtungserfassungseinheit 17 gibt das Ergebnis der Gesichtsausrichtung an die Steuereinheit 11 aus. Eine Methode zur Erkennung der Gesichtsorientierung wird später detailliert beschrieben.
Wenn der Fahrgast keine Brille trägt, empfängt die Gesichtsausrichtungserfassungseinheit 17 über die Steuereinheit 11 das Gesichtsbild und das Gesichtserfassungsergebnis, erfasst die Gesichtsausrichtung des Fahrgastes und gibt das Erfassungsergebnis an die Steuereinheit 11 aus. In diesem Fall erfasst die Gesichtsausrichtungserfassungseinheit 17 die Gesichtsausrichtung mit einer bekannten Technik und kann z.B. die Gesichtsausrichtung erfassen, indem sie Merkmalspunkte des Gesichts, die den Augen, der Nase oder dem Mund entsprechen, aus dem Gesichtserfassungsrahmen heraus erfasst oder die Gesichtsausrichtung durch Bildverarbeitung erfasst.
Anschließend wird anhand des Flussdiagramms von 3 ein Betrieb der Fahrgasterkennungsvorrichtung 10 entsprechend der vorliegenden Ausführungsform beschrieben. Die Fahrgasterkennungsvorrichtung 10 führt wiederholt Prozesse in dem in 3 gezeigten Flussdiagramm durch. In der folgenden Beschreibung wird davon ausgegangen, dass die Bestrahlungseinheit 1 über fünf Lichtquellen verfügt, die wie in 2C dargestellt angeordnet sind.
In Schritt ST10 erhält die Gesichtsbilderfassungseinheit 12 ein von der Bildeinheit 2 aufgenommenes Gesichtsbild. Die Steuereinheit 11 gibt das von der Gesichtsbilderfassungseinheit 12 erhaltene Gesichtsbild an die Gesichtserkennungseinheit 13 aus. Die Gesichtserkennungseinheit 13 erkennt das Gesicht eines Fahrgastes aus dem von der Steuereinheit 11 empfangenen Gesichtsbild und gibt das Ergebnis der Gesichtserkennung an die Steuereinheit 11 aus.
In Schritt ST11 empfängt die Reflexionsbild-Positions-Erfassungseinheit 14 das Gesichtsbild und das Gesichtserfassungsergebnis von der Steuereinheit 11 und erfasst reflektierte Bilder, die die gleiche Form wie die Anordnung der Bestrahlungseinheit 1 haben, aus dem Gesichtserfassungsrahmen. Erkennt die Reflexionsbild-Positions-Erfassungseinheit 14 reflektierte Bilder, die die gleiche Form wie die Anordnung der Bestrahlungseinheit 1 haben („JA“ bei Schritt ST11), so stellt die Reflexionsbild-Positions-Erfassungseinheit 14 fest, dass der Fahrgast eine Brille trägt, und fährt mit Schritt ST12 fort.
Wenn hingegen die Reflexionsbild-Positions-Erfassungseinheit 14 keine reflektierten Bilder erfasst, die die gleiche Form wie die Anordnung der Bestrahlungseinheit 1 haben („NO“ bei Schritt ST11), stellt die Reflexionsbild-Positions-Erfassungseinheit 14 fest, dass der Fahrgast keine Brille trägt, und fährt mit Schritt ST18 fort.
In Schritt ST12 erkennt die Reflexionsbild-Positions-Erfassungseinheit 14 die Positionen der jeweiligen reflektierten Bilder und gibt die Messergebnisse an die Steuereinheit 11 aus.
In Schritt ST13 empfängt die Kopfpositionserfassungseinheit 16 die Erfassungsergebnisse der Positionen der jeweiligen reflektierten Bilder von der Steuereinheit 11, erfasst eine Kopfposition des Fahrgastes und gibt das Erfassungsergebnis an die Steuereinheit 11 aus.
Der Koordinatenwert der Position der Kopfposition in horizontaler Richtung (x-Richtung) und der in vertikaler Richtung (y-Richtung) wird aus den Koordinatenwerten (x, y) der Positionen der reflektierten Bilder im Gesichtsbild berechnet.
Weiterhin wird der Koordinatenwert der Position des Kopfes in Tiefenrichtung (z-Richtung) aus den Abständen der reflektierten Bilder berechnet.
Nun wird eine Methode zur Berechnung des Koordinatenwertes der Position des Kopfes in Tiefenrichtung beschrieben.
4A, 4B und 4C sind Diagramme zur Erklärung einer Methode zur Erkennung einer Kopfposition und zeigen fünf reflektierte Bilder, die auf einer Brillenlinse reflektiert werden. Beispielsweise wird angenommen, dass bei einem Abstand von 80 cm zwischen dem Fahrgast und der Bestrahlungseinheit 1 die Abstände zwischen den reflektierten Bildern drei Pixel betragen, wie in 4A dargestellt. Wenn sich der Fahrgast vorwärts bewegt und sich der Fahrgast und die Bestrahlungseinheit 1 dem Abstand von 70 cm nähern, werden die Abstände zwischen den reflektierten Bildern, wie in 4B gezeigt, um ein Pixel kleiner, nämlich die Abstände zwischen den reflektierten Bildern. Andererseits, wenn sich der Fahrgast rückwärts bewegt und der Fahrgast und die Bestrahlungseinheit 1 sich in einem Abstand von 90 cm voneinander entfernen, sind die Abstände zwischen den reflektierten Bildern, wie in 4C gezeigt, fünf Pixel, d.h. die Abstände zwischen den reflektierten Bildern werden größer. Die Kopfpositionserfassungseinheit 16 berechnet den Koordinatenwert der Position des Kopfes in Tiefenrichtung aus den Verhältnissen zwischen den tatsächlichen Abständen zwischen den mehreren Lichtquellen der Bestrahlungseinheit 1 und den Abständen zwischen den vom Gesichtsbild erfassten reflektierten Bildern.
In Schritt ST14 empfängt die Brillenmerkmals-Informations-Erfassungseinheit 15 das Gesichtsbild und das Gesichtserkennungsergebnis von der Steuereinheit 11, erkennt die Positionen der Mittelpunkte der Brillengläser innerhalb des Gesichtserkennungsrahmens und gibt die Erkennungsergebnisse an die Steuereinheit 11 aus.
Im Schritt ST15 empfängt die Gesichtsausrichtungserfassungseinheit 17 die Erfassungsergebnisse der Positionen der jeweiligen reflektierten Bilder, der Positionen der Linsenmittelpunkte und der Kopfposition von der Steuereinheit 11 und erfasst zunächst die vertikale und horizontale Gesichtsausrichtung des Fahrgastes. Dann gibt die Gesichtsausrichtungserfassungseinheit 17 den erfassten Horizontalwinkel und Vertikalwinkel der Gesichtsausrichtung an die Steuereinheit 11 aus. Es ist zu beachten, dass, wenn der Fahrgast sein Gesicht in Richtung der Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt, gibt die Gesichtsausrichtungserfassungseinheit 17 den erfassten horizontalen Winkel, vertikalen Winkel und Neigungswinkel der Gesichtsausrichtung an die Steuereinheit 11 aus.
5A, 5B, 5C, 5D, 5E und 5F sind Diagramme zur Erklärung der Lagebeziehung zwischen einer Brillenlinse und den auf der Linse reflektierten Bildern. 6 ist ein Diagramm, das die Positionen der reflektierten Bilder auf Brillengläsern zeigt, wenn ein Brillenträger sein Gesicht in verschiedene Richtungen ausrichtet.
Dabei wird davon ausgegangen, dass bei einer Ausrichtung des Gesichts in Richtung der Bestrahlungseinheit 1, d.h. wenn der horizontale Winkel und der vertikale Winkel der Gesichtsausrichtung 0 Grad betragen, wie in 5A dargestellt, sich die reflektierten Bilder im Mittelpunkt der Brillenlinse befinden. Wenn der Fahrgast sein Gesicht nach links ausrichtet und dabei seinen vertikalen Winkel von der Bestrahlungseinheit 1 aus gesehen auf 0 Grad hält, d.h. wenn der linke Winkel der Gesichtsausrichtung beispielsweise 60 Grad und der vertikale Winkel 0 Grad beträgt, wie in 5B gezeigt, befinden sich die reflektierten Bilder auf der rechten Seite vom Mittelpunkt der Brillenlinse. Andererseits, wenn der Fahrgast sein Gesicht nach rechts ausrichtet, d.h. wenn der rechte Winkel der Gesichtsausrichtung z.B. 60 Grad und der vertikale Winkel 0 Grad beträgt, wie in 5C gezeigt, befinden sich die reflektierten Bilder auf der linken Seite vom Mittelpunkt der Brillenlinse.
Wenn der Fahrgast sein Gesicht nach unten ausrichtet und dabei seinen horizontalen Winkel von der Bestrahlungseinheit 1 aus gesehen auf 0 Grad hält, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der Abwärtswinkel 30 Grad beträgt, wie z.B. in 5D gezeigt, befinden sich die reflektierten Bilder auf der Oberseite vom Mittelpunkt der Brillenlinse. Andererseits, wenn der Fahrgast sein Gesicht nach oben richtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der Aufwärtswinkel 30 Grad beträgt, wie z.B. in 5E gezeigt, befinden sich die reflektierten Bilder auf der unteren Seite vom Mittelpunkt der Brillenlinse.
Wenn der Fahrgast sein Gesicht schräg nach links nach oben richtet, d.h. wenn der linke Winkel der Gesichtsausrichtung 60 Grad und der obere Winkel 30 Grad beträgt, wie z.B. in 5F gezeigt, befinden sich die reflektierten Bilder auf der schräg nach unten rechten Seite vom Mittelpunkt des Brillenglases. Ebenso, wenn der Fahrgast sein Gesicht schräg nach unten links ausrichtet, befinden sich die Positionen der reflektierten Bilder in einem kombinierten Zustand von 5B und 5D und sind schräg nach unten rechts vom Mittelpunkt der Brillenlinse, und wenn der Fahrgast sein Gesicht schräg nach oben rechts ausrichtet, sind die Positionen der reflektierten Bilder in einem kombinierten Zustand von 5C und 5E und sind schräg nach oben links vom Mittelpunkt der Brillenlinse.
7 ist ein Diagramm zur Erläuterung einer Methode zur Erfassung des horizontalen Winkels und des vertikalen Winkels der Gesichtsausrichtung und zeigt fünf auf einer Brillenlinse reflektierte Bilder, x' ist ein Abstand (mm) vom Mittelpunkt der Brillenlinse zu einem reflektierten Bild in horizontaler Richtung (x-Achsenrichtung). y' ist ein Abstand (mm) vom Mittelpunkt der Brillenlinse zum reflektierten Bild in vertikaler Richtung (y-Achsenrichtung).
Die Gesichtsausrichtungserfassungseinheit 17 berechnet den horizontalen Winkel x der Gesichtsausrichtung nach Gleichung (1) und den vertikalen Winkel y der Gesichtsausrichtung nach Gleichung (2).
$θ x = {sin}^{- 1} (wx \times z \times xp / R) = {sin}^{- 1} (x' / R)$
$θ y = {sin}^{- 1} (wy \times z \times yp / R) = {sin}^{- 1} (y' / R)$
Dabei ist wx ein Gewicht, das verwendet wird, wenn die Einheiten von Pixeln in horizontaler Richtung (x-Achsenrichtung), die sich entsprechend der Tiefenrichtung z in den Abstand in Millimetern ändern, umgerechnet werden, xp ist der Abstand (Pixel) vom Mittelpunkt der Brillenlinse zu einem reflektierten Bild in horizontaler Richtung (x-Achsenrichtung), wy ist ein Gewicht, das verwendet wird, wenn die Einheiten von Pixeln in vertikaler Richtung (y-Achsenrichtung) umgerechnet werden, die sich entsprechend der Tiefenrichtung z zu dem in Millimetern ausgedrückten Abstand ändern, yp ist der Abstand (Pixel) vom Mittelpunkt der Brillenlinse zu einem reflektierten Bild in vertikaler Richtung (y-Achsenrichtung), z ist der Abstand (mm) von der Bestrahlungseinheit 1 zum Kopf des Fahrgasts in der Tiefenrichtung (z-Achsenrichtung), und R ist der Radius (mm) eines typischen menschlichen Kopfes und ein fester Wert.
Der Neigungswinkel der Gesichtsausrichtung kann nur erkannt werden, wenn der Fahrgast sein Gesicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. nur, wenn er sein Gesicht nach vorne ausrichtet.
Bei Schritt ST16, wenn der Fahrgast sein Gesicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel und der vertikale Winkel der Gesichtsausrichtung 0 Grad betragen („JA“ bei Schritt ST16), fährt die Gesichtsausrichtungserfassungseinheit 17 mit Schritt ST17 fort und erfasst den Neigungswinkel der Gesichtsausrichtung. Andererseits, wenn der Fahrgast sein Gesicht nicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel oder der vertikale Winkel der Gesichtsausrichtung ungleich 0 Grad ist („NO“ bei Schritt ST16), beendet die Gesichtsausrichtungserfassungseinheit 17 den Vorgang. Es ist zu beachten, dass die Gesichtsausrichtungserfassungseinheit 17 nicht feststellen muss, ob der horizontale Winkel und der vertikale Winkel der Gesichtsausrichtung genau 0 Grad betragen, und dass sie bestimmen kann, ob diese Winkel in einem vorbestimmten Bereich einschließlich 0 Grad liegen.
Im Schritt ST17 erfasst die Gesichtsausrichtungserfassungseinheit 17 den Neigungswinkel der Gesichtsausrichtung durch Vergleich der Koordinatenwerte der Positionen in vertikaler Richtung der jeweils auf den Brillengläsern reflektierten Bilder und gibt das Erfassungsergebnis des Neigungswinkels der Gesichtsausrichtung an die Steuereinheit 11 aus.
8A und 8B sind Ansichten zur Erklärung einer Methode zur Erfassung eines Neigungswinkels der Gesichtsausrichtung. 8A zeigt einen Fahrgast, dessen Gesichtsausrichtung wie folgt ist: der horizontale Winkel ist 0 Grad, der vertikale Winkel ist 0 Grad und der Neigungswinkel ist 0 Grad. 8B zeigt einen Fahrgast, dessen Gesichtsausrichtung wie folgt ist: der horizontale Winkel ist 0 Grad, der vertikale Winkel ist 0 Grad und der linke Neigungswinkel ist 30 Grad.
Es wird davon ausgegangen, dass die Information über die Anordnung der Bestrahlungseinheit 1, die angibt, dass in den fünf in 2C gezeigten Lichtquellen drei Lichtquellen einschließlich der mittleren und sowohl der linken als auch der rechten Seite in einer geraden Linie in horizontaler Richtung angeordnet sind, der Gesichtsausrichtungserfassungseinheit 17 im Voraus zur Verfügung gestellt wird.
Die Gesichtsausrichtungserfassungseinheit 17 bestimmt, dass der Neigungswinkel der Gesichtsausrichtung 0 Grad beträgt, wenn die Koordinatenwerte der Positionen der jeweiligen reflektierten Bilder der oben beschriebenen drei auf den Brillengläsern in vertikaler Richtung reflektierten Lichtquellen identisch sind, wie in 8A gezeigt, d.h. wenn die jeweiligen reflektierten Bilder der oben beschriebenen drei Lichtquellen parallel zu der sich in horizontaler Richtung erstreckenden x-Achse sind. Sind dagegen die Koordinatenwerte der Positionen der jeweiligen reflektierten Bilder der oben beschriebenen drei Lichtquellen in vertikaler Richtung nicht identisch, wie in 8B dargestellt, berechnet die Gesichtsausrichtungserfassungseinheit 17 den Winkel der Geraden L, die die jeweiligen reflektierten Bilder der oben beschriebenen drei Lichtquellen und die x-Achse in horizontaler Richtung verbindet, und bestimmt den Winkel als Neigungswinkel der Gesichtsausrichtung.
Durch die Vorgänge in den oben beschriebenen Schritten ST12 bis ST17 erkennt die Fahrgasterkennungsvorrichtung 10 die Kopfposition und die Gesichtsausrichtung, wenn der Fahrgast eine Brille trägt. Es ist zu beachten, dass die Gesichtsausrichtungserfassungseinheit 17 nur die Gesichtsausrichtung erfassen kann, die eine der Richtungen oben, unten, links oder rechts ist, oder zusätzlich zu einer solchen Ausrichtung auch den Winkel erfassen kann. Wenn der Fahrgast hingegen keine Brille trägt, erkennt die Fahrgasterkennungsvorrichtung 10 die Gesichtsausrichtung des Fahrgastes in einem Prozess bei Schritt ST18. In diesem Schritt ST18 empfängt die Gesichtsausrichtungserfassungseinheit 17 über die Steuereinheit 11 das Gesichtsbild und das Gesichtserfassungsergebnis, erfasst die Gesichtsausrichtung mit einer bekannten Technik und gibt das Erfassungsergebnis an die Steuereinheit 11 aus.
Wie oben beschrieben, beinhaltet die Fahrgasterkennungsvorrichtung 10 entsprechend der ersten Ausführungsform: eine Gesichtsbilderfassungseinheit 12, die ein Gesichtsbild eines Fahrgasts in einem Fahrzeug erhält, wobei das Gesichtsbild in einem Zustand aufgenommen wird, in dem der Fahrgast mit Bestrahlungslicht aus einer Vielzahl von Lichtquellen bestrahlt wird; eine Reflexionsbild-Positions-Erfassungseinheit 14, die Positionen jeweiliger reflektierter Bilder der Vielzahl von Lichtquellen aus dem durch die Gesichtsbilderfassungseinheit 12 erhaltenen Gesichtsbild erfasst, wobei die reflektierten Bilder auf vom Fahrgast getragenen Brillen reflektiert werden; eine Brillenmerkmals-Informations-Erfassungseinheit 15, die aus dem durch die Gesichtsbilderfassungseinheit 12 erhaltenen Gesichtsbild eine Position eines Mittelpunktes einer Linse als Merkmalsinformation einer Brille erfasst; eine Kopfpositionserfassungseinheit 16, die eine Kopfposition des Fahrgasts auf der Grundlage der Positionen der jeweiligen reflektierten Bilder erfasst, die von der Reflexionsbild-Positions-Erfassungseinheit 14 erfasst werden; und eine Gesichtsausrichtungserfassungseinheit 17, die eine Gesichtsausrichtung des Fahrgasts auf der Grundlage einer Beziehung zwischen der von der Kopfpositionserfassungseinheit 16 erfassten Kopfposition des Fahrgasts, den Positionen der jeweiligen von der Reflexionsbild-Positions-Erfassungseinheit 14 erfassten reflektierten Bilder und der Position des Mittelpunktes der von der Brillenmerkmals-Informations-Erfassungseinheit 15 erfassten Linse erfasst. Entsprechend dieser Konfiguration wird kein Außenlicht verwendet, sondern Bestrahlungslicht, das von einer Vielzahl von Lichtquellen abgestrahlt wird, so dass die Gesichtsausrichtung eines Fahrgastes immer ohne Beeinträchtigung durch Zeit, Wetter und dergleichen erfasst werden kann. Darüber hinaus ist es nicht notwendig, eine hochpräzise Bildverarbeitung für die Extraktion von Karosseriestrukturen durchzuführen, die auf Brillengläsern wie ein herkömmliches Gehäuse reflektiert werden, und es genügt, dass die Bildverarbeitung reflektierte Bilder erkennt, die als Bilder von weißen Punkten auf einem Gesichtsbild erscheinen, so dass eine Hochleistungskamera nicht erforderlich ist und die Gesichtsausrichtungserkennung kostengünstig durchgeführt werden kann.
Darüber hinaus ist die Bestrahlungseinheit 1 entsprechend der ersten Ausführungsform so konfiguriert, dass sie eine Vielzahl von Lichtquellen in einer der vertikalen, horizontalen und schrägen Linien aufweist. Es gibt die folgenden vier Vorteile, wenn man die Vielzahl der in der Bestrahlungseinheit 1 enthaltenen Lichtquellen in einer charakteristischen Form wie oben beschrieben anordnet. Der erste Vorteil ist, dass es einfacher wird, reflektierte Bilder von Außenlicht, das auf Brillengläsern reflektiert wird, von reflektierten Bildern der Bestrahlungseinheit 1 zu unterscheiden. Die auf den Brillengläsern reflektierten Außenlichtbilder bilden fast nie die charakteristischen Formen, wie sie in 2B bis 2E und dergleichen gezeigt werden. Durch die Anordnung der Bestrahlungseinheit 1 in einer charakteristischen Form wird also die Wahrscheinlichkeit verringert, dass reflektierte Bilder von Außenlicht fälschlicherweise als reflektierte Bilder der Bestrahlungseinheit 1 erkannt werden.
Der zweite Vorteil ist, dass eine hochpräzise Bildverarbeitung überflüssig wird. In der zuvor beschriebenen Erfindung nach Patentliteratur 1 ist für die Extraktion von auf Linsen reflektierten Karosseriestrukturen durch Bildverarbeitung eine hochpräzise Bildverarbeitung mit einem qualitativ hochwertigen Bild erforderlich. Andererseits ist in der vorliegenden Ausführungsform, da reflektierte Bilder einer charakteristischen Form wie die der Bestrahlungseinheit 1 aus einem Gesichtserkennungsrahmen heraus erfasst werden, eine Kamera, die ein hochwertiges Bild aufnimmt, nicht erforderlich und die Bildverarbeitungszeit kann reduziert werden.
Der dritte Vorteil ist, dass auch bei Verwendung einer monokularen Kamera als Bildeinheit 2 der Abstand in Tiefenrichtung (z-Achsenrichtung) der Kopfposition erfasst werden kann. Konventionell erfordert die Erfassung der Entfernung in Tiefenrichtung der Kopfposition den Einsatz einer Stereokamera oder einer Time-of-Flight-Kamera, die eine Entfernung anhand der Eintreffgeschwindigkeit von Laserlicht erfasst, und es ist schwierig, die Entfernung mit einer monokularen Kamera zu erfassen. Andererseits kann in der vorliegenden Ausführungsform, indem mehrere Lichtquellen als Bestrahlungseinheit 1 angeordnet werden, der Abstand in Tiefenrichtung von der Bestrahlungseinheit 1 zum Fahrgast anhand der Abstände zwischen den reflektierten Bildern berechnet werden.
Der vierte Vorteil ist, dass der Neigungswinkel einer Gesichtsausrichtung, wenn der Fahrgast nach vorne zeigt, d.h. wenn er sein Gesicht in Richtung der Bestrahlungseinheit 1 ausrichtet, erkannt werden kann. Wenn die Bestrahlungseinheit 1 aus einer Lichtquelle besteht, kann nur der horizontale Winkel und der vertikale Winkel der Gesichtsausrichtung erfasst werden. Besteht die Bestrahlungseinheit 1 dagegen aus mehreren in horizontaler Richtung angeordneten Lichtquellen, kann der Neigungswinkel der Gesichtsausrichtung erfasst werden.
Zweite Ausführungsform
In der oben beschriebenen ersten Ausführungsform werden die Positionen der Linsenmittelpunkte als Brillenträgerinformationen erkannt. Demgegenüber werden in dieser zweiten Ausführungsform die Formen von Gläsern oder Brillenfassungen als Brillen mit Informationen erkannt.
9 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach der zweiten Ausführungsform der Erfindung zeigt. In 9 werden die gleichen oder entsprechende Teile wie in 1 durch die gleichen Bezugszeichen gekennzeichnet und deren Beschreibung weggelassen.
10 ist ein Flussdiagramm, das den Betrieb einer Fahrgasterkennungsvorrichtung 10 entsprechend der zweiten Ausführungsform zeigt. Die Schritte ST10 bis ST18 im Flussdiagramm in 10 haben die gleichen Prozesse wie die Schritte ST10 bis ST18 im Flussdiagramm in 3.
Bei Schritt ST20 empfängt eine Brillenmerkmals-Informations-Erfassungseinheit 15a über die Steuereinheit 11 ein Gesichtsbild und ein Gesichtserkennungsergebnis und erkennt Brillengläser oder Brillengestelle, die der Fahrgast innerhalb eines Gesichtserkennungsrahmens im Gesichtsbild trägt.
Dann erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15a die Formen der Gläser oder Brillenfassungen als Merkmalsinformation, die die Form der Brille anzeigt, die der Gesichtsausrichtung des Fahrgasts entspricht, und gibt das Erkennungsergebnis an die Steuereinheit 11 aus. Zur Erkennung von Formen der Gläser oder Brillenfassungen kann die Brillenmerkmals-Informations-Erfassungseinheit 15a eine Kantenerkennung innerhalb der Gläser oder Brillenfassungen im Gesichtsbild oder einen Vergleich der Leuchtdichtewerte durchführen.
Im Folgenden werden die Formen der linken und rechten Linse als Beispiel für die Brilleninformation beschrieben.
11 ist ein Diagramm zur Erklärung der Formen von linken und rechten Linsen. Die Brillenmerkmals-Informations-Erfassungseinheit 15a berechnet ein umschriebenes Viereck M1 einer rechten Linse des Fahrgast s und erkennt die Linsenhöhen N1 und N2 des umschriebenen Vierecks M1. Ebenso berechnet die Brillenmerkmals-Informations-Erfassungseinheit 15a ein umschriebenes Viereck M2 einer linken Linse und erfasst die Linsenhöhen N3 und N4 des umschriebenen Vierecks M2. Die Linsenhöhen N1, N2, N3 und N4 werden als Formen der linken und rechten Linse an das Steuergerät 11 ausgegeben. Es ist zu beachten, dass die Höhenrichtung einer Linse die vertikale Richtung (y-Achsenrichtung) in 2A und die Breitenrichtung der Linse die horizontale Richtung (x-Achsenrichtung) ist.
In Schritt ST21 bestimmt eine Gesichtsausrichtungserfassungseinheit 17a, ob die Formen der linken und rechten Linse, wenn der Fahrgast sein Gesicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt, in einer Vorwärtsrichtungs-Daten-Speichereinheit 20 gespeichert werden. Die Formen der linken und rechten Linse für diese Zeit werden als zukunftsweisende Daten bezeichnet.
Wenn die Vorwärtsrichtungsdaten in der Vorwärtsrichtungs-Daten-Speichereinheit 20 („JA“ bei Schritt ST21) gespeichert sind, fährt die Gesichtsausrichtungserfassungseinheit 17a mit Schritt ST22 fort, und wenn die Vorwärtsrichtungsdaten nicht in der Vorwärtsrichtungs-Daten-Speichereinheit 20 („NEIN“ bei Schritt ST21) gespeichert sind, fährt die Gesichtsausrichtungserfassungseinheit 17a mit Schritt ST14 fort.
In Schritt ST22 empfängt die Gesichtsausrichtungserfassungseinheit 17a über die Steuereinheit 11 die Erfassungsergebnisse der Formen der linken und rechten Linse und vergleicht die Formen der linken und rechten Linse mit den in der Vorwärtsrichtungs-Daten-Speichereinheit 20 gespeicherten zukunftsweisenden Formen der linken und rechten Linse und erfasst dabei den horizontalen Winkel und vertikalen Winkel der Gesichtsausrichtung des Fahrgasts auf der Grundlage der Änderung der Formen der Linsen in Abhängigkeit von der Gesichtsausrichtung des Fahrgasts.
12A, 12B und 12C sind Diagramme, die eine Methode zur Erfassung der Gesichtsorientierung der vorliegenden Ausführungsform beschreiben.
Zum Beispiel, wenn der Fahrgast sein Gesicht auf die Richtung der Bestrahlungseinheit 1 ausrichtet, d.h. wenn der Fahrgast nach vorne gerichtet ist, wobei die Gesichtsausrichtung wie folgt ist: der horizontale Winkel ist 0 Grad und der vertikale Winkel ist 0 Grad, wie in 12A gezeigt, ist das Verhältnis der Linsenhöhen (N1 : N4) = (1 : 1).
Wenn der Fahrgast sein Gesicht unter Beibehaltung seines vertikalen Winkels auf 0 Grad ausrichtet, d.h. wenn der rechte Winkel der Gesichtsausrichtung 30 bis 60 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt, wie in 12B gezeigt, ist das Verhältnis der Linsenhöhen (N1 : N4) = (10 : 13), wobei N4 beispielsweise größer als N1 ist. Andererseits, wenn der Fahrgast sein Gesicht nach links ausrichtet, d.h. wenn der linke Winkel der Gesichtsausrichtung 30 bis 60 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt, ist das Verhältnis der Linsenhöhen z.B. (N1 : N4) = (13 : 10), wobei N4 kleiner als N1 ist.
Wenn der Fahrgast sein Gesicht nach oben ausrichtet und dabei seinen horizontalen Winkel auf 0 Grad hält, d.h. wenn z.B. der horizontale Winkel der Gesichtsausrichtung 0 Grad und der Aufwärtswinkel der Gesichtsausrichtung 30 Grad beträgt, wie in 12C gezeigt, ist die Linsenhöhe N1' kleiner als die Linsenhöhe N1, wenn der Fahrgast nach vorne gerichtet ist. Wenn der Fahrgast sein Gesicht nach oben richtet, ist die Position, in der die Höhe N1' erfasst wird, eine obere Position als eine Position, in der die Linsenhöhe N1 erfasst wird, wenn der Fahrgast nach vorne gerichtet ist. Der vertikale Winkel der Gesichtsausrichtung kann geometrisch aus dem Abstand der Bestrahlungseinheit 1 zum Fahrgast und den Positionen, an denen z.B. die Linsenhöhen N1 und N1' erfasst werden, berechnet werden.
Andererseits ist die Linsenhöhe N1' kleiner als die Linsenhöhe N1, wenn der Fahrgast nach vorne gerichtet ist, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der Abwärtswinkel der Gesichtsausrichtung 30 Grad beträgt, obwohl in den Zeichnungen nicht dargestellt. Außerdem ist die Position, in der die Höhe N1' erfasst wird, wenn der Fahrgast sein Gesicht nach unten richtet, eine niedrigere Position als die Position, in der die Linsenhöhe N1 erfasst wird, wenn der Fahrgast nach vorne gerichtet ist.
Es ist zu beachten, dass die Verhältnisse zwischen den Linsenhöhen nur Beispiele sind und sich nicht auf die oben beschriebenen Werte beschränken.
Wenn der Fahrgast sein Gesicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt („JA“ bei Schritt ST16), fährt die Gesichtsausrichtungserfassungseinheit 17a mit Schritt ST17 fort und erfasst den Neigungswinkel der Gesichtsausrichtung.
Im nachfolgenden Schritt ST23 speichert die Gesichtsausrichtungserfassungseinheit 17a, als Vorwärtsrichtungsdaten, die von der Brillenmerkmals-Informations-Erfassungseinheit 15a erfassten Formen der linken und rechten Linse in Schritt ST20 in der Vorwärtsrichtungs-Daten-Speichereinheit 20.
Andererseits, wenn der Fahrgast sein Gesicht nicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung ungleich 0 Grad oder der vertikale Winkel der Gesichtsausrichtung ungleich 0 Grad ist („NO“ bei Schritt ST16), überspringt die Gesichtsausrichtungserfassungseinheit 17a die Schritte ST17 und ST23.
Wie oben beschrieben, detektiert die Brillenmerkmals-Informations-Erfassungseinheit 15a Formen von Gläsern oder Rahmen als Merkmalsinformation der Brille, und die Gesichtsausrichtungserfassungseinheit 17a detektiert die Gesichtsausrichtung des Fahrgasts auf der Grundlage einer Änderung der Formen von Gläsern oder Rahmen, die der Gesichtsausrichtung des Fahrgasts entspricht, wobei die Formen von Gläsern oder Rahmen von der Brillenmerkmals-Informations-Erfassungseinheit 15a detektiert werden. Da kein Außenlicht verwendet wird, kann die Gesichtsausrichtung des Fahrgastes immer ohne Beeinträchtigung durch Zeit, Wetter und dergleichen erkannt werden. Da zudem keine hochpräzise Bildverarbeitung für die Extraktion von an Brillengläsern reflektierten Karosseriestrukturen wie bei einem herkömmlichen Gehäuse notwendig ist, kann auf eine hochwertige Kamera verzichtet werden, so dass die Gesichtsausrichtung kostengünstig erfasst werden kann.
Außerdem kann bei der Konfiguration der zweiten Ausführungsform die Erkennungsgenauigkeit eines Winkels verringert werden, insbesondere wenn das Gesicht des Fahrgastes nach oben oder unten gerichtet ist, wie in 12A bis 12C gezeigt. Um die Erkennungsgenauigkeit eines Gesichtsausrichtungswinkels zu verbessern, können die Konfigurationen der ersten und zweiten Ausführungsform miteinander kombiniert werden.
Beispielsweise führt die Gesichtsausrichtungserfassungseinheit 17a sowohl eine Gesichtsausrichtungserkennung durch, die die Positionen der Linsenmittelpunkte verwendet, als auch eine Gesichtsausrichtungserkennung, die die Formen der Gläser oder Rahmen verwendet. Dann gibt die Gesichtsorientierungserfassungseinheit 17a als Gesichtsorientierungswinkel einen gewichteten Mittelwert aus, der berechnet wird, indem ein Gewicht von „8“ für den Gesichtsorientierungswinkel, der die Positionen der Mittelpunkte der Linsen verwendet, und ein Gewicht von „2“ für den Gesichtsorientierungswinkel, der die Formen der Linsen oder Rahmen verwendet, angegeben wird. Beachten Sie, dass das Gewichtsverhältnis nicht auf diese Beispiele beschränkt ist.
Darüber hinaus, wenn die Zuverlässigkeit der Erkennung von Gläsern oder Brillenfassungen durch die Brillenmerkmals-Informations-Erfassungseinheit 15a niedriger als ein Schwellenwert ist, kann die Gesichtsausrichtungserfassungseinheit 17a das Gewicht des Gesichtsausrichtungswinkels reduzieren, der die Formen der Gläser oder Brillenfassungen verwendet.
Durch die Verwendung nicht nur der Positionen der Linsenmittelpunkte, sondern auch der Formen der Gläser oder Fassungen wird der Einfluss von Formunterschieden zwischen den Brillen reduziert und es ist möglich, Brillen verschiedener Formen zu entsprechen. Da sowohl die Gesichtsausrichtungserfassung, die die Positionen der Mittelpunkte der Gläser verwendet, als auch die Gesichtsausrichtungserfassung, die die Formen der Gläser oder Rahmen verwendet, verwendet werden, ist die Erkennungsgenauigkeit eines Gesichtsausrichtungswinkels im Vergleich zur Verwendung nur der Formen der Gläser oder Rahmen verbessert.
Dritte Ausführungsform
In dieser dritten Ausführungsform, um die Erkennungsgenauigkeit des Gesichtsausrichtungswinkels zu verbessern, wird die Beziehung zwischen den Formen von Gläsern oder Rahmen und der Gesichtsausrichtung eines Fahrgasts anhand der Positionen der Mittelpunkte von Brillengläsern erlernt.
13 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach der dritten Ausführungsform der Erfindung zeigt. In 13 werden die gleichen oder entsprechende Teile wie in 1 durch die gleichen Bezugszeichen gekennzeichnet und deren Beschreibung weggelassen.
14 ist ein Flussdiagramm, das den Betrieb einer Fahrgasterkennungsvorrichtung 10 entsprechend der dritten Ausführungsform zeigt. Die Schritte ST10 bis ST18 im Flussdiagramm in 14 sind die gleichen Prozesse wie bei den Schritten ST10 bis ST18 im Flussdiagramm in 3.
Bei Schritt ST30 empfängt eine Brillenmerkmals-Informations-Erfassungseinheit 15b über die Steuereinheit 11 ein Gesichtsbild und ein Gesichtserkennungsergebnis und erkennt vom Fahrgast getragene Gläser oder Rahmen aus einem Gesichtserkennungsrahmen im Gesichtsbild. Dann erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15b, wie in 11 dargestellt, die Formen der Brillengläser oder Brillenfassungen als Information und gibt die Erkennungsergebnisse an die Steuereinheit 11 aus.
Im Folgenden wird anhand eines Beispielfalles beschrieben, in dem die Brille Informationen über die Form der linken und rechten Linse enthält.
In Schritt ST31 bestimmt eine Gesichtsausrichtungserfassungseinheit 17b, ob die Lerndaten in einer Lernergebnisdatenbank (DB) 30 gespeichert werden. Die Lerndaten werden später beschrieben.
Wenn genügend Lerndaten im Lernergebnis DB 30 („JA“ bei Schritt ST31) gespeichert sind, fährt die Gesichtsausrichtungserfassungseinheit 17b mit Schritt ST32 fort, und wenn nicht genügend Lerndaten im Lernergebnis DB 30 („NEIN“ bei Schritt ST31) gespeichert sind, fährt die Gesichtsausrichtungserfassungseinheit 17b mit Schritt ST14 fort. Die hier genannten ausreichenden Lerndaten beziehen sich auf Daten, die es erlauben, den horizontalen Winkel und den vertikalen Winkel der Gesichtsausrichtung entsprechend den Formen der linken und rechten Linse zu interpolieren, die nicht als Lerndaten im später beschriebenen Schritt ST32 gespeichert werden.
In Schritt ST33 erzeugt die Gesichtsausrichtungserfassungseinheit 17b Lerndaten, in denen der horizontale und vertikale Winkel der in Schritt ST15 erfassten Gesichtsausrichtung und die Formen der in Schritt ST30 erfassten linken und rechten Linsen miteinander verknüpft sind, und speichert die Lerndaten im Lernergebnis DB 30.
Im Schritt ST32 erfasst die Gesichtsausrichtungserfassungseinheit 17b den horizontalen und vertikalen Winkel der Gesichtsausrichtung entsprechend den im Schritt ST30 erfassten Formen der linken und rechten Linse anhand der im Lernergebnis DB 30 gespeicherten Lerndaten und gibt die Messergebnisse an die Steuereinheit 11 aus. Zu diesem Zeitpunkt kann die Gesichtsorientierungs-Erfassungseinheit 17b den horizontalen Winkel und den vertikalen Winkel der Gesichtsausrichtung entsprechend den Formen der linken und rechten Linsen, die nicht als Lerndaten gespeichert sind, interpolieren, wobei der horizontale Winkel und der vertikale Winkel der Gesichtsausrichtung entsprechend den Formen der linken und rechten Linsen, die als Lerndaten gespeichert sind, verwendet werden.
Nach der dritten Ausführungsform erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15b die Positionen der Mittelpunkte der Gläser und Formen der Gläser oder Rahmen als Merkmalsinformation der Brille, und die Gesichtsausrichtungserfassungseinheit 17b erfasst die Gesichtsausrichtung des Fahrgasts auf der Grundlage der Beziehung zwischen der von der Kopfpositionserkennungseinheit 16 erfassten Kopfposition des Fahrgasts, die Positionen der jeweiligen reflektierten Bilder, die von der Reflexionsbild-Positions-Erfassungseinheit 14 erfasst werden, und die Positionen der Mittelpunkte von Linsen, die von der Brillenmerkmals-Informations-Erfassungseinheit 15b erfasst werden, und führt unter Verwendung der erfassten Gesichtsausrichtung ein Lernen der Beziehung zwischen den Formen der Linsen oder Rahmen, die von der Brillenmerkmals-Informations-Erfassungseinheit 15b erfasst werden, und der Gesichtsausrichtung des Fahrgasts durch. Dann wird die Gesichtsausrichtungserfassungseinheit 17b so konfiguriert, dass sie anhand der erlernten Daten die Gesichtsausrichtung entsprechend den Formen der von der Brillenmerkmals-Informations-Erfassungseinheit 15b erfassten Gläser oder Brillenfassungen erfasst. Da kein Außenlicht verwendet wird, kann die Gesichtsausrichtung des Fahrgastes immer ohne Beeinträchtigung durch Zeit, Wetter und dergleichen erkannt werden. Da zudem keine hochpräzise Bildverarbeitung für die Extraktion von an Brillengläsern reflektierten Karosseriestrukturen erforderlich ist, entfällt eine hochwertige Kamera, so dass die Gesichtsausrichtung kostengünstig erfasst werden kann. Da außerdem die Beziehung zwischen den Formen von Gläsern oder Fassungen und der Gesichtsausrichtung erlernt wird, wird die Erkennungsgenauigkeit des Gesichtsausrichtungswinkels im Vergleich zur zweiten Ausführungsform verbessert.
Vierte Ausführungsform
In dieser vierten Ausführungsform werden die Formen der Bügel, die über die Ohren gelegt werden, als Brilleninformation erkannt.
15 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Fahrgasterkennungssystems nach der vierten Ausführungsform der Erfindung zeigt. In 15 werden die gleichen oder entsprechenden Teile wie in 1 durch die gleichen Bezugszeichen gekennzeichnet und deren Beschreibung weggelassen.
16 und 17 sind Flussdiagramme, die den Betrieb einer Fahrgasterkennungsvorrichtung 10 nach der vierten Ausführungsform zeigen. Die Schritte ST10 bis ST18 in den in den 16 und 17 gezeigte Flussdiagramme haben die gleichen Prozesse wie die in den Schritten ST10 bis ST18 im Flussdiagramm von 3.
Wie in 6 gezeigt, nimmt die Länge eines Brillenbügels zu, wenn ein Fahrgast sein Gesicht nach rechts oder links um einen großen Winkel von der Seite aus betrachtet, auf der die Bestrahlungseinheit 1 und die Bildeinheit 2 installiert sind, und wenn er sein Gesicht nach vorne ausrichtet, nimmt die Länge des Brillenbügels ab.
Wenn der Fahrgast sein Gesicht um einen großen Winkel nach oben oder unten richtet, wird die Ausrichtung der Brillenbügel nach oben oder unten, und wenn der Fahrgast sein Gesicht nach vorne richtet, wird die Ausrichtung der Brillenbügel horizontal.
So kann der horizontale Winkel der Gesichtsausrichtung des Fahrgasts anhand der Länge der Brillenbügel und der vertikale Winkel der Gesichtsausrichtung des Fahrgasts anhand der Ausrichtung der Brillenbügel ermittelt werden.
Bei Schritt ST40 empfängt eine Brillenmerkmals-Informations-Erfassungseinheit 15c über die Steuereinheit 11 ein Gesichtsbild und ein Gesichtserkennungsergebnis und erkennt vom Fahrgast getragene Gläser oder Rahmen aus dem Gesichtserkennungsrahmen im Gesichtsbild. Dann erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15b, wie in 11 dargestellt, Formen der Gläser oder Rahmen als Merkmalsinformation, die die Form der Brille anzeigt, die der Gesichtsausrichtung des Fahrgasts entspricht, und gibt die Merkmalsinformation an die Steuereinheit 11 aus. Im Folgenden wird ein Beispiel, in dem eine Brille Informationen über die Linsenhöhen und -breiten enthält, die die Formen der linken und rechten Linse zeigen, beschrieben. Die Linsenhöhen sind vier Seiten (N1, N2, N3 und N4), die sich in vertikaler Richtung der umschriebenen Vierecke M1 und M2 in 11 erstrecken, und die Linsenbreiten sind vier Seiten, die sich in horizontaler Richtung der umschriebenen Vierecke M1 und M2 erstrecken.
Wenn die Brillenmerkmals-Informations-Erfassungseinheit 15c die Linsenhöhen und Linsenbreiten der linken und rechten Linse erkennen kann („JA“ bei Schritt ST40), geht die Brillenmerkmals-Informations-Erfassungseinheit 15c zu Schritt E über, und wenn die Brillenmerkmals-Informations-Erfassungseinheit 15c keine der Linsenhöhen und Linsenbreiten erkennen kann („NEIN“ bei Schritt ST40), geht die Brillenmerkmals-Informations-Erfassungseinheit 15c zu Schritt ST46 über. Wenn der Fahrgast beispielsweise sein Gesicht um einen großen Winkel nach links oder rechts ausrichtet, können die Linsenhöhen und -breiten der linken und rechten Linse möglicherweise nicht erkannt werden. Wenn eine der Linsenhöhen und -breiten der linken und rechten Linse nicht erkannt werden kann, können auch die Positionen der Linsenmittelpunkte nicht erkannt werden. In der vorliegenden Ausführungsform, auch in einem solchen Fall, durch die später beschriebenen Schritte ST46 bis ST48, kann die Gesichtsausrichtung anhand der Erkennungsergebnisse von Brillenbügeln ermittelt werden.
Bei Schritt ST41 erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15c die Länge und Ausrichtung der Brillenbügel des Fahrgasts aus dem Gesichtserkennungsrahmen im Gesichtsbild und gibt die Erkennungsergebnisse als Brilleninformation an die Steuereinheit 11 aus. Um die Brillenbügel zu erkennen, kann die Brillenmerkmals-Informations-Erfassungseinheit 15c eine Kantenerkennung in der Nähe der Gläser oder Rahmen im Gesichtsbild oder einen Vergleich der Leuchtdichtewerte durchführen.
In Schritt ST42 bestimmt eine Gesichtsausrichtungserfassungseinheit 17c, ob Vorwärtsrichtungsdaten in der Vorwärtsrichtungs-Daten-Speichereinheit 40 gespeichert werden. Die Vorwärtsrichtungsdaten zeigen die Formen der linken und rechten Linse, wenn der Fahrgast sein Gesicht auf die Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt.
Wenn die Vorwärtsrichtungsdaten in der Vorwärtsrichtungs-Daten-Speichereinheit 40 („JA“ bei Schritt ST42) gespeichert sind, fährt die Gesichtsausrichtungserfassungseinheit 17c mit Schritt ST43 fort, und wenn die Vorwärtsrichtungsdaten nicht in der Vorwärtsrichtungs-Daten-Speichereinheit 40 („NEIN“ bei Schritt ST42) gespeichert sind, fährt die Gesichtsausrichtungserfassungseinheit 17c mit Schritt ST14 fort.
In Schritt ST43 empfängt die Gesichtsausrichtungserfassungseinheit 17c über die Steuereinheit 11 die Erfassungsergebnisse der Formen der linken und rechten Linse und vergleicht die Formen der linken und rechten Linse mit den in der Vorwärtsrichtungs-Daten-Speichereinheit 40 gespeicherten vorwärts gerichteten Formen der linken und rechten Linse und erfasst dabei den horizontalen Winkel und den vertikalen Winkel der Gesichtsausrichtung des Fahrgasts auf der Grundlage der Änderung der Formen in Abhängigkeit von der Gesichtsausrichtung des Fahrgasts.
In Schritt ST44 erzeugt die Gesichtsausrichtungserfassungseinheit 17c Lerndaten, in denen der horizontale und vertikale Winkel der in Schritt ST15 oder Schritt ST43 erfassten Gesichtsausrichtung und die Erfassungsergebnisse der in Schritt ST41 erfassten Brillenbügel miteinander verknüpft sind, und speichert die Lerndaten in einem Lernergebnis DB 41.
In Schritt ST45 speichert die Gesichtsausrichtungserfassungseinheit 17c die Formen der linken und rechten Linse, wenn der Fahrgast sein Gesicht zur Seite der Bestrahlungseinheit 1 ausrichtet, d.h. wenn der horizontale Winkel der Gesichtsausrichtung 0 Grad und der vertikale Winkel der Gesichtsausrichtung 0 Grad beträgt, in der Vorwärtsrichtungs-Daten-Speichereinheit 40 als Vorwärtsrichtungsdaten.
In Schritt ST46 bestimmt die Gesichtsausrichtungserfassungseinheit 17c, ob Lerndaten im Lernergebnis DB 41 gespeichert werden. Sind im Lernergebnis DB 41 („JA“ bei Schritt ST46) genügend Lerndaten gespeichert, fährt die Gesichtsausrichtungserfassungseinheit 17c mit Schritt ST47 fort, und wenn im Lernergebnis DB 41 („NEIN“ bei Schritt ST46) nicht genügend Lerndaten gespeichert sind, beendet die Gesichtsausrichtungserfassungseinheit 17c den Vorgang.
Im Schritt ST47 erkennt die Gesichtsausrichtungserfassungseinheit 17c Brillenbügel ähnlich wie im Schritt ST41.
In Schritt ST48 erkennt die Gesichtsausrichtungserfassungseinheit 17c anhand der im Lernergebnis DB 41 gespeicherten Lerndaten den horizontalen und vertikalen Winkel der Gesichtsausrichtung entsprechend der Länge und Ausrichtung der in Schritt ST47 erfassten Brillenbügel und gibt die Erfassungsergebnisse an die Steuereinheit 11 aus. Zu diesem Zeitpunkt kann die Gesichtsausrichtungserfassungseinheit 17c den horizontalen Winkel und den vertikalen Winkel der Gesichtsausrichtung entsprechend den Längen und Ausrichtungen der Brillenbügel, die nicht als Lerndaten gespeichert sind, interpolieren, wobei der horizontale Winkel und der vertikale Winkel der Gesichtsausrichtung entsprechend den Längen und Ausrichtungen der Brillenbügel, die als Lerndaten gespeichert sind, verwendet werden.
Es ist zu beachten, dass im Beispiel von 16 und 17 die Gesichtsausrichtungserfassungseinheit 17c die Beziehung zwischen den Formen der Brillenbügel und der Gesichtsausrichtung anhand der beiden Formen der Gläser oder Rahmen und der Positionen der Mittelpunkte der Gläser lernt, die Gesichtsausrichtungserfassungseinheit 17c jedoch nur mit einer von ihnen lernen kann.
Durch das oben Genannte, nach der vierten Ausführungsform, erkennt die Brillenmerkmals-Informations-Erfassungseinheit 15c, wie die Merkmalsinformation der Brille, Bügelformen, die über die Ohren gelegt werden, und mindestens entweder eine der Formen der Gläser oder Rahmen und Positionen der Mittelpunktpunkte der Gläser. Die Gesichtsausrichtungserfassungseinheit 17c erfasst die Gesichtsausrichtung des Fahrgasts auf der Grundlage der Formen von Gläsern oder Rahmen, die von der Brillenmerkmals-Informations-Erfassungseinheit 15c erfasst werden, oder die Gesichtsausrichtung des Fahrgasts auf der Grundlage der Beziehung zwischen der Kopfposition des Fahrgasts, die von der Kopfpositionserfassungseinheit 16 erfasst wird, die Positionen der jeweiligen reflektierten Bilder, die von der Reflexionsbild-Positions-Erfassungseinheit 14 erfasst werden, und die Positionen der Mittelpunkte der Linsen, die von der Brillenmerkmals-Informations-Erfassungseinheit 15c erfasst werden, und führt unter Verwendung der erfassten Gesichtsausrichtung des Fahrgasts ein Lernen der Beziehung zwischen den von der Brillenmerkmals-Informations-Erfassungseinheit 15c erfassten Bügelformen und der Gesichtsausrichtung durch. Die Gesichtsausrichtungserfassungseinheit 17c erfasst anhand der durch das Lernen gewonnenen Daten die Gesichtsausrichtung, die den von der Brille erfassten Bügelformen entspricht, mit der Brillenmerkmals-Informations-Erfassungseinheit 15c. Durch diese Konfiguration kann auch dann, wenn ein Teil der Formen von Gläsern oder Rahmen oder die Positionen der jeweiligen reflektierten Bilder nicht erkannt werden können, eine Gesichtsausrichtungserfassung, die die Formen der Bügel verwendet, auf der Basis von Lernergebnissen durchgeführt werden. Somit kann auch ein großer, schwer zu erfassender, Gesichtsausrichtungswinkel in den oben beschriebenen ersten und zweiten Ausführungsformen exakt erfasst werden.
Abschließend wird unter Bezugnahme auf 18 eine beispielhafte Hardwarekonfiguration des Fahrgasterkennungssystems entsprechend den jeweiligen Ausführungsformen der Erfindung beschrieben.
Die Bestrahlungseinheit 1 im Fahrgasterkennungssystem ist eine Beleuchtungsvorrichtung 101 mit mehreren Lichtquellen. Die Bildeinheit 2 im Fahrgasterkennungssystem ist eine Kamera 102. Die Gesichtsbilderfassungseinheit 12 der Fahrgasterkennungsvorrichtung 10 ist eine Eingabevorrichtung 103, die mit der Kamera 102 verbunden ist und ein Gesichtsbild von der Kamera 102 zur Eingabe des Gesichtsbildes in die Fahrgasterkennungsvorrichtung 10 aufnimmt. Die Steuereinheit 11, die Gesichtserkennungseinheit 13, die Reflexionsbild-Positions-Erfassungseinheit 14, die Brillenmerkmals-Informations-Erfassungseinheit 15, 15a bis 15c, die Kopfpositionserfassungseinheit 16 und die Gesichtsausrichtungserfassungseinheit 17, 17a bis 17c in der Fahrgasterkennungsvorrichtung 10 sind ein Prozessor 104, der in einem Speicher 105 gespeicherte Programme ausführt. Die Vorwärtsrichtungs-Daten-Speichereinheit 20, 40 und das Lernergebnis DB 30, 41 der Fahrgasterkennungsvorrichtung 10 sind der Speicher 105.
Die Funktionen der Steuereinheit 11, der Gesichtserkennungseinheit 13, der Reflexionsbild-Positions-Erfassungseinheit 14, der Brillenmerkmals-Informations-Erfassungseinheit 15, 15a bis 15c, der Kopfpositionserfassungseinheit 16 und der Gesichtsausrichtungserfassungseinheit 17, 17a bis 17c werden durch Software, Firmware oder eine Kombination aus Software und Firmware realisiert. Die Software oder Firmware wird als Programm beschrieben und im Speicher abgelegt 105. Der Prozessor 104 realisiert die Funktion jeder Einheit durch Auslesen und Ausführen eines im Speicher abgelegten Programms. Die Fahrgasterkennungsvorrichtung 10 enthält nämlich den Speicher 105 zum Speichern von Programmen, mit denen jeder in 3, 10, 14, 16 oder 17 dargestellte Schritt ausgeführt wird, wenn die Programme vom Prozessor 104 ausgeführt werden. Es kann auch gesagt werden, dass die Programme einen Computer veranlassen, Verfahren oder Methoden durchzuführen, die von den jeweiligen Einheiten der Fahrgasterkennungsvorrichtung 10 durchgeführt werden.
Der Prozessor 104 wird auch als Zentraleinheit (CPU), Verarbeitungsvorrichtung, Rechenvorrichtung, Mikroprozessor, Mikrocomputer, digitaler Signalprozessor (DSP) oder ähnliches bezeichnet. Der Speicher 105 kann beispielsweise ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein Flash-Speicher, ein löschbares programmierbares ROM (EPROM) oder ein elektrisches EPROM (EEPROM) sein oder eine Magnetplatte wie eine Festplatte oder eine flexible Platte oder eine optische Platte wie eine MiniDisc, eine Compact Disc (CD) oder eine Digital Versatile Disc (DVD).
Es ist zu beachten, dass in der vorliegenden Erfindung eine freie Kombination der Ausführungsformen, möglich ist.
INDUSTRIELLE ANWENDBARKEIT
Eine Fahrgasterkennungsvorrichtung nach der Erfindung erfasst eine Gesichtsausrichtung eines Fahrgastes in einem Fahrzeug anhand eines Gesichtsbildes, das in einem Zustand erfasst wird, in dem der Fahrgast mit Bestrahlungslicht aus einer Vielzahl von Lichtquellen bestrahlt wird, und eignet sich somit beispielsweise als Fahrgasterkennungsvorrichtung für Fahrzeuge wie Autos, Schienenfahrzeuge, Schiffe oder Flugzeuge.
Bezugszeichenliste
1: Bestrahlungseinheit, 2: Bildeinheit, 10: Fahrgasterkennungsvorrichtung, 11: Steuereinheit, 12: Gesichtsbilderfassungseinheit, 13: Gesichtserkennungseinheit, 14: Reflexionsbild-Positions-Erfassungseinheit, 15 und 15a bis 15c: Brillenmerkmals-Informations-Erfassungseinheit, 16: Kopfpositionserfassungseinheit, 17 und 17a bis 17c: Gesichtsausrichtungserfassungseinheit, 20 und 40: Vorwärtsrichtungs-Daten-Speichereinheit, 30 und 41: Lernergebnis DB, 101: Beleuchtungsvorrichtung, 102: Kamera, 103: Eingabevorrichtung, 104: Prozessor, 105: Speicher

Claims

Eine Vorrichtung (10) zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts, umfassend: eine Gesichtsbilderfassungseinheit (12), die ein Gesichtsbild eines Fahrgasts in einem Fahrzeug erhält, wobei das Gesichtsbild in einem Zustand aufgenommen ist, in dem der Fahrgast mit Bestrahlungslicht aus einer Vielzahl von Lichtquellen einer Bestrahlungseinheit (1), welche eine charakteristische Form der Lichtquellen bildet, bestrahlt wird; eine Reflexionsbild-Positions-Erfassungseinheit (14), die Positionen jeweiliger reflektierter Bilder der Vielzahl von Lichtquellen aus dem von der Gesichtsbilderfassungseinheit (12) erhaltenen Gesichtsbild erfasst, wobei die reflektierten Bilder auf einer vom Fahrgast getragenen Brille erscheinen; eine Brillenmerkmals-Informations-Erfassungseinheit (15), die aus dem Gesichtsbild, das durch die Gesichtsbild-Erfassungseinheit erhalten wird, Informationen über eine Position oder Form der Brille als Merkmalsinformationen erfasst, die der Gesichtsausrichtung des Fahrgastes entspricht; eine Kopfpositionserfassungseinheit (16), die eine Kopfposition des Fahrgastes auf der Grundlage der Positionen der jeweiligen reflektierten Bilder erfasst, die von der Reflexionsbild-Positions-Erfassungseinheit (14) erfasst werden; und eine Gesichtsausrichtungserfassungseinheit (17), die die Gesichtsausrichtung des Fahrgastes auf der Grundlage der von der Kopfpositionserfassungseinheit (16) erfassten Kopfposition des Fahrgastes, der von der Reflexionsbild-Positions-Erfassungseinheit (14) erfassten Positionen der jeweiligen reflektierten Bilder und der von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Merkmalsinformationen der Brille erfasst.
Die Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 1, wobei die Brillenmerkmals-Informations-Erfassungseinheit (15) die Positionen der Linsenmittelpunkte als Merkmalsinformation der Brille erkennt und die Gesichtsausrichtungserfassungseinheit (17) die Gesichtsausrichtung des Fahrgastes erkennt, auf der Grundlage der Beziehung zwischen der von der Kopfpositionserfassungseinheit (16) erfassten Kopfposition des Fahrgastes, den Positionen der jeweiligen reflektierten Bilder, die von der Reflexionsbild-Positions-Erfassungseinheit (14)erfasst werden, und den Positionen der Linsenmittelpunkte, die von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfasst werden.
Die Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 1, wobei die Brillenmerkmals-Informations-Erfassungseinheit (15) Formen von Linsen oder Fassungen als Merkmalsinformation der Brille erkennt und die Gesichtsausrichtungserfassungseinheit (17) die Gesichtsausrichtung des Fahrgastes auf der Grundlage einer Änderung der Formen von Linsen oder Rahmen, die der Gesichtsausrichtung des Fahrgastes entspricht, erkennt, wobei die Formen von Linsen oder Rahmen von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfasst werden.
Die Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 1, wobei die Brillenmerkmals-Informations-Erfassungseinheit (15) die Position der Linsenmittelpunkte und die Form der Linsen oder Fassungen als Merkmalsinformation der Brille erkennt, und die Gesichtsausrichtungserfassungseinheit (17) die Gesichtsausrichtung des Fahrgasts auf der Grundlage der Beziehung zwischen der von der Kopfpositionserfassungseinheit (16) erfassten Kopfposition des Fahrgasts, den Positionen der jeweiligen reflektierten Bilder, die von der Reflexionsbild-Positions-Erfassungseinheit (14) erfasst werden, und den Positionen der Linsenmittelpunkte, die von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfasst werden, ermittelt und die Beziehung zwischen den Formen der von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Linsen oder Rahmen und der Gesichtsausrichtung unter Verwendung der erfassten Gesichtsausrichtung des Fahrgasts erlernt.
Die Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 4, wobei die Gesichtsausrichtungserfassungseinheit (17) anhand der durch das Lernen gewonnenen Daten die Gesichtsausrichtung entsprechend den Formen der von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Linsen oder Rahmen erfasst.
Die Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 1, wobei die Brillenmerkmals-Informations-Erfassungseinheit (15) als Merkmalsinformation der Brille Bügelformen erkennt, die über die Ohren gelegt werden, und mindestens eine der Formen von Linsen oder Rahmen und Positionen der Linsenmittelpunkte, und die Gesichtsausrichtungserfassungseinheit (17) die Gesichtsausrichtung des Fahrgastes auf der Grundlage der von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Formen von Linsen oder Rahmen erfasst, oder die Gesichtsausrichtung des Fahrgastes auf der Grundlage der Beziehung zwischen der von der Kopfpositionserfassungseinheit (16) erfassten Kopfposition des Fahrgastes, der Positionen der jeweiligen reflektierten Bilder, die von der Positionserfassungseinheit für das reflektierte Bild erfasst werden, und der Positionen der Linsenmittelpunkte, die von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfasst werden, erfasst, und unter Verwendung der erfassten Gesichtsausrichtung des Fahrgasts die Beziehung zwischen den Formen der Bügel, die von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfasst werden, und der Gesichtsausrichtung erlernen.
Die Vorrichtung zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 6, wobei die Gesichtsausrichtungserfassungseinheit (17) anhand der durch das Lernen gewonnenen Daten die Gesichtsausrichtung entsprechend den von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Bügelformen erfasst.
Ein System zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts, umfassend: eine Vorrichtung gemäß Anspruch 1; und weiterhin eine Bestrahlungseinheit (1), die einen Fahrgast in einem Fahrzeug mit Bestrahlungslicht aus einer Vielzahl von Lichtquellen bestrahlt; und eine Bildeinheit (2), die ein Bild des Fahrgastes aufnimmt, der mit dem Bestrahlungslicht der Bestrahlungseinheit bestrahlt wird.
Das System zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts nach Anspruch 8, wobei die Bestrahlungseinheit (1) eine Vielzahl von Lichtquellen aufweist, die so angeordnet sind, dass sie vertikale, horizontale und schräge Linien bilden.
Ein Verfahren zur Erkennung der Gesichtsausrichtung eines brillentragenden Fahrgasts, das die Schritte umfasst: Erhalten eines Gesichtsbildes eines Fahrgastes in einem Fahrzeug durch eine Gesichtsbilderfassungseinheit, wobei das Gesichtsbild in einem Zustand aufgenommen ist, in dem der Fahrgast mit Bestrahlungslicht aus einer Vielzahl von Lichtquellen einer Bestrahlungseinheit (1), welche eine charakteristische Form der Lichtquellen bildet, bestrahlt wird; Erfassen von Positionen der jeweiligen reflektierten Bilder der Vielzahl von Lichtquellen aus dem Gesichtsbild, das von der Gesichtsbilderfassungseinheit (12) erhalten wird, wobei die reflektierten Bilder auf einer vom Fahrgast getragenen Brille erscheinen; Erfassen von Merkmalsinformationen, die eine Position oder Form der Brille anzeigen, die der Gesichtsausrichtung des Fahrgastes entspricht, durch eine Brillenmerkmals-Informations-Erfassungseinheit (15) aus dem Gesichtsbild, das durch die Gesichtsbilderfassungseinheit (12) erhalten wird; Erfassen, durch eine Kopfpositionserfassungseinheit (16), einer Kopfposition des Fahrgastes auf der Grundlage der Positionen der jeweiligen reflektierten Bilder, die von der Reflexionsbild-Positions-Erfassungseinheit (14) für reflektierte Bilder erfasst werden; und Erfassen der Gesichtsorientierung des Fahrgasts durch eine Gesichtsorientierungserfassungseinheit auf der Grundlage der von der Kopfpositionserfassungseinheit (16) erfassten Kopfposition des Fahrgasts, der Positionen der jeweiligen reflektierten Bilder, die von der Reflexionsbild-Positions-Erfassungseinheit (14) erfasst werden, und der Merkmalsinformationen der von der Brillenmerkmals-Informations-Erfassungseinheit (15) erfassten Brillen.