DE112017005233T5

DE112017005233T5 - Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren

Info

Publication number: DE112017005233T5
Application number: DE112017005233.5T
Authority: DE
Inventors: Natsuki Tahara; Yudai Nakamura; Takashi Hirano; Masanobu Osawa
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-01-17
Filing date: 2017-01-17
Publication date: 2019-07-11
Anticipated expiration: 2037-01-18
Also published as: CN110168610B; JPWO2018134875A1; WO2018134875A1; DE112017005233B4; US10624538B2; JP6482746B2; US20190320890A1; CN110168610A

Abstract

Eine Augenliderkennungsvorrichtung (10), die eine Gesichtsmerkmalspunkterkennungseinheit (13) zum Erkennen von äußeren und inneren Augenwinkeln als Gesichtsmerkmalspunkte aus einem aufgenommenen Bild, eine Augenregionerkennungseinheit (14) zum Erkennen einer Augenregion, die sowohl eine Oberaugenlidfläche als auch eine Augenfläche aus dem aufgenommenen Bild auf der Grundlage der Gesichtsmerkmalspunkte erkennt, und eine Oberaugenliderkennungseinheit (15) zum, für jede aus einer Vielzahl von Teilflächen, in die die Augenregion unterteilt ist, Erkennen der Grenze zwischen der Oberaugenlidfläche und der Augenfläche auf der Grundlage des Ordnungsmusters der Intensitätswerte der in der Teilfläche ausgerichteten Pixel und Verbinden der für jede der Teilflächen erkannten Grenze, um ein Oberaugenlid zu bestimmen, beinhaltet.

Description

Die vorliegende Offenbarung betrifft Augenliderkennungsvorrichtungen und Augenliderkennungsverfahren zum Erkennen eines Augenlids sowie Müdigkeitsbestimmungsvorrichtungen zum Bestimmen der Müdigkeit auf der Grundlage des erkannten Augenlids.
STAND DER TECHNIK
Fahrerüberwachungseinrichtungen zum Erfassen des Grades (im Folgenden „Grad der Augenöffnung“ oder „Augenöffnungsgrad“ genannt), bis zu dem ein Auge des Fahrers eines Fahrzeugs geöffnet ist, sind bekannt. Eine herkömmliche Fahrerüberwachungsvorrichtung extrahiert eine Augenregion aus einem aufgenommenen Bild des Gesichts eines Fahrers und führt sowohl Kanten- als auch Kurvenerkennung an einem Bild der Augenregion durch, wodurch Ober- und Unteraugenlider erkannt werden (z.B. siehe Patentliteratur 1).
ZITIERLISTE
PATENTLITERATUR
Patentliteratur 1: JP 2000-137792 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Da die herkömmliche Fahrerüberwachungsvorrichtung wie vorstehend beschrieben konfiguriert ist, besteht ein Problem darin, dass sie eine Grenze zwischen einem Make-up-Bereich und einem Nicht-Make-up-Bereich aus einem aufgenommenen Bild eines Fahrers mit viel Make-up, wie beispielsweise dickem Eyeliner oder dunklem Augenlidschatten, auf seinen oder ihren Augenlidern erkennt, um die Grenze fälschlicherweise als Oberaugenlid zu erkennen.
Darüber hinaus besteht in der herkömmlichen Fahrerüberwachungsvorrichtung ein weiteres Problem darin, dass sie eine Grenze zwischen einem Schattenbereich und einem Nicht-Schattenbereich aus einem aufgenommenen Bild eines Fahrers erkennt, dessen Gesicht gemeißelte Merkmale aufweist, die wahrscheinlich Schatten um seine Augen herum verursachen, um die Grenze fälschlicherweise als Oberaugenlid zu erkennen.
Bei fehlerhafter Erkennung eines Oberaugenlides bestimmt die Fahrerüberwachungsvorrichtung fälschlicherweise, dass die Augen eines Fahrers geöffnet sind, obwohl die Augen des Fahrers tatsächlich geschlossen sind, und kann keinen korrekten Grad der Augenöffnung berechnen, so dass ein Schläfrigkeitsbestimmungsprozess nicht ordnungsgemäß funktioniert.
Ausführungsformen der vorliegenden Offenbarung werden vorgenommen, um die oben genannten Probleme zu lösen. Ein Objekt der Ausführungsformen der vorliegenden Offenbarung ist es, ein Oberaugenlid einer Person mit Make-up oder einen Schatten um seine oder ihre Augen mit hoher Genauigkeit zu erkennen.
LÖSUNG DES PROBLEMS
Eine Augenliderkennungsvorrichtung gemäß der vorliegenden Offenbarung beinhaltet: eine Gesichtsmerkmalspunkterkennungseinheit zum Erkennen von äußeren und inneren Augenwinkeln als Gesichtsmerkmalspunkte aus einem aufgenommenen Bild; eine Augenregionerkennungseinheit zum Erkennen einer Augenregion, die sowohl eine obere Augenlidfläche als auch eine Augenfläche aus dem aufgenommenen Bild auf der Grundlage der Gesichtsmerkmalspunkte beinhaltet; und eine Oberaugenliderkennungseinheit zum Erkennen einer Grenze zwischen der Oberaugenlidfläche und der Augenfläche für jede aus einer Vielzahl von Teilflächen, in die die Augenregion unterteilt ist, auf der Grundlage eines Musters der Anordnung von Intensitätswerten von Pixeln, die in einer Teilfläche ausgerichtet sind, und zum Verbinden der jeweils in der Teilfläche erkannten Grenzen, um ein Oberaugenlid zu bestimmen.
VORTEILHAFTE AUSWIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Offenbarung wird für jeden der Vielzahl von Teilflächen, in die die Augenregion unterteilt ist, die Grenze zwischen der Oberaugenlidfläche und der Augenfläche auf der Grundlage des Anordnungsmusters der Intensitätswerte der in der Teilregion ausgerichteten Pixel erkennt, und die jeweils in der Teilfläche erkannten Grenzen sind verbunden, um ein Oberaugenlid zu bestimmen, wobei ein Oberaugenlid einer Person mit Make-up oder ein Schatten um ihre Augen mit hoher Genauigkeit erkannt werden kann.
Figurenliste

1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Augenliderkennungsvorrichtung gemäß Ausführungsform 1 der vorliegenden Offenbarung darstellt;
2A und 2B sind Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der Augenliderkennungsvorrichtung gemäß Ausführungsform 1 der vorliegenden Offenbarung zeigen;
3 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Augenliderkennungsvorrichtung gemäß Ausführungsform 1 der vorliegenden Offenbarung darstellt;
4 ist ein detailliertes Flussdiagramm eines Prozesses bei Schritt ST15 von 3;
5 ist ein Beispiel für ein Bild einer Augenregion, das von einer Augenregionerkennungseinheit der Augenliderkennungsvorrichtung gemäß Ausführungsform 1 der vorliegenden Offenbarung erkennt wird;
6A und 6B sind Abbildungen, die zur Erläuterung eines Verfahrens zum Bestimmen eines Anordnungsmusters verwendet werden, wobei das Verfahren von einer oberen Augenliderkennungseinheit der Augenliderkennungsvorrichtung gemäß der Ausführungsform 1 der vorliegenden Offenbarung verwendet wird;
7A, 7B und 7C sind Abbildungen, die zur Erläuterung eines Verfahrens zum Erkennen der Grenze zwischen einer Oberaugenlidfläche und einer Augenfläche verwendet werden, wobei das Verfahren von der Oberaugenliderkennungseinheit der Augenliderkennungsvorrichtung gemäß Ausführungsform 1 der vorliegenden Offenbarung verwendet wird;
8 ist eine Abbildung, die Anordnungsmuster und die Grenze in der Augenregion von 5 zeigt;
9 ist eine Abbildung, die das Oberaugenlid im Augenregion von 5 zeigt;
10 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Augenliderkennungsvorrichtung gemäß Ausführungsform 2 der vorliegenden Offenbarung darstellt;
11 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Augenliderkennungsvorrichtung gemäß Ausführungsform 2 der vorliegenden Offenbarung darstellt;
12A, 12B und 12C sind Ansichten, die verwendet werden, um ein Verfahren zum Erkennen eines Oberaugenlides zu erklären, das von der Augenliderkennungsvorrichtung gemäß Ausführungsform 2 der vorliegenden Offenbarung durchgeführt wird;
13 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Augenliderkennungsvorrichtung gemäß Ausführungsform 3 der vorliegenden Offenbarung darstellt;
14 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Augenliderkennungsvorrichtung gemäß Ausführungsform 3 der vorliegenden Offenbarung darstellt;
15 ist eine Ansicht, die verwendet wird, um ein Verfahren zum Erkennen von Ober- und Unteraugenlidern zu erklären, das von einer Ober- und Unteraugenliderkennungseinheit der Augenliderkennungsvorrichtung gemäß Ausführungsform 3 der vorliegenden Offenbarung durchgeführt wird;
16A, 16B und 16C sind Abbildungen, die verwendet werden, um ein Verfahren zum Berechnen eines Grades der Augenöffnung zu erklären, das von einer Augenöffnungsgrad-Berechnungseinheit der Augenliderkennungsvorrichtung gemäß der Ausführungsform 3 der vorliegenden Offenbarung durchgeführt wird; und
17 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Schläfrigkeitsbestimmungsvorrichtung gemäß Ausführungsform 4 der vorliegenden Offenbarung darstellt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Um die vorliegende Erfindung näher zu erläutern, werden im Folgenden Ausführungsformen für die Durchführung der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Ausführungsform 1.
1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 1 der vorliegenden Offenbarung zeigt. Die in 1 gezeigte Augenliderkennungsvorrichtung 10 beinhaltet eine Bilderfassungseinheit 11, eine Gesichtserkennungseinheit 12, eine Gesichtsmerkmalspunkterkennungseinheit 13, eine Augenregionerkennungseinheit 14, eine Oberaugenliderkennungseinheit 15 und eine Steuereinheit 16. Darüber hinaus ist die Augenliderkennungsvorrichtung 10 mit einer Bildaufnahmeeinheit 1 verbunden. Im Folgenden wird exemplarisch ein Fall dargestellt, in dem die Augenliderkennungsvorrichtung 10 in einem Fahrzeug montiert ist, um ein Augenlid eines Fahrers zu erkennen. Die Augenliderkennungsvorrichtung 10 erkennt das Oberaugenlid eines Auges eines Fahrers, der viel Make-up auf seinen Augenlidern trägt, und das Oberaugenlid eines Auges eines Fahrers, dessen Gesicht gemeißelte Merkmale aufweist, die Schatten um seine Augen herum verursachen können, mit hoher Genauigkeit.
Die Bildaufnahmeeinheit 1 beinhaltet eine oder mehrere Kameras, die in einer Fahrzeugkabine montiert sind. Als Bildaufnahmeeinheit 1 kann eine Kamera mit einer Empfindlichkeit in einem Bereich des sichtbaren Lichts oder eine Kamera mit einer Empfindlichkeit in einem Bereich des unsichtbaren Lichts, wie beispielsweise eine Infrarotkamera, verwendet werden. In einem Fall, in dem die Bildaufnahmeeinheit 1 eine Infrarotkamera oder dergleichen verwendet, wird eine Beleuchtungsvorrichtung, wie beispielsweise eine Leuchtdiode (LED), die unsichtbares Licht, wie beispielsweise Infrarotlicht, aussendet, in der Fahrzeugkabine montiert, so dass unsichtbares Licht auf den Fahrer gerichtet wird. Die Bildaufnahmeeinheit 1 nimmt ein Bild des Gesichts des Fahrers unter Steuerung der Steuereinheit 16 auf und gibt das aufgenommene Bild an die Bilderfassungseinheit 11 aus.
Die Bilderfassungseinheit 11 erfasst das aufgenommene Bild von der Bildaufnahmeeinheit 1 und gibt das aufgenommene Bild an die Steuereinheit 16 aus.
Die Gesichtserkennungseinheit 12 empfängt das aufgenommene Bild, das von der Bilderfassungseinheit 11 der Bildaufnahmeeinheit 1aufgenommen wird, von der Steuereinheit 16. Die Gesichtserkennungseinheit 12 erkennt das Gesicht des Fahrers aus dem aufgenommenen Bild und gibt ein Ergebnis der Gesichtserkennung an die Steuereinheit 16 aus. Die Gesichtserkennungseinheit 12 ist beispielsweise ein Klassifikator, der mit Haar-ähnlichen Detektoren und einem typischen Algorithmus hergestellt wird, der eine Kombination aus Adaboost und Cascade ist. Anstelle der Konfiguration, in der die Augenliderkennungsvorrichtung 10 die Gesichtserkennungseinheit 12 beinhaltet, kann eine externe Vorrichtung wie die Bildaufnahmeeinheit 1 konfiguriert werden, um die Gesichtserkennungseinheit 12 aufzunehmen. In der Konfiguration, in der eine externe Vorrichtung die Gesichtserkennungseinheit 12 beinhaltet, erfasst die Bilderfassungseinheit 11 ein aufgenommenes Bild und ein Gesichtserkennungsergebnis von der Gesichtserkennungseinheit 12 der externen Vorrichtung und gibt das aufgenommene Bild und das Gesichtserkennungsergebnis an die Steuereinheit 16 aus.
Die Gesichtsmerkmalspunkterkennungseinheit 13 empfängt von der Steuereinheit 16 sowohl das aufgenommene Bild, das von der Bilderfassungseinheit 11 der Bildaufnahmeeinheit 1 erfasst wird, als auch das von der Gesichtserkennungseinheit 12 erkannte Gesichtserkennungsergebnis. Die Gesichtsmerkmalspunkterkennungseinheit 13 erkennt äußere und innere Augenwinkel als Gesichtsmerkmalspunkte von der Position der Fläche auf dem aufgenommenen Bild auf der Grundlage des Gesichtserkenntnisergebnisses und gibt ein Ergebnis der Gesichtsmerkmalspunkterkennung an die Steuereinheit 16 aus.
Die Gesichtsmerkmalspunkterkennungseinheit 13 ist ein Detektor, der beispielsweise mit einem typischen Algorithmus wie der Modellanpassung oder einem Verfahren namens Elastic Bunch Graph Matching hergestellt wird. Anstelle der Konfiguration, in der die Augenliderkennungsvorrichtung 10 die Gesichtsmerkmalspunkterkennungseinheit 13 beinhaltet, kann eine externe Vorrichtung wie die Bildaufnahmeeinheit 1 konfiguriert werden, um die Gesichtsmerkmalspunkterkennungseinheit 13 aufzunehmen. In der Konfiguration, in der eine externe Vorrichtung die Gesichtsmerkmalspunkterkennungseinheit 13 beinhaltet, erfasst die Bilderfassungseinheit 11 ein aufgenommenes Bild und ein Gesichtsmerkmalspunkterkennungsergebnis von der Gesichtsmerkmalspunkterkennungseinheit 13 der externen Vorrichtung und gibt das aufgenommene Bild und das Gesichtsmerkmalspunkterkennungsergebnis an die Steuereinheit 16 aus.
Die Augenregionerkennungseinheit 14 empfängt von der Steuereinheit 16 sowohl das aufgenommene Bild, das von der Bilderfassungseinheit 11 der Bildaufnahmeeinheit 1 erfasst wird, als auch das von der Gesichtsfunktionspunkterkennungseinheit 13 erkannte Ergebnis der Gesichtsfunktionspunkterkennung. Die Augenregionerkennungseinheit 14 erkennt eine Augenregion aus dem aufgenommenen Bild auf der Grundlage der Positionen der äußeren und inneren Augenwinkel im Ergebnis der Gesichtsmerkmalspunkterkennung und gibt ein Bild der Augenregion an die Steuereinheit 16 aus. Die Augenregion umfasst eine Oberaugenlidfläche und eine Augenfläche. Die Augenfläche umfasst sowohl eine Fläche des Weißen des Auges als auch eine Fläche der Iris. Da eine bekannte Technik einfach als Methode zum Erkennen einer Augenregion anhand der Positionen der äußeren und inneren Augenwinkel verwendet werden kann, entfällt eine Erläuterung der Methode.
Die Oberaugenliderkennungseinheit 15 empfängt das Bild der von der Augenregionerkennungseinheit 14 erkannten Augenregion von der Steuereinheit 16. Die Oberaugenliderkennungseinheit 15 unterteilt die Augenregion in eine Vielzahl von Flächen und erkennt für jede der Teilflächen eine Grenze zwischen der Oberaugenlidfläche und der Augenfläche auf der Grundlage des Anordnungsmusters der Intensitätswerte der in der Teilfläche ausgerichteten Pixel. Die Oberaugenliderkennungseinheit 15 verbindet die jeweils für eine der Teilflächen erkannten Grenzen, um eine Linie des Oberaugenlids zu bestimmen, und gibt die Linie dann an die Steuereinheit 16 aus.
Die Steuereinheit 16 steuert die Funktionen der Bildaufnahmeeinheit 1 und der Augenliderkennungsvorrichtung 10. Insbesondere weist die Steuereinheit 16 die Bildaufnahmeeinheit 1 an, ein Bild des Fahrers aufzunehmen. Darüber hinaus stellt die Steuereinheit 16 eine Anweisung für die Bilderfassungseinheit 11, die Gesichtserkennungseinheit 12, die Gesichtsmerkmalspunkterkennungseinheit 13, die Augenregionerkennungseinheit 14 und die Oberaugenliderkennungseinheit 15 in der Augenliderkennungsvorrichtung 10 zur Verfügung, um die Zeitabläufe ihrer Operationen zu steuern und die Übertragung von Informationen zu steuern.
Die und sind Abbildungen, die jeweils ein Beispiel für eine Hardwarekonfiguration der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 1 der vorliegenden Offenbarung zeigen. Die Bildaufnahmeeinheit 1 ist eine Kamera 100. Jede der Funktionen der Bilderfassungseinheit 11, der Gesichtserkennungseinheit 12, der Gesichtsmerkmalspunkterkennungseinheit 13, der Augenregionerkennungseinheit 14, der Oberaugenliderkennungseinheit 15 und der Steuereinheit 16 in der Augenliderkennungsvorrichtung 10 wird durch eine oder mehrere Verarbeitungsschaltungen implementiert. Insbesondere beinhaltet die Augenliderkennungsvorrichtung 10 eine Verarbeitungsschaltung zur Implementierung jeder der oben genannten Funktionen. Die Verarbeitungsschaltung kann eine Verarbeitungsschaltung 101 sein, die als Hardware zur ausschließlichen Verwendung vorgesehen ist, oder ein Prozessor 102, der ein in einem Speicher 103 gespeichertes Programm ausführt.
Wie in 2A dargestellt, ist die Verarbeitungsschaltung 101 für den Fall, dass es sich bei der Verarbeitungsschaltung um Hardware zur ausschließlichen Verwendung handelt, beispielsweise eine Einzelschaltung, eine zusammengesetzte Schaltung, ein programmierbarer Prozessor, ein parallel programmierbarer Prozessor, eine anwendungsspezifische integrierte Schaltung (engl. Application Specific Integrated Circuit, ASIC), eine feldprogrammierbare Gatteranordnung (engl. Field Programmable Gate Array, FPGA) oder eine Kombination aus diesen Schaltungen. Die Funktionen der Bilderfassungseinheit 11, der Gesichtserkennungseinheit 12, der Gesichtsmerkmalspunkterkennungseinheit 13, der Augenregionerkennungseinheit 14, der Oberaugenliderkennungseinheit 15 und der Steuereinheit 16 können durch eine Vielzahl von Verarbeitungsschaltungen 101implementiert werden oder die Funktionen der Einheiten können durch eine einzige Verarbeitungsschaltung 101 gemeinsam implementiert werden.
Die Kamera 100 und die Verarbeitungsschaltung 101 sind über einen Bus oder dergleichen verbunden und können den Informationsfluss zwischen ihnen durchführen.
Wie in 2B dargestellt, wird in dem Fall, in dem die Verarbeitungsschaltung ein Prozessor 102 ist, jede der Funktionen der Bilderfassungseinheit 11, der Gesichtserkennungseinheit 12, der Gesichtsmerkmalspunkterkennungseinheit 13, der Augenregionerkennungseinheit 14, der Oberaugenliderkennungseinheit 15 und der Steuereinheit 16 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder die Firmware werden als Programm bezeichnet und das Programm wird im Speicher 103 gespeichert. Der Prozessor 102 implementiert die Funktion jeder der Einheiten durch Lesen und Ausführen eines im Speicher 103 gespeicherten Programms. Genauer gesagt beinhaltet die Augenliderkennungsvorrichtung 10 den Speicher 103 zum Speichern eines Programms, das, wenn es vom Prozessor 102 ausgeführt wird, zur Ausführung der in Flussdiagrammen, einschließlich 3, dargestellten Schritte führt, die später beschrieben werden sollen. Somit kann das Programm so verstanden werden, dass ein Computer Verfahren oder Methoden der Bilderfassungseinheit 11, der Gesichtserkennungseinheit 12, der Gesichtsmerkmalspunkterkennungseinheit 13, der Augenregionerkennungseinheit 14, der Oberaugenliderkennungseinheit 15 und der Steuereinheit 16 durchführt.
Hier ist der Prozessor 102 eine Zentraleinheit (engl. central processing unit, CPU), eine Verarbeitungsvorrichtung, eine arithmetische Vorrichtung, ein Mikroprozessor, ein Mikrocomputer oder dergleichen.
Der Speicher 103 kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie ein Random Access Memory (RAM), ein Read Only Memory (ROM), ein Erasable Programmable ROM (EPROM) oder ein Flash-Speicher sein, kann eine Magnetplatte wie eine Festplatte oder eine flexible Festplatte sein, oder kann eine optische Platte wie eine CD (Compact Disc) oder eine DVD (Digital Versatile Disc) sein.
Die Kamera 100, der Prozessor 102 und der Speicher 103 sind über einen Bus oder dergleichen verbunden und können die Übertragung von Informationen zwischen ihnen durchführen.
Einige der Funktionen der Bilderfassungseinheit 11, der Gesichtserkennungseinheit 12, der Gesichtsmerkmalspunkterkennungseinheit 13, der Augenregionerkennungseinheit 14, der Oberaugenliderkennungseinheit 15 und der Steuereinheit 16 können durch Hardware zur ausschließlichen Verwendung implementiert werden, und einige der Funktionen können durch Software oder Firmware implementiert werden. Auf diese Weise kann die Verarbeitungsschaltung in der Augenliderkennungsvorrichtung 10 jede der oben genannten Funktionen mit Hardware, Software, Firmware oder einer Kombination aus Hardware, Software und Firmware realisieren.
3 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 1 der vorliegenden Offenbarung darstellt. Die Augenliderkennungsvorrichtung 10 führt wiederholt die Verarbeitung des in 3 dargestellten Flussdiagramms durch. In der folgenden Erklärung entfällt eine Erläuterung der Bedienung der Steuereinheit 16.
Bei Schritt ST11 erfasst die Bilderfassungseinheit 11 ein aufgenommenes Bild des Fahrers des Fahrzeugs, wobei das Bild von der Bildaufnahmeeinheit 1 aufgenommen wird.
Bei Schritt ST12 erkennt die Gesichtserkennungseinheit 12 die Position des Gesichts aus dem aufgenommenen Bild.
Bei Schritt ST13 erkennt die Gesichtsmerkmalspunkterkennungseinheit 13 die Positionen der äußeren und inneren Augenwinkel aus der erkannten Gesichtsposition auf dem aufgenommenen Bild.
Bei Schritt ST14 erkennt die Augenregionerkennungseinheit 14 anhand der Positionen der äußeren und inneren Augenwinkel eine Augenregion mit einer Oberaugenlidfläche und einer Augenfläche aus dem aufgenommenen Bild.
Bei Schritt ST15 erkennt die Oberaugenliderkennungseinheit 15 ein Oberaugenlid, das die Grenze zwischen der Oberaugenlidfläche und der Augenfläche aus der Augenregion ist.
In dem Fall, dass eine externe Vorrichtung die Gesichtserkennungseinheit 12 und die Gesichtsmerkmalspunkterkennungseinheit 13 wie vorstehend erwähnt beinhaltet, sind die Schritte ST11 bis ST13 jedoch unnötig.
4 ist ein detailliertes Flussdiagramm des Prozesses bei Schritt ST15 von 3.
Bei Schritt ST151 teilt die Oberaugenliderkennungseinheit 15 die Augenregion in eine Vielzahl von Teilflächen. Die Oberaugenliderkennungseinheit 15 ruft dann die Intensitätswerte aller Pixel in der Augenregion ab.
5 ist ein Beispiel für ein Bild der Augenregion 201, das von der Augenregionerkennungseinheit 14 erkennt wird. In diesem Beispiel definiert die Oberaugenliderkennungseinheit 15 das oberste und am weitesten linken Pixel der Augenregion 201 als Intensitätswertabfragestartposition 202 und ruft den Intensitätswert jedes Pixels aus der Intensitätswertabfragestartposition 202 entlang einer horizontalen Richtung ab. Danach ruft die Oberaugenliderkennungseinheit 15 den Intensitätswert jedes Pixels entlang der horizontalen Richtung aus einer Intensitätswertabfragestartposition 203 am linken Ende der Reihe knapp unter der darüber abgerufenen Reihe ab. Auf diese Weise ruft die Oberaugenliderkennungseinheit 15 die Intensitätswerte aller Pixel in allen Zeilen der Augenregion 201 ab. Hier entsprechen die Pixel der Zeile in horizontaler Richtung einschließlich der Intensitätswertabfragestartposition 202 einer Teilfläche, und die Pixel der Zeile in horizontaler Richtung einschließlich der Intensitätswertabfragestartposition 203 entsprechen einer Teilfläche.
Obwohl die Oberaugenliderkennungseinheit 15 den Augenregion 201 entlang der horizontalen Richtung teilt, ist die Art und Weise ein nicht-einschränkendes Merkmal; die Oberaugenliderkennungseinheit kann die Augenregion entlang einer Richtung, wie beispielsweise einer vertikalen Richtung oder einer Richtung eines Kreisbogens, teilen. In dem Fall, in dem die Augenregion 201 entlang der horizontalen Richtung geteilt ist, bezieht sich jede Teilfläche auf eine horizontale Fläche, die sich von einem Pixel am rechten Ende mit einem Pixel am linken Ende der Augenregion 201 verbindet. Darüber hinaus ist beispielsweise in dem Fall, in dem die Augenregion 201 entlang der vertikalen Richtung geteilt ist, jede Teilfläche eine vertikale Fläche, die sich vom Pixel am oberen Ende der Augenregion 201 mit dem Pixel am unteren Ende der Augenregion verbindet. Darüber hinaus ist beispielsweise in dem Fall, dass die Augenregion 201 entlang einer Richtung eines nach oben konvexen Kreisbogens geteilt ist, jede Teilfläche eine Fläche, die sich in einer Richtung eines Kreisbogens erstreckt und sich von dem Pixel am rechten Ende der Augenregion 201 zu dem Pixel am linken Ende der Augenregion verbindet. Auf diese Weise ist jede der Teilfläche eine Fläche, die ein Ende der Augenregion 201 mit einem gegenüberliegenden Ende der Augenregion verbindet.
Bei Schritt ST152 vergleicht die Oberaugenliderkennungseinheit 15 den Intensitätswert jedes Pixels mit dem Intensitätswert eines anderen Pixels, das dem Pixel in Bezug auf die horizontale Richtung benachbart ist, um ein Ordnungsmuster der Intensitätswerte zu bestimmen. Um ein Ordnungsmuster zu bestimmen, verwendet die Oberaugenliderkennungseinheit 15 sowohl einen ersten Schwellenwert als auch einen zweiten Schwellenwert.
So erkennt beispielsweise die Augenliderkennungsvorrichtung 10 eine Iris aus dem aufgenommenen Bild unter Verwendung eines typischen Algorithmus wie der Hough-Transformation während der Kalibrierung und richtet erste und zweite Schwellenwerte auf der Grundlage des Intensitätswerts eines Pixels in der Iris ein. Der erste Schwellenwert ist ein Wert zum Bestimmen der Iris, und ein Pixel mit einem Intensitätswert kleiner als der erste Schwellenwert hat eine hohe Wahrscheinlichkeit, in die Iris aufgenommen zu werden. Der zweite Schwellenwert ist ein Wert zum Bestimmen des Weiß des Auges, und ein Pixel mit einem Intensitätswert gleich oder größer als der zweite Schwellenwert hat eine hohe Wahrscheinlichkeit, in das Weiß des Auges aufgenommen zu werden. Ein Pixel mit einem Intensitätswert gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert hat eine hohe Wahrscheinlichkeit, weder in die Iris noch in das Weiß des Auges aufgenommen zu werden, sondern stellt Make-up oder einen Schatten dar. Der zweite Schwellenwert ist ein Wert, der größer als der erste Schwellenwert ist.
Der Zeitpunkt, zu dem die Augenliderkennungsvorrichtung 10 die Kalibrierung durchführt, spielt keine Rolle. So führt beispielsweise die Augenliderkennungsvorrichtung 10 die Kalibrierung innerhalb weniger Sekunden durch, wobei der Fahrer auf dem Sitz sitzt und sein Gesicht unmittelbar nach dem Starten des Fahrzeugmotors in eine bestimmte Richtung lenkt. Durch die Durchführung der Kalibrierung zu diesem Zeitpunkt können Informationen über das Auge des Fahrers im Normalzustand erfasst werden.
Die 6A und 6B sind Abbildungen zur Erläuterung eines Verfahrens zum Bestimmen eines Ordnungsmusters a oder b, wobei das Verfahren von der Oberaugenliderkennungseinheit 15 verwendet wird. Das Ordnungsmuster a ist eines, in dem Pixel mit jeweils einem Intensitätswert gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert kontinuierlich angeordnet sind. Dieses Ordnungsmuster a dient zur Bestimmung der Oberaugenlidfläche in der Augenregion 201.
Das Ordnungsmuster b beinhaltet ein Ordnungsmuster, in dem ein Pixel mit einem Intensitätswert kleiner als der erste Schwellenwert und ein Pixel mit einem Intensitätswert gleich oder größer als der zweite Schwellenwert kontinuierlich angeordnet sind, ein Ordnungsmuster, in dem Pixel mit jeweils einem Intensitätswert kleiner als der erste Schwellenwert kontinuierlich angeordnet sind, und ein Ordnungsmuster, in dem Pixel mit jeweils einem Intensitätswert gleich oder größer als der zweite Schwellenwert kontinuierlich angeordnet sind. Mit dem Ordnungsmuster b wird die Augenfläche in der Augenregion 201 bestimmt.
In Bezug auf 6A haben drei kontinuierlich angeordnete Pixel auf der linken Seite Intensitätswerte von „53“, „52“ und „56“, und alle Intensitätswerte sind gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert. Daher bestimmt die Oberaugenliderkennungseinheit 15 diese drei Pixel als Pixel mit dem Ordnungsmuster a.
Ebenso haben drei kontinuierlich angeordnete Pixel auf der rechten Seite von 6A Intensitätswerte von „46“, „43“ und „49“, und alle Intensitätswerte sind gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert. Daher bestimmt die Oberaugenliderkennungseinheit 15 diese drei Pixel als Pixel mit dem Ordnungsmuster a.
In Bezug auf 6B haben drei kontinuierlich angeordnete Pixel auf der linken Seite Intensitätswerte von „254“, „2“ und „1“, und der Intensitätswert von „254“ ist gleich oder größer als der zweite Schwellenwert und die Intensitätswerte von „2“ und „1“ sind kleiner als der erste Schwellenwert. Daher bestimmt die Oberaugenliderkennungseinheit 15 diese drei Pixel als Pixel mit dem Ordnungsmuster b.
Drei kontinuierlich angeordnete Pixel in der Mitte von 6B haben Intensitätswerte von „0“, „1“ und „3“, und alle Intensitätswerte sind kleiner als der erste Schwellenwert. Daher bestimmt die Oberaugenliderkennungseinheit 15 diese drei Pixel als Pixel mit dem Ordnungsmuster b.
Drei kontinuierlich angeordnete Pixel auf der rechten Seite von 6B haben Intensitätswerte von „254“, „255“ und „253“, und alle Intensitätswerte sind gleich oder größer als der zweite Schwellenwert. Daher bestimmt die Oberaugenliderkennungseinheit 15 diese drei Pixel als Pixel mit dem Ordnungsmuster b.
Obwohl die Oberaugenliderkennungseinheit 15 ein Ordnungsmuster in horizontaler Richtung bestimmt, weil der Augenregion 201 entlang der horizontalen Richtung geteilt ist, kann die Oberaugenliderkennungseinheit in dem Fall, in dem der Augenregion entlang einer anderen Richtung als der horizontalen Richtung geteilt ist, ein Ordnungsmuster in Richtung der Aufteilung bestimmen. Obwohl die Oberaugenliderkennungseinheit 15 das Ordnungsmuster a oder b bestimmt, indem sie drei in horizontaler Richtung zusammenhängend angeordnete Pixel als Ziel einstellt, ist die Anzahl der Zielpixel nicht auf drei begrenzt und kann auf vier oder mehr erhöht werden.
Wenn bei Schritt ST153 die Oberaugenliderkennungseinheit 15 sowohl das Abrufen der Intensitätswerte als auch das Bestimmen eines Ordnungsmusters für alle Pixel in der Augenregion 201 („JA“ bei Schritt ST153) abschließt, fährt sie mit Schritt ST154 fort. Existiert dagegen ein Pixel, bei dem das Abrufen des Intensitätswertes und das Bestimmen eines Ordnungsmusters nicht abgeschlossen ist („NEIN“ bei Schritt ST153), dann kehrt die Oberaugenliderkennungseinheit 15 zu Schritt ST151 zurück.
Bei Schritt ST154 kann die Oberaugenliderkennungseinheit 15 für jeden der Teilflächen eine Grenze zwischen der Oberaugenlidfläche und der Augenfläche auf der Grundlage eines oder mehrerer Ordnungsmuster in einer Teilfläche erkennen. Die 7A, 7B und 7C sind Abbildungen, die verwendet werden, um ein Verfahren zum Erkennen einer Grenze zwischen der oberen Augenlidfläche und der Augenfläche zu erklären, wobei das Verfahren von der Oberaugenliderkennungseinheit 15 verwendet wird. Die Oberaugenliderkennungseinheit 15 klassifiziert jede der Teilflächen in die Teilflächen A, B und C. In der Teilfläche A existieren nur Ordnungsmuster a, wie in dargestellt. In der Teilfläche B existieren nur Ordnungsmuster b, wie in dargestellt. Die Ordnungsmuster a und b koexistieren in der Teilfläche C, wie in dargestellt. Anschließend erkennt die Oberaugenliderkennungseinheit 15 die Grenzen 204 und 205, die jeweils zwischen den Ordnungsmustern a und b in der Teilfläche C liegen. Die Grenzen 204 und 205 zwischen den Ordnungsmustern a und b liegen in der Grenze zwischen der oberen Augenlidfläche und der Augenfläche. Da es jedoch in den Teilflächen A und B keine Grenzen gibt, führt die Oberaugenliderkennungseinheit 15 den Grenzerkennungsprozess in den Teilflächen A und B nicht durch.
8 ist eine Abbildung, die die Ordnungsmuster a und b und die Grenzen 231 bis 236 in der Augenregion 201 von 5 zeigt. Teilflächen 215 bis 217 aus den Teilflächen 211 bis 224, in die die Augenregion 201 in horizontaler Richtung unterteilt ist, sind Teilflächen C, in denen jeweils die Anordnungsmuster a und b nebeneinander existieren. Die Oberaugenliderkennungseinheit 15 erkennt die Grenzen 231 bis 236 aus den Teilflächen 215 bis 217.
Wenn bei Schritt T155 die Oberaugenliderkennungseinheit 15 die Erkennung einer Grenze für alle Teilflächen abschließt („JA“ bei Schritt ST155), dann fährt sie mit Schritt ST156 fort. Existiert dagegen eine Teilfläche, für den die Grenzerkennung nicht abgeschlossen ist („NEIN“ bei Schritt ST155), so kehrt die Oberaugenliderkennungseinheit 15 zu Schritt ST154 zurück.
Bei Schritt ST156 verbindet die Oberaugenliderkennungseinheit 15 die für jede Teilfläche erkannte Grenze, um ein Oberaugenlid zu bestimmen.
9 ist eine Darstellung des Oberaugenlides 241 in der Augenregion 201 von 5. Die Oberaugenliderkennungseinheit 15 verbindet die aus den Teilflächen 215 bis 217 der 8 erkannten Grenzen 231 bis 236, um das Oberaugenlid 241 zu bestimmen. Zu diesem Zeitpunkt bestimmt die Oberaugenliderkennungseinheit 15 die Linie des Oberaugenlides 241, z.B. durch Kurvenanpassung, wobei sie sowohl die Positionen der Grenzen 231 bis 236 als auch die Positionen der äußeren und inneren Augenwinkel, die von der Gesichtsmerkmalspunkterkennungseinheit 13 erkannt werden, verwendet. Es ist zu beachten, dass die Fläche über der Linie des Oberaugenlides 241, d.h. die Teilfläche A in Make-up oder ein Schatten ist. Obwohl in der zuvor erläuterten konventionellen Technologie eine Linie, die durch eine Doppellinie dargestellt wird, d.h. eine obere Linie des Make-ups oder ein Schatten, fälschlicherweise als Oberaugenlid 242 erkannt wird, wird eine obere Linie des Make-ups oder ein Schatten erkannt in der Ausführungsform 1 nicht irrtümlich als Oberaugenlid erkannt.
Wie vorstehend erläutert, ist die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 1 so konfiguriert, dass sie Folgendes beinhaltet: die Gesichtsmerkmalspunkterkennungseinheit 13 zum Erkennen von äußeren und inneren Augenecken als Gesichtsmerkmalspunkte aus einem aufgenommenen Bild; die Augenregionerkennungseinheit 14 zum Erkennen einer Augenregion, die sowohl eine obere Augenlidfläche als auch eine Augenfläche aus dem aufgenommenen Bild auf der Grundlage der Gesichtsmerkmalspunkte beinhaltet; und die Oberaugenliderkennungseinheit 15, um für jede aus einer Vielzahl von Teilfläche, in die die Augenregion unterteilt ist, die Grenze zwischen der Oberaugenlidfläche und der Augenfläche auf der Grundlage des Ordnungsmusters der Intensitätswerte von in einem Teilfläche ausgerichteten Pixeln zu erkennen und die jeweils in der Teilfläche erkannten Grenzen zum Bestimmen eines Oberaugenlids zu verbinden. Dadurch kann ein Oberaugenlid einer geschminkten Person oder ein Schatten um seine oder ihre Augen mit hoher Genauigkeit erkannt werden.
Darüber hinaus ist die Oberaugenliderkennungseinheit 15 von Ausführungsform 1 so konfiguriert, dass sie für jede der Teilflächen den ersten Schwellenwert und den zweiten Schwellenwert größer als der erste Schwellenwert verwendet, um als Zugehörigkeit zum Oberaugenlidfläche ein Ordnungsmuster a zu bestimmen, in dem Pixel mit jeweils einem Intensitätswert gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert kontinuierlich angeordnet und bestimmt sind, als Zugehörigkeit zur Augenregion, ein Ordnungsmuster b, in dem ein Pixel mit einem Intensitätswert kleiner als der erste Schwellenwert und ein Pixel mit einem Intensitätswert gleich oder größer als der zweite Schwellenwert kontinuierlich angeordnet sind, in dem Pixel mit jeweils einem Intensitätswert kleiner als der erste Schwellenwert kontinuierlich angeordnet sind, oder in dem Pixel mit jeweils einem Intensitätswert gleich oder größer als der zweite Schwellenwert kontinuierlich angeordnet sind. Dadurch kann das Oberaugenlid mit hoher Genauigkeit leicht erkannt werden.
Ausführungsform 2.
Die vorstehend erläuterte Ausführungsform 1 basiert auf der Annahme, dass die Anzahl der von der Oberaugenliderkennungseinheit 15 erkannten Oberaugenlider eins ist. Es besteht jedoch die Möglichkeit, dass eine Vielzahl von Oberaugenlidlinien durch das Verfahren der Ausführungsform 1 erkannt werden, wenn ein Augenlidschatten so auf die Augenlider aufgebracht wird, dass eine Schattierung deutlich sichtbar ist, wenn eine Vielzahl von Stücken von Eyeliner aufgebracht wird oder wenn eine Vielzahl von Schatten um die Augen herum erzeugt wird. Wenn dagegen in Ausführungsform 2 eine Oberaugenliderkennungseinheit 15 eine Vielzahl von Oberaugenlidern erkennt, dann bestimmt sie als echtes Oberaugenlid ein Oberaugenlid, das den größten Intensitätsänderungswert unter der Vielzahl von Oberaugenlidern aufweist. Im Folgenden wird der Grad der Veränderung des Intensitätswertes eines Oberaugenlides als Kantenintensität bezeichnet.
10 ist ein Flussdiagramm, das ein Konfigurationsbeispiel einer Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 2 der vorliegenden Offenbarung zeigt. Die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 2 weist eine Konfiguration auf, bei der der Augenliderkennungsvorrichtung 10 der in 1 dargestellten Ausführungsform 1 eine Kantenintensitätserkennungseinheit 21 hinzugefügt wird. In 10 werden die gleichen Komponenten wie in 1 oder ähnliche Komponenten mit den gleichen Referenznummern bezeichnet, und eine Erläuterung der Komponenten entfällt im Folgenden.
Die Kantenintensitätserkennungseinheit 21 wird durch die in 2A dargestellte Verarbeitungsschaltung 101 realisiert. Alternativ wird die Kantenintensitätserkennungseinheit 21 vom Prozessor 102, dargestellt in 2B, implementiert, der ein in einem Speicher 103 gespeichertes Programm ausführt.
11 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 2 der vorliegenden Offenbarung darstellt. Da die Operationen bei den Schritten ST151 bis ST156 in 11 die gleichen sind wie bei den Schritten ST151 bis ST156 in 4, wird hier auf eine Erläuterung der Operationen verzichtet.
Wenn die Oberaugenliderkennungseinheit 15 bei Schritt ST21 eine Vielzahl von Oberaugenlidern erkennt („JA“ bei Schritt ST21), dann gibt sie über eine Steuereinheit 16 ein Ergebnis der Erkennung der Oberaugenlider an die Kantenintensitätserkennungseinheit 21 aus und geht zu Schritt ST22 über. Im Gegensatz dazu, wenn die Oberaugenliderkennungseinheit 15 ein einzelnes Oberaugenlid („NEIN“ bei Schritt ST21) erkennt, geht sie zu Schritt ST156 über.
Bei Schritt ST22 empfängt die Kantenintensitätserkennungseinheit 21 das Ergebnis der Erkennung der Oberaugenlider von der Oberaugenliderkennungseinheit 15 über die Steuereinheit 16. Die Kantenintensitätserkennungseinheit 21 erkennt die Kantenintensität für jedes der Vielzahl von Oberaugenlidern. Die Kantenintensitätserkennungseinheit 21 gibt die Erkennungsergebnisse für die Kantenintensität über die Steuereinheit 16 an die Oberaugenliderkennungseinheit 15 aus.
Bei Schritt ST156 nach Schritt ST22 empfängt die Oberaugenliderkennungseinheit 15 die Erkennungsergebnisse für die Kantenintensität der Kantenintensitätserkennungseinheit 21 über die Steuereinheit 16. Ein Rand eines Oberaugenlides hat eine höhere Kantenintensität als ein Rand, der entweder durch Make-up wie Augenlidschatten oder Eyeliner oder durch einen Schatten um ein Auge entsteht. Dementsprechend bestimmt die Oberaugenliderkennungseinheit 15 als echtes Oberaugenlid ein Oberaugenlid mit der höchsten Kantenintensität aus der Vielzahl der Oberaugenlider auf der Grundlage der Erkennungsergebnisse für die Kantenintensität.
Die 12A, 12B und 12C sind Abbildungen, die zur Erläuterung eines Verfahrens zum Erkennen eines Oberaugenlides verwendet werden, wobei das Verfahren von der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 2 der vorliegenden Offenbarung verwendet wird. In einem Beispiel eines in 12A gezeigten Bildes einer Augenregion 250 wird Augenlidschatten mit klarer Schattierung auf ein Oberaugenlid aufgebracht. Wie in dargestellt, erkennt die Oberaugenliderkennungseinheit 15 zwei Oberaugenlider 251 und 252 aus der Augenregion 250. Die Kantenintensitätserkennungseinheit 21 erkennt eine Kantenintensität auf der Grundlage der Intensitätswerte des Oberaugenlides 251 und des Intensitätswertes jedes der Pixel in einem das Oberaugenlid umgebenden Fläche. Ebenso erkennt die Kantenintensitätserkennungseinheit 21 eine Kantenintensität auf der Grundlage der Intensitätswerte des Oberaugenlides 252 und des Intensitätswertes jedes der Pixel in einer Fläche um das Oberaugenlid. Die Kantenintensität des Oberaugenlides 252 ist höher als die des Oberaugenlides 251. Daher bestimmt die Oberaugenliderkennungseinheit 15, wie in dargestellt, das Oberaugenlid 252 als das wahre Oberaugenlid.
Wie vorstehend erläutert, ist die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 2 konfiguriert, die Kantenintensitätserkennungseinheit 21 zum Erkennen des Grades der Intensitätsänderung jedes der Oberaugenlider als Reaktion auf die Oberaugenliderkennungseinheit 15 zum Erkennen der Oberaugenlider aufzunehmen. Die Oberaugenliderkennungseinheit 15 ist konfiguriert, als das wahre Oberaugenlid ein Oberaugenlid zu bestimmen, das den größten Grad der Intensitätsänderung aufweist, der durch die Kantenintensitätserkennungseinheit 21 zwischen einer Vielzahl von Oberaugenlidern erkannt wird. Mit dieser Konfiguration kann ein Oberaugenlid einer Person, die ein spezielles Make-up trägt, wie z.B. Augenlidschatten mit klarer Schattierung, oder eine Vielzahl von Linien von Eyeliner, oder eine Person, die eine Vielzahl von Schatten um seine oder ihre Augen herum hat, mit einem weiteren hohen Grad an Genauigkeit erkannt werden.
Ausführungsform 3.
In Ausführungsform 3 erkennt eine Augenliderkennungsvorrichtung 10 sowohl ein Unteraugenlid als auch ein Oberaugenlid. Darüber hinaus berechnet die Augenliderkennungsvorrichtung 10 einen Grad der Augenöffnung.
13 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3 der vorliegenden Offenbarung darstellt. Die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3 ist konfiguriert, neben der in 1 dargestellten Augenliderkennungsvorrichtung 10 der Ausführungsform 1 eine Oberaugenlid- und Unteraugenliderkennungseinheit 31 und eine Augenöffnungsgrad-Berechnungseinheit 32 aufzunehmen. In 13 werden die gleichen Komponenten wie in 1 oder ähnliche Komponenten mit den gleichen Referenznummern bezeichnet, und eine Erläuterung der Komponenten entfällt im Folgenden.
Die Ober- und Unteraugenliderkennungseinheit 31 und die Augenöffnungsgrad-Berechnungseinheit 32 werden durch die in 2A dargestellte Verarbeitungsschaltung 101 implementiert. Alternativ können die Ober- und Unteraugenliderkennungseinheit 31 und die Augenöffnungsgrad-Berechnungseinheit 32 vom Prozessor 102, dargestellt in 2B, implementiert werden, der ein im Speicher 103 gespeichertes Programm ausführt.
14 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3 der vorliegenden Offenbarung darstellt. Da die Vorgänge bei den Schritten ST11 bis ST15 in 14 die gleichen sind wie bei den Schritten ST11 bis ST15 in 3, entfällt hier eine Erläuterung der Vorgänge.
Bei Schritt ST31 empfängt die Ober- und Unteraugenliderkennungseinheit 31 von einer Steuereinheit 16 sowohl ein Gesichtsmerkmalpunkterkennungsergebnis, das von einer Gesichtsmerkmalspunkterkennungseinheit 13 erkannt wird, als auch ein Bild einer Augenregion, das von einer Augenregionerkennungseinheit 14 erkannt wird. Die Ober- und Unteraugenliderkennungseinheit 31 erkennt ein temporäres Oberaugenlid und ein Unteraugenlid aus der Augenregion anhand der Positionen der äußeren und inneren Augenwinkel im Ergebnis der Gesichtsfunktion Punkterkennung. Die Ober- und Unteraugenliderkennungseinheit 31 gibt ein Ergebnis der Erkennung des temporären Oberaugenlids und des Unteraugenlids an die Steuereinheit 16 aus.
Die Ober- und Unteraugenliderkennungseinheit 31 erkennt eine Kante aus der Augenregion, z.B. mit einem typischen Bildverarbeitungsfilter wie dem Sobel-Filter oder dem Laplace-Filter. Anschließend erkennt die Ober- und Unteraugenliderkennungseinheit 31 Kurven anhand der Positionen der äußeren und inneren Augenwinkel und ein Ergebnis der Kantenerkennung. Zwei erkannte Kurven werden als die Linien eines temporären Oberaugenlides und eines Unteraugenlides betrachtet. Bei der Erkennung der Kurven wird ein typischer Algorithmus wie die Hough-Transformation verwendet.
Bei Schritt ST32 empfängt die Augenöffnungsgrad-Berechnungseinheit 32 von der Steuereinheit 16 das Ergebnis der Erkennung des temporären Oberaugenlids und des von der Ober- und Unteraugenliderkennungseinheit 31 erkannten Unteraugenlids. Wenn das temporäre Oberaugenlid und das Unteraugenlid übereinstimmen („JA“ bei Schritt ST32), dann fährt die Augenöffnungsgrad-Berechnungseinheit 32 mit Schritt ST33 fort. Stimmen dagegen das temporäre Oberaugenlid und das Unteraugenlid nicht überein („NEIN“ bei Schritt ST32), dann benachrichtigt die Augenöffnungsgrad-Berechnungseinheit 32 die Steuereinheit 16 davon. Als Reaktion auf den Empfang der Benachrichtigung fährt die Steuereinheit 16 mit Schritt ST15 und weiter mit Schritt ST34 fort.
Bei Schritt ST33 bestimmt die Augenöffnungsgrad-Berechnungseinheit 32, dass die Augen eines Fahrers geschlossen sind, weil das temporäre Oberaugenlid und das Unteraugenlid, die von der Ober- und Unteraugenliderkennungseinheit 31 erkennt werden, übereinstimmen. Die Augenöffnungsgrad-Berechnungseinheit 32 berechnet den Grad der Augenöffnung als 0%.
Es ist zu beachten, dass, wenn das temporäre Oberaugenlid und das Unteraugenlid übereinstimmen, nur die in gezeigte Teilfläche A in der Augenregion existiert.
Bei Schritt ST34 nach Schritt ST15 bestimmt die Augenöffnungsgrad-Berechnungseinheit 32, dass die Augen des Fahrers geöffnet sind und berechnet den Grad der Augenöffnung, da das temporäre Oberaugenlid und das Unteraugenlid, die von der Ober- und Unteraugenliderkennungseinheit 31 erkannt werden, nicht übereinstimmen. Zum Zeitpunkt der Berechnung des Grades der Augenöffnung verwendet die Augenöffnungsgrad-Berechnungseinheit 32 das bei Schritt ST15 erkannte Oberaugenlid, indem sie von einem Fall ausgeht, in dem das Make-up dick um die Augen des Fahrers herum aufgetragen wird, oder von einem Fall, in dem ein Schatten um die Augen des Fahrers herum entsteht.
15 ist eine Illustration, die verwendet wird, um ein Verfahren zum Erkennen von Ober- und Unteraugenlidern zu erklären, das von der Ober- und Unteraugenliderkennungseinheit 31 durchgeführt wird. In einem Beispiel eines in gezeigten Bildes der Augenregion 260 sind ein echtes Oberaugenlid 263 und ein Unteraugenlid 262 zu erkennende Objekte. Über dem wahren Oberaugenlid 263 existiert jedoch ein Bereich des Make-ups oder ein Schatten. So erkennt die Ober- und Unteraugenliderkennungseinheit 31 bei der Kantenerkennung und Kurvenerkennung fälschlicherweise eine Kante des Make-up-Bereichs oder einen Schatten als temporäres Oberaugenlid 261. Dementsprechend berechnet die Augenöffnungsgrad-Berechnungseinheit 32 den Grad der Augenöffnung, indem sie anstelle des von der Ober- und Unteraugenliderkennungseinheit 31 erkannten temporären Oberaugenlides 261 das von der Oberaugenliderkennungseinheit 15 erkannte wahre Oberaugenlid 263 verwendet.
So verwendet beispielsweise die Augenöffnungsgrad-Berechnungseinheit 32 Informationen über die Augen des Fahrers im Normalzustand, die von der Augenliderkennungsvorrichtung 10 bei deren Kalibrierung erfasst werden, um einen Abstand in vertikaler Richtung der Augenpartie im Normalzustand zu berechnen, diesen Abstand als Referenzabstand mit einem Augenöffnungsgrad von 100% zu definieren.
Die Augenöffnungsgrad-Berechnungseinheit 32 erhält sowohl ein Ergebnis der Erkennung des von der Ober- und Unteraugenliderkennungseinheit 31 erkannten Unteraugenlides als auch ein Ergebnis der Erkennung des von der Oberaugenliderkennungseinheit 15 erkannten Oberaugenlides über die Steuereinheit 16. Die Augenöffnungsgrad-Berechnungseinheit 32 berechnet einen Abstand zwischen dem Unteraugenlid und dem Oberaugenlid und vergleicht den daraus berechneten Abstand mit dem Referenzabstand, um den Grad der Augenöffnung zu berechnen. Es wird angenommen, dass bei Schritt ST34 die Recheneinheit 32 den Grad der Augenöffnung im Bereich von 1% bis 100% berechnet.
Beachten Sie, dass, wenn der Grad der Augenöffnung zwischen 1% und 99% liegt, alle in den , und gezeigten Teilflächen A, B und C in der Augenregion vorhanden sind. Beträgt der Grad der Augenöffnung dagegen 100%, existiert nur die in gezeigte Teilfläche B in der Augenregion.
Die , und sind Abbildungen zur Erläuterung eines Verfahrens zur Berechnung des Grades der Augenöffnung, das von der Augenöffnungsgrad-Berechnungseinheit 32 durchgeführt wird. Wie in 16A dargestellt, wenn alle Teilflächen A, B und C, wie in den 7A, 7B und 7C dargestellt, im Augenregion 260 vorhanden sind, erkennt die Oberaugenliderkennungseinheit 15 die Grenze zwischen den Ordnungsmustern a und b in der Teilfläche B als das wahre Oberaugenlid 263. Die Augenöffnungsgrad-Berechnungseinheit 32 berechnet einen Grad der Augenöffnung sowohl aus dem Referenzabstand H als auch aus dem Abstand zwischen dem wahren Oberaugenlid 263 und dem Unteraugenlid 262. In beträgt der Grad der Augenöffnung 65%.
Wenn der Referenzabstand H gleich dem Abstand zwischen dem wahren Oberaugenlid 263 und dem Unteraugenlid 262 ist, wie in dargestellt, berechnet die Augenöffnungsgrad-Berechnungseinheit 32 den Grad der Augenöffnung als 100%. Anstatt den Grad der Augenöffnung als 100% für den Fall zu berechnen, dass der Referenzabstand H gleich dem Abstand zwischen dem wahren Oberaugenlid 263 und dem Unteraugenlid 262 ist, kann die Augenöffnungsgrad-Berechnungseinheit 32 den Grad der Augenöffnung als 100% berechnen, wenn nur die Teilfläche B im Augenregion 260 existiert.
Wenn das temporäre Oberaugenlid 261 und das Unteraugenlid 262 übereinstimmen, wie in dargestellt, berechnet die Augenöffnungsgrad-Berechnungseinheit 32 den Grad der Augenöffnung mit 0%. Anstatt den Grad der Augenöffnung als 0% für den Fall zu berechnen, dass das temporäre Oberaugenlid 261 und das Unteraugenlid 262 übereinstimmen, kann die Augenöffnungsgrad-Berechnungseinheit 32 den Grad der Augenöffnung als 0% berechnen, wenn nur die Teilfläche A in der Augenregion 260 vorhanden ist.
Wie vorstehend erläutert, ist die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3 so konfiguriert, dass sie die Ober- und Unteraugenliderkennungseinheit 31 zum Erkennen eines temporären Oberaugenlids und eines Unteraugenlids aus der Augenregion auf der Grundlage der Gesichtsmerkmalspunkte beinhaltet. Die Oberaugenliderkennungseinheit 15 ist so konfiguriert, dass sie das von der Oberaugenliderkennungseinheit 15 erkannte Oberaugenlid als das wahre Oberaugenlid bestimmt, wenn das temporäre Oberaugenlid und das Unteraugenlid, die von der Ober- und Unteraugenliderkennungseinheit 31 erkannt werden, nicht übereinstimmen. Dadurch kann auch ein Oberaugenlid einer geschminkten Person oder ein Schatten um seine oder ihre Augen herum, ganz zu schweigen von einer Person, die ein normales Aussehen um ihre Augen hat, mit hoher Genauigkeit erkannt werden.
Darüber hinaus ist die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3 so konfiguriert, dass sie die Augenöffnungsgrad-Berechnungseinheit 32 beinhaltet, die den Grad der Augenöffnung berechnet, indem sie sowohl das von der Oberaugenliderkennungseinheit 15 erkannte echte Oberaugenlid als auch das von der Ober- und Unteraugenliderkennungseinheit 31 erkannte untere Augenlid verwendet. Da ein Oberaugenlid einer geschminkten Person oder ein Schatten um sein oder ihre Augen mit hoher Genauigkeit erkannt werden kann, kann der Grad der Augenöffnung einer solchen Person auch mit hoher Genauigkeit berechnet werden.
Die Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3 kann die Kantenintensitätserkennungseinheit 21 in Ausführungsform 2 beinhalten. Mit dieser Konfiguration kann auch ein Oberaugenlid einer Person, die ein spezielles Make-up trägt, wie z.B. Augenlidschatten mit klarer Schattierung oder mehrere Linien von Eyeliner, oder eine Person mit mehreren Schatten um sein oder ihre Augen herum, ganz zu schweigen von einer Person, die ein normales Aussehen um seine oder ihre Augen hat, mit hoher Genauigkeit erkannt werden. Darüber hinaus kann der Grad der Augenöffnung einer solchen Person auch mit hoher Genauigkeit berechnet werden.
Ausführungsform 4.
In Ausführungsform 4 wird die Schläfrigkeit anhand eines Ergebnisses der Berechnung eines Grades der Augenöffnung bestimmt.
17 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Schläfrigkeitsbestimmungsvorrichtung 40 gemäß Ausführungsform 4 der vorliegenden Offenbarung darstellt. Die in 17 dargestellte Schläfrigkeitsbestimmungsvorrichtung 40 beinhaltet die Augenlidbestimmungsvorrichtung 10 gemäß Ausführungsform 3 und eine Schläfrigkeitsbestimmungseinheit 41.
Die Schläfrigkeitsbestimmungseinheit 41 wird durch die in 2A dargestellte Verarbeitungsschaltung 101 implementiert. Alternativ wird die die Schläfrigkeitsbestimmungseinheit 41 durch den Prozessor 102, dargestellt in 2B, implementiert, der ein in einem Speicher 103 gespeichertes Programm ausführt.
Die Schläfrigkeitsbestimmungseinheit 41 erhält ein Ergebnis der Berechnung eines Grades der Augenöffnung aus der Augenöffnungsgrad-Berechnungseinheit 32 der Augenliderkennungsvorrichtung 10 gemäß Ausführungsform 3. Die Schläfrigkeitsbestimmungseinheit 41 bestimmt anhand des Ergebnisses der Berechnung des Grades der Augenöffnung, ob der Fahrer schlummert oder nicht. Wenn beispielsweise ein geschlossener Augenzustand für einen vorbestimmten Zeitraum (z.B. mehrere Sekunden) anhält, bestimmt die Schläfrigkeitsbestimmungseinheit 41, dass der Fahrer schlummert.
Wie vorstehend erläutert, ist die Schläfrigkeitsbestimmungsvorrichtung 40 gemäß Ausführungsform 4 so konfiguriert, dass sie die Augenliderkennungseinrichtung 10 der Ausführungsform 3 und die Schläfrigkeitsbestimmungseinheit 41 zum Bestimmen eines Schläfrigkeitszustandes auf der Grundlage des von der Augenliderkennungseinrichtung 10 berechneten Öffnungsgrads der Augen beinhaltet. Da mit dieser Konfiguration ein Oberaugenlid und der Grad der Augenöffnung einer Person mit Make-up oder einem Schatten um seine oder ihre Augen mit hoher Genauigkeit erkannt werden kann, kann die Schläfrigkeit einer solchen Person mit hoher Genauigkeit bestimmt werden.
Obwohl in den Ausführungsformen 1 bis 4 Beispiele dargestellt sind, in denen die Bilderkennungseinheit 1, die Augenliderkennungsvorrichtung 10 und die Schläfrigkeitsbestimmungsvorrichtung 40 im Fahrzeug montiert sind, ist keine Einschränkung darauf vorgesehen; beispielsweise kann nur die Bildaufnahmeeinheit 1 im Fahrzeug und die Augenliderkennungsvorrichtung 10 und die Schläfrigkeitsbestimmungsvorrichtung 40 außerhalb des Fahrzeugs angebracht werden. Im letzteren Fall können beispielsweise die Bildaufnahmeeinheit 1 im Fahrzeug und die Augenliderkennungsvorrichtung 10 und die Schläfrigkeitsbestimmungsvorrichtung 40 außerhalb des Fahrzeugs Informationen zwischen ihnen über drahtlose Kommunikation übertragen. Die Augenliderkennungsvorrichtung 10 und die Schläfrigkeitsbestimmungsvorrichtung 40 empfangen ein von der Bildaufnahmeeinheit 1 über drahtlose Kommunikation aufgenommenes Bild, erkennen ein Oberaugenlid, berechnen einen Grad der Augenöffnung, bestimmen die Schläfrigkeit und übertragen ein Ergebnis der Bestimmung über drahtlose Kommunikation an eine fahrzeugmontierte Vorrichtung, wie beispielsweise eine Fahrerüberwachungsvorrichtung.
Es ist zu verstehen, dass im Rahmen der Erfindung freie Kombinationen von Ausführungsformen, Änderungen an Komponenten in den Ausführungsformen oder Auslassungen von Komponenten vorgenommen werden können.
Darüber hinaus ist eine Person, die Gegenstand der Augenliderkennungsvorrichtung 10 und der Schläfrigkeitsbestimmungsvorrichtung 40 ist, die in den Ausführungsformen der vorliegenden Offenbarung erläutert wird, nicht auf den Fahrer eines Fahrzeugs beschränkt; er oder sie kann Fahrer oder Pilot eines anderen beweglichen Fahrzeugs sein, einschließlich eines Eisenbahnzuges, eines Schiffes und eines Flugzeugs. Es ist zu erwarten, dass eine Fahrerüberwachungsvorrichtung in einer Vielzahl von Anwendungsfällen für Fahrer, wie beispielsweise Personen verschiedenen Geschlechts und Personen verschiedener Rassen, ordnungsgemäß funktioniert, indem sie die Augenliderkennungsvorrichtung 10 und die Schläfrigkeitsbestimmungsvorrichtung 40 zur Fahrerüberwachungsvorrichtung verwendet.
INDUSTRIELLE ANWENDBARKEIT
Da die Augenliderkennungsvorrichtung und die Schläfrigkeitsbestimmungsvorrichtung gemäß der vorliegenden Offenbarung so konfiguriert sind, dass sie ein Oberaugenlid mit hoher Genauigkeit erkennen, sind die Augenliderkennungsvorrichtung und die Schläfrigkeitsbestimmungsvorrichtung für den Einsatz in einer Fahrerüberwachungsvorrichtung geeignet, die den Zustand des Fahrers überwacht, und so weiter.
Bezugszeichenliste

1: Bildaufnahmeeinheit; 10 Augenliderkennungsvorrichtung;
11: Bildaufnahmeeinheit; 12 Gesichtserkennungseinheit;
13: Gesichtsmerkmalspunkterkennungseinheit;
14: Augenregionerkennungseinheit;
15: Oberaugenliderkennungseinheit; 16 Steuereinheit;
21: Kantenintensitätserkennungseinheit; 31 Ober- und Unteraugenliderkennungseinheit;
32: Augenöffnungsgrad-Berechnungseinheit;
40: Schläfrigkeitsbestimmungsvorrichtung;
41: Schläfrigkeitsbestimmungseinheit; 100 Kamera;
101: Verarbeitungsschaltung; 102 Prozessor; 103 Speicher;
201, 250, 260: Augenregion;
202,: 203 Intensitätswertabrufstartposition;
204, 205, 231 bis 236: Grenze; 211 bis 224 Teilfläche;
241, 251, 252: Oberaugenlid; 242 falsch erkanntes Oberaugenlid;
261: temporäres Oberaugenlid; 262 Unteraugenlid; und
263: wahres Oberaugenlid.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2000137792 A [0003]

Claims

Eine Augenliderkennungsvorrichtung, umfassend: eine Gesichtsmerkmalspunkterkennungseinheit zum Erkennen der äußeren und inneren Augenwinkel als Gesichtsmerkmalspunkte aus einem aufgenommenen Bild; eine Augenregionerkennungseinheit zum Erkennen einer Augenregion, die sowohl eine Oberaugenlidfläche als auch eine Augenfläche aus dem aufgenommenen Bild auf der Grundlage der Gesichtsmerkmalspunkte beinhaltet; und eine Oberaugenliderkennungseinheit zum Erkennen einer Grenze zwischen der Oberaugenlidfläche und der Augenfläche für jede aus einer Vielzahl von Teilflächen, in die die Augenregion unterteilt ist, auf der Grundlage eines Musters der Anordnung von Intensitätswerten von Pixeln, die in einer Teilfläche ausgerichtet sind, und zum Verbinden der jeweils in der Teilfläche erkannten Grenzen, um ein Oberaugenlid zu bestimmen.
Die Augenliderkennungsvorrichtung nach Anspruch 1, wobei jede Teilfläche eine Fläche ist, die ein Ende der Augenregion mit einem gegenüberliegenden Ende der Augenregion verbindet.
Die Augenliderkennungsvorrichtung nach Anspruch 1, wobei die Oberaugenliderkennungseinheit in einer der Teilflächen einen ersten Schwellenwert und einen zweiten Schwellenwert, der größer als der erste Schwellenwert ist, verwendet, um als zur Oberaugenlidfläche gehörend ein Anordnungsmuster zu bestimmen, in dem Pixel mit jeweils einem Intensitätswert gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert kontinuierlich angeordnet sind, und als Zugehörigkeit zur Augenfläche ein Anordnungsmuster bestimmen, in dem ein Pixel mit einem Intensitätswert kleiner als der erste Schwellenwert und ein Pixel mit einem Intensitätswert gleich oder größer als der zweite Schwellenwert kontinuierlich angeordnet sind, in dem Pixel mit jeweils einem Intensitätswert kleiner als der erste Schwellenwert kontinuierlich angeordnet sind, oder in dem Pixel mit jeweils einem Intensitätswert gleich oder größer als der zweite Schwellenwert kontinuierlich angeordnet sind.
Die Augenliderkennungsvorrichtung nach Anspruch 1, ferner umfassend eine Ober- und Unteraugenliderkennungseinheit zum Erkennen eines temporären Oberaugenlids und eines Unteraugenlids aus dem Augenregion auf der Grundlage der Gesichtsmerkmalspunkte, wobei die Oberaugenliderkennungseinheit bestimmt, dass, wenn das temporäre Oberaugenlid und das von der Ober- und Unteraugenliderkennungseinheit erkannte Unteraugenlid nicht übereinstimmen, das von der Oberaugenliderkennungseinheit erkannte Oberaugenlid ein echtes Oberaugenlid ist.
Die Augenliderkennungsvorrichtung nach Anspruch 1, ferner umfassend eine Kantenintensitätserkennungseinheit zum Erkennen, wenn die Oberaugenliderkennungseinheit eine Vielzahl von Oberaugenlidern erkannt, eines Grades der Intensitätsänderung für jedes der Vielzahl von Oberaugenlidern, wobei die Oberaugenliderkennungseinheit bestimmt, dass ein Oberaugenlid mit einem größten Grad der Intensitätsänderung, der von der Randintensitätserkennungseinheit erkannt wird, ein echtes Oberaugenlid unter den mehreren Oberaugenlidern ist.
Die Augenliderkennungsvorrichtung nach Anspruch 4, ferner umfassend eine Augenöffnungsgrad-Berechnungseinheit zum Berechnen eines Grades der Augenöffnung unter Verwendung sowohl des von der Oberaugenliderkennungseinheit erkannten wahren Oberaugenlids als auch des von der Ober- und Unteraugenliderkennungseinheit erkannten unteren Augenlids.
Eine Vorrichtung zur Bestimmung der Schläfrigkeit, umfassend: die Augenliderkennungsvorrichtung nach Anspruch 6; und eine Schläfrigkeitsbestimmungseinheit zum Bestimmen eines Schläfrigkeitszustandes auf der Grundlage des von der Augenliderkennungsvorrichtung berechneten Grades der Augenöffnung.
Ein Verfahren zum Erkennen von Augenlidern, umfassend: Erkennen von äußeren und inneren Augenwinkeln als Gesichtsmerkmalspunkte aus einem aufgenommenen Bild durch eine Gesichtsmerkmalspunkterkennungseinheit; Erkennen einer Augenregion, die sowohl eine Oberaugenlidfläche als auch eine Augenfläche aus dem aufgenommenen Bild auf der Grundlage der Gesichtsmerkmalspunkte umfasst, durch eine Augenregionerkennungseinheit; und Erkennen einer Grenze zwischen der Oberaugenlidfläche und der Augenfläche auf der Grundlage eines Musters der Anordnung von Intensitätswerten von Pixeln, die in einer Teilfläche ausgerichtet sind, durch eine Oberaugenliderkennungseinheit für jede aus einer Vielzahl von Teilflächen, in die die Augenregion geteilt ist, und Verbinden der jeweils in der Teilflächen erkannten Grenzen, um ein Oberaugenlid zu bestimmen.