DE112020007803T5

DE112020007803T5 - Schlafdetektionsvorrichtung und Schlafdetektionsverfahren

Info

Publication number: DE112020007803T5
Application number: DE112020007803.5T
Authority: DE
Inventors: Taro Kumagai; Yudai Nakamura
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2023-11-16
Also published as: WO2022113275A1; JPWO2022113275A1

Abstract

Bereitstellung einer Schlafdetektionsvorrichtung zur Verbesserung der Präzision bei der Detektion des Schlafens eines Insassen.Die Schlafdetektionsvorrichtung umfasst eine Bilderwerbssektion (11), die von einer in einem Fahrzeug montierten Abbildungsvorrichtung (20) zum Abbilden eines Insassen im Inneren des Fahrzeugs ein Abbildungsbild erwirbt, auf dem der Insasse abgebildet ist, eine Abstumpfung-Bestimmungssektion (16) zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem durch die Bilderwerbssektion (11) erworbenen Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion (17) zum Bestimmen, ob eine Haltung des Insassen, die aus dem durch die Bilderwerbssektion (11) erworbenen Abbildungsbild extrahiert wurde, abnormal ist, und eine Schlafdetektionssektion (18) zum Detektieren des Schlafens des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion (16) und des Bestimmungsergebnisses der Haltung-Bestimmungssektion (17), wobei die Schlafdetektionssektion (18) detektiert, dass der Insasse eingeschlafen ist, wenn durch die Abstumpfung-Bestimmungssektion (16) das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wurde und durch die Haltung-Bestimmungssektion (17) eine abnormale Haltung des Insassen bestimmt wurde. Hierdurch kann ein augenblickliches Schlafen eines Insassen detektiert und die Präzision bei der Detektion des Schlafens des Insassen verbessert werden.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Schlafdetektionsvorrichtung und ein Schlafdetektionsverfahren.
[Hintergrundtechnologie]
Um bei einem Insassen, der ein Fahrzeug wie ein Kraftfahrzeug steuert, ein Einschlafen am Steuer zu verhindern, wird eine Technologie vorgeschlagen, bei der durch die Detektion des Zustands des Gesichts und der Haltung des Insassen die Müdigkeit, die der Insasse empfindet, gefolgert wird. Da sich der Zustand der Müdigkeit bis hin zu einer starken Müdigkeit stufenweise verändert, wurde herkömmlich mittels Vorzeichen einer Müdigkeit wie dem Augenöffnungsgrad, dem Abstand zwischen Augen und Augenbrauen usw. gefolgert, in welchem Müdigkeitsstadium von stufenweise unterteilten Müdigkeitsstadien sich der Insasse befindet (vgl. z. B. Patentdokument 1).
[Dokumente des Standes der Technik]
[Patentdokumente]
[Patentdokument 1] Patentveröffentlichung Nr. JP 2008-220424 A
[Überblick über die Erfindung]
[Durch die Erfindung zu lösende Aufgabe]
Fällt ein Insasse in einen sogenannten Sekundenschlaf, ein augenblickliches Einschlafen, ist zur Verhinderung eines Einschlafens am Steuer die Detektion dieses augenblicklichen Schlafens erforderlich. Ein augenblickliches Schlafen kann jedoch nur durch die Folgerung des Müdigkeitsstadiums, in dem sich der Insasse befindet, nicht detektiert werden, sodass das Problem einer schlechten Präzision bei der Detektion des Schlafens des Insassen besteht.
Die vorliegende Offenbarung erfolgte zur Lösung des beschriebenen Problems und beabsichtigt die Bereitstellung einer Schlafdetektionsvorrichtung zur Detektion eines augenblicklichen Schlafens eines Insassen und Verbesserung der Präzision bei der Detektion des Schlafens des Insassen.
[Mittel zum Lösen der Aufgabe]
Eine Schlafdetektionsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Bilderwerbssektion, die von einer in einem Fahrzeug montierten Abbildungsvorrichtung zum Abbilden eines Insassen im Inneren des Fahrzeugs ein Abbildungsbild erwirbt, auf dem der Insasse abgebildet ist, eine Abstumpfung-Bestimmungssektion zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion zum Bestimmen, ob eine Haltung des Insassen, der aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, abnormal ist, und eine Schlafdetektionssektion zum Detektieren des Schlafens des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion und des Bestimmungsergebnisses der Haltung-Bestimmungssektion, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn durch die Abstumpfung-Bestimmungssektion das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wurde, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.
Ferner umfasst ein Schlafdetektionssystem gemäß der vorliegenden Offenbarung eine in einem Fahrzeug montierten Abbildungsvorrichtung zum Abbilden eines Insassen im Inneren des Fahrzeugs, eine Bilderwerbssektion, die von der Abbildungsvorrichtung ein Abbildungsbild erwirbt, auf dem der Insasse abgebildet ist, eine Abstumpfung-Bestimmungssektion zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion zum Bestimmen, ob eine Haltung des Insassen, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, abnormal ist, und eine Schlafdetektionssektion zum Detektieren des Schlafens des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion und des Bestimmungsergebnisses der Haltung-Bestimmungssektion, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn durch die Abstumpfung-Bestimmungssektion das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wurde, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.
[Effekte der Erfindung]
Der vorliegenden Offenbarung zufolge kann ein augenblickliches Schlafen eines Insassen detektiert und die Präzision bei der Detektion des Schlafens des Insassen verbessert werden.
[Kurze Erläuterung der Zeichnungen]

[1] 1 ist ein Blockbild, das ein Strukturbeispiel eines Schlafdetektionssystems gemäß einer ersten Ausführungsform zeigt.
[2] 2 ist eine erläuternde Ansicht, die den Abbildungsbereich einer Abbildungsvorrichtung gemäß der ersten Ausführungsform zeigt.
[3] 3 sind erläuternde Ansichten, welche die Detektionsverarbeitung einer Merkmalspunkt-Detektionssektion einer Schlafdetektionsvorrichtung gemäß der ersten Ausführungsform zeigen.
[4] 4 sind erläuternde Ansichten, welche eine Gesichtsrichtung-Detektionsverarbeitung einer Gesichtsrichtung-Detektionssektion der Schlafdetektionsvorrichtung gemäß der ersten Ausführungsform zeigen.
[5] 5 sind erläuternde Ansichten, welche ein Schlafdetektionsergebnis der Schlafdetektionsvorrichtung gemäß der ersten Ausführungsform zeigen.
[6] 6 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Schlafdetektionsvorrichtung gemäß der ersten Ausführungsform zeigt.
[7] 7 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Schlafdetektionsvorrichtung gemäß der ersten Ausführungsform zeigt.
[8] 8 zeigt Beispiele des Hardware-Aufbaus der Schlafdetektionsvorrichtung gemäß der ersten Ausführungsform.
[9] 9 ist ein Blockbild, das ein Beispiel des Aufbaus eines Schlafdetektionssystems gemäß einer zweiten Ausführungsform zeigt.
[10] 10 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Schlafdetektionsvorrichtung gemäß der zweiten Ausführungsform zeigt.
[11] 11 ein Blockbild, das ein Strukturbeispiel eines Schlafdetektionssystems gemäß einer dritten Ausführungsform zeigt.
[12] 12 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Schlafdetektionsvorrichtung gemäß der dritten Ausführungsform zeigt.

[Formen zur Ausführung der Erfindung]
Im Folgenden werden Ausführungsformen basierend auf den Zeichnungen erläutert.
Erste Ausführungsform
1 ist ein Blockbild, das ein Strukturbeispiel eines Schlafdetektionssystems 100 gemäß der ersten Ausführungsform zeigt. Das Schlafdetektionssystem 100 umfasst eine Schlafdetektionsvorrichtung 10 und eine Abbildungsvorrichtung 20, wobei die Schlafdetektionsvorrichtung 10 und die Abbildungsvorrichtung 20 jeweils in einem Fahrzeug montiert sind.
2 ist eine erläuternde Ansicht, die den Abbildungsbereich der Abbildungsvorrichtung 20 gemäß der ersten Ausführungsform zeigt. 2 zeigt von oben gesehen das Innere des Fahrzeugs, in dem die Schlafdetektionsvorrichtung 10 montiert ist. Die Abbildungsvorrichtung 20 besteht z. B. aus einer Weitwinkelkamera oder einer Infrarotkamera und bildet das Innere des Fahrzeugs ab. Bei der Abbildungsvorrichtung 20 kann es sich auch um einen Abstandsbildsensor wie eine TOF (Timeof-flight) Kamera handeln, durch den ein Bild aufgenommen werden kann, das den Abstand zwischen der Abbildungsvorrichtung 20 und dem Aufnahmeobjekt reflektiert. Die Abbildungsvorrichtung 20 bildet das Innere des Fahrzeugs in einem Intervall von z. B. 30 bis 60 fps (frames per second) ab und gibt die abgebildeten Bilder an eine Bilderwerbssektion 11 der Schlafdetektionsvorrichtung 10 aus. Im Folgenden wird ein durch die Abbildungsvorrichtung 20 abgebildetes Bild als Abbildungsbild bezeichnet.
Bei dem Beispiel in 2 ist der Abbildungsbereich der Abbildungsvorrichtung 20 als Bereich A dargestellt. Damit zumindest ein Insasse 211 und ein Insasse 212, die jeweils auf einem Fahrersitz 201 und einem Beifahrersitz 202 sitzen, gleichzeitig abbildbar sind, werden eine oder eine Vielzahl von Abbildungsvorrichtungen 20 an einem Armaturenbrett, einer Lenksäule oder einem Innenspiegel angeordnet. Der Abbildungsbereich der Abbildungsvorrichtung 20 kann auch die hier nicht dargestellten Rücksitze umfassen. Im Folgenden werden die Insassen 211, 212 als Abbildungsobjekte der Abbildungsvorrichtung 20 auch zusammengefasst als „Insasse“ bezeichnet. Das heißt, der Insasse umfasst den Fahrer.
Zurück zu 1 werden die jeweiligen Strukturen der Schlafdetektionsvorrichtung 10 erläutert. Die Schlafdetektionsvorrichtung 10 umfasst die Bilderwerbssektion 11 zum Erwerben eines Abbildungsbildes, auf dem Insassen abgebildet sind, von der Abbildungsvorrichtung 20, eine Abstumpfung-Bestimmungssektion 16 zum Bestimmen, ob eine Abstumpfung der Wahrnehmung eines Insassen, der aus dem Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion 17 zum Bestimmen, ob eine abnormale Haltung des Insassen, die aus dem Abbildungsbild extrahiert wurde, und eine Schlafdetektionssektion 18, die mittels der jeweiligen Bestimmungsergebnisse der Abstumpfung-Bestimmungssektion 16 und Haltung-Bestimmungssektion 17 ein Schlafen des Insassen detektiert.
Die Bilderwerbssektion 11 erwirbt von der Abbildungsvorrichtung 20 ein Abbildungsbild, auf dem ein Insasse im Inneren des Fahrzeugs abgebildet ist. Ferner führt die Schlafdetektionsvorrichtung 10 bevorzugt jedes Mal, wenn von der Abbildungsvorrichtung 20 ein Abbildungsbild erworben wird, die Verarbeitung einer im Folgenden beschriebenen Schlafdetektion durch. Dann wird das durch die Bilderwerbssektion 11 erworbene Abbildungsbild an eine als nächstes erläuterte Merkmalspunkt-Detektionssektion 12 ausgegeben.
Die Merkmalspunkt-Detektionssektion 12 extrahiert aus dem durch die Bilderwerbssektion 11 erworbenen Abbildungsbild Merkmalspunkte, die Organe des Körpers des Insassen betreffen. Die Extraktionsverarbeitung der Merkmalspunkte durch die Merkmalspunkt-Detektionssektion 12 kann durch allgemein bekannte, verschiedene Algorithmen verwendende Verarbeitungen erfolgen, wobei eine detaillierte Erläuterung dieser Algorithmen hier ausgelassen wird. Extrahiert die Merkmalspunkt-Detektionssektion 12 beispielsweise Merkmalspunkte, die das Gesicht des Insassen betreffen, wird eine Verarbeitung ausgeführt, durch die eine Vielzahl von Merkmalspunkten detektiert wird, die den jeweiligen einer Vielzahl von Gesichtsteilen (z. B. rechtes Auge, linkes Auge, rechte Augenbraue, linke Augenbraue, Nase und Mund) entsprechen.
Die Detektionsverarbeitung der Merkmalspunkte durch die Merkmalspunkt-Detektionssektion 12 wird erläutert. 3 sind erläuternde Ansichten, welche die Detektionsverarbeitung der Merkmalspunkt-Detektionssektion 12 der Schlafdetektionsvorrichtung 10 gemäß der ersten Ausführungsform zeigen. 3A ist eine erläuternde Ansicht eines Abbildungsbildes 300, 3B ist eine erläuternde Ansicht eines Gesichtsbereichs 301, und 3C ist eine erläuternde Ansicht von Merkmalspunkten. Die Merkmalspunkt-Detektionssektion 12 erwirbt von der Bilderwerbssektion 11 beispielsweise das in 3A gezeigte Abbildungsbild 300. Dann detektiert die Merkmalspunkt-Detektionssektion 12 in dem von der Bilderwerbssektion 11 erworbenen Abbildungsbild 300 den Gesichtsbereich 301 als Bereich, der Gesichtsteile umfasst. Beispielsweise detektiert die Merkmalspunkt-Detektionssektion 12 in dem Abbildungsbild 300 in 3A den in 3B gezeigten Gesichtsbereich 301.
Die Merkmalspunkt-Detektionssektion 12 erwirbt in dem detektierten Gesichtsbereich 301 Positionsdaten der Bestandteile von Gesichtsteilen, z. B. wie in 3C gezeigt, bezüglich der Augen beider äußerer Augenwinkel 311, beider innerer Augenwinkel 312, beider Oberlider 313 und beider Unterlider 314. Ferner erwirbt die Merkmalspunkt-Detektionssektion 12 im Gesichtsbereich 301 Positionsdaten der Bestandteile von Gesichtsteilen, z. B. wie in 3C gezeigt, bezüglich der Nase der Nasenwurzel 315, der Nasenspitze 316, des Nasenrückens und der Nasenflügel. Außerdem erwirbt die Merkmalspunkt-Detektionssektion 12 im Gesichtsbereich 301 Positionsdaten von Gesichtsteilen, z. B. wie in 3C gezeigt, bezüglich des Mundes der Oberlippe 317, der Unterlippe 318 und der Mundwinkel 319. Die Positionsdaten der Bestandteile von Gesichtsdaten, welche durch die Merkmalspunkt-Detektionssektion 12 erworben wurden, stellen Koordinaten mit der spezifischen Position O im in 3A gezeigten Abbildungsbild 300 als Ausgangspunkt, oder Koordinaten mit dem Mittelpunkt im in 3A gezeigten Abbildungsbild 300 als Ausgangspunkt dar. Dann werden die Positionsdaten, welche durch die Merkmalspunkt-Detektionssektion 12 erworben wurden, als Merkmalspunkte detektiert. Die Merkmalspunkte, die durch die Merkmalspunkt-Detektionssektion 12 detektiert wurden, können auch in einer Speichersektion (nicht dargestellt) der Schlafdetektionsvorrichtung 10 aufgezeichnet werden.
Dann werden durch eine Merkmalsgrößen-Berechnungssektion 13 anhand der Merkmalspunkte, die durch die Merkmalspunkt-Detektionssektion 12 extrahiert wurden, Merkmalsgrößen des Insassen berechnet. Konkret handelt es sich bei den Merkmalsgrößen des Insassen um Informationen, welche die Positionsbeziehung zwischen den Merkmalspunkten des Insassen anzeigen, z. B. um den Abstand zwischen dem rechten Auge und dem linken Auge oder die Position der Nase im Gesicht des Insassen. Die Merkmalsgrößen-Berechnungssektion 13 kann auch Positionsdaten des Gesichtsbereichs 301, wie die Größe, Koordinaten usw. im Abbildungsbild 300 des Gesichtsbereichs 301 erwerben. Auch zur Berechnung der Merkmalsgrößen können allgemein bekannte verschiedene Algorithmen verwendet werden. Die Merkmalspunkte, die durch die Merkmalsgrößen-Berechnungssektion 13 berechnet wurden, können auch in einer Speichersektion der Schlafdetektionsvorrichtung 10 aufgezeichnet werden.
Eine Gesichtsrichtung-Detektionssektion 14 detektiert mittels der Merkmalsgrößen, die durch die Merkmalsgrößen-Berechnungssektion 13 berechnet wurden, die Gesichtsrichtung des Insassen im Abbildungsbild, das durch die Bilderwerbssektion 11 erworben wurde. Beispielsweise kann durch die Detektion von zumindest entweder einem Rollwinkel, einem Nickwinkel oder einem Gierwinkel des Gesichts eines Insassen bezogen auf eine Referenzposition die Gesichtsrichtung des Insassen detektiert werden. Auch die durch die Gesichtsrichtung-Detektionssektion 14 detektierte Gesichtsrichtung kann in einer Speichersektion der Schlafdetektionsvorrichtung 10 aufgezeichnet werden.
Die Detektionsverarbeitung der Gesichtsrichtung durch die Gesichtsrichtung-Detektionssektion 14 wird erläutert. 4 sind erläuternde Ansichten, welche die Gesichtsrichtung-Detektionsverarbeitung der Gesichtsrichtung-Detektionssektion 14 der Schlafdetektionsvorrichtung 10 gemäß der ersten Ausführungsform zeigen. Wie z. B. in 4A bis 4C gezeigt, erwirbt die Gesichtsrichtung-Detektionssektion 14 die Positionsbeziehung zwischen der Nasenspitze 316 und beiden Augen. Ferner detektiert die Gesichtsrichtung-Detektionssektion 14 anhand der Positionsbeziehung zwischen der Nasenspitze 316 und beiden Augen die Gesichtsrichtung des Insassen.
Bei 4A detektiert die Gesichtsrichtung-Detektionssektion 14 ausgehend davon, dass die Nasenspitze 316 in der Nähe einer Geraden Qa positioniert ist, die durch den äußeren Augenwinkel 311 des linken Auges führt, eine Gesichtsrichtung des Insassen nach rechts. Bei 4B detektiert die Gesichtsrichtung-Detektionssektion 14 ausgehend davon, dass die Nasenspitze 316 zwischen beiden Augen 312 positioniert ist, eine Gesichtsrichtung des Insassen nach vorne. Bei 4C wird durch die Gesichtsrichtung-Detektionssektion 14 ausgehend davon, dass die Nasenspitze 316 in der Nähe einer Geraden Qb positioniert ist, die durch den äußeren Augenwinkel 311 des rechten Auges führt, durch die Gesichtsrichtung-Detektionssektion 14 eine Gesichtsrichtung des Insassen nach links detektiert. Die Gesichtsrichtung-Detektionssektion 14 detektiert daher die Richtung des Gesichts des Insassen nach links oder rechts, d. h. den Gierwinkel des Gesichts des Insassen.
Ferner detektiert die Gesichtsrichtung-Detektionssektion 14 wie z. B. in 4B gezeigt, unter Verwendung einer Geraden Qc, die durch den Punkt führt, an der die Nasenspitze 316 positioniert ist, eine Richtung des Gesichts des Insassen nach oben und unten, d. h. den Nickwinkel des Gesichts des Insassen. Die Gerade Qc sollte sowohl bei einer Richtung nach oben und unten als auch nach links und rechts anhand eines Abbildungsbildes des Insassen in einem nach vorne gerichteten Zustand eingestellt werden. Für die Gesichtsrichtung-Detektionsverarbeitung des Insassen durch die Gesichtsrichtung-Detektionssektion 14 können allgemein bekannte verschiedene Algorithmen verwendet werden, und auch für die Detektionsverarbeitung des Rollwinkels des Gesichts des Insassen können allgemein bekannte verschiedene Algorithmen verwendet werden. Bevorzugt wird für die Bestimmungsverarbeitung der Haltung des Insassen durch die im Folgenden beschriebene Haltung-Bestimmungssektion 17 entweder der Rollwinkel oder der Nickwinkel des Gesichts des Insassen verwendet. Ein augenblickliches Einschlafen des Insassen wird begleitet von einem Nicken, Wanken oder Zurücklehnen. Da sich bei einem augenblicklich einschlafenden Insassen zumindest entweder der Rollwinkel oder der Nickwinkel des Gesichts verändert, kann durch die Verwendung von entweder dem Rollwinkel oder dem Nickwinkel bei der im Folgenden beschriebenen Haltung-Bestimmungsverarbeitung die Zuverlässigkeit des Haltung-Bestimmungsergebnisses verbessert werden.
Eine Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 berechnet die Änderungsgröße der Gesichtsrichtung des Insassen mittels der durch die Gesichtsrichtung-Detektionssektion 14 detektierten Gesichtsrichtung des Insassen. Die Änderungsgröße der Gesichtsrichtung des Insassen ist beispielsweise die Differenz zwischen dem Nickwinkel des Gesichts des Insassen bezogen auf eine Referenzposition, die anhand eines Abbildungsbildes in einem Rahmen A detektiert wurde, und dem Nickwinkel des Gesichts des Insassen bezogen auf eine Referenzposition, die anhand eines Abbildungsbildes in einem Rahmen B detektiert wurde. Bei der Änderungsgröße der Gesichtsrichtung des Insassen handelt es sich hierbei nicht nur um die Änderungsgröße des Winkels des Gesichts des Insassen, sondern auch die Position des Gesichts des Insassen oder die Größe des Gesichtsbereichs in dem Abbildungsbild und die Änderungsgröße der Koordinaten sind umfasst. Bei der Änderungsgröße kann es sich abgesehen von der Differenz der jeweiligen Parameter auch um die Differenz von Durchschnittswerten, die aus den jeweiligen Parametern berechnet werden, die bei einer Vielzahl von Abbildungsbildern detektiert wurden, um einen Mittelwert, der mittels der jeweiligen Parameter berechnet wird, die bei einer Vielzahl von Abbildungsbildern detektiert wurden, oder um eine Standardabweichung handeln.
Als Nächstes wird die Abstumpfung-Bestimmungssektion 16 erläutert. Durch die Abstumpfung-Bestimmungssektion 16 wird bestimmt, ob bei dem aus dem Abbildungsbild extrahierten Insassen eine Abstumpfung der Wahrnehmung aufgetreten ist. Vorliegend handelt es sich beim Auftreten einer Abstumpfung der Wahrnehmung des Insassen darum, dass sich der Insasse in einem Zustand befindet, in dem er auf Anreize von außen keine ausgeprägte Reaktion zeigt. Es ist bekannt, dass bei einem augenblicklichen Einschlafen eines Insassen vor dem augenblicklichen Einschlafen eine Abstumpfung der Wahrnehmung auftritt. Um das augenblickliche Schlafen eines Insassen präzise zu detektieren, ist es daher erforderlich, das Auftreten einer Abstumpfung der Wahrnehmung bei dem Insassen zu bestimmen.
Ist eine Abstumpfung der Wahrnehmung bei dem Insassen aufgetreten, zeigen sich Änderungen bei charakteristischen Verhaltensweisen, wobei sich z. B. Bewegungen des Gesichts im Vergleich zum Wachzustand verringern. Diese Verhaltensänderungen bedeuten, dass der Insasse keine ausgeprägte Reaktion auf Anreize von außen mehr zeigt, und bei einem Insassen, bei dem eine Abstumpfung der Wahrnehmung aufgetreten ist, nehmen im Vergleich zum Wachzustand willkürliche Bewegungen ab.
Unter Anführung eines Beispiels wird erläutert, wie durch die Abstumpfung-Bestimmungssektion 16 mittels der Gesichtsrichtung des Insassen bestimmt wird, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist. Zum Zweck der Erläuterung wird die Bestimmung, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, auch als Abstumpfung-Bestimmung bezeichnet. Die Abstumpfung-Bestimmungssektion 16 bestimmt, dass willkürliche Bewegungen des Insassen abgenommen haben, sodass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn ein Zustand, in dem die Änderungsgröße der Gesichtsrichtung unterhalb eines eingestellten Schwellenwerts (im Folgenden als Abstumpfung-Bestimmungsschwellenwert bezeichnet) liegt, während einer eingestellten Zeit (im Folgenden als Abstumpfung-Bestimmungszeit bezeichnet) oder länger andauert. Ist andererseits die Änderungsgröße der Gesichtsrichtung größer oder gleich dem Abstumpfungs-Bestimmungsschwellenwert, oder dauert ein Zustand, in dem die Änderungsgröße der Gesichtsrichtung unterhalb des eingestellten Schwellenwerts liegt, nicht während der Abstumpfung-Bestimmungszeit oder länger an, bedeutet dies, dass willkürliche Bewegungen des Insassen erkennbar sind, sodass beurteilt wird, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist.
Tritt eine Abstumpfung der Wahrnehmung bei einem Insassen auf, dauert ein Zustand, in dem willkürliche Bewegungen des Insassen nicht mehr erkennbar sind (im Folgenden als Abstumpfungszustand bezeichnet) während einer bestimmten Zeit an. Es kann andererseits auch vorkommen, dass bei einem Insassen Änderungen der Gesichtsrichtung während des Autofahrens abnehmen, obwohl er sich in einem Wachzustand befindet. Für den Fall, dass der Abstumpfungszustand während der eingestellten Abstumpfung-Bestimmungszeit oder länger andauert, kann diesbezüglich die Präzision bei der Detektion des Schlafens des Insassen dadurch verbessert werden, dass das Bestimmungsergebnis der Abstumpfungsbestimmung mit einer im Folgenden beschriebenen Schlaf-Bestimmungsverarbeitung reflektiert wird.
Die Abstumpfung-Bestimmungssektion 16 erwirbt beispielsweise von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 eine Standardabweichung des Nickwinkels des Gesichts des Insassen in einem eingestellten Zeitraum als Änderungsgröße der Gesichtsrichtung. Dann bestimmt die Abstumpfung-Bestimmungssektion 16, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn die erworbene Standardabweichung unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, und der Zustand, bei dem die Standardabweichung unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, während der Abstumpfung-Bestimmungszeit oder länger andauert, d. h. wenn der Zeitraum, während dem die Standardabweichung unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, größer oder gleich der Abstumpfung-Bestimmungszeit ist. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 16, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn die erworbene Standardabweichung größer oder gleich dem Abstumpfung-Bestimmungsschwellenwert ist. Ferner bestimmt die Abstumpfung-Bestimmungssektion 16 auch dann, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn der Zeitraum, während dem die erworbene Standardabweichung unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, unterhalb der Abstumpfung-Bestimmungszeit ist. Außerdem gibt die Abstumpfung-Bestimmungssektion 16 das Bestimmungsergebnis an die im Folgenden beschriebene Schlafdetektionssektion 18 aus.
Als Nächstes wird die Haltung-Bestimmungssektion 17 erläutert. Durch die Haltung-Bestimmungssektion 17 wird bestimmt, ob die Haltung des aus dem Abbildungsbild extrahierten Insassen abnormal ist. Ein augenblickliches Einschlafen des Insassen wird begleitet von einer abnormalen Haltung, wie einem Nicken, Wanken oder Zurücklehnen. Daher wird durch die Haltung-Bestimmungssektion 17 bestimmt, ob die Haltung des Insassen abnormal ist, und das Beurteilungsergebnis der Haltung-Bestimmungssektion 17 für die im Folgenden beschriebene Schlafdetektionsverarbeitung verwendet.
Durch die Haltung-Bestimmungssektion 17 wird beispielsweise mittels der Änderungsgröße der Gesichtsrichtung, die durch die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 berechnet wurde, bestimmt, ob die Haltung des aus dem Abbildungsbild extrahierten Insassen abnormal ist. Dann gibt die Haltung-Bestimmungssektion 17 das Bestimmungsergebnis an die Schlafdetektionssektion 18 aus. Zum Zweck der Erläuterung wird die Bestimmung durch die Haltung-Bestimmungssektion 17, ob die Haltung des Insassen abnormal ist, auch als Haltungsbestimmung bezeichnet.
Die Haltungsbestimmung durch die Haltung-Bestimmungssektion 17 wird erläutert. Beispielsweise erwirbt die Haltung-Bestimmungssektion 17 z. B. von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 einen Maximalwert und Minimalwert des Nickwinkels des Gesichts des Insassen innerhalb einer eingestellten Zeit (im Folgenden als Haltung-Bestimmungszeit bezeichnet) als Änderungsgröße der Gesichtsrichtung. Dann bestimmt die Haltung-Bestimmungssektion 17, wenn die Änderungsgröße der Gesichtsrichtung innerhalb der Haltung-Bestimmungszeit größer oder gleich einem eingestellten Schwellenwert (im Folgenden als Haltung-Bestimmungsschwellenwert bezeichnet) eine abnormale Haltung des Insassen. Das heißt, die Haltung-Bestimmungssektion 17 erwirbt von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 jeweils den Maximalwert des Nickwinkels der Gesichtsrichtung des Insassen bezogen auf einen Referenzwert und den Minimalwert des Nickwinkels der Gesichtsrichtung des Insassen bezogen auf einen Referenzwert innerhalb der Haltung-Bestimmungszeit. Ist die Differenz zwischen dem Minimalwert und dem Maximalwert größer oder gleich dem Haltung-Bestimmungsschwellenwert, bestimmt die Haltung-Bestimmungssektion 17 eine abnormale Haltung des Insassen. Ist andererseits die Differenz zwischen dem Minimalwert und dem Maximalwert unterhalb des Haltung-Bestimmungsschwellenwerts, bestimmt die Haltung-Bestimmungssektion 17 keine abnormale Haltung des Insassen.
Es kommt vor, dass der Insasse nicht in einen augenblicklichen Schlaf gefallen ist, sondern zur Sicherstellung der Sicht nach vorne die Gesichtsrichtung langsam verändert wird. Erfolgt andererseits durch die Haltung-Bestimmungssektion 17 wie vorstehend beschrieben eine Haltungsbestimmung mittels der Änderungsgröße der Gesichtsrichtung innerhalb der Haltung-Bestimmungszeit, kann für den Fall, dass der Insasse nicht in einen augenblicklichen Schlaf gefallen ist, sondern die Gesichtsrichtung langsam ändert, eine Fehldetektion des Einschlafens des Insassen unterdrückt werden.
Ferner kann die Haltung-Bestimmungssektion 17 auch mittels der Größe des Gesichtsbereichs eine Haltungsbestimmung durchführen. Fällt der Insasse in einen augenblicklichen Schlaf, kommt es vor, dass der Insasse sich in die von der Abbildungsvorrichtung 20 entfernende Richtung zurücklehnt, oder in die der Abbildungsvorrichtung 20 nähernde Richtung nickt oder wankt. Hierbei kommt es zu einer Änderung der Größe des detektierten Gesichtsbereich des Insassen. Daher kann die Haltung-Bestimmungssektion 17 auch z. B. von der Merkmalsgrößen-Berechnungssektion 13 die Größe des Gesichtsbereichs als Merkmalsgröße erwerben, und eine abnormale Haltung des Insassen bestimmen, wenn die Größe des Gesichtsbereichs außerhalb des eingestellten Bereichs ist, bzw. keine abnormale Haltung des Insassen bestimmen, wenn die Größe des Gesichtsbereichs innerhalb des eingestellten Bereichs ist. In diesem Fall sollte die Haltung-Bestimmungssektion 17 nicht mit der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, sondern mit der Merkmalsgrößen-Berechnungssektion 13 verbunden sein.
Außerdem kann die Haltung-Bestimmungssektion 17 auch mittels der Entfernung zwischen der Abbildungsvorrichtung 20 und dem Insassen eine Haltungsbestimmung durchführen. Wenn der Insasse in einen augenblicklichen Schlaf fällt, kann es wie vorstehend beschrieben vorkommen, dass der Insasse sich in die von der Abbildungsvorrichtung 20 entfernende Richtung zurücklehnt, oder in die der Abbildungsvorrichtung 20 nähernde Richtung nickt oder wankt. Besteht die Abbildungsvorrichtung 20 aus einer Abbildungskamera 20, die ein Bild abbilden kann, das den Abstand zwischen der Abbildungskamera 20 und dem Abbildungsobjekt reflektiert, wie einer TOF-Kamera, kann diesbezüglich mittels der in dem Abbildungsbild umfassten Abstandsdaten, die den Abstand zwischen dem Insassen und der Abbildungskamera 20 darstellen, bestimmt werden, ob die Haltung abnormal ist.
Die Haltung-Bestimmungssektion 17 bestimmt beispielsweise, dass die Haltung des Insassen abnormal ist, wenn der Abstand zwischen dem Gesicht des in dem durch die Bilderwerbssektion 11 erworbenen Abbildungsbildes umfassten Insassen und der Abbildungsvorrichtung 20 außerhalb des eingestellten Bereichs ist, und sie bestimmt, dass die Haltung des Insassen nicht abnormal ist, wenn der Abstand zwischen dem Gesicht des Insassen und der Abbildungsvorrichtung 20 innerhalb des eingestellten Bereichs ist. In diesem Fall sollte die Merkmalsgrößen-Berechnungssektion 13 derart aufgebaut sein, dass der Abstand zwischen dem Gesicht des im Abbildungsbild umfassten Insassen und der Abbildungsvorrichtung 20 berechnet werden kann, und die Haltung-Bestimmungssektion 17 und die Merkmalsgrößen-Berechnungssektion 13 sollten verbunden sein.
Die Haltung-Bestimmungssektion 17 kann mittels des Abstands zwischen einem Insassen und einem Sensor darstellenden Abstandsdaten, die von einem Sensor erworben wurden, der den Abstand zu einem Insassen erwerben kann, wie einem Tiefensensor, mit dem ein Fahrzeug ausgestattet ist, bestimmen, ob die Haltung des Insassen abnormal ist. Das heißt, bei dem vorstehend beschriebenen Beispiel umfassen Tiefensensoren auch eine TOF-Kamera.
Die Schlafdetektionssektion 18 detektiert ein Schlafen des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 16 und des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17. Die Schlafdetektionssektion 18 detektiert, dass der Insasse eingeschlafen ist, wenn durch die Abstumpfung-Bestimmungssektion 16 bestimmt wurde, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und durch die Haltung-Bestimmungssektion 17 eine abnormale Haltung des Insassen bestimmt wurde.
Dann gibt die Schlafdetektionssektion 18 das Detektionsergebnis an eine im Fahrzeug montierte, die Steuerung von Onboardgeräten durchführende FahrzeugSteuervorrichtung (nicht dargestellt) aus, eine im Fahrzeug montierte Warnsektion 50 wird betrieben und führt eine Warnung durch. Ferner kann die Warnsektion 50 auch von der Schlafdetektionsvorrichtung 10 umfasst sein. Die Schlafdetektionsvorrichtung 10 und die FahrzeugSteuervorrichtung sind miteinander verbunden. Die Warnsektion 50 kann z. B. zumindest entweder ein Lautsprecher oder Display sein, der/das in das Fahrzeug eingebaut ist, es kann sich aber auch um ein tragbares Endgerät handeln, das der Insasse mit sich führt. Die Warnsektion 50 führt durch die Ausgabe eines Warntons usw. eine Warnung an den Insassen durch, um ein Einschlafen am Steuer zu verhindern, wenn durch die Schlafdetektionssektion 18 detektiert wurde, dass der Insasse eingeschlafen ist. Erfolgt die Warnung an ein tragbares Endgerät, das der Insasse mit sich führt, kann die Schlafdetektionsvorrichtung 10 mit einer Kommunikationssektion (nicht dargestellt) verbunden werden und zwischen der Kommunikationssektion und dem tragbaren Endgerät eine Kommunikation durchgeführt werden. Wurde durch die Schlafdetektionssektion 18 detektiert, dass der Insasse eingeschlafen ist, kann auch durch die FahrzeugSteuervorrichtung eine Steuerung von Onboardgeräten wie der Klimaanlage usw. erfolgen, um der Müdigkeit entgegenzuwirken.
Das Ergebnis der Müdigkeitsdetektion durch die Schlafdetektionssektion 18 wird erläutert. 5 sind erläuternde Ansichten, welche das Schlafdetektionsergebnis der Schlafdetektionsvorrichtung 10 gemäß der ersten Ausführungsform zeigen. 5A ist eine Ansicht, die das Schlafdetektionsergebnis bei einem Vergleichsbeispiel zeigt, und 5B ist eine Ansicht, die das Schlafdetektionsergebnis der Schlafdetektionsvorrichtung 10 gemäß der vorliegenden ersten Ausführungsform zeigt. In 5A und 5B ist auf der Längsachse das Detektionsergebnis dargestellt, und auf der Querachse ist die Zeit dargestellt. In 5A und 5B stellen die Zeiten geplotteter Punkte dar, dass ein Einschlafen des Insassen detektiert wurde.
Beim Vergleichsbeispiel in 5A erfolgt bei der Schlafdetektionsverarbeitung eine Detektion des Schlafens des Insassen nur mittels des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17. Die Gesichtsrichtung ändert sich bei einem in einem Fahrzeug sitzenden Insassen aus verschiedenen Gründen. Zum Zeitpunkt t1 in 5 ist der Insasse tatsächlich augenblicklich eingeschlafen. Wie in 5A gezeigt, wurde beim Vergleichsbeispiel auch abgesehen von t1 ein Einschlafen des Insassen detektiert, sodass die Präzision bei der Detektion des Schlafens des Insassen schlecht ist.
Andererseits handelt es sich bei der Schlafdetektionsvorrichtung 10 der vorliegenden Ausführungsform um ein Einschlafen des Insassen, wenn nach der Bestimmung durch die Abstumpfung-Bestimmungssektion 16, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, durch die Haltung-Bestimmungssektion 17 eine abnormale Haltung des Insassen bestimmt wurde. Daher erfolgt wie in 5B gezeigt ausschließlich bei einer Änderung der Gesichtsrichtung des Insassen, ohne ein augenblickliches Einschlafen keine Fehldetektion eines Einschlafens des Insassen, sodass nur zum Zeitpunkt t1, an dem der Insasse tatsächlich augenblicklich eingeschlafen ist, ein Einschlafen des Insassen detektiert werden kann. Daher kann bei der Schlafdetektionsverarbeitung die Präzision bei der Detektion des Schlafens des Insassen durch die Verwendung des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17 und des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 16 verbessert werden. Das gleiche Ergebnis kann auch erzielt und präzise das Schlafen des Insassen, wie in 5B gezeigt, detektiert werden, wenn für die Haltungsbestimmung durch die Haltung-Bestimmungssektion 17 anstelle der Gesichtsrichtung die Größe des Gesichtsbereichs oder der Abstand zwischen dem Insassen und einem Sensor verwendet wird.
Als Nächstes wird ein Betriebsbeispiel der Schlafdetektionsvorrichtung 10 erläutert. 6 und 7 sind Ablaufdiagramme, die jeweils ein Betriebsbeispiel der Schlafdetektionsvorrichtung 10 gemäß der ersten Ausführungsform zeigen. Im Folgenden wird unter Anführung eines Beispiels jeweils die Durchführung der Abstumpfungsbestimmung und der Haltungsbestimmung mittels der Gesichtsrichtung des Insassen durch die Schlafdetektionsvorrichtung 10 erläutert. Bei den Ablaufdiagrammen in 6 und 7 ist eine den Betrieb der Schlafdetektionsvorrichtung 10 beendende Verarbeitung nicht dargestellt, wobei der Betrieb jedoch beendet wird, wenn die Schlafdetektionsvorrichtung 10 von der Fahrzeugsteuervorrichtung einen Befehl zur Beendigung des Betriebs erwirbt. Die in 6 und 7 gezeigte Verarbeitung wird in einem Zustand, in dem das Netzteil der Schlafdetektionsvorrichtung 10 eingeschaltet ist, z. B. in einem bestimmten Intervall wiederholt.
Zunächst erwirbt die Bilderwerbssektion 11 der Schlafdetektionsvorrichtung 10 von der Abbildungsvorrichtung 20 ein Abbildungsbild (ST1). Dann gibt die Bilderwerbssektion 11 das erworbene Abbildungsbild an die Merkmalspunkt-Detektionssektion 12 aus. Als Nächstes detektiert die Merkmalspunkt-Detektionssektion 12 mittels des Abbildungsbildes Gesichtsteile des Insassen in dem Abbildungsbild und extrahiert die Merkmalspunkte des Gesichts des Insassen (ST2). Dann berechnet die Merkmalsgrößen-Berechnungssektion 13 mittels der extrahierten Merkmalspunkte Merkmalsgrößen des aus dem Abbildungsbild extrahierten Insassen (ST3). Im Folgenden wird zum Zweck der Erläuterung die in 6 gezeigte Verarbeitung von ST1 bis ST3 zusammengefasst als Merkmalsgrößen-Berechnungsverarbeitung ST101 bezeichnet.
Basierend auf 7 wird ein Betriebsbeispiel der Schlafdetektionsvorrichtung 10 erläutert. Wurden in der Merkmalsgrößen-Berechnungsverarbeitung ST101 die Merkmalsgrößen des Insassen berechnet, werden durch die Gesichtsrichtung-Detektionssektion 14 die Merkmalsgrößen erworben und die Gesichtsrichtung des aus dem Abbildungsbild extrahierten Insassen wird detektiert (ST102). Dann gibt die Gesichtsrichtung-Detektionssektion 14 die detektierte Gesichtsrichtung des Insassen an die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 aus. Dann berechnet die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 die Änderungsgröße der Gesichtsrichtung des Insassen mittels der von der Gesichtsrichtung-Detektionssektion 14 erworbenen Gesichtsrichtung des Insassen (ST103). Dabei kann die Änderungsgröße der Gesichtsrichtung auch in einer Speichersektion aufgezeichnet werden.
Dann wird durch die Abstumpfung-Bestimmungssektion 16 bestimmt, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST104). Die Abstumpfung-Bestimmungssektion 16 erwirbt als Änderungsgröße beispielsweise von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 eine Standardabweichung des die Gesichtsrichtung des Insassen darstellenden Nickwinkels in einem eingestellten Zeitraum. Dann bestimmt die Abstumpfung-Bestimmungssektion 16, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST104: NEIN), wenn die erworbene Änderungsgröße größer oder gleich dem Abstumpfung-Bestimmungsschwellenwerts ist, und gibt das Bestimmungsergebnis an die Schlafdetektionssektion 18 aus. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 10 zu ST101 über. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 16, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST104: JA), wenn die erworbene Änderungsgröße unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, und es folgt die nächste Verarbeitung von ST105.
Dann wird durch die Abstumpfung-Bestimmungssektion 16 bestimmt, ob der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105). Dabei bestimmt die Abstumpfung-Bestimmungssektion 16, dass der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert, wenn beispielsweise der Zustand, in dem die erworbene Standardabweichung unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, während der Abstumpfung-Bestimmungszeit oder länger andauert.
Wurde durch die Abstumpfung-Bestimmungssektion 16 bestimmt, dass der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen nicht während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105: NEIN), wird bestimmt, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und die Verarbeitung der Schlafdetektionsvorrichtung 10 geht zu ST101 über. Andererseits wird durch die Abstumpfung-Bestimmungssektion 16 bestimmt, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105: JA), und das Bestimmungsergebnis wird an die Schlafdetektionssektion 18 ausgegeben. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 10 zu ST106 über, der als Nächstes erläutert wird.
Als Nächstes werden durch die Haltung-Bestimmungssektion 17 der Schlafdetektionsvorrichtung 10 von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 Änderungsgrößen der Gesichtsrichtung des Insassen erworben (ST106). Durch die Haltung-Bestimmungssektion 17 werden beispielsweise die Änderungsgrößen der Gesichtsrichtung von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 erworben, und je nachdem, ob die Änderungsgrößen der Gesichtsrichtung größer oder gleich dem Haltung-Bestimmungsschwellenwert ist, wird bestimmt, ob die Haltung des Insassen abnormal ist (ST107). Die Haltung-Bestimmungssektion 17 erwirbt als Änderungsgrößen beispielsweise den Maximalwert des Nickwinkels der Gesichtsrichtung des Insassen bezogen auf einen Referenzwert der Gesichtsrichtung des Insassen und den Minimalwert des Nickwinkels der Gesichtsrichtung bezogen auf einen Referenzwert der Gesichtsrichtung des Insassen in dem eingestellten Zeitraum. Ist die Differenz zwischen dem Minimalwert und dem Maximalwert unterhalb des Haltung-Bestimmungsschwellenwerts, bestimmt die Haltung-Bestimmungssektion 17 keine abnormale Haltung des Insassen (ST107: NEIN), und dann geht die Verarbeitung der Schlafdetektionsvorrichtung 10 zu ST101 über.
Ist andererseits die Differenz zwischen dem Minimalwert und dem Maximalwert des Nickwinkels, die als Änderungsgrößen erworben wurden, größer oder gleich dem Haltung-Bestimmungsschwellenwert, bestimmt die Haltung-Bestimmungssektion 17 eine abnormale Haltung des Insassen (ST107: JA), und die Verarbeitung der Schlafdetektionsvorrichtung 10 geht zu ST108 über, der als Nächstes erläutert wird.
Es wird beurteilt (ST108), ob durch die Haltung-Bestimmungssektion 17 innerhalb der Haltung-Bestimmungszeit bestimmt wurde, dass die Haltung des Insassen abnormal ist. Beispielsweise berechnet die Haltung-Bestimmungssektion 17 mit Referenz auf einen Rahmen A eines erworbenen Abbildungsbildes, bei dem der Nickwinkel des Gesichts des Insassen maximal geworden ist, und einen Rahmen B eines erworbenen Abbildungsbildes, bei dem der Nickwinkel des Gesichts des Insassen minimal geworden ist, die zwischen dem Rahmen A und dem Rahmen B vergangene Zeit. Ist die berechnete vergangene Zeit kleiner oder gleich der Haltung-Bestimmungszeit, wird dann beurteilt, dass innerhalb der Haltung-Bestimmungszeit die Änderungsgröße der Gesichtsrichtung des Insassen größer oder gleich dem Haltung-Bestimmungsschwellenwert geworden ist. Die vorstehend beschriebene Verarbeitung kann auch weggelassen werden, wenn durch die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 der Minimalwert und der Maximalwert des Nickwinkels innerhalb der Haltung-Bestimmungszeit berechnet wird.
Wird beurteilt, dass die Bestimmung einer abnormalen Haltung des Insassen durch die Haltung-Bestimmungssektion 17 keine Bestimmung innerhalb der Haltung-Bestimmungszeit ist (ST108: NEIN), geht die Verarbeitung der Schlafdetektionsvorrichtung 10 zu ST101 über. Das heißt, wird durch die Verarbeitung von ST108 beurteilt, dass es sich bei der Bestimmung einer abnormalen Haltung des Insassen um keine Bestimmung innerhalb der Haltung-Bestimmungszeit handelt, wird das Bestimmungsergebnis der Verarbeitung von ST107, gemäß dem die Haltung des Insassen abnormal ist, verworfen. Wird andererseits beurteilt, dass die Bestimmung einer abnormalen Haltung des Insassen durch die Haltung-Bestimmungssektion 17 eine Bestimmung innerhalb der eingestellten Haltung-Bestimmungszeit ist (ST108: JA), wird bestimmt, dass die Haltung des Insassen abnormal ist und das Bestimmungsergebnis an die Schlafdetektionssektion 18 ausgegeben. Dann wird durch die Schlafdetektionssektion 18 detektiert, dass der Insasse eingeschlafen ist, und die Warnsektion 50 führt durch die Ausgabe eines Warntons usw. eine Warnung an den Insassen durch (ST109) .
Als Nächstes wird der Hardware-Aufbau erläutert, durch den die Funktionen der Schlafdetektionsvorrichtung 10 realisiert werden. 8 zeigt Beispiele des Hardware-Aufbaus der Schlafdetektionsvorrichtung 10 gemäß der ersten Ausführungsform. Die Funktionen der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 bei der Schlafdetektionsvorrichtung 10 werden durch eine Verarbeitungsschaltung realisiert. Das heißt, bei der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 der Schlafdetektionsvorrichtung 10 kann es sich, wie in 8A dargestellt, um eine Verarbeitungsschaltung 10a in Form einer speziellen Hardware, oder wie in 8B dargestellt, um einen Prozessor 10b handeln, der in einem Speicher 10c abgelegte Programme ausführt.
Handelt es sich bei der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 um eine spezielle Hardware, wie in 8A gezeigt, entspricht die Verarbeitungsschaltung 10a z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit), FPGA (Field-programmable Gate Array) oder deren Kombination. Die Funktionen der jeweiligen Sektionen der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 können durch jeweils eine Verarbeitungsschaltung realisiert werden, die Funktionen der jeweiligen Sektionen können aber auch insgesamt durch eine einzige Verarbeitungsschaltung realisiert werden.
Handelt es sich bei der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 um den Prozessor 10b, wie in 8B gezeigt, werden die jeweiligen Funktionen mittels Software, Firmware oder einer Kombination aus Software und Firmware realisiert. Die Software oder Firmware wird als Programm dargestellt und in dem Speicher 10c abgelegt. Der Prozessor 10b liest in dem Speicher 10c gespeicherte Programme aus und führt sie aus, wodurch die jeweiligen Funktionen der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 realisiert werden. Das heißt, wenn die Bilderwerbssektion 11, die Merkmalspunkt-Detektionssektion 12, die Merkmalsgrößen-Berechnungssektion 13, die Gesichtsrichtung-Detektionssektion 14, die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, die Abstumpfung-Bestimmungssektion 16, die Haltung-Bestimmungssektion 17 und die Schlafdetektionssektion 18 durch den Prozessor 10b ausgeführt werden, fungiert der Speicher 10c zum Ablegen von Programmen, die schließlich in den in 4 dargestellten jeweiligen Schritte ausgeführt werden. Es kann ferner gesagt werden, dass es sich bei diesen Programmen um die Reihenfolge oder das Verfahren zur Ausführung der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 auf einem Computer handelt.
Der Prozessor 10b ist z. B. eine CPU (Central Processing Unit), eine Verarbeitungsvorrichtung, eine Rechenvorrichtung, ein Prozessor, ein Mikroprozessor, ein Mikrocomputer oder ein DSP (Digital Signal Processor). Der Speicher 10c kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable ROM) oder EEPROM (Electrically EPROM), eine Magnetplatte wie eine Festplatte oder eine Floppy-Disk, oder eine optische Platte wie eine Minidisk, CD (Compact Disc) oder DVD (Digital Versatile Disc) sein.
Die jeweiligen Funktionen der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 können auch zum Teil durch eine spezielle Hardware und zum Teil durch eine Software oder Firmware realisiert werden. Auf diese Weise kann die Verarbeitungsschaltung 10a bei der Schlafdetektionsvorrichtung 10 diese Funktionen durch eine Hardware, Software, Firmware oder deren Kombination realisieren. Ferner kann auch zumindest ein Teil der Funktionen der Bilderwerbssektion 11, der Merkmalspunkt-Detektionssektion 12, der Merkmalsgrößen-Berechnungssektion 13, der Gesichtsrichtung-Detektionssektion 14, der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15, der Abstumpfung-Bestimmungssektion 16, der Haltung-Bestimmungssektion 17 und der Schlafdetektionssektion 18 auf einem externen Server ausgeführt werden.
Somit umfasst die Schlafdetektionsvorrichtung 10 die Bilderwerbssektion 11, die von der im Fahrzeug montierten Abbildungsvorrichtung 20 zum Abbilden eines Insassen im Inneren des Fahrzeugs ein Abbildungsbild erwirbt, auf dem der Insasse abgebildet ist, die Abstumpfung-Bestimmungssektion 16 zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem durch die Bilderwerbssektion 11 erworbenen Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion 17 zum Bestimmen, ob die Haltung des Insassen, der aus dem durch die Bilderwerbssektion 11 erworbenen Abbildungsbild extrahiert wurde, abnormal ist, und eine Schlafdetektionssektion 18, die mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 16 und des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17 ein Schlafen des Insassen detektiert, wobei durch die Schlafdetektionssektion 18 für den Fall, dass durch die Haltung-Bestimmungssektion 17 eine abnormale Haltung des Insassen bestimmt wurde, und durch die Abstumpfung-Bestimmungssektion 16 das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wurde, dies als Einschlafen des Insassen angesehen und ein augenblickliches Einschlafen des Insassen detektiert wird, sodass die Präzision bei der Detektion des Schlafens des Insassen verbessert werden kann.
Bei der vorliegenden Ausführungsform erfolgte die Erläuterung anhand eines Beispiels, bei dem die Detektion der Gesichtsrichtung-Detektionssektion 14 mittels der Position der Nase des Gesichts des Insassen erfolgt, wobei bei der Gesichtsrichtung-Detektionssektion 14 keine Beschränkung hinsichtlich des für die Detektion der Gesichtsrichtung verwendeten Gesichtsteils besteht. Die Gesichtsrichtung-Detektionssektion 14 kann beispielsweise auch von der Merkmalsgrößen-Berechnungssektion 13 in Form von Merkmalsgrößen die Position des rechten Auges, die Position des linken Auges und den Abstand zwischen dem rechten Auge und dem linken Auge erwerben und für die Detektion der Gesichtsrichtung verwenden. Ferner kann die Gesichtsrichtung-Detektionssektion 14 abgesehen vom Gesicht auch Merkmalspunkte bezüglich anderer Körperorgane, z. B. der Position der Schultern des Insassen usw. detektieren.
Zweite Ausführungsform
9 ist ein Blockbild, das ein Strukturbeispiel eines Schlafdetektionssystems 101 gemäß der zweiten Ausführungsform zeigt. Eine Schlafdetektionsvorrichtung 30 gemäß der zweiten Ausführungsform umfasst ebenso wie bei der ersten Ausführungsform die Bilderwerbssektion 11 zum Erwerben eines Abbildungsbildes, eine Abstumpfung-Bestimmungssektion 32 zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem Abbildungsbild extrahiert wurde, aufgetreten ist, die Haltung-Bestimmungssektion 17 zum Bestimmen einer abnormalen Haltung des Insassen, der aus dem Abbildungsbild extrahiert wurde, und die Schlafdetektionssektion 18, die mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 32 und des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17 ein Schlafen des Insassen detektiert. Die vorliegende Ausführungsform unterscheidet sich von der ersten Ausführungsform in dem Punkt, dass durch die Abstumpfung-Bestimmungssektion 32 mittels Gesichtsdaten des Insassen, der aus dem Abbildungsbild extrahiert wurde, bestimmt wird, ob bei dem Insassen eine Abstumpfung der Wahrnehmung aufgetreten ist. Gleiche Bestandteile wie bei der ersten Ausführungsform sind mit den gleichen Bezugszeichen versehen und deren Erläuterung wird ausgelassen.
Bevor ein Insasse augenblicklich einschläft, sind auf eine Abstumpfung der Wahrnehmung zurückzuführende Änderungen des Verhaltens erkennbar, z. B. nimmt im Vergleich zu einem hohen Wachheitsgrad der Lidschlag ab, die Geschwindigkeit des Lidschlags nimmt ab, der Augenöffnungsgrad reduziert sich und Ausdrucksänderungen nehmen ab. Daher kann die Abstumpfungsbestimmung nicht nur mittels der bei der ersten Ausführungsform erläuterten Änderungsgröße der Gesichtsrichtung, sondern auch mittels Gesichtsdaten, bei denen es sich um Informationen bezüglich des Zustands des Gesichts des Insassen handelt, durchgeführt werden.
Zunächst werden die für die Abstumpfungsbestimmung verwendeten Gesichtsdaten erläutert. Beispielsweise handelt es sich bei den Gesichtsdaten um Informationen bezüglich des Zustands des Gesichts des Insassen, z. B. den Öffnungsgrad der Augen, die Häufigkeit des Lidschlags, Änderungen des Ausdrucks usw. Wie in 9 gezeigt, umfasst die Schlafdetektionsvorrichtung 30 gemäß der vorliegenden Ausführungsform eine Gesichtsdaten-Detektionssektion 31. Die Gesichtsdaten-Detektionssektion 31 detektiert Gesichtsdaten des Insassen mittels von der Merkmalsgrößen-Berechnungssektion 13 erworbenen Merkmalsgrößen des Insassen.
Beispiele der Detektionsverarbeitung von Gesichtsdaten durch die Gesichtsdaten-Detektionssektion 31 werden erläutert. Wird in Form von Gesichtsdaten der Augenöffnungsgrad erworben, erwirbt die Gesichtsdaten-Detektionssektion 31 beispielsweise von der Merkmalsgrößen-Berechnungssektion 13 als Merkmalsgrößen den Abstand zwischen den Oberlidern und Unterlidern der Augen und detektiert diesen Abstand in Form von Gesichtsdaten. Wird ferner in Form von Gesichtsdaten die Geschwindigkeit des Lidschlags erworben, erwirbt die Gesichtsdaten-Detektionssektion 31 beispielsweise als Merkmalsgrößen-Berechnungssektion 13 den Abstand zwischen den Oberlidern und Unterlidern der Augen. Ist der Abstand unterhalb eines eingestellten Schwellenwerts, wird dies als erfolgter Lidschlag angesehen, und ist der Abstand größer oder gleich dem eingestellten Schwellenwert, werden die Augen als geöffnet angesehen, wobei die Zeit, die vom geöffneten Zustand der Augen bis zum Lidschlag verläuft, in Form von Gesichtsdaten erworben wird. Wird schließlich in Form von Gesichtsdaten die Häufigkeit des Lidschlags erworben, erwirbt die Gesichtsdaten-Detektionssektion 31 beispielsweise als Merkmalsgrößen-Berechnungssektion 13 den Abstand zwischen den Oberlidern und Unterlidern der Augen. Ist dann der Abstand unterhalb des eingestellten Schwellenwerts, wird dies als erfolgter Lidschlag angesehen, und die Zeit, die vom vorherigen Lidschlag bis zum nächsten Lidschlag vergeht, wird in Form von Gesichtsdaten erworben. Die Detektionsverarbeitung der Gesichtsdaten durch die Gesichtsdaten-Detektionssektion 31 ist nicht auf die vorstehenden Beispiele beschränkt und es können allgemein bekannte verschiedene Algorithmen hierfür verwendet werden.
Als Nächstes wird ein Abstumpfung-Bestimmungsbeispiel durch die Abstumpfung-Bestimmungssektion 32 erläutert. Durch die Abstumpfung-Bestimmungssektion 32 werden von der Gesichtsdaten-Detektionssektion 31 Gesichtsdaten erworben und mittels der Gesichtsdaten wird bestimmt, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist. Dabei bestimmt die Abstumpfung-Bestimmungssektion 32, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn von der Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten der Augenöffnungsgrad erworben wurde, und ein Zustand, in dem der Augenöffnungsgrad unterhalb eines Abstumpfung-Bestimmungsschwellenwerts ist, während einer Abstumpfung-Bestimmungszeit oder länger andauert. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 32, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn der Augenöffnungsgrad größer oder gleich dem Abstumpfung-Bestimmungsschwellenwert ist, oder wenn der Zustand, in dem der Augenöffnungsgrad unterhalb des Abstumpfung-Bestimmungsschwellenwerts liegt, nicht während der Abstumpfung-Bestimmungszeit oder länger andauert.
Ferner bestimmt die Abstumpfung-Bestimmungssektion 32, dass bei dem Insassen eine Abstumpfung der Wahrnehmung aufgetreten ist, wenn beispielsweise von der Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten die Geschwindigkeit des Lidschlags erworben wurde, und ein Zustand, in dem die Geschwindigkeit des Lidschlags unterhalb eines Abstumpfung-Bestimmungsschwellenwerts ist, während einer Abstumpfung-Bestimmungszeit oder länger andauert. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 32, dass bei dem Insassen keine Abstumpfung der Wahrnehmung aufgetreten ist, wenn die Geschwindigkeit des Lidschlags größer oder gleich dem Abstumpfung-Bestimmungsschwellenwert ist, oder wenn der Zustand, in dem die Geschwindigkeit des Lidschlags unterhalb des Abstumpfung-Bestimmungsschwellenwerts liegt, nicht während der Abstumpfung-Bestimmungszeit oder länger andauert.
Schließlich bestimmt die Abstumpfung-Bestimmungssektion 32, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn beispielsweise von der Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten die Häufigkeit des Lidschlags erworben wurde, und ein Zustand, in dem die Häufigkeit des Lidschlags unterhalb eines Abstumpfung-Bestimmungsschwellenwerts ist, während einer Abstumpfung-Bestimmungszeit oder länger andauert. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 32, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn die Häufigkeit des Lidschlags größer oder gleich einem Abstumpfung-Bestimmungsschwellenwert ist, oder wenn ein Zustand, in dem die Häufigkeit des Lidschlags unterhalb eines Abstumpfung-Bestimmungsschwellenwerts liegt, nicht während einer Abstumpfung-Bestimmungszeit oder länger andauert.
Bezüglich der Abstumpfungsbestimmung wurden Beispiele erläutert, die unter Verwendung von Abstumpfung-Bestimmungsschwellenwerten durchgeführt wurden. Dabei unterscheiden sich die diesmaligen Abstumpfung-Bestimmungsschwellenwerte von dem Abstumpfung-Bestimmungsschwellenwert der ersten Ausführungsform. Das heißt, bei dem Abstumpfung-Bestimmungsschwellenwert der ersten Ausführungsform handelt es sich um einen Schwellenwert bezüglich der Änderungsgröße der Gesichtsrichtung, während es sich bei den Abstumpfung-Bestimmungsschwellenwerten der zweiten Ausführungsform um Schwellenwerte bezüglich der Gesichtsdaten handelt. Der Abstumpfung-Bestimmungsschwellenwert für den Vergleich des Augenöffnungsgrads ist ein Schwellenwert bezüglich des Augenöffnungsgrads, der Abstumpfung-Bestimmungsschwellenwert für den Vergleich der Geschwindigkeit des Lidschlags ist ein Schwellenwert bezüglich der Geschwindigkeit des Lidschlags, und der Abstumpfung-Bestimmungsschwellenwert für den Vergleich der Häufigkeit des Lidschlags ist ein Schwellenwert bezüglich der Häufigkeit des Lidschlags. In gleicher Weise kann auch in Bezug auf die Abstumpfung-Bestimmungszeit bei den jeweiligen Bestimmungen die Abstumpfung-Bestimmungszeit unterschiedlich sein. Außerdem können die Abstumpfung-Bestimmungsschwellenwerte vorab eingestellte Werte sein, es kann sich aber auch um Werte handeln, die basierend auf Gesichtsdaten, die ab dem Einsteigen ins Fahrzeug bis zum Ablauf einer bestimmten Zeit erworben wurden, eingestellt werden. Es ist anzunehmen, dass beim Einsteigen ins Fahrzeug der Wachheitsgrad des Insassen hoch ist, wobei durch Gesichtsdaten, die zum Zeitpunkt eines hohen Wachheitsgrads erworben wurden, die Präzision der Abstumpfungsbestimmung verbessert werden kann.
Als Nächstes wird ein Betriebsbeispiel der Schlafdetektionsvorrichtung 30 erläutert. 10 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Schlafdetektionsvorrichtung 30 gemäß der zweiten Ausführungsform zeigt. Dabei werden im Folgenden Schritte, die identisch mit denen der Verarbeitung der Schlafdetektionsvorrichtung 30 gemäß der ersten Ausführungsform sind, mit den gleichen Bezugszeichen wie in 6 und 7 bezeichnet, und deren Erläuterung ausgelassen oder vereinfacht.
Zunächst detektiert die Gesichtsdaten-Detektionssektion 31, wenn bei der Merkmalsgrößen-Berechnungsverarbeitung ST101 Merkmalsgrößen berechnet wurden, Gesichtsdaten mittels der von der Merkmalsgrößen-Berechnungssektion 13 erworbenen Merkmalsgrößen (ST201). Im Folgenden erfolgt eine Erläuterung unter Anführung eines Beispiels, bei dem die Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten den Augenöffnungsgrad detektiert, und die Abstumpfung-Bestimmungssektion 32 mittels des Augenöffnungsgrads und des Abstumpfung-Bestimmungsschwellenwerts bezüglich des Augenöffnungsgrads eine Abstumpfungsbestimmung durchführt.
Dann wird durch die Abstumpfung-Bestimmungssektion 32 bestimmt, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST202). Die Abstumpfung-Bestimmungssektion 32 erwirbt beispielsweise von der Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten den Augenöffnungsgrad des Insassen in einem eingestellten Zeitraum. Daraufhin bestimmt die Abstumpfung-Bestimmungssektion 32, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST202: NEIN), wenn der erworbene Augenöffnungsgrad größer oder gleich dem Abstumpfung-Bestimmungsschwellenwert ist, und gibt das Bestimmungsergebnis an die Schlafdetektionssektion 18 aus. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 30 zu ST101 über. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 32, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST202: JA), wenn der erworbene Augenöffnungsgrad des Insassen unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, und es folgt die Verarbeitung des nächsten ST105.
Dann wird durch die Abstumpfung-Bestimmungssektion 32 bestimmt, ob der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105). Wurde durch die Abstumpfung-Bestimmungssektion 32 bestimmt, dass der Zustand der aufgetretenen Abstumpfung der Wahrnehmung bei dem Insassen nicht während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105: NEIN), wird bestimmt, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und die Verarbeitung der Schlafdetektionsvorrichtung 30 geht zu ST101 über. Andererseits wird durch die Abstumpfung-Bestimmungssektion 32 bestimmt, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105: JA), und das Bestimmungsergebnis wird an die Schlafdetektionssektion 18 ausgegeben. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 30 zum nächsten ST102 über.
Durch die Gesichtsrichtung-Detektionssektion 14 werden die Merkmalsgrößen erworben und die Gesichtsrichtung des aus dem Abbildungsbild extrahierten Insassen wird detektiert (ST102). Dann wird durch die Haltung-Bestimmungssektion 17 der Schlafdetektionsvorrichtung 30 von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 die Änderungsgröße der Gesichtsrichtung des Insassen erworben (ST106). Durch die Haltung-Bestimmungssektion 17 wird die Änderungsgröße der Gesichtsrichtung von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 erworben, und je nachdem ob die erworbene Änderungsgröße größer oder gleich dem Haltung-Bestimmungsschwellenwert ist, wird bestimmt, ob die Haltung des Insassen abnormal ist (ST107). Die Abstumpfung-Bestimmungssektion 17 bestimmt, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST107: NEIN), wenn die erworbene Änderungsgröße unterhalb des Haltung-Bestimmungsschwellenwerts ist, und gibt das Bestimmungsergebnis an die Schlafdetektionssektion 18 aus. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 30 zu ST101 über. Ebenso wie bei der ersten Ausführungsform kann für die Haltungsbestimmung durch die Haltung-Bestimmungssektion 17 anstelle der Gesichtsrichtung auch die Größe des Gesichtsbereichs oder der Abstand zwischen dem Insassen und einem Sensor verwendet werden.
Andererseits bestimmt die Haltung-Bestimmungssektion 17 eine abnormale Haltung des Insassen (ST107: JA), wenn beispielsweise die Differenz zwischen dem Minimalwert und dem Maximalwert des Nickwinkels größer oder gleich einem eingestellten Schwellenwert ist, und schließlich geht die Verarbeitung der Schlafdetektionsvorrichtung 30 zu ST108 über, der als Nächstes erläutert wird.
Es wird beurteilt (ST108), ob durch die Haltung-Bestimmungssektion 17 innerhalb der Haltung-Bestimmungszeit bestimmt wurde, dass die Haltung des Insassen abnormal ist. Wurde beurteilt, dass die Bestimmung einer abnormalen Haltung des Insassen durch die Haltung-Bestimmungssektion 17 keine Bestimmung innerhalb der Haltung-Bestimmungszeit ist (ST108: NEIN), wird beurteilt, dass die Haltung des Insassen nicht abnormal ist, und die Verarbeitung der Schlafdetektionsvorrichtung 30 geht zu ST101 über. Das heißt, wird durch die Verarbeitung von ST108 beurteilt, dass es sich bei der Bestimmung einer abnormalen Haltung des Insassen um keine Bestimmung innerhalb der Haltung-Bestimmungszeit handelt, wird das Bestimmungsergebnis der Verarbeitung von ST107, gemäß dem die Haltung des Insassen abnormal ist, verworfen.
Wird andererseits beurteilt, dass die Bestimmung einer abnormalen Haltung des Insassen durch die Haltung-Bestimmungssektion 17 eine Bestimmung innerhalb der eingestellten Haltung-Bestimmungszeit ist (ST108: JA), wird das Bestimmungsergebnis an die Schlafdetektionssektion 18 ausgegeben. Dann wird durch die Schlafdetektionssektion 18 detektiert, dass der Insasse eingeschlafen ist, und die Warnsektion 50 führt eine Warnung an den Insassen durch (ST109) .
Auf diese Weise kann dadurch, dass die Schlafdetektionsvorrichtung 30 außerdem die Gesichtsdaten-Detektionssektion 31 umfasst, die mittels durch die Merkmalsgrößen-Berechnungssektion 13 berechnete Merkmalsgrößen die Gesichtsdaten bezüglich des Zustands des Gesichts des Insassen detektiert, und durch die Abstumpfung-Bestimmungssektion 32 mittels der durch die Gesichtsdaten-Detektionssektion 31 detektierten Gesichtsdaten bestimmt wird, ob eine Abstumpfung der Wahrnehmung bei dem Insassen aufgetreten ist, anhand des Zustands des Gesichts des Insassen eine Abstumpfung der Wahrnehmung, die vor dem augenblicklichen Einschlafen eines Insassen auftritt, bestimmt und ein augenblickliches Einschlafen des Insassen detektiert werden, sodass die Präzision bei der Detektion des Schlafens des Insassen verbessert werden kann.
Bei der vorliegenden Ausführungsform wurde ein Beispiel erläutert, bei dem die Abstumpfung-Bestimmungssektion 32 von der Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten den Augenöffnungsgrad erwirbt und den Augenöffnungsgrad für die Abstumpfungsbestimmung verwendet, wobei die Gesichtsdaten, die von der Abstumpfung-Bestimmungssektion 32 für die Abstumpfungsbestimmung verwendet werden, nicht auf den Augenöffnungsgrad beschränkt sind. Beispielsweise kann die Abstumpfung-Bestimmungssektion 32 auch von der Gesichtsdaten-Detektionssektion 31 den Augenöffnungsgrad, die Geschwindigkeit des Lidschlags und die Häufigkeit des Lidschlags in Form von Gesichtsdaten erwerben, und wenn zumindest eine dieser erworbenen Gesichtsdaten unterhalb des eingestellten Schwellenwerts ist, bestimmen, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist.
Dritte Ausführungsform
11 ist ein Blockbild, das ein Strukturbeispiel eines Schlafdetektionssystems 102 gemäß der dritten Ausführungsform zeigt. Eine Schlafdetektionsvorrichtung 40 gemäß der dritten Ausführungsform umfasst ebenso wie bei der ersten Ausführungsform die Bilderwerbssektion 11 zum Erwerben eines Abbildungsbildes, die Abstumpfung-Bestimmungssektion 16 zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem Abbildungsbild extrahiert wurde, aufgetreten ist, die Haltung-Bestimmungssektion 17 zum Bestimmen einer abnormalen Haltung des Insassen, der aus dem Abbildungsbild extrahiert wurde, und eine Schlafdetektionssektion 42, die mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 16 und des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17 ein Schlafen des Insassen detektiert. Die vorliegende Ausführungsform unterscheidet sich von der ersten Ausführungsform in dem Punkt, dass durch die Schlafdetektionssektion 42 zusätzlich zu den Bestimmungsergebnissen der Abstumpfung-Bestimmungssektion 16 und der Haltung-Bestimmungssektion 17 mittels des Bestimmungsergebnisses der Müdigkeitsstufe einer Müdigkeitsstufen-Berechnungssektion 41 bestimmt wird, ob bei dem Insassen eine Abstumpfung der Wahrnehmung aufgetreten ist. Gleiche Bestandteile wie bei der ersten Ausführungsform sind mit den gleichen Bezugszeichen versehen und deren Erläuterung wird ausgelassen.
Die Schlafdetektionsvorrichtung 40 gemäß der vorliegenden Ausführungsform umfasst die Gesichtsdaten-Detektionssektion 31 und die Müdigkeitsstufen-Berechnungssektion 41, durch welche die Müdigkeitsstufe des Insassen berechnet wird. Der Aufbau der Gesichtsdaten-Detektionssektion 31 ist gleich dem Aufbau, der bei der zweiten Ausführungsform erläutert wurde, sodass eine Erläuterung ausgelassen wird. Als Müdigkeitsstufe werden hierbei stufenweise von einem Zustand einer hohen Wachsamkeit bis zu einem Zustand einer geringen Wachsamkeit unterteilte Kriterien der Müdigkeit bezeichnet. Bei der vorliegenden Offenbarung ist ein Zustand der höchsten Wachsamkeit als Müdigkeitsstufe 1 und ein Zustand der geringsten Wachsamkeit als Müdigkeitsstufe 9 gegeben, wobei mit abnehmender Wachsamkeit ein Übergang von der Müdigkeitsstufe 1 zur Müdigkeitsstufe 9 erfolgt.
Ist bei dem Insassen eine Abstumpfung der Wahrnehmung aufgetreten, kann dieser sich in einem Zustand einer hohen Müdigkeitsstufe befinden. Dadurch, dass die Schlafdetektionssektion 42 zusätzlich zu den Bestimmungsergebnissen der Abstumpfung-Bestimmungssektion 16 und der Haltung-Bestimmungssektion 17 das Berechnungsergebnis der Müdigkeitsstufe der Müdigkeitsstufen-Berechnungssektion 41 verwendet, kann daher die Zuverlässigkeit des Ergebnisses bei der Bestimmung des Schlafens des Insassen verbessert werden.
Die Berechnung der Müdigkeitsstufe durch die Müdigkeitsstufen-Berechnungssektion 41 wird erläutert. Die Müdigkeitsstufen-Berechnungssektion 41 erwirbt Gesichtsdaten von der Gesichtsdaten-Detektionssektion 31 und berechnet die Müdigkeitsstufe des Insassen. Wird beispielsweise in Form von Gesichtsdaten der Augenöffnungsgrad erworben, erwirbt die Müdigkeitsstufen-Berechnungssektion 41 von der Gesichtsdaten-Detektionssektion 31 den Augenöffnungsgrad, und berechnet mit kleiner werdendem Augenöffnungsgrad eine höhere Müdigkeitsstufe des Insassen. In diesem Fall sollte eine Vielzahl von Schwellenwerten für den Augenöffnungsgrad eingestellt, und dadurch, dass dieser unterhalb des jeweiligen Schwellenwerts liegt, die Müdigkeitsstufe berechnet werden.
Wird ferner beispielsweise in Form von Gesichtsdaten die Geschwindigkeit des Lidschlags erworben, erwirbt die Müdigkeitsstufen-Berechnungssektion 41 von der Gesichtsdaten-Detektionssektion 31 die Geschwindigkeit des Lidschlags, und berechnet mit abnehmender Geschwindigkeit des Lidschlags eine höhere Müdigkeitsstufe des Insassen. In diesem Fall sollte eine Vielzahl von Schwellenwerten für die Geschwindigkeit des Lidschlags eingestellt, und dadurch, dass diese unterhalb des jeweiligen Schwellenwerts liegt, die Müdigkeitsstufe berechnet werden.
Wird außerdem beispielsweise in Form von Gesichtsdaten die Häufigkeit des Lidschlags erworben, erwirbt die Müdigkeitsstufen-Berechnungssektion 41 von der Gesichtsdaten-Detektionssektion 31 die Häufigkeit des Lidschlags, und berechnet mit abnehmender Häufigkeit des Lidschlags eine höhere Müdigkeitsstufe des Insassen. In diesem Fall sollte eine Vielzahl von Schwellenwerten für die Häufigkeit des Lidschlags eingestellt, und dadurch, dass diese unterhalb des jeweiligen Schwellenwerts liegt, die Müdigkeitsstufe berechnet werden. Die Berechnungsverarbeitung der Müdigkeitsstufe durch die Müdigkeitsstufen-Berechnungssektion 41 ist nicht auf die vorstehenden Beispiele beschränkt und es können allgemein bekannte verschiedene Algorithmen hierfür verwendet werden. Dann wird das Berechnungsergebnis durch die Müdigkeitsstufen-Berechnungssektion 41 an die Schlafdetektionssektion 42 ausgegeben.
Als Nächstes wird die Schlafdetektionssektion 42 der vorliegenden Ausführungsform erläutert. Die Schlafdetektionssektion 42 erwirbt das Berechnungsergebnis durch die Müdigkeitsstufen-Berechnungssektion 41, und detektiert, wenn die Müdigkeitsstufe des Insassen, die durch die Müdigkeitsstufen-Berechnungssektion 41 berechnet wurde, größer oder gleich einer eingestellten Müdigkeitsstufe, d. h. des eingestellten Schwellenwerts ist, mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 16 und des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17 das Schlafen des Insassen. Bevorzugt detektiert dabei die Schlafdetektionssektion 42 das Schlafen des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion 16 und des Bestimmungsergebnisses der Haltung-Bestimmungssektion 17, wenn die Müdigkeitsstufe größer oder gleich einer Müdigkeitsstufe ist, bei der vorstellbar ist, dass der Insasse Ermüdung empfindet. Ist bei dem Insassen, wie vorstehend beschrieben, eine Abstumpfung der Wahrnehmung aufgetreten, kann es nämlich sein, dass er sich in einem Zustand einer hohen Müdigkeitsstufe befindet, d. h., dass der Insasse Ermüdung empfindet. Wird bei einer Müdigkeitsstufe, die größer oder gleich dem eingestellten Schwellenwert ist, durch die Abstumpfung-Bestimmungssektion 16 bestimmt, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und durch die Haltung-Bestimmungssektion 17 bestimmt, dass die Haltung des Insassen abnormal ist, detektiert die Schlafdetektionssektion 42 dann, dass der Insasse eingeschlafen ist.
Als Nächstes wird ein Betriebsbeispiel der Schlafdetektionsvorrichtung 40 erläutert. 12 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Schlafdetektionsvorrichtung 40 gemäß der dritten Ausführungsform zeigt. Dabei werden im Folgenden Schritte, die identisch mit denen der Verarbeitung der Schlafdetektionsvorrichtung 40 gemäß der ersten Ausführungsform sind, mit den gleichen Bezugszeichen wie in 6 und 7 bezeichnet, und deren Erläuterung ausgelassen oder vereinfacht.
Zunächst detektiert die Gesichtsdaten-Detektionssektion 31, wenn bei der Merkmalsgrößen-Berechnungsverarbeitung ST101 Merkmalsgrößen berechnet wurden, Gesichtsdaten mittels der von der Merkmalsgrößen-Berechnungssektion 13 erworbenen Merkmalsgrößen (ST301) und gibt die detektierten Gesichtsdaten an die Müdigkeitsstufen-Berechnungssektion 41 aus. Im Folgenden erfolgt eine Erläuterung unter Anführung eines Beispiels, bei dem die Gesichtsdaten-Detektionssektion 31 in Form von Gesichtsdaten den Augenöffnungsgrad des Insassen detektiert, und die Müdigkeitsstufen-Berechnungssektion 41 mittels des Augenöffnungsgrads eine Berechnung der Müdigkeitsstufe des Insassen durchführt.
Als Nächstes berechnet die Müdigkeitsstufen-Berechnungssektion 41 mittels des in Form von Gesichtsdaten erworbenen Augenöffnungsgrads des Insassen die Müdigkeitsstufe des Insassen (ST302) und gibt die berechnete Müdigkeitsstufe des Insassen an die Schlafdetektionssektion 42 aus. Hierbei erwirbt die Müdigkeitsstufen-Berechnungssektion 41 von der Gesichtsdaten-Detektionssektion 31 den Augenöffnungsgrad in Form von Gesichtsdaten, und berechnet mit kleiner werdendem Augenöffnungsgrad eine höhere Müdigkeitsstufe des Insassen.
Dann bestimmt die Schlafdetektionssektion 42, ob die erworbene Müdigkeitsstufe größer oder gleich einem eingestellten Schwellenwert ist (ST303). Wurde durch die Schlafdetektionssektion 42 bestimmt, dass die Müdigkeitsstufe unterhalb des eingestellten Schwellenwerts ist (ST303: NEIN), geht die Verarbeitung der Schlafdetektionsvorrichtung 40 zu ST101 über. Wurde andererseits durch die Schlafdetektionssektion 42 bestimmt, dass die Müdigkeitsstufe größer oder gleich dem eingestellten Schwellenwert ist (ST303: JA), geht die Verarbeitung der Schlafdetektionsvorrichtung 40 zu ST102 über.
Als Nächstes werden durch die Gesichtsrichtung-Detektionssektion 14 Merkmalsgrößen des Insassen erworben und die Gesichtsrichtung des Insassen im Abbildungsbild wird detektiert (ST102). Dann gibt die Gesichtsrichtung-Detektionssektion 14 an die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 die detektierte Gesichtsrichtung des Insassen aus. Dann berechnet die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 die Änderungsgröße der Gesichtsrichtung des Insassen mittels der von der Gesichtsrichtung-Detektionssektion 14 erworbenen Gesichtsrichtung des Insassen (ST103).
Dann wird durch die Abstumpfung-Bestimmungssektion 16 bestimmt, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST104). Die Abstumpfung-Bestimmungssektion 16 erwirbt beispielsweise von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 die Änderungsgröße der Gesichtsrichtung des Insassen. Dann bestimmt die Abstumpfung-Bestimmungssektion 16, dass keine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST104: NEIN), wenn die erworbene Änderungsgröße der Gesichtsrichtung größer oder gleich dem Abstumpfung-Bestimmungsschwellenwerts ist, und gibt das Bestimmungsergebnis an die Schlafdetektionssektion 42 aus. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 40 zu ST101 über. Andererseits bestimmt die Abstumpfung-Bestimmungssektion 16, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist (ST104: JA), wenn die erworbene Änderungsgröße der Gesichtsrichtung unterhalb des Abstumpfung-Bestimmungsschwellenwerts ist, und die Verarbeitung geht zum nächsten ST105 über. Ebenso wie bei der zweiten Ausführungsform können für die Abstumpfungsbestimmung durch die Abstumpfung-Bestimmungssektion 16 anstelle der Gesichtsrichtung auch Gesichtsdaten verwendet werden.
Dann wird durch die Abstumpfung-Bestimmungssektion 16 bestimmt, ob der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105). Wurde durch die Abstumpfung-Bestimmungssektion 16 bestimmt, dass der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen nicht während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105: NEIN), geht die Verarbeitung der Schlafdetektionsvorrichtung 40 zu ST101 über. Andererseits wird durch die Abstumpfung-Bestimmungssektion 16 bestimmt, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, wenn der Zustand der aufgetretenen Abstumpfung der Wahrnehmung des Insassen während der Abstumpfung-Bestimmungszeit oder länger andauert (ST105: JA), das Bestimmungsergebnis wird an die Schlafdetektionssektion 18 ausgegeben und die Verarbeitung der Schlafdetektionsvorrichtung 40 geht zu ST106 über, der als nächstes erläutert wird.
Als Nächstes wird durch die Haltung-Bestimmungssektion 17 der Schlafdetektionsvorrichtung 40 von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 die Änderungsgröße der Gesichtsrichtung des Insassen erworben (ST106). Durch die Haltung-Bestimmungssektion 17 wird die Änderungsgröße der Gesichtsrichtung von der Gesichtsrichtung-Änderungsgrößen-Berechnungssektion 15 erworben, und je nachdem, ob die Änderungsgröße der Gesichtsrichtung größer oder gleich dem Haltung-Bestimmungsschwellenwert ist, wird bestimmt, ob die Haltung des Insassen abnormal ist (ST107). Die Haltung-Bestimmungssektion 17 bestimmt, dass die Haltung des Insassen nicht abnormal ist (ST107: NEIN), wenn die Änderungsgröße der Gesichtsrichtung unterhalb des Haltung-Bestimmungsschwellenwerts ist, und gibt das Bestimmungsergebnis an die Schlafdetektionssektion 42 aus. Dann geht die Verarbeitung der Schlafdetektionsvorrichtung 40 zur Verarbeitung von ST101 über.
Andererseits bestimmt die Haltung-Bestimmungssektion 17, dass die Haltung des Insassen abnormal ist (ST107: JA), wenn die Änderungsgröße der Gesichtsrichtung größer oder gleich einem eingestellten Schwellenwert ist, und es folgt ein Übergang zur Verarbeitung von ST108, die als Nächstes erläutert wird. Ebenso wie bei der ersten Ausführungsform kann für die Haltungsbestimmung durch die Haltung-Bestimmungssektion 17 anstelle der Gesichtsrichtung auch die Größe des Gesichtsbereichs oder der Abstand zwischen dem Insassen und einem Sensor verwendet werden.
Es wird beurteilt (ST108), ob durch die Haltung-Bestimmungssektion 17 innerhalb der Haltung-Bestimmungszeit eine abnormale Haltung des Insassen bestimmt wurde. Wird beurteilt, dass die Bestimmung einer abnormalen Haltung des Insassen durch die Haltung-Bestimmungssektion 17 keine Bestimmung innerhalb der Haltung-Bestimmungszeit ist (ST108: NEIN), wird bestimmt, dass die Haltung des Insassen nicht abnormal ist, und die Verarbeitung der Schlafdetektionsvorrichtung 40 geht zu ST101 über. Das heißt, wird durch die Verarbeitung von ST108 beurteilt, dass es sich bei der Bestimmung einer abnormalen Haltung des Insassen um keine Bestimmung innerhalb der Haltung-Bestimmungszeit handelt, wird das Bestimmungsergebnis der Verarbeitung von ST107, gemäß dem die Haltung des Insassen abnormal ist, verworfen.
Wird andererseits beurteilt, dass die Bestimmung einer abnormalen Haltung des Insassen durch die Haltung-Bestimmungssektion 17 eine Bestimmung innerhalb der eingestellten Haltung-Bestimmungszeit ist (ST108: JA), wird bestimmt, dass die Haltung des Insassen abnormal ist und das Bestimmungsergebnis an die Schlafdetektionssektion 42 ausgegeben. Dann wird dies durch die Schlafdetektionssektion 42 als Schlafen des Insassen erachtet, und die Warnsektion 50 führt eine Warnung an den Insassen durch (ST109).
Da die Schlafdetektionsvorrichtung 40 der vorliegenden Ausführungsform außerdem die Müdigkeitsstufen-Berechnungssektion 41 aufweist, die mittels Gesichtsdaten bezüglich des Zustands des Gesichts des Insassen die Müdigkeitsstufe des Insassen berechnet, detektiert die Schlafdetektionssektion 42, dass der Insasse eingeschlafen ist, wenn bestimmt wurde, dass die Müdigkeitsstufe des Insassen größer oder gleich dem eingestellten Schwellenwert ist, durch die Abstumpfung-Bestimmungssektion 16 bestimmt wurde, das eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und durch die Haltung-Bestimmungssektion 17 bestimmt wurde, das die Haltung des Insassen abnormal ist. Hierdurch kann einerseits ein augenblickliches Schlafen des Insassen detektiert und die Präzision bei der Detektion des Schlafens des Insassen verbessert werden, und andererseits durch die Verwendung des Berechnungsergebnisses der Müdigkeitsstufe die Zuverlässigkeit des Detektionsergebnisses des Schlafens des Insassen verbessert werden, da in einem Zustand einer geringen Wachsamkeit die Möglichkeit des Auftretens einer Abstumpfung der Wahrnehmung besteht.
Bei der ersten bis dritten Ausführungsform wurde die Durchführung der Abstumpfungsbestimmung durch die Abstumpfung-Bestimmungssektion, die Haltungsbestimmung durch die Haltung-Bestimmungssektion und die Berechnung der Müdigkeitsstufe durch die Müdigkeitsstufen-Berechnungssektion unter Verwendung von Merkmalsgrößen des Insassen erläutert, wobei die Abstumpfungsbestimmung, die Haltungsbestimmung und die Berechnung der Müdigkeitsstufe nicht auf eine Durchführung unter Verwendung von Merkmalsgrößen des Insassen beschränkt sind. Es kann sich beispielsweise auch um eine Abstumpfungsbestimmung, Haltungsbestimmung und Berechnung der Müdigkeitsstufe unter Verwendung von maschinellem Lernen handeln. Handelt es sich um eine Abstumpfungsbestimmung unter Verwendung von maschinellem Lernen, umfasst die Abstumpfung-Bestimmungssektion eine Lernvorrichtung, wobei in die Lernvorrichtung z. B. Bilder, die einen Insassen beim Auftreten einer Abstumpfung der Wahrnehmung abbilden, und Bilder, die einen Insassen abbilden, bei dem keine Abstumpfung der Wahrnehmung aufgetreten ist, jeweils eingegeben und gelernt werden. Dann reicht es aus, wenn durch die Lernvorrichtung der Abstumpfung-Bestimmungssektion von der Bilderwerbssektion ein Abbildungsbild erworben und bestimmt wird, ob eine Abstumpfung der Wahrnehmung des Insassen in dem Abbildungsbild aufgetreten ist.
Handelt es sich ferner um eine Haltungsbestimmung unter Verwendung von maschinellem Lernen, umfasst die Haltung-Bestimmungssektion eine Lernvorrichtung, wobei in die Lernvorrichtung z. B. Bilder, die einen Insassen mit einer abnormalen Haltung, z. B. einem Zurücklehnen, Nicken oder Wanken abbilden, und Bilder, die einen Insassen abbilden, der keine abnormale Haltung hat, jeweils eingegeben und gelernt werden. Dann reicht es aus, wenn die Lernvorrichtung der Haltung-Bestimmungssektion von der Bilderwerbssektion ein Abbildungsbild erwirbt und bestimmt, ob die Haltung des Insassen in dem Abbildungsbild abnormal ist.
Handelt es sich außerdem um eine Berechnung der Müdigkeitsstufe unter Verwendung von maschinellem Lernen, umfasst die Müdigkeitsstufen-Berechnungssektion eine Lernvorrichtung, wobei in die Lernvorrichtung z. B. Bilder, die einen Insassen den stufenweise unterteilten Müdigkeitsstufen entsprechend abbilden, jeweils eingegeben und gelernt werden. Dann reicht es aus, wenn durch die Lernvorrichtung der Müdigkeitsstufen-Berechnungssektion von der Bilderwerbssektion ein Abbildungsbild erworben und die Müdigkeitsstufe des Insassen in dem Abbildungsbild berechnet wird.
Ferner ist bei den verschiedenen Ausführungsformen, die in der vorliegenden Beschreibung offenbart sind, innerhalb dieses Bereichs eine beliebige Kombination der jeweiligen Ausführungsformen möglich, und die jeweiligen Ausführungsformen können auch in geeigneter Weise abgewandelt oder weggelassen werden.
[Bezugszeichenliste]

10, 30, 40: Schlafdetektionsvorrichtung
10a: Verarbeitungsschaltung
10b: Prozessor
10c: Speicher
11: Bilderwerbssektion
12: Merkmalspunkt-Detektionssektion
13: Merkmalsgrößen-Berechnungssektion
14: Gesichtsrichtung-Detektionssektion
15: Gesichtsrichtung-Änderungsgrößen-Berechnungssektion
16, 32: Abstumpfung-Bestimmungssektion
17: Haltung-Bestimmungssektion
18, 42: Schlafdetektionssektion
20: Abbildungsvorrichtung
31: Gesichtsinformationen-Detektionssektion
41: Müdigkeitsstufen-Berechnungssektion
50: Warnsektion
100, 101, 102: Schlafdetektionssystem
201: Fahrersitz
202: Beifahrersitz
211, 212: Insasse
300: Abbildungsbild
301: Gesichtsbereich
311: Äußerer Augenwinkel
312: Innerer Augenwinkel
313: Oberlid
314: Unterlid
315: Nasenwurzel
316: Nasenspitze
317: Oberlippe
318: Unterlippe
319: Mundwinkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2008220424 A [0003]

Claims

Schlafdetektionsvorrichtung, umfassend: eine Bilderwerbssektion, die von einer in einem Fahrzeug montierten Abbildungsvorrichtung zum Abbilden eines Insassen im Inneren des Fahrzeugs ein Abbildungsbild erwirbt, auf dem der Insasse abgebildet ist, eine Abstumpfung-Bestimmungssektion zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion zum Bestimmen, ob eine Haltung des Insassen, der aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, abnormal ist, und eine Schlafdetektionssektion zum Detektieren des Schlafens des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion und des Bestimmungsergebnisses der Haltung-Bestimmungssektion, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn durch die Abstumpfung-Bestimmungssektion das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wurde, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.
Schlafdetektionsvorrichtung nach Anspruch 1, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn nachdem durch die Abstumpfung-Bestimmungssektion bestimmt wurde, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.
Schlafdetektionsvorrichtung nach Anspruch 1 oder 2, wobei durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wird, wenn der von einem den Abstand zum Insassen erwerbenden Sensor erworbene Abstand zwischen dem Insassen und dem Sensor außerhalb eines eingestellten Bereichs ist.
Schlafdetektionsvorrichtung nach Anspruch 1 oder 2, wobei durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wird, wenn die Größe eines Gesichtsbereichs, bei dem es sich um einen Bereich handelt, der Gesichtsteile des aus dem Abbildungsbild extrahierten des Insassen beinhaltet, außerhalb eines eingestellten Bereichs ist.
Schlafdetektionsvorrichtung nach Anspruch 1 oder 2, weiterhin umfassend: eine Gesichtsrichtung-Detektionssektion zum Detektieren der Gesichtsrichtung des Insassen, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, und eine Gesichtsrichtung-Änderungsgrößen-Berechnungssektion zum Berechnen einer Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Detektionssektion detektiert wurde, wobei durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wird, wenn innerhalb einer eingestellten Haltung-Bestimmungszeit die Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion berechnet wurde, größer oder gleich einem eingestellten Haltung-Bestimmungsschwellenwert ist.
Schlafdetektionsvorrichtung nach einem der Ansprüche 1 bis 4, weiterhin umfassend: eine Gesichtsrichtung-Detektionssektion zum Detektieren der Gesichtsrichtung des Insassen detektiert wird, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, und eine Gesichtsrichtung-Änderungsgrößen-Berechnungssektion, zum Berechnen eine Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Detektionssektion detektiert wurde, wobei durch die Abstumpfung-Bestimmungssektion das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wird, wenn ein Zustand, bei dem die Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion berechnet wurde, unterhalb eines eingestellten Abstumpfung-Bestimmungsschwellenwerts ist, während der eingestellten Abstumpfung-Bestimmungszeit oder länger andauert.
Schlafdetektionsvorrichtung nach Anspruch 1 oder 2, weiterhin umfassend: eine Gesichtsrichtung-Detektionssektion zum Detektieren der Gesichtsrichtung des Insassen, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, und eine Gesichtsrichtung-Änderungsgrößen-Berechnungssektion zum Berechnen einer Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Detektionssektion detektiert wurde, wobei durch die Abstumpfung-Bestimmungssektion das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wird, wenn ein Zustand, bei dem die Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion berechnet wurde, unterhalb eines eingestellten Abstumpfung-Bestimmungsschwellenwerts ist, während einer eingestellten Abstumpfung-Bestimmungszeit oder länger andauert, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wird, wenn innerhalb einer eingestellten Haltung-Bestimmungszeit die Änderungsgröße der Gesichtsrichtung des Insassen, die durch die Gesichtsrichtung-Änderungsgrößen-Berechnungssektion berechnet wurde, größer oder gleich einem eingestellten Haltung-Bestimmungsschwellenwert ist.
Schlafdetektionsvorrichtung nach einem der Ansprüche 1 bis 5, weiterhin umfassend: eine Gesichtsdaten-Detektionssektion zum Detektieren von Gesichtsdaten bezüglich des Zustands des Gesichts des Insassen detektiert werden, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurden, wobei durch die Abstumpfung-Bestimmungssektion mittels der Gesichtsdaten, die durch die Gesichtsdaten-Detektionssektion detektiert wurden, bestimmt wird, ob eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist.
Schlafdetektionsvorrichtung nach Anspruch 8, wobei die Gesichtsdaten-Detektionssektion zumindest entweder den Augenöffnungsgrad, die Geschwindigkeit des Lidschlags oder die Häufigkeit des Lidschlags des Insassen in Form von Gesichtsdaten detektiert, und die Abstumpfung-Bestimmungssektion bestimmt, dass bei dem Insassen eine Abstumpfung der Wahrnehmung aufgetreten ist, wenn ein Zustand, bei dem zumindest entweder der Augenöffnungsgrad, die Geschwindigkeit des Lidschlags oder die Häufigkeit des Lidschlags des Insassen unterhalb des eingestellten Abstumpfung-Bestimmungsschwellenwerts ist, während der eingestellten Abstumpfung-Bestimmungszeit oder länger andauert.
Schlafdetektionsvorrichtung nach Anspruch 8 oder 9, ferner umfassend: eine Müdigkeitsstufen-Berechnungssektion, die mittels der Gesichtsdaten, die durch die Gesichtsdaten-Detektionssektion detektiert wurden, die Müdigkeitsstufe des Insassen berechnet, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn durch die Müdigkeitsstufen-Berechnungssektion bestimmt wurde, dass die Müdigkeitsstufe des Insassen größer oder gleich einem eingestellten Schwellenwert ist, durch die Abstumpfung-Bestimmungssektion bestimmt wurde, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.
Schlafdetektionsvorrichtung nach einem der Ansprüche 1 bis 7, weiterhin umfassend: eine Gesichtsdaten-Detektionssektion zum Detektieren von Gesichtsdaten bezüglich des Zustands des Insassen detektiert werden, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurden, und eine Müdigkeitsstufen-Berechnungssektion, die mittels der Gesichtsdaten, die durch die Gesichtsdaten-Detektionssektion detektiert wurden, die Müdigkeitsstufe des Insassen berechnet, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn durch die Müdigkeitsstufen-Berechnungssektion bestimmt wurde, dass die Müdigkeitsstufe des Insassen größer oder gleich einem eingestellten Schwellenwert ist, durch die Abstumpfung-Bestimmungssektion bestimmt wurde, dass eine Abstumpfung der Wahrnehmung des Insassen aufgetreten ist, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.
Schlafdetektionsvorrichtung nach einem der Ansprüche 1 bis 11, weiterhin umfassend: eine im Fahrzeug montierte Warnsektion, die eine Warnung an den Insassen durchführt, wenn durch die Schlafdetektionssektion detektiert wurde, dass der Insasse eingeschlafen ist.
Schlafdetektionssystem, umfassend: eine in einem Fahrzeug montierten Abbildungsvorrichtung zum Abbilden eines Insassen im Inneren des Fahrzeugs, eine Bilderwerbssektion, die von der Abbildungsvorrichtung ein Abbildungsbild erwirbt, auf dem der Insasse abgebildet ist, einer Abstumpfung-Bestimmungssektion zum Bestimmen, ob eine Abstumpfung der Wahrnehmung des Insassen, der aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, aufgetreten ist, eine Haltung-Bestimmungssektion zum Bestimmen, ob eine Haltung des Insassen, die aus dem durch die Bilderwerbssektion erworbenen Abbildungsbild extrahiert wurde, abnormal ist, und eine Schlafdetektionssektion zum Detektieren des Schlafens des Insassen mittels des Bestimmungsergebnisses der Abstumpfung-Bestimmungssektion und des Bestimmungsergebnisses der Haltung-Bestimmungssektion, wobei die Schlafdetektionssektion detektiert, dass der Insasse eingeschlafen ist, wenn durch die Abstumpfung-Bestimmungssektion das Auftreten einer Abstumpfung der Wahrnehmung des Insassen bestimmt wurde, und durch die Haltung-Bestimmungssektion eine abnormale Haltung des Insassen bestimmt wurde.