DE102019109505A1

DE102019109505A1 - Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm

Info

Publication number: DE102019109505A1
Application number: DE102019109505.0A
Authority: DE
Inventors: Ayumi TAKEMOTO; Koichi Kinoshita; Hitoshi Mukai; Shigenori NAGAE; Yamato TAKEUCHI
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2018-05-07
Filing date: 2019-04-10
Publication date: 2019-11-07
Also published as: US20190336059A1; US10653350B2; JP7099037B2; CN110448316A; JP2019195377A

Abstract

Bereitstellen einer Datenverarbeitungsvorrichtung, die dazu in der Lage ist, Müdigkeit sogar in einer Situation genau zu berechnen, die sich nicht zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung (VOR) eignet. Datenverarbeitungsvorrichtung, die eine Datenverarbeitung zum Überwachen einer Person durchführt, wobei die Datenverarbeitungsvorrichtung beinhaltet: einen Rechner, der dazu eingerichtet ist, eine Pupillenbewegung und Kopfbewegung der Person zu berechnen; eine Auswerteeinrichtung, die dazu eingerichtet ist, einen Eignungsgrad einer Situation zum Berechnen der vestibulookulären Reflexbewegung zu bewerten; eine Bereitstellungseinheit, die dazu eingerichtet ist, den von der Auswerteeinrichtung bewerteten Eignungsgrad an von dem Rechner berechnete Daten bereitzustellen; eine Auswahleinrichtung, die dazu eingerichtet ist, eine erste Technik des Berechnens der Müdigkeit basierend auf der VOR der Person oder eine zweite, sich von der ersten Technik unterscheidende Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad, auszuwählen; einen ersten Müdigkeitsrechner, der dazu eingerichtet ist, die Müdigkeit basierend auf der ersten Technik zu berechnen, wenn die Auswahleinrichtung die erste Technik auswählt; und einen zweiten Müdigkeitsrechner, der dazu eingerichtet ist, die Müdigkeit basierend auf der zweiten Technik zu berechnen, wenn die Auswahleinrichtung die zweite Technik auswählt.

Description

QUERVERWEIS AUF EINE VERWANDTE ANMELDUNG
Diese Anmeldung basiert auf der japanischen Patentanmeldung Nr. 2018-089368 , die beim japanischen Patentamt am 7. Mai 2018 eingereicht wurde, deren gesamte Inhalte unter Bezugnahme hierin aufgenommen werden.
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft eine Datenverarbeitungsvorrichtung, ein Überwachungssystem, ein Wecksystem, ein Datenverarbeitungsverfahren und ein Datenverarbeitungsprogramm.
STAND DER TECHNIK
Das japanische Patent Nr. 5255063 offenbart eine Müdigkeitsanzeichenermittlungsvorrichtung, die darauf abzielt, unter Verwendung des durch eine Kopfbewegung induzierten Vestibulo-Okulär-Reflexes ein Anzeichen zu ermitteln, bevor ein Fahrer eines Fahrzeugs Müdigkeit empfindet.
Die Müdigkeitsanzeichenermittlungsvorrichtung des japanischen Patents Nr. 5255063 beinhaltet eine Kopfbewegungsermittlungseinheit zum Ermitteln einer Kopfbewegung, eine Augenbewegungsermittlungseinheit zum Ermitteln einer Augenbewegung, eine Geschwindigkeitsberechnungseinheit für den idealen Augenbewegungswinkel zum Berechnen einer idealen Augenbewegungswinkelgeschwindigkeit basierend auf den von der Kopfbewegungsermittlungseinheit ermittelten Kopfbewegungsdaten, eine Augenrotationswinkelgeschwindigkeitsberechnungseinheit zum Berechnen der Augenrotationswinkelgeschwindigkeit basierend auf den von der Augenbewegungsermittlungseinheit ermittelten Augenbewegungsdaten und eine Müdigkeitsanzeichenermittlungseinheit zum Ermitteln des Vestibulo-Okulär-Reflexes (VOR) aus der idealen Augenbewegungswinkelgeschwindigkeit und der Augenrotationswinkelgeschwindigkeit und zum Bestimmen eines Anzeichens von Müdigkeit basierend auf dem Vestibulo-Okulär-Reflex.
Das japanische Patent Nr. 5255063 offenbart ein Ergebnis, bei dem ein Test durchgeführt wird, während einem Subjekt eine Versuchsaufgabe, wie z. B. die Fixierung eines oberen Abschnitts eines Kennzeichens des vorausfahrenden Fahrzeugs, das als Fixationspunkt auf eine Leinwand projiziert wird, unter Verwendung eines Versuchssystems, das eine Fahrzeit eines Fahrzeugs simuliert, nämlich eines Fahrsimulatorsystems, auferlegt wird.
Die Pseudoversuchsumgebung unter Verwendung des Fahrsimulatorsystems unterscheidet sich jedoch stark von einer tatsächlichen Fahrumgebung des Fahrzeugs. Der Erfinder hat festgestellt, dass als Ergebnis einer Verifizierung in der tatsächlichen Fahrumgebung des Fahrzeugs (nachstehend als tatsächliche Fahrzeugumgebung bezeichnet) eine vestibulookuläre Reflexbewegung in der tatsächlichen Fahrzeugumgebung kaum genau erfasst wird.
Beispiele für die Augenbewegungen beinhalten eine sakkadische Bewegung (auch als impulsive Augenbewegung bezeichnet) und eine Kongestionsbewegung zusätzlich zu der vestibulookulären Reflexbewegung. In der Versuchsumgebung wird der vorgegebene Fixationspunkt so fixiert, dass die vestibulookuläre Reflexbewegung leicht erzeugt wird. In der tatsächlichen Fahrzeugumgebung sind jedoch eine Situation außerhalb des Fahrzeugs, eine Situation einer Straßenoberfläche, ein Verhalten des Fahrzeugs und die Bewegung des Kopfes und der Augen des Fahrers nicht konstant und andere Augenbewegungen als die vestibulookuläre Reflexbewegung werden auf komplexe Weise erzeugt.
Die vestibulookuläre Reflexbewegung wird durch die Kopfbewegung induziert. In der Versuchsumgebung wird der Fahrersitz vibriert, um die Kopfbewegung zu induzieren. In der tatsächlichen Fahrzeugumgebung wird jedoch nicht notwendigerweise ein Schwingungszustand erzeugt, in dem die Kopfbewegung induziert wird.
Daher ist es schwierig, die Müdigkeit mit hoher Genauigkeit zu bestimmen, selbst wenn die Müdigkeit basierend auf der vestibulookulären Reflexbewegung in der Situation, in der verschiedene Arten von Augenbewegungen erzeugt werden, oder der Situation, in der die vestibulookuläre Reflexbewegung kaum induziert wird, bestimmt werden soll. Zusätzlich zu der tatsächlichen Fahrzeugumgebung kann das ähnliche Problem sogar in verschiedenen realen Umgebungen, wie z. B. einer Betriebsumgebung oder einer Arbeitsumgebung von Geräten, erzeugt werden.
KURZDARSTELLUNG
Die vorliegende Erfindung wurde angesichts der vorstehenden Probleme gemacht und eine Aufgabe der vorliegenden Erfindung besteht darin, eine Datenverarbeitungsvorrichtung, ein Überwachungssystem, ein Wecksystem, ein Datenverarbeitungsverfahren und ein Datenverarbeitungsprogramm bereitzustellen, die dazu in der Lage sind, die Müdigkeit sogar in der Situation genau zu berechnen, die sich nicht zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung eignet.
Um die vorstehende Aufgabe zu erfüllen, wird eine Datenverarbeitungsvorrichtung (1) gemäß der vorliegenden Offenbarung bereitgestellt, die eine Datenverarbeitung zum Überwachen einer Person durchführt, wobei die Datenverarbeitungsvorrichtung beinhaltet: einen Rechner, der dazu eingerichtet ist, eine Pupillenbewegung und Kopfbewegung der Person zu berechnen; eine Auswerteeinrichtung, die dazu eingerichtet ist, einen Eignungsgrad einer Situation zum Berechnen der vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person zu bewerten; eine Bereitstellungseinheit, die dazu eingerichtet ist, den von der Auswerteeinrichtung bewerteten Eignungsgrad an Daten bereitzustellen, die sich auf die von dem Rechner berechnete Pupillenbewegung und Kopfbewegung der Person beziehen; eine Auswahleinrichtung, die dazu eingerichtet ist, eine erste Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder eine zweite, sich von der ersten Technik unterscheidende Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad, auszuwählen; einen ersten Müdigkeitsrechner, der dazu eingerichtet ist, die Müdigkeit basierend auf der ersten Technik zu berechnen, wenn die Auswahleinrichtung die erste Technik auswählt; und einen zweiten Müdigkeitsrechner, der dazu eingerichtet ist, die Müdigkeit basierend auf der zweiten Technik zu berechnen, wenn die Auswahleinrichtung die zweite Technik auswählt.
In der Datenverarbeitungsvorrichtung (1) bewertet die Auswerteeinrichtung den Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung und die Bereitstellungseinheit stellt an die Daten den Eignungsgrad bereit. Abhängig von dem an die Daten bereitgestellten Eignungsgrad kann somit die Art der dateneigenen Eignung als Situation zum Berechnen der vestibulookulären Reflexbewegung durch den an die Daten bereitgestellten Eignungsgrad unterschieden werden. Die Auswahleinrichtung wählt die erste Technik oder die zweite Technik basierend auf dem Eignungsgrad aus und die Müdigkeit wird basierend auf der ausgewählten Technik berechnet. Folglich kann selbst in der Situation, die nicht zur Berechnung der Müdigkeit nach der ersten Technik geeignet ist, nämlich in der Situation, die nicht zur Berechnung der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person geeignet ist, die Müdigkeit basierend auf der zweiten Technik berechnet werden und die Müdigkeit kann in der realen Umgebung genau berechnet werden.
Gemäß einer Datenverarbeitungsvorrichtung (2) der vorliegenden Offenbarung wählt in der Datenverarbeitungsvorrichtung (1) die Auswahleinrichtung die erste Technik, wenn der Eignungsgrad eine vorgegebene Bedingung erfüllt, und die Auswahleinrichtung wählt die zweite Technik, wenn der Eignungsgrad die vorgegebene Bedingung nicht erfüllt.
Gemäß der Datenverarbeitungsvorrichtung (2) wird in dem Fall, in dem der Eignungsgrad die vorgegebene Bedingung erfüllt, nämlich in dem Fall, in dem die Daten als Situation zum Berechnen der vestibulookulären Reflexbewegung geeignet sind, die erste Technik ausgewählt, und die Müdigkeit wird basierend auf der vestibulookulären Reflexbewegung der Person berechnet.
Andererseits wird in dem Fall, in dem der Eignungsgrad die vorgegebene Bedingung nicht erfüllt, nämlich sogar falls die Daten als Situation zum Berechnen der vestibulookulären Reflexbewegung geeignet sind, die Müdigkeit durch die zweite Technik berechnet. Somit kann die Berechnungsgenauigkeit der Müdigkeit in der realen Umgebung verbessert werden, indem die erste Technik oder die zweite Technik basierend auf der vorgegebenen Bedingung ordnungsgemäß ausgewählt wird.
Gemäß einer Datenverarbeitungsvorrichtung (3) der vorliegenden Offenbarung beinhaltet in der Datenverarbeitungsvorrichtung (1) oder (2) der erste Müdigkeitsrechner einen Reflexbewegungsrechner, der dazu eingerichtet ist, die vestibulookuläre Reflexbewegung der Person basierend auf den Daten unter Berücksichtigung des Eignungsgrades zu berechnen, und die Müdigkeit wird basierend auf der vom Reflexbewegungsrechner berechneten vestibulookulären Reflexbewegung der Person berechnet.
In der Datenverarbeitungsvorrichtung (3) berechnet der erste Müdigkeitsrechner die vestibulookulären Reflexbewegung der Person basierend auf den Daten unter Berücksichtigung des Eignungsgrades, und die Müdigkeit wird basierend auf der berechneten vestibulookulären Reflexbewegung der Person berechnet. Folglich kann die Berechnungsgenauigkeit der vestibulookulären Reflexbewegung unter Verwendung der entsprechenden Daten verbessert werden, bei denen der Eignungsgrad unter den Elementen von berechneten Daten berücksichtigt wird, die Müdigkeit kann basierend auf der vestibulookulären Reflexbewegung der Person genau berechnet werden und ein Anzeichen der Müdigkeit kann auch in der realen Umgebung genau ermittelt werden.
Gemäß einer Datenverarbeitungsvorrichtung (4) der vorliegenden Offenbarung beinhaltet der zweite Müdigkeitsrechner in der Datenverarbeitungsvorrichtung (1) oder (2) einen Sakkadenbewegungsrechner, der dazu eingerichtet ist, die sakkadische Bewegung der Person zu berechnen, und die Müdigkeit wird basierend auf der vom Sakkadenbewegungsrechner berechneten sakkadischen Bewegung der Person berechnet.
In der Datenverarbeitungsvorrichtung (4) berechnet der zweite Müdigkeitsrechner die sakkadische Bewegung der Person und die Müdigkeit wird basierend auf der berechneten sakkadischen Bewegung der Person berechnet. Die sakkadische Bewegung wird auch als impulsive Augenbewegung bezeichnet und ist eine schnelle Augenbewegung von kurzer Dauer, die beim Ändern der Blickrichtungsposition erzeugt wird. Die sakkadische Bewegung unterscheidet sich stark von der langsamen vestibulookulären Reflexbewegung in einer Eigenschaft. Die Situation, die nicht zum Berechnen der vestibulookulären Reflexbewegung geeignet ist, ist beispielsweise eine Situation, in der die sakkadische Bewegung häufig erzeugt wird. Somit ist es selbst in einer Situation, die nicht zum Berechnen der vestibulookulären Reflexbewegung geeignet ist, möglich, die Müdigkeit genau zu berechnen, indem die Müdigkeit basierend auf der sakkadischen Bewegung der Person berechnet wird.
Gemäß einer Datenverarbeitungsvorrichtung (5) der vorliegenden Offenbarung beinhaltet der zweite Müdigkeitsrechner in der Datenverarbeitungsvorrichtung (1) oder (2) einen Augenlidbewegungsrechner, der dazu eingerichtet ist, einen auf der Augenlidbewegung der Person basierenden Index zu berechnen, und die Müdigkeit wird basierend auf einem von dem Augenlidbewegungsrechner berechneten, auf der Augenlidbewegung basierenden Index berechnet.
In der Datenverarbeitungsvorrichtung (5) berechnet der zweite Müdigkeitsrechner den Index basierend auf der Augenlidbewegung der Person und er berechnet die Müdigkeit basierend auf dem auf der berechneten Augenlidbewegung basierenden Index. Beispiele des auf der Augenlidbewegung der Person basierenden Index beinhalten mindestens eines von einem Augenlidöffnungsgrad (ein Öffnungsgrad des Auges), einer Blinzelfrequenz und einem PERCLOS (Prozentanteil der Zeit, in dem die Augenlider geschlossen sind), der einen Anteil einer Zeit, in der ein Auge geschlossen ist, an einer Zeiteinheit anzeigt. Infolgedessen kann die Müdigkeit selbst in einer Situation, die zum Berechnen der vestibulookulären Reflexbewegung nicht geeignet ist, genau berechnet werden, indem die Müdigkeit basierend auf dem auf der Augenlidbewegung basierenden Index berechnet wird.
In jeder der Datenverarbeitungsvorrichtungen (1) bis (5) beinhaltet eine Datenverarbeitungsvorrichtung (6) gemäß der vorliegenden Offenbarung ferner eine Wecksteuereinrichtung, die dazu eingerichtet ist, eine Steuerung des Weckens der Person basierend auf der von dem ersten Müdigkeitsrechner oder dem zweiten Müdigkeitsrechner berechneten Müdigkeit durchzuführen.
In der Datenverarbeitungsvorrichtung (6) führt die Wecksteuereinrichtung die Steuerung zum Wecken der Person basierend auf der von dem ersten Müdigkeitsrechner oder dem zweiten Müdigkeitsrechner berechneten Müdigkeit durch, so dass die Person aus der Müdigkeit gerissen werden kann.
Gemäß einer Datenverarbeitungsvorrichtung (7) der vorliegenden Offenbarung bewertet die Auswerteeinrichtung in jeder der Datenverarbeitungsvorrichtungen (1) bis (6) den Eignungsgrad basierend auf einem Zustand der Person oder eines von der Person betätigten Objekts.
In der Datenverarbeitungsvorrichtung (7) wird der Eignungsgrad basierend auf dem Zustand der Person oder des von der Person betätigten Objekts bewertet. Somit kann durch Berücksichtigung des Zustands der Person oder des von der Person betätigten Objekts die Eignung als Situation zum Berechnen der vestibulookulären Reflexbewegung genauer bewertet werden, und der Eignungsgrad kann korrekter bewertet werden. Dies ermöglicht es der Auswahleinrichtung, die erste Technik oder die zweite Technik ordnungsgemäß auszuwählen, um die Berechnungsgenauigkeit der Müdigkeit durch die erste Technik oder die zweite Technik zu verbessern.
Gemäß einer Datenverarbeitungsvorrichtung (8) der vorliegenden Offenbarung ist in der Datenverarbeitungsvorrichtung (7) das Objekt ein Fahrzeug, und die Person ist ein Fahrer des Fahrzeugs.
In der Datenverarbeitungsvorrichtung (8) ist das Objekt ein Fahrzeug und die Person ist ein Fahrer, der das Fahrzeug fährt, so dass die Müdigkeit des Fahrers in einer tatsächlichen Fahrzeugumgebung genau berechnet werden kann.
Gemäß einer Datenverarbeitungsvorrichtung (9) der vorliegenden Offenbarung bewertet die Auswerteeinrichtung in der Datenverarbeitungsvorrichtung (8) den Eignungsgrad basierend auf mindestens einem von einer in den Daten enthaltenen Rauschkomponente, einer Blickrichtung des Fahrers, einem Fahrzustand des Fahrzeugs und einem Ermittlungszustand des in einer Fahrtrichtung des Fahrzeugs vorhandenen Objekts.
In der Datenverarbeitungsvorrichtung (9) wird der Eignungsgrad basierend auf mindestens einem von der in den Daten enthaltenen Rauschkomponente, der Blickrichtung des Fahrers, dem Fahrzustand des Fahrzeugs und dem Ermittlungszustand des in Fahrtrichtung des Fahrzeugs vorhandenen Objekts bewertet.
Zum Beispiel können für die kleine Rauschkomponente die Daten mit einem hohen Eignungsgrad bewertet werden. In dem Fall, in dem die Blickrichtung des Fahrers in einen vorgegebenen Vorwärtsbereich fällt, in dem Fall, in dem das Fahrzeug geradeaus fährt, oder in dem Fall, in dem das Objekt in der Fahrtrichtung des Fahrzeugs nicht ermittelt wird, kann der Eignungsgrad hoch bewertet werden.
Somit kann der Eignungsgrad in der tatsächlichen Fahrzeugumgebung korrekter bewertet werden, indem mindestens eines von der in den Daten enthaltenen Rauschkomponente, der Blickrichtung des Fahrers, dem Fahrzustand des Fahrzeugs und dem Ermittlungszustand des in Fahrtrichtung des Fahrzeugs vorhandenen Objekts berücksichtigt wird. Dies ermöglicht es der Auswahleinrichtung, die erste Technik oder die zweite Technik ordnungsgemäß auszuwählen, um die Berechnungsgenauigkeit der Müdigkeit durch die erste Technik oder die zweite Technik zu verbessern. Die in den Daten enthaltene Rauschkomponente beinhaltet die Augen- oder Kopfbewegungskomponenten, die die Berechnung der vestibulookulären Reflexbewegung stören, und beinhaltet beispielsweise die andere Komponente der Augenbewegung, die nicht die vestibulookuläre Reflexbewegung ist.
In der Datenverarbeitungsvorrichtung (8) beinhaltet eine Datenverarbeitungsvorrichtung (10) gemäß der vorliegenden Offenbarung ferner eine Erfassungseinheit, die dazu eingerichtet ist, eine Beschleunigung des Fahrzeugs zu erfassen.
Die Auswerteeinrichtung bewertet den Eignungsgrad basierend auf einer Beziehung zwischen einer von dem Fahrzeug erfassten Beschleunigungsänderung des Fahrzeugs und der von dem Rechner berechneten Kopfbewegung oder Pupillenbewegung des Fahrers.
In der Datenverarbeitungsvorrichtung (10) wird beispielsweise der Eignungsgrad hoch bewertet, wenn die Kopfbewegung oder die Pupillenbewegung des Fahrers nach der Beschleunigungsänderung des Fahrzeugs, nämlich auf die in dem Fahrzeug erzeugte Vibration folgend, berechnet wird. Somit wird die Bedingung, dass die vestibulookuläre Reflexbewegung leicht erzeugt wird, in der tatsächlichen Fahrzeugumgebung ordnungsgemäß bewertet, und der Eignungsgrad kann richtig bewertet werden. Dies ermöglicht es der Auswahleinrichtung, die erste Technik oder die zweite Technik ordnungsgemäß auszuwählen, um die Berechnungsgenauigkeit der Müdigkeit durch die erste Technik oder die zweite Technik zu verbessern.
Ein Überwachungssystem (1) gemäß der vorliegenden Offenbarung beinhaltet: eine der Datenverarbeitungsvorrichtungen (1) bis (10); und eine Bildgebungsvorrichtung, die dazu eingerichtet ist, ein Bild, das die Person beinhaltet, aufzunehmen. Der Rechner der Datenverarbeitungsvorrichtung berechnet die Pupillenbewegung und die Kopfbewegung der Person unter Verwendung des von der Bildgebungsvorrichtung erfassten Bildes.
Da das Überwachungssystem (1) eine der Datenverarbeitungsvorrichtungen (1) bis (10) und die Bildgebungsvorrichtung beinhaltet, kann ein System erhalten werden, das in verschiedenen realen Umgebungen leicht zu integrieren ist, was eine der Auswirkungen davon ist, dass die Datenverarbeitungsvorrichtungen (1) bis (10) in dem System erhalten werden.
Ein Wecksystem gemäß der vorliegenden Offenbarung beinhaltet: die Datenverarbeitungsvorrichtung (6); und eine Weckvorrichtung, die von der Wecksteuereinrichtung der Datenverarbeitungsvorrichtung (6) gesteuert wird.
Bei dem Wecksystem steuert die Wecksteuereinrichtung die Weckvorrichtung, so dass die Weckvorrichtung die Person ordnungsgemäß wecken kann.
Ein Datenverarbeitungsverfahren gemäß der vorliegenden Offenbarung ist ein Datenverarbeitungsverfahren zum Überwachen einer Person, wobei das Verfahren beinhaltet:

einen Berechnungsschritt zum Berechnen der Pupillenbewegung und der Kopfbewegung der Person;
einen Bewertungsschritt zum Bewerten eines Eignungsgrads einer Situation zum Berechnen einer vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person;
einen Bereitstellungsschritt zum Bereitstellen des in dem Bewertungsschritt bewerteten Eignungsgrads an Daten, die sich auf die in dem Berechnungsschritt berechnete Pupillenbewegung und Kopfbewegung der Person beziehen;
einen Auswahlschritt zum Auswählen einer ersten Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder einer zweiten, sich von der ersten Technik unterscheidenden Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad;
einen ersten Müdigkeitsberechnungsschritt zum Berechnen der Müdigkeit basierend auf der ersten Technik, wenn in dem Auswahlschritt die erste Technik ausgewählt wird; und
einen zweiten Müdigkeitsberechnungsschritt zum Berechnen der Müdigkeit basierend auf der zweiten Technik, wenn in dem Auswahlschritt die zweite Technik ausgewählt wird.

In dem Datenverarbeitungsverfahren wird der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung in dem Bewertungsschritt bewertet, und der Eignungsgrad wird in dem Bereitstellungsschritt an die Daten bereitgestellt. Abhängig von dem an die Daten bereitgestellten Eignungsgrad kann somit die Art der dateneigenen Eignung als Situation zum Berechnen der vestibulookulären Reflexbewegung durch den an die Daten bereitgestellten Eignungsgrad unterschieden werden. Durch den Auswahlschritt wird die erste Technik oder die zweite Technik basierend auf dem Eignungsgrad ausgewählt, und die Müdigkeit wird basierend auf der ausgewählten Technik berechnet. Folglich kann selbst in der Situation, die nicht zur Berechnung der Müdigkeit nach der ersten Technik geeignet ist, nämlich in der Situation, die nicht zur Berechnung der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person geeignet ist, die Müdigkeit basierend auf der zweiten Technik berechnet werden und die Müdigkeit kann in der realen Umgebung genau berechnet werden.
Ein Datenverarbeitungsprogramm gemäß der vorliegenden Offenbarung ist ein Datenverarbeitungsprogramm, das mindestens einen Computer dazu veranlasst, Datenverarbeitung zum Überwachen einer Person durchzuführen, wobei das Datenverarbeitungsprogramm den mindestens einen Computer dazu veranlasst, auszuführen:

In dem Datenverarbeitungsprogramm wird der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung in dem Bewertungsschritt bewertet, und der Eignungsgrad wird in dem Bereitstellungsschritt an die Daten bereitgestellt. Abhängig von dem an die Daten bereitgestellten Eignungsgrad kann somit die Art der dateneigenen Eignung als Situation zum Berechnen der vestibulookulären Reflexbewegung durch den an die Daten bereitgestellten Eignungsgrad unterschieden werden. Durch den Auswahlschritt wird die erste Technik oder die zweite Technik basierend auf dem Eignungsgrad ausgewählt, und die Müdigkeit wird basierend auf der ausgewählten Technik berechnet. Folglich kann die Datenverarbeitungsvorrichtung so konstruiert sein, dass die Müdigkeit durch die zweite Technik berechnet werden kann und die Müdigkeit in der realen Umgebung selbst in der Situation genau berechnet werden kann, die nicht zum Berechnen der Müdigkeit durch die erste Technik geeignet ist, nämlich selbst in der Situation, die nicht zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person geeignet ist.
Figurenliste

1 ist eine Ansicht, die ein Beispiel eines Überwachungssystems unter Verwendung einer Datenverarbeitungsvorrichtung gemäß einer Ausführungsform schematisch veranschaulicht;
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration des Überwachungssystems der Ausführungsform veranschaulicht;
3 ist ein Blockdiagramm, das ein Beispiel einer funktionellen Konfiguration der Datenverarbeitungsvorrichtung der Ausführungsform veranschaulicht;
4A ist ein Flussdiagramm, das ein Beispiel einer von einer Steuereinheit in der Datenverarbeitungsvorrichtung der Ausführungsform durchgeführten Verarbeitungsoperation veranschaulicht; und
4B ist ein Flussdiagramm, das ein Beispiel der von der Steuereinheit in der Datenverarbeitungsvorrichtung der Ausführungsform durchgeführten Verarbeitungsoperation veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Nachstehend werden Ausführungsformen einer Datenverarbeitungsvorrichtung, eines Überwachungssystems, eines Wecksystems, eines Datenverarbeitungsverfahrens und eines Datenverarbeitungsprogramms gemäß der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
Beispielsweise ist die Datenverarbeitungsvorrichtung gemäß der vorliegenden Erfindung breit auf ein System anwendbar, das eine Person (Subjekt) überwacht. Zusätzlich zu einem System, das Fahrer (Bediener) verschiedener sich bewegender Körper, wie z. B. Fahrzeuge, Schienenfahrzeuge, Flugzeuge und Schiffe, überwacht, kann die Datenverarbeitungsvorrichtung beispielsweise auch auf ein System angewandt werden, das eine Person überwacht, die verschiedene Typen von Geräten, wie z. B. Maschinen und Vorrichtungen in der Fabrik, bedient und überwacht und vorgegebene Arbeiten ausführt.
[Systemkonfigurationsbeispiel]
1 ist eine Ansicht, die ein Beispiel eines Überwachungssystems unter Verwendung einer Datenverarbeitungsvorrichtung gemäß einer Ausführungsform schematisch veranschaulicht.
Ein Überwachungssystem 1 ist ein an einem Fahrzeug 2 montiertes Fahrerüberwachungssystem und beinhaltet eine Datenverarbeitungsvorrichtung 10 und eine Kamera 20. Die Datenverarbeitungsvorrichtung 10 ist ein Computer, der Datenverarbeitung durchführt, um einen Fahrer 3 des Fahrzeugs 2 zu überwachen. Die Kamera 20 ist ein Beispiel einer „Bildgebungsvorrichtung“ der vorliegenden Erfindung. Die Kamera 20 ist mit der Datenverarbeitungsvorrichtung 10 verbunden und so angeordnet, dass sie ein Bild aufnehmen kann, das ein Gesicht des Fahrers 3 enthält.
Das Fahrzeug 2 ist ein Automobil. Das Fahrzeug 2 kann jedoch ein Fahrzeug wie z. B. ein Zweiradfahrzeug sein, und ein Typ des Fahrzeugs 2 ist nicht besonders eingeschränkt. Das Fahrzeug 2 kann ein Fahrzeug (ein sogenanntes manuell geführtes Fahrzeug) mit einer Stufe 0 (keine Fahrautomatisierung) in einer von der American Automotive Engineers Association (SAE) vorgestellten automatisierten Fahrstufenklassifikation oder ein automatisiert fahrendes Fahrzeug sein. Das automatisiert fahrende Fahrzeug kann mit einer von einer Stufe 1 (Fahrerassistenz), einer Stufe 2 (teilautomatisiertes Fahren), einer Stufe 3 (bedingt automatisiertes Fahren), einer Stufe 4 (hochautomatisiertes Fahren) und einer Stufe 5 (vollautomatisiertes Fahren) in der von SAE vorgestellten automatisierten Fahrstufenklassifikation ausgestattet sein.
Die Datenverarbeitungsvorrichtung 10 ist dazu eingerichtet, mit verschiedenen Vorrichtungen verbunden zu werden, wie z. B. einem bordeigenen Sensor 30, einem Startschalter 40 und einer Navigationsvorrichtung 50, die in dem Fahrzeug 2 montiert sind. Die Datenverarbeitungsvorrichtung 10 kann dazu eingerichtet sein, mit mindestens einer elektronischen Steuereinheit (ECU) 60 verbunden werden zu können, die jede Einheit steuert, wie z. B. eine Antriebseinheit, eine Bremseinheit, eine Lenkeinheit und eine Aufhängungseinheit des Fahrzeugs 2. Beispielsweise ist der Startschalter 40 ein Zündschalter.
Die Datenverarbeitungsvorrichtung 10 zielt darauf ab, die Berechnungsgenauigkeit der Müdigkeit des Fahrers 3 in der tatsächlichen Fahrzeugumgebung als ein Beispiel der realen Umgebung zu verbessern.
Wie in dem Abschnitt zum Stand der Technik beschrieben, sind in der tatsächlichen Fahrzeugumgebung die Situation außerhalb des Fahrzeugs, die Situation der Straßenoberfläche, das Verhalten des Fahrzeugs, die Bewegung des Kopfes und der Augen des Fahrers und dergleichen nicht konstant. Aus diesem Grund beinhalten Daten der Pupillenbewegung und der Kopfbewegung des Fahrers Komponenten, wie z. B. eine sakkadische Bewegung und eine Kongestionsbewegung (auch als Rauschkomponenten bezeichnet), die sich von der vestibulookulären Reflexbewegung (auch als Signalkomponenten bezeichnet) auf komplexe Weise unterscheiden. In der tatsächlichen Fahrzeugumgebung wird die Kopfbewegung, die die vestibulookuläre Reflexbewegung induziert, nicht immer erzeugt.
Infolgedessen wird in der tatsächlichen Fahrumgebung auch eine Situation erzeugt, in der ein Signal-Rausch-(SN)-Verhältnis der Daten, das die vestibulookuläre Reflexbewegung ermittelt, abnimmt. Selbst wenn Müdigkeit basierend auf der vestibulookulären Reflexbewegung berechnet wird, bestand in dieser Situation das Problem, dass die Müdigkeit kaum mit hoher Genauigkeit berechnet wird. Die vestibulookuläre Reflexbewegung (nachstehend auch als „VOR“ bezeichnet) ist eine Augenbewegung, die durch eine Kopfbewegung einer Person induziert wird, und sie ist eine unwillkürliche Augenbewegung, die eine Unschärfe eines Netzhautbildes durch Bewegen des Auges in eine der Kopfbewegung entgegengesetzte Richtung unterdrückt.
Um dieses Problem zu lösen, verwendet die Datenverarbeitungsvorrichtung 10 der Ausführungsform die folgende Konfiguration.
Die Datenverarbeitungsvorrichtung 10 erfasst ein aufgenommenes Bild von der Kamera 20 und berechnet aus dem erfassten aufgenommenen Bild mindestens die Pupillenbewegung und die Kopfbewegung des Fahrers 3. Basierend auf der Pupillenbewegung und Kopfbewegung des Fahrers 3 bewertet die Datenverarbeitungsvorrichtung 10 einen Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung.
Der Eignungsgrad wird basierend auf mindestens einem von einem von dem aufgenommenen Bild ermittelten Zustand des Fahrers 3 oder einem von dem bordeigenen Sensor 30 ermittelten Zustand des Fahrzeugs 2 bewertet.
Der Zustand des Fahrers 3 beinhaltet eine Blickrichtung des Fahrers 3. Beispielsweise ist der Zustand, in dem der Fahrer 3 in eine bestimmte Richtung oder auf einen bestimmten Punkt schaut, der Zustand, in dem die andere Augenbewegung (wie z. B. die sakkadische Bewegung und die Kongestionsbewegung), die nicht die vestibulookuläre Reflexbewegung ist, kaum erzeugt wird, d. h. die Rauschkomponente der vestibulookulären Reflexbewegung klein wird und das S/N-Verhältnis leicht ansteigt. Wenn sich der Fahrer 3 in diesem Zustand befindet, wird der Zustand des Fahrers 3 beispielsweise als geeignet oder sehr geeignet bestimmt, und der Eignungsgrad wird hoch bewertet.
Der Zustand des Fahrzeugs 2 beinhaltet einen Fahrzustand des Fahrzeugs 2, einen Ermittlungszustand eines in einer Fahrtrichtung des Fahrzeugs 2 vorhandenen Objekts (wie z. B. einer Person und eines anderen Fahrzeugs) und dergleichen. Der Eignungsgrad kann basierend auf einer Beziehung zwischen einer Beschleunigungsänderung des Fahrzeugs 2 und der Pupillenbewegung oder der Kopfbewegung des Fahrers 3 bewertet werden.
Beispielsweise in dem Fall, in dem der Zustand des Fahrzeugs 2 der Zustand ist, in dem der Kopf des Fahrers 3 leicht in einer Auf-Ab-, Rechts-Links-, Vor-Zurück-, Gier- oder Neigungsrichtung verschoben oder vibriert wird, nämlich in dem Fall, in dem die Signalkomponente der vestibulookulären Reflexbewegung, insbesondere ein Verschiebungsbetrag, dazu neigt, anzusteigen, wird der Zustand des Fahrzeugs 2 beispielsweise als geeignet oder sehr geeignet bestimmt, und der Eignungsgrad wird hoch bewertet.
In dem Fall, in dem der Zustand des Fahrzeugs 2 der Fahrzustand ist, in dem die andere Augenbewegung (wie z. B. die sakkadische Bewegung und die Kongestionsbewegung), die nicht die vestibulookuläre Reflexbewegung des Fahrers 3 ist, kaum erzeugt wird, nämlich in dem Fall, in dem die Rauschkomponente der vestibulookulären Reflexbewegung verringert ist, insbesondere in dem Fall, in dem das Fahrzeug 2 auf einer geraden Straße fährt, wird beispielsweise der Zustand des Fahrzeugs 2 als geeignet oder sehr geeignet bestimmt, und der Eignungsgrad wird hoch bewertet.
Der wie vorstehend beschrieben bewertete Eignungsgrad wird als Daten dargestellt, die von einem Computer erkannt werden können. Beispielsweise kann der Eignungsgrad durch binäre Daten dargestellt werden, die das Vorhandensein oder Nichtvorhandensein der Eignung zum Berechnen der VOR oder eine Eignungsstufe anzeigen, oder mehrwertige Daten (beispielsweise klassifiziert oder gewichtet) nach einem Ausmaß der Eignung. Beispielsweise gibt das Ausmaß der Eignung eine Eignungsrate als den Zustand zum Berechnen der VOR an.
Die Datenverarbeitungsvorrichtung 10 stellt den Eignungsgrad an Daten (nachstehend als berechnete Daten bezeichnet) bereit, die sich auf die Pupillenbewegung und die Kopfbewegung des Fahrers 3 beziehen, wobei die Daten basierend auf dem erfassten Bild berechnet werden. Die Daten, die sich auf die Pupillenbewegung und die Kopfbewegung des Fahrers 3 beziehen, an die der Eignungsgrad bereitgestellt wird, können die Daten der Pupillenbewegung und der Kopfbewegung des Fahrers 3, ein aus den Daten der Pupillenbewegung und der Kopfbewegung des Fahrers 3 berechneter Wert oder ein Wert sein, der einen Bezug zwischen der Pupillenbewegung und der Kopfbewegung des Fahrers 3 anzeigt. Beispielsweise kann die Datenverarbeitungsvorrichtung 10 den Eignungsgrad an einen Wert bereitstellen, wie z. B. einen Koeffizienten, der eine Korrelation zwischen der Pupillenbewegung und der Kopfbewegung anzeigt.
Basierend auf dem Eignungsgrad, der an die Daten bereitgestellt wird, die sich auf die Pupillenbewegung und die Kopfbewegung des Fahrers 3 beziehen, wählt die Datenverarbeitungsvorrichtung 10 eine erste Technik zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung des Fahrers 3 oder eine zweite, sich von der ersten Technik unterscheidende Technik aus. Die zweite Technik kann eine Vielzahl von Techniken beinhalten, und eine für eine vorgegebene Bedingung geeignete Technik kann aus der Vielzahl von Techniken ausgewählt werden.
In dem Fall, in dem der Eignungsgrad die vorgegebene Bedingung erfüllt, wählt die Datenverarbeitungsvorrichtung 10 beispielsweise die erste Technik aus und berechnet die Müdigkeit basierend auf der ersten Technik (d. h. basierend auf der vestibulookulären Reflexbewegung des Fahrers 3).
Beispielsweise beinhaltet der Fall, in dem der Eignungsgrad die vorgegebene Bedingung erfüllt, den Fall, in dem der Eignungsgrad hoch bewertet wird (beispielsweise Daten, bei denen der Eignungsgrad größer als oder gleich einem vorgegebenen Schwellenwert ist, oder als geeignet als Situation zum Berechnen der VOR bewertete Daten) größer als oder gleich einer vorgegebenen Rate unter den für eine bestimmte Zeit gespeicherten Elementen von berechneten Daten ist. Der Fall, in dem der Eignungsgrad die vorgegebene Bedingung erfüllt, beinhaltet auch den Fall, in dem ein statistischer Wert (wie z. B. ein Mittelwert und ein Modus) des Eignungsgrades, der an die für eine vorgegebene Zeit gespeicherten Elementen von berechneten Daten bereitgestellt wird, größer als oder gleich dem vorgegebenen Schwellenwert ist.
Andererseits wählt die Datenverarbeitungsvorrichtung 10 in dem Fall, in dem der Eignungsgrad die vorgegebene Bedingung nicht erfüllt, die zweite Technik aus und berechnet die Müdigkeit basierend auf der zweiten Technik. Die zweite Technik ist nicht besonders eingeschränkt, solange sich die zweite Technik von der ersten Technik zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung unterscheidet. Vorzugsweise wird eine Technik angewandt, die dazu in der Lage ist, die Müdigkeit genau zu berechnen, selbst in der Situation, in der die vestibulookuläre Reflexbewegung kaum induziert wird.
Beispiele der zweiten Technik beinhalten eine Technik zum Berechnen der Müdigkeit basierend auf der sakkadischen Bewegung, eine Technik zum Berechnen der Müdigkeit basierend auf einem auf der Augenlidbewegung des Fahrers 3 basierenden Index, eine Technik zum Berechnen der Müdigkeit basierend auf einer aus dem aufgenommenen Bild ermittelten Änderung im Bereich der Pupille und eine Technik zum Berechnen der Müdigkeit basierend auf einer aus dem aufgenommenen Bild ermittelten Änderung in der Größe eines Längsdurchmessers und eines Querdurchmessers der Pupille. Beispiele für den auf der Augenlidbewegung basierenden Index beinhalten mindestens eines von dem Augenlidöffnungsgrad (dem Öffnungsgrad des Auges), der Blinzelfrequenz und dem PERCLOS, der einen Anteil einer Zeit, in der ein Auge geschlossen ist, einer Zeiteinheit anzeigt.
Beispielsweise wird die von der Datenverarbeitungsvorrichtung 10 berechnete Müdigkeit als die Daten (Müdigkeitsniveau) berechnet, die einem Müdigkeitsgrad von einem Stadium eines Müdigkeitsanzeichens bis zu einem Döszustand entsprechen. Alternativ kann die von der Datenverarbeitungsvorrichtung 10 berechnete Müdigkeit als die Daten berechnet werden, die das Vorhandensein oder Nichtvorhandensein der Müdigkeit anzeigen.
In der Datenverarbeitungsvorrichtung 10 kann die Müdigkeit basierend auf der zweiten Technik selbst in der Situation berechnet werden, in der die Müdigkeit durch die erste Technik kaum mit hoher Genauigkeit berechnet wird, nämlich in der Situation, in der die Müdigkeit kaum mit hoher Genauigkeit basierend auf der vestibulookulären Reflexbewegung des Fahrers 3 berechnet wird. Somit kann die Müdigkeit immer mit hoher Genauigkeit in der tatsächlichen Fahrzeugumgebung berechnet werden, in der die komplizierte Augenbewegung und dergleichen erzeugt werden.
[Hardwarekonfigurationsbeispiel]
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration des Überwachungssystems 1 der Ausführungsform veranschaulicht.
Das Überwachungssystem 1 beinhaltet die Datenverarbeitungsvorrichtung 10 und die Kamera 20.
Die Datenverarbeitungsvorrichtung 10 ist mit einem Computer konstruiert, mit dem eine externe Schnittstelle (auch als externe I/F bezeichnet) 11, eine Steuereinheit 12 und eine Speichereinheit 13 elektrisch verbunden sind.
Die Steuereinheit 12 beinhaltet eine zentrale Verarbeitungseinheit (Central Processing Unit - CPU) 121, die ein Hardware-Prozessor ist, einen Direktzugriffsspeicher (Random Access Memory - RAM) 122, einen Nur-LeseSpeicher (Read Only Memory - ROM) 123 und führt verschiedene Arten von Steuerung gemäß der Datenverarbeitung aus. Beispielsweise kann die Steuereinheit 12 eine Vielzahl von Hardware-Prozessoren beinhalten. Zusätzlich zu der CPU 121 kann der Hardware-Prozessor einen Mikroprozessor und eine Grafikverarbeitungseinheit (Graphics Processing Unit - GPU) beinhalten.
Die Speichereinheit 13 ist mit mindestens einer Speichervorrichtung konstruiert, wie z. B. dem RAM, dem ROM, einem Festplattenlaufwerk (HDD), einem Solid-State-Laufwerk (SSD), einem Flash-Speicher und anderen flüchtigen oder nichtflüchtigen Speichern, die Daten durch eine Halbleitervorrichtung speichern können.
Die Speichereinheit 13 beinhaltet einen Bildspeicher 131, einen Speicher für erfasste Daten 132 und einen Speicher für berechnete Daten 133. Ein Programm 134 ist in der Speichereinheit 13 gespeichert. Das Programm 134 ist ein Programm, das eine Anweisung beinhaltet, um die Datenverarbeitungsvorrichtung 10 dazu zu veranlassen, verschiedene Elemente von Datenverarbeitung zum Überwachen des Fahrers 3 auszuführen. Das Programm 134 kann in dem ROM 123 der Steuereinheit 12 gespeichert sein. Jede Einheit der Speichereinheit 13 kann in dem RAM 122 der Steuereinheit 12 bereitgestellt werden.
Die externe I/F 11 ist eine Schnittstelle, die die Datenverarbeitungsvorrichtung 10 mit verschiedenen in dem Fahrzeug 2 montierten Vorrichtungen verbindet und dazu entsprechend gemäß der verbundenen Vorrichtung eingerichtet ist. Beispielsweise ist die externe I/F 11 mit der Kamera 20, dem bordeigenen Sensor 30, dem Startschalter 40, der Navigationsvorrichtung 50, der elektronischen Steuereinheit 60 und der Weckvorrichtung 70 über ein bordeigenes Netzwerk, wie z. B. ein Controller Area Network (CAN), verbunden. Die externe I/F 11 kann in jeder verbundenen Vorrichtung bereitgestellt werden. Eine andere Vorrichtung als die vorstehenden Vorrichtungen kann mit der externen I/F 11 verbunden werden.
Die Kamera 20 ist eine Vorrichtung, die ein Bild aufnimmt, das ein Gesicht des Fahrers 3 enthält. Beispielsweise beinhaltet die Kamera 20 eine Linseneinheit (nicht veranschaulicht), eine Bildgebungselementeinheit (nicht veranschaulicht), eine Lichtbestrahlungseinheit (nicht veranschaulicht), eine Steuereinrichtung (nicht veranschaulicht), die diese Komponenten steuert. Beispielsweise beinhaltet die Bildgebungselementeinheit ein Bildgebungselement wie z. B. eine ladungsgekoppelte Vorrichtung (Charge Coupled Device - CCD) und einen komplementären Metalloxid-Halbleiter (Complementary Metal Oxide Semiconductor - CMOS), einen Filter und eine Mikrolinse.
Die Bildgebungselementeinheit kann einen Infrarotsensor, wie z. B. die CCD, den CMOS oder eine Fotodiode, beinhalten, der das aufgenommene Bild durch Empfangen eines ultravioletten Strahls oder eines Infrarotstrahls bilden kann, zusätzlich zu dem Bildgebungselement, das dazu in der Lage ist, Licht in einem sichtbaren Bereich zum Bilden des aufgenommenen Lichts zu empfangen.
Die Lichtbestrahlungseinheit beinhaltet ein Licht emittierendes Element, wie z. B. eine Leuchtdiode (LED), und eine Infrarot-LED oder dergleichen kann als Lichtbestrahlungseinheit verwendet werden, so dass der Zustand des Fahrers unabhängig von Tag oder Nacht aufgenommen werden kann. Die Steuereinrichtung beinhaltet eine CPU, einen Speicher und eine Bildverarbeitungsschaltung .
Die Steuereinrichtung steuert die Bildgebungselementeinheit und die Lichtbestrahlungseinheit, um das Licht (beispielsweise einen Nah-Infrarotstrahl) von der Lichtbestrahlungseinheit auszugeben, und führt eine Steuerung derart durch, dass die Bildgebungselementeinheit das Bild unter Verwendung von reflektiertem Licht aufnimmt. Die Kamera 20 nimmt das Bild mit einer vorgegebenen Bildfrequenz (beispielsweise 30 bis 60 Einzelbilder pro Sekunde) auf, und die von der Kamera 20 aufgenommenen Bilddaten werden an die Datenverarbeitungsvorrichtung 10 ausgegeben und in dem Bildspeicher 131 gespeichert.
Obwohl die Kamera 20 mit einer Kamera konstruiert ist, kann die Kamera 20 mit mindestens zwei Kameras konstruiert sein. Die Kamera 20 kann getrennt von der Datenverarbeitungsvorrichtung 10 (separates Gehäuse) eingerichtet sein oder kann in die Datenverarbeitungsvorrichtung 10 (identisches Gehäuse) integriert sein. Die Kamera 20 kann eine monokulare Kamera oder eine Stereokamera sein.
Eine Einbauposition der Kamera 20 in einem Fahrgastraum ist nicht besonders eingeschränkt, solange die Einbauposition eine Position ist, an der das Bild eines Gesichtsfeldes, das mindestens das Gesicht des Fahrers 3 enthält, aufgenommen werden kann. Beispielsweise kann die Kamera 20 zusätzlich zu einer Nähe einer Mitte eines Armaturenbretts des Fahrzeugs 2 in einem Lenkabschnitt, einem Lenksäulenabschnitt, einem Instrumententafelabschnitt, einer Position in der Nähe eines Innenspiegels, einem A-Säulenabschnitt und der Navigationsvorrichtung 50 installiert sein. Informationen, die eine Spezifikation der Kamera 20 (wie z. B. einen Blickwinkel und eine Anzahl von Pixeln (Länge × Breite)) und eine Positionslage (wie z. B. einen Montagewinkel und einen Abstand von einem vorgegebenen Ursprung (wie z. B. eine Griffmittenposition)) enthalten, können in der Kamera 20 oder der Datenverarbeitungsvorrichtung 10 gespeichert sein.
Der bordeigene Sensor 30 beinhaltet einen Fahrzeugaußensensor 31, einen Beschleunigungssensor 32, einen Gyrosensor 33 und einen Lenksensor 34. Alternativ kann der bordeigene Sensor 30 andere Sensoren beinhalten.
Der Fahrzeugaußensensor 31 ist ein Sensor, der das Objekt ermittelt, das um das Fahrzeug 2 herum vorhanden ist. Zusätzlich zu einem sich bewegenden Objekt, wie z. B. einem anderen Fahrzeug, einem Fahrrad und einer Person, kann das Objekt Strukturen beinhalten, die das Fahren des Fahrzeugs 2 beeinflussen, einschließlich Straßenmarkierungen, wie z. B. weißen Linien, einer Leitplanke und einem Mittelstreifen. Der Fahrzeugaußensensor 31 ist dazu eingerichtet, mindestens eine von einer vorderen Überwachungskamera, einer hinteren Überwachungskamera, einem Radar, einen Lichtermittlungs- und -entfernungsmessungs- oder Laser-Bildgebungsermittlungs- und -entfernungsmessungsgerät (LIDAR) und einen Ultraschallsensor zu beinhalten. Ermittlungsdaten des durch den Fahrzeugaußensensor 31 ermittelten Objekts können zusätzlich zu der Ausgabe an die Datenverarbeitungsvorrichtung 10 an die elektronische Steuereinheit 60 ausgegeben werden.
Eine Stereokamera oder eine monokulare Kamera kann als die vordere Überwachungskamera und die hintere Überwachungskamera verwendet werden. Das Radar sendet eine Funkwelle, wie z. B. eine Millimeterwelle, an die Umgebung des Fahrzeugs und ermittelt die Position, Richtung und Entfernung des Objekts, indem es die von dem um das Fahrzeug vorhandenen Objekt reflektierte Funkwelle empfängt. Das LIDAR sendet Laserlicht in die Umgebung des Fahrzeugs und ermittelt Position, Richtung und Entfernung des Objekts, indem es das von dem um das Fahrzeug vorhandenen Objekt reflektierte Licht empfängt.
Der Beschleunigungssensor 32 ist ein Sensor, der die Beschleunigung des Fahrzeugs 2 ermittelt. Ein dreiachsiger Beschleunigungssensor, der die Beschleunigung in drei Richtungen der X-, Y- und Z-Achsen ermittelt, ein zweiachsiger Beschleunigungssensor und ein einachsiger Beschleunigungssensor können als Beschleunigungssensor 32 verwendet werden. Zusätzlich zu dem Kapazitätstyp kann ein Beschleunigungssensor vom Halbleitertyp, wie z. B. ein piezoresistiver Typ, als dreiachsiger Beschleunigungssensor verwendet werden. Von dem Beschleunigungssensor 32 ermittelte Beschleunigungsdaten können zusätzlich zu der Ausgabe an die Datenverarbeitungsvorrichtung 10 an die Navigationsvorrichtung 50 oder die elektronische Steuereinheit 60 ausgegeben werden.
Der Gyrosensor 33 ist ein Winkelgeschwindigkeitssensor, der eine Drehwinkelgeschwindigkeit (beispielsweise eine Gierrate) des Fahrzeugs 2 ermittelt. Ein Signal der Drehwinkelgeschwindigkeit, das von dem Gyrosensor 33 ermittelt wird, kann zusätzlich zu der Ausgabe an die Datenverarbeitungsvorrichtung 10 an die Navigationsvorrichtung 50 oder die elektronische Steuereinheit 60 ausgegeben werden.
Der Lenksensor 34 ist ein Sensor, der einen Lenkbetrag in Bezug auf das Lenkrad des Fahrzeugs 2 ermittelt. Beispielsweise ist der Lenksensor 34 an einer Lenkwelle des Fahrzeugs 2 bereitgestellt und ermittelt ein Lenkmoment, das der Fahrer 3 dem Lenkrad gibt, oder einen Lenkwinkel des Lenkrads. Ein Signal, das einem Lenkvorgang des Fahrers 3 entspricht und von dem Lenksensor 34 ermittelt wird, kann zusätzlich zu der Ausgabe an die Datenverarbeitungsvorrichtung 10 an die elektronische Steuereinheit 60 ausgegeben werden.
Die Navigationsvorrichtung 50 beinhaltet eine Steuereinrichtung (nicht veranschaulicht), ein Display (nicht veranschaulicht), eine Audioausgabeeinheit (nicht veranschaulicht), eine Bedieneinheit (nicht veranschaulicht), einen Kartendatenspeicher (nicht veranschaulicht) und einen GPS-Empfänger (nicht veranschaulicht). Basierend auf Positionsinformationen über das Fahrzeug 2, die von dem GPS-Empfänger gemessen werden, und Karteninformationen des Kartendatenspeichers identifiziert die Navigationsvorrichtung 50 beispielsweise die Straße und die Fahrspur, auf der das Fahrzeug 2 fährt, berechnet eine Route aus einer aktuellen Position des Fahrzeugs 2 zu einem Zielort, zeigt die Route auf dem Display an und gibt einen Ton, wie z. B. eine Routenführung aus der Tonausgabeeinheit, aus. Die Positionsinformationen über das Fahrzeug 2, die Informationen über die Fahrstraße und die Informationen über die geplante Fahrstrecke, die von der Navigationsvorrichtung 50 erhalten werden, werden an die Datenverarbeitungsvorrichtung 10 ausgegeben.
Die elektronische Steuereinheit 60 ist mit mindestens einer Computervorrichtung konstruiert, die jede Einheit des Fahrzeugs 2 steuert, wie z. B. die Antriebseinheit, die Bremseinheit, die Lenkeinheit und die Aufhängungseinheit des Fahrzeugs 2.
Die Datenverarbeitungsvorrichtung 10 speichert die von dem bordeigenen Sensor 30, der Navigationsvorrichtung 50 und der elektronischen Steuereinheit 60 erfassten Daten in dem Speicher für erfasste Daten 132.
Die Weckvorrichtung 70 ist eine von der Datenverarbeitungsvorrichtung 10 gesteuerte Vorrichtung und führt einen Vorgang aus, um den Fahrer 3 basierend auf einem Steuersignal von der Datenverarbeitungsvorrichtung 10 zu wecken. Beispielsweise kann die Weckvorrichtung 70 mit einer Alarmvorrichtung konstruiert sein, die dem Fahrer 3 durch Ton oder Licht einen Alarm ausgibt. Alternativ kann die Weckvorrichtung 70 mit einer Klimaanlage konstruiert sein, die zu dem Fahrer 3 kalte Luft, warme Luft oder Gas, das eine Aromakomponente oder eine Geruchskomponente enthält, bläst. Alternativ kann die Weckvorrichtung 70 mit einer Vibrationsvorrichtung konstruiert sein, die ein Lenkrad, einen Sicherheitsgurt, einen Sitz oder dergleichen in Vibration versetzt.
[Funktionskonfigurationsbeispiel]
3 ist ein Blockdiagramm, das ein Beispiel einer funktionellen Konfiguration der Steuerungseinrichtung 12 in der Datenverarbeitungsvorrichtung 10 der Ausführungsform veranschaulicht.
Die Steuereinheit 12 der Datenverarbeitungsvorrichtung 10 entwickelt das in der Speichereinheit 13 von 2 gespeicherte Programm 134 im RAM 122. Die Steuereinheit 12 interpretiert unter Verwendung der CPU 121 das im RAM 122 entwickelte Programm 134 und führt es aus, und steuert dadurch jede Einheit.
Folglich ist die Datenverarbeitungsvorrichtung 10 als Computer konstruiert, in dem die Steuereinheit 12 eine Bilderfassungseinheit 12a, eine Datenerfassungseinheit 12b, einen Rechner 12c, eine Eignungsgradauswerteeinrichtung 12d, eine Bereitstellungseinheit 12e, eine Auswahleinrichtung 12f, einen ersten Müdigkeitsrechner 12g, einen VOR-Rechner 12h, einen zweiten Müdigkeitsrechner 12i, einen Sakkadenbewegungsrechner 12j, einen Augenlidbewegungsrechner 12k und eine Wecksteuereinrichtung 12m in 3 beinhaltet. Diese in der Steuereinheit 12 bereitgestellten Einheiten können als Softwaremodule eingerichtet sein.
Die Bilderfassungseinheit 12a erfasst das aufgenommene Bild von der Kamera 20. Die Daten des aufgenommenen Bildes, das von der Bilderfassungseinheit 12a erfasst wurde, werden an den Rechner 12c ausgegeben. Die Daten des aufgenommenen Bildes, das von der Bilderfassungseinheit 12a erfasst wurde, können in dem Bildspeicher 131 gespeichert werden und von dem Bildspeicher 131 an den Rechner 12c ausgegeben werden.
Die Datenerfassungseinheit 12b erfasst die Daten, die den Zustand des Fahrzeugs 2 anzeigen, von dem bordeigenen Sensor 30, dem Startschalter 40, der Navigationsvorrichtung 50, der elektronischen Steuereinheit 60 und dergleichen. Die Daten, die den Zustand des Fahrzeugs 2 anzeigen und von der Datenerfassungseinheit 12b erfasst werden, werden an die Eignungsgradauswerteeinrichtung 12d ausgegeben. Die Daten, die den Zustand des Fahrzeugs 2 anzeigen und von der Datenerfassungseinheit 12b erfasst werden, können in dem Speicher für erfasste Daten 132 gespeichert werden und von dem Speicher für erfasste Daten 132 an die Eignungsgradauswerteeinrichtung 12d ausgegeben werden.
Der Rechner 12c führt eine Verarbeitung zum Berechnen der Pupillenbewegung und der Kopfbewegung des Fahrers 3 durch. In der Ausführungsform werden die Pupillenbewegung und die Kopfbewegung des Fahrers 3 durch Bildanalyse des aufgenommenen Bildes berechnet, das von der Kamera 20 erfasst wurde. Beispielsweise wird die Berechnungsverarbeitung in jedem Einzelbild des aufgenommenen Bildes ausgeführt. Alternativ kann die Berechnungsverarbeitung in vorgegebenen Einzelbildintervallen durchgeführt werden.
Ein Beispiel der Pupillenbewegungsberechnungsverarbeitung, die von dem Rechner 12c durchgeführt wird, wird nachstehend beschrieben.
Der Rechner 12c ermittelt durch Vorlagenabgleich („Template Matching“) das Gesicht (beispielsweise einen Gesichtsbereich) des Fahrers 3 aus dem Bild, das von der Kamera 20 aufgenommen wurde. Der Gesichtsbereich kann unter Verwendung eines Vorlagenbildes eines zuvor vorbereiteten Gesichts ermittelt werden. Anschließend ermittelt der Rechner 12c die Position der Pupille aus dem Gesichtsbereich des Fahrers 3 durch Ausführen des Vorlagenabgleichs an dem Gesichtsbereich des Fahrers 3, der aus dem aufgenommenen Bild ermittelt wurde. Die Position der Pupille kann unter Verwendung des zuvor erstellten Vorlagenbildes der Pupille ermittelt werden. Der Rechner 12c ermittelt die Position der Pupille des Fahrers 3 in jedem Einzelbild des aufgenommenen Bildes und berechnet die Pupillenbewegung (beispielsweise Augenwinkelgeschwindigkeit) aus der Positionsänderung (Bewegungsbetrag) der Pupille für jedes Einzelbild.
Ein Beispiel der Kopfbewegungsberechnungsverarbeitung, die von dem Rechner 12c durchgeführt wird, wird nachstehend beschrieben.
Der Rechner 12c ermittelt durch Vorlagenabgleich das Gesicht (beispielsweise einen Gesichtsbereich) des Fahrers 3 aus dem von der Kamera 20 aufgenommenen Bild. Der Gesichtsbereich kann unter Verwendung eines Vorlagenbildes eines zuvor vorbereiteten Gesichts ermittelt werden. Die durch die vorstehende Verarbeitung zum Berechnen der Pupillenbewegung ermittelten Daten des Gesichtsbereichs des Fahrers 3 können verwendet werden.
Anschließend ermittelt der Rechner 12c die Position des Auges aus dem Gesichtsbereich durch Ausführen des Vorlagenabgleichs an dem aus dem erfassten Bild ermittelten Gesichtsbereich des Fahrers 3. Die Position des Auges kann unter Verwendung des zuvor vorbereiteten Vorlagenbildes des Auges ermittelt werden. In dem Vorlagenbild des Auges werden beispielsweise Koordinaten, die die Positionen des äußeren Augenwinkels und des inneren Augenwinkels anzeigen, zuvor miteinander verknüpft. Die Positionen der äußeren und inneren Augenwinkel des Fahrers 3 in dem aufgenommenen Bild können aus den Koordinaten der äußeren und inneren Augenwinkel in dem Vorlagenbild des Auges ermittelt werden. Da sich die Positionen der äußeren und inneren Augenwinkel aufgrund von Öffnungs- und Schließbewegungen des Auges, wie z. B. Blinzeln, nicht bewegen, wird angenommen, dass die Positionsänderungen der äußeren und inneren Augenwinkel durch die Kopfbewegung bewegt werden.
Der Rechner 12c ermittelt die Positionen der äußeren und inneren Winkel des Fahrers 3 in jedem Einzelbild des aufgenommenen Bildes und berechnet die Kopfbewegung (beispielsweise Kopfbewegungswinkelgeschwindigkeit) aus den Positionsänderungen (Bewegungsbetrag) der äußeren und inneren Augenwinkel für jedes Einzelbild. Die Position des äußeren Augenwinkels oder des inneren Augenwinkels kann ermittelt werden.
Zusätzlich zur Verwendung von zweidimensionalen Bilddaten können die Positionen der äußeren und inneren Augenwinkel des Fahrers 3 aus dem aufgenommenen Bild in Kombination mit Entfernungsbilddaten, die dreidimensionale Positionsinformationen beinhalten, ermittelt werden.
Zur Erfassung der Entfernungsbilddaten kann das Überwachungssystem 1 beispielsweise mit einer dreidimensionalen Bildmesseinheit ausgestattet sein. Die dreidimensionale Bildmesseinheit ist dazu eingerichtet, ein dreidimensionales Bild (Entfernungsbild) zu erfassen, in dem jedes Pixel des aufgenommenen Bildes einen Wert (Information über eine Tiefe) der Entfernung zu dem Objekt hat. Beispielsweise kann die dreidimensionale Bildmesseinheit eine Messeinheit vom passiven Typ sein, wie z. B. ein Stereoverfahren oder eine Messeinheit vom aktiven Typ eines Systems, das Licht, wie z. B. optisches Radar- oder Musterlicht, projiziert.
Ob die Positionsänderungen der äußeren und inneren Augenwinkel des Fahrers 3 durch eine parallele Bewegung (Auf-Ab-Bewegung oder Rechts-Links-Bewegung) oder Rotationsbewegung (Bewegung in Gier- oder Neigungsrichtung) des Kopfes verursacht werden, kann durch Kombinieren des zweidimensionalen Bildes und des Entfernungsbildes auf diese Weise genau ermittelt werden. Mit dieser Konfiguration können die Pupillenbewegung und die Kopfbewegung genauer berechnet werden, und die Überwachungsgenauigkeit der vestibulookulären Reflexbewegung kann weiter verbessert werden.
Die Verarbeitung zum Berechnen der Pupillenbewegung und der Kopfbewegung des Fahrers 3 ist nicht auf das vorstehende Beispiel beschränkt, sondern es können verschiedene bekannte Techniken angewandt werden. Wie beispielsweise in der internationalen Veröffentlichung Nr. 2006/051607 und der japanischen ungeprüften Patentveröffentlichung Nr. 2007-249280 offenbart, wird in jedem Einzelbild des Bildes ein Merkmalspunkt jedes Organs (wie z. B. Augen, ein Mund, eine Nase und Ohren) eines Gesichts ermittelt, eine Richtung des Gesichts wird aus der Position des Merkmalspunkts jedes Gesichtsorgans erhalten, und die Kopfbewegung kann aus der Änderung (Bewegungsbetrag) der Richtung des Gesichts in jedem Einzelbild berechnet werden.
Zusätzlich zu der Konfiguration, die die Pupillenbewegung und die Kopfbewegung des Fahrers 3 in jedem Einzelbild berechnet, kann der Rechner 12c die Konfiguration beinhalten, die einen aus dem aufgenommenen Bild ermittelten Bereich (die Anzahl von Pixeln) der Pupille in jedem Einzelbild berechnet, oder die Konfiguration, die ein aus dem aufgenommenen Bild ermitteltes Verhältnis zwischen dem Längsdurchmesser und dem Querdurchmesser (Längsdurchmesser/Querdurchmesser) der Pupille berechnet. Der Rechner 12c kann die Konfiguration beinhalten, die Informationen über die Blickrichtung und das Öffnen und Schließen der Augen berechnet. Die Pupillenbewegung des Fahrers 3 wird durch die Bildanalyse des von der Kamera 20 erfassten aufgenommenen Bildes berechnet, und die Kopfbewegung des Fahrers 3 kann basierend auf den Daten berechnet werden, die von einem an dem Kopf des Fahrers 3 angebrachten Gyrosensor oder dergleichen erfasst werden.
Die Daten (berechnete Daten), die sich auf die Pupillenbewegung und die Kopfbewegung des Fahrers 3 beziehen und von dem Rechner 12c berechnet werden, werden an die Bereitstellungseinheit 12e und die Eignungsgradauswerteeinrichtung 12d ausgegeben.
Die Eignungsgradauswerteeinrichtung 12d nimmt die Daten auf, die den Zustand des Fahrzeugs 2 anzeigen und von der Datenerfassungseinheit 12b erfasst werden, und die Daten, die den Zustand des Fahrers 3 anzeigen und von dem Rechner 12c berechnet werden, und führt die Verarbeitung zum Bewerten des Eignungsgrades der Situation unter Verwendung dieser Datenelemente durch, wenn die vestibulookuläre Reflexbewegung des Fahrers 3 berechnet wird. Beispielsweise bewertet die Eignungsgradauswerteeinrichtung 12d den Eignungsgrad durch Bestimmen, ob sich der Zustand des Fahrers 3 oder der Zustand des Fahrzeugs 2 in einem vorgegebenen Zustand befindet, der für die Berechnung der vestibulookulären Reflexbewegung geeignet ist.
Der vorstehende vorgegebene Zustand beinhaltet den Zustand, in dem der Kopf des Fahrers 3 leicht in Vibration versetzt wird, nämlich den Zustand, in dem eine Signalkomponente der vestibulookulären Reflexbewegung, insbesondere der Verschiebungsbetrag, ansteigt. Genauer gesagt beinhaltet der vorgegebene Zustand den Zustand, in dem der Kopf des Fahrers 3 leicht in der Auf-Ab-Richtung, der Rechts-Links-Richtung, der Vor-Zurück-Richtung oder in der Gier- oder Neigungsrichtung verschoben oder vibriert wird.
Der vorgegebene Zustand beinhaltet auch den Zustand, in dem die andere Augenbewegung (beispielsweise die sakkadische Bewegung oder die Kongestionsbewegung), die nicht die vestibulookuläre Reflexbewegung ist, kaum erzeugt wird, nämlich den Zustand, in dem die Rauschkomponente der vestibulookulären Reflexbewegung klein wird. Genauer gesagt beinhaltet der vorgegebene Zustand den Zustand, in dem das Fahrzeug 2 auf einer geraden Straße fährt, oder den Zustand, in dem der Fahrer 3 auf einen bestimmten Punkt schaut.
Ein Beispiel der Verarbeitung, die von der Eignungsgradauswerteeinrichtung 12d durchgeführt wird, wird nachstehend beschrieben.
(1) Die Eignungsgradauswerteeinrichtung 12d bestimmt, ob die Pupillenbewegung und die Kopfbewegung des Fahrers 3 von dem Rechner 12c berechnet werden können. Wenn die Pupillenbewegung und die Kopfbewegung nicht ordnungsgemäß berechnet werden, kann die vestibulookuläre Reflexbewegung nicht berechnet werden.
In dem Fall, in dem die berechneten Daten von dem Rechner 12c erfasst werden, bestimmt die Eignungsgradauswerteeinrichtung 12d eine Ähnlichkeit zwischen dem durch den Vorlagenabgleich aus dem Bild extrahierten Gesichtsbereich und dem Vorlagenbild des Gesichts oder eine Ähnlichkeit zwischen dem aus dem Bild extrahierten Augenbereich und dem Vorlagenbild des Auges. In dem Fall, in dem jede Ähnlichkeit niedriger als ein vorgegebener Schwellenwert ist, kann bewertet werden, dass die Position des Kopfes (das Auge, nämlich die äußeren und inneren Augenwinkel) oder die Position der Pupille aus dem Bild nicht ordnungsgemäß erfasst werden können, das heißt, dass die berechneten Daten als ungeeignet als Zustand zum Berechnen der vestibulookulären Reflexbewegung bewertet werden können (beispielsweise weist die Ähnlichkeit keine Eignung auf oder die Eignung ist gering).
(2) Die Eignungsgradauswerteeinrichtung 12d kann bestimmen, ob die Daten der Pupillenbewegung die Daten sind, die viele Rauschkomponenten enthalten, wie z. B. die andere Augenbewegung, die nicht die vestibulookuläre Reflexbewegung ist, nämlich die sakkadische Bewegung.
Beispielsweise in dem Fall, in dem die Augenbewegung, wie z. B. die Rotationsgeschwindigkeit oder der Rotationswinkel des Auges, größer als ein vorgegebener Schwellenwert ist, wie z. B. in dem Fall, in dem der Pupillenimpuls größer als der Kopfimpuls ist, oder in dem Fall, in dem sich die Pupille bewegt oder dreht, indem sie der Bewegung oder der Drehrichtung des Kopfes folgt (d. h. in der im Wesentlichen identischen Richtung), beinhalten die Daten der Pupillenbewegung viele Rauschkomponenten, wie z. B. die sakkadische Bewegung. In einem solchen Fall können die Daten der Pupillenbewegung als ungeeignet als Zustand zum Berechnen der vestibulookulären Reflexbewegung bewertet werden.
Wenn sich die Richtung des Gesichts stark bewegt, weil sich der Fahrer 3 nicht in dem Zustand der Konzentration auf eine bestimmte Richtung befindet, beinhalten die Daten der Kopfbewegung viele Rauschkomponenten in dem Fall, in dem die Kopfbewegung, wie z. B. die Drehgeschwindigkeit und der Drehwinkel des Gesichts, größer als ein vorgegebener Schwellenwert ist. In einem solchen Fall können die Daten der Pupillenbewegung als ungeeignet als Zustand zum Berechnen der vestibulookulären Reflexbewegung bewertet werden.
(3) Die Eignungsgradauswerteeinrichtung 12d kann die Fahrzeuggeschwindigkeitsdaten durch die Datenerfassungseinheit 12b in Übereinstimmung mit einem in dem Rechner 12c vorgenommenen Erfassungszyklus des aufgenommenen Bildes erfassen und bestimmen, ob die Fahrzeuggeschwindigkeitsdaten kleiner als eine vorgegebene Geschwindigkeit sind, oder ob die Fahrzeuggeschwindigkeitsdaten größer als die vorgegebene Geschwindigkeit sind. Durch diese Bestimmung kann bewertet werden, ob die von dem Rechner 12c berechneten Daten die für die Berechnung der vestibulookulären Reflexbewegung geeigneten Daten sind, nämlich der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung (beispielsweise das Vorhandensein oder Nichtvorhandensein der Eignung, der Eignungsgrad gemäß der binären Bestimmung, wie z. B. der Eignungsstufe, oder der Eignungsgrad durch die mehrstufige Bestimmung, wie z. B. die Eignungsrate).
In dem Fall, in dem die Fahrzeuggeschwindigkeit hoch ist, neigt der Fahrer 3 im Allgemeinen dazu, sich auf einen engen Vorwärtsbereich zu konzentrieren. Andererseits neigt der Fahrer 3 in dem Fall, in dem die Fahrzeuggeschwindigkeit niedrig ist, dazu, freiwillig über einen weiten Bereich zu blicken, um die Umgebungssicherheit zu gewährleisten. Vorzugsweise werden in dem Fall, in dem die vestibulookuläre Reflexbewegung berechnet wird, die Daten der Augenbewegung und der Kopfbewegung in dem Zustand, in dem sich der Fahrer 3 auf das Beobachten des engen Bereichs konzentriert, berechnet.
Die Eignungsgradauswerteeinrichtung 12d kann bewerten, dass die Fahrzeuggeschwindigkeitsdaten nicht als Zustand zum Berechnen der vestibulookulären Reflexbewegung in dem Fall geeignet sind, in dem die Fahrzeuggeschwindigkeitsdaten kleiner als eine vorgegebene Geschwindigkeit sind (beispielsweise eine langsame Geschwindigkeit), und bewerten, dass die Fahrzeuggeschwindigkeitsdaten als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet sind, wenn die Fahrzeuggeschwindigkeitsdaten größer als die vorgegebene Geschwindigkeit sind.
Die Eignungsgradauswerteeinrichtung 12d führt nicht die binäre Bestimmung der Eignung mit der vorgegebenen Geschwindigkeit als Schwellenwert durch, sondern kann einen nach der Fahrzeuggeschwindigkeit gewichteten Gewichtungskoeffizienten als Eignungsgrad verwenden. Beispielsweise wird der Gewichtungskoeffizient auf 0,2 gesetzt, wenn die Fahrzeuggeschwindigkeit während der Berechnung der Pupillenbewegung und der Kopfbewegung unter Verwendung des Rechners 12c zwischen 0 km/h und 20 km/h liegt, der Gewichtungskoeffizient wird auf 0,5 gesetzt, wenn die Fahrzeuggeschwindigkeit zwischen 20 km/h und 40 km/h liegt, und der Gewichtungskoeffizient wird auf 0,8 gesetzt, wenn die Fahrzeuggeschwindigkeit zwischen 40 km/h und 60 km/h liegt, der Gewichtungskoeffizient wird auf 1,0 gesetzt, wenn die Fahrzeuggeschwindigkeit größer als oder gleich 60 km/h ist, und diese Gewichtskoeffizienten können als Eignungsgrad verwendet werden.
(4) Die Eignungsgradauswerteeinrichtung 12d kann die Lenkdaten durch die Datenerfassungseinheit 12b in Übereinstimmung mit dem in dem Rechner 12c vorgenommenen Erfassungszyklus des aufgenommenen Bildes erfassen und bestimmen, ob die Lenkdaten größer als ein vorgegebener Lenkwinkel sind. Durch diese Bestimmung kann bewertet werden, ob die von dem Rechner 12c berechneten Daten die für die Berechnung der vestibulookulären Reflexbewegung geeigneten Daten sind, nämlich der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung (beispielsweise das Vorhandensein oder Nichtvorhandensein der Eignung, der Eignungsgrad gemäß der binären Bestimmung, wie z. B. der Eignungsstufe, oder der Eignungsgrad durch die mehrstufige Bestimmung, wie z. B. die Eignungsrate).
Vorzugsweise werden in dem Fall, in dem die vestibulookuläre Reflexbewegung berechnet wird, die Daten der Augenbewegung und der Kopfbewegung in dem Zustand verwendet, in dem sich der Fahrer 3 auf die Beobachtung des vorderen engen Bereichs konzentriert. Eine Tendenz für den Fahrer 3, sich auf den vorderen engen Bereich zu konzentrieren, ist hoch in dem Fall, in dem das Fahrzeug 2 auf der geraden Straße fährt, anders als in dem Fall, in dem das Fahrzeug 2 auf einer Straße mit kontinuierlichen Kurven fährt. Die Eignungsgradauswerteeinrichtung 12d kann in dem Fall, in dem die Lenkdaten größer als der vorgegebene Lenkwinkel sind, bewerten, dass die Lenkdaten nicht als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet sind.
(5) Die Eignungsgradauswerteeinrichtung 12d kann die Positionsdaten des Fahrzeugs 2 oder die Fahrstraßendaten durch die Datenerfassungseinheit 12b in Übereinstimmung mit dem in dem Rechner 12c vorgenommenen Erfassungszyklus des aufgenommenen Bildes erfassen und bestimmen, ob das Fahrzeug 2 momentan auf der geraden Straße fährt. Durch diese Bestimmung kann bewertet werden, ob die von dem Rechner 12c berechneten Daten die für die Berechnung der vestibulookulären Reflexbewegung geeigneten Daten sind, nämlich der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung (beispielsweise das Vorhandensein oder Nichtvorhandensein der Eignung, der Eignungsgrad gemäß der binären Bestimmung, wie z. B. der Eignungsstufe, oder der Eignungsgrad durch die mehrstufige Bestimmung, wie z. B. die Eignungsrate). Die Positionsdaten des Fahrzeugs 2 oder die Fahrstraßendaten werden von der Navigationsvorrichtung 50 erfasst.
Eine Tendenz für den Fahrer 3, sich auf den vorderen engen Bereich zu konzentrieren, ist hoch in dem Fall, in dem das Fahrzeug 2 auf der geraden Straße fährt, anders als in dem Fall, in dem das Fahrzeug 2 auf einer Straße mit kontinuierlichen Kurven fährt. In dem Fall, in dem das Fahrzeug 2 nicht auf der geraden Straße fährt, kann die Eignungsgradauswerteeinrichtung 12d bewerten, dass die Positionsdaten des Fahrzeugs 2 oder die Fahrstraßendaten nicht als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet sind.
(6) Die Eignungsgradauswerteeinrichtung 12d kann die von dem Fahrzeugaußensensor 31 erfassten Umgebungsüberwachungsdaten durch die Datenerfassungseinheit 12b in Übereinstimmung mit dem in dem Rechner 12c vorgenommenen Erfassungszyklus des aufgenommenen Bildes erfassen und bestimmen, ob um das Fahrzeug 2 herum ein Hindernis oder ein vorausfahrendes Fahrzeug vorhanden ist. Durch diese Bestimmung kann bewertet werden, ob die von dem Rechner 12c berechneten Daten die für die Berechnung der vestibulookulären Reflexbewegung geeigneten Daten sind, nämlich der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung (beispielsweise das Vorhandensein oder Nichtvorhandensein der Eignung, der Eignungsgrad gemäß der binären Bestimmung, wie z. B. der Eignungsstufe, oder der Eignungsgrad durch die mehrstufige Bestimmung, wie z. B. die Eignungsrate).
In dem Fall, in dem das vorausfahrende Fahrzeug oder das sich relativ zu dem Fahrzeug 2 bewegende Hindernis vorhanden ist, neigt der Fahrer 3 dazu, dem sich relativ bewegenden vorausfahrenden Fahrzeug oder Hindernis visuell zu folgen, und die Augen des Fahrers 3 bewegen sich aktiv. Der Zustand, in dem sich die Augen aktiv bewegen, ist nicht in dem zum Berechnen der vestibulookulären Reflexbewegung geeigneten Zustand. Aus diesem Grund kann in dem Fall, in dem das vorausfahrende Fahrzeug oder das sich relativ zu dem Fahrzeug 2 bewegende Hindernis ermittelt wird, die Eignungsgradauswerteeinrichtung 12d bewerten, dass der Fall, in dem sich das vorausfahrende Fahrzeug oder das Hindernis relativ zu dem Fahrzeug 2 bewegt, nicht als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet ist.
(7) Die Eignungsgradauswerteeinrichtung 12d kann die Blickrichtung des Fahrers 3 von dem Rechner 12c erfassen und basierend auf der Blickrichtung des Fahrers 3 bewerten, ob die von dem Rechner 12c berechneten Daten die für die Berechnung der vestibulookulären Reflexbewegung geeigneten Daten sind, nämlich den Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung (beispielsweise das Vorhandensein oder Nichtvorhandensein der Eignung, der Eignungsgrad gemäß der binären Bestimmung, wie z. B. der Eignungsstufe, oder der Eignungsgrad durch die mehrstufige Bestimmung, wie z. B. die Eignungsrate). Ein bekanntes Blickrichtungsermittlungsverfahren wird als Verfahren zum Bewerten der Blickrichtung des Fahrers 3 aus dem Bild verwendet, in dem das Gesicht des Fahrers 3 aufgenommen wird.
In dem Fall, in dem der Fahrer 3 beispielsweise auf einen entfernten vorderen Ort blickt, wie z. B. eine Richtung des Horizonts, besteht eine hohe Wahrscheinlichkeit, dass sich der Fahrer 3 darauf konzentriert, nach vorne zu blicken. Beispielsweise in dem Fall, in dem die Blickrichtung in einen vorgegebenen Winkel fällt (beispielsweise ±5 Grad in der vertikalen Richtung oder ±5 Grad in der Rechts-Links-Richtung) in Bezug auf die Frontrichtung (Bezugsrichtung) des Fahrzeugs, kann der Fall, in dem der Fahrer 3 auf den entfernten vorderen Ort blickt, als geeignet als Zustand, in dem sich der Fahrer 3 nach vorne konzentriert, nämlich als Zustand zum Berechnen der vestibulookulären Reflexbewegung, bewertet werden.
In dem Fall, in dem der Fahrer 3 auf die Bedieneinheit oder das Display in dem Fahrzeug, wie z. B. die Navigationsvorrichtung 50, blickt, besteht eine hohe Wahrscheinlichkeit, dass der Fahrer 3 den schmalen Bereich sorgfältig anschaut. Somit kann beispielsweise der Fall, in dem die Blickrichtung des Fahrers 3 die Einbaurichtung der Navigationsvorrichtung 50 oder dergleichen ist, als geeignet als Zustand zum Berechnen der vestibulookulären Reflexbewegung bewertet werden. Der Fall, in dem die vestibulookuläre Reflexbewegung aus den beim sorgfältigen Anschauen der Geräte in dem Fahrzeug berechneten Daten berechnet wird, wird vorzugsweise auf das Fahrzeug mit automatisiertem Fahren angewandt, das eine automatisierte Fahrstufe einer SAE-Stufe von 3 oder mehr unter dem Gesichtspunkt von Sicherheit aufweist.
(8) Die Eignungsgradauswerteeinrichtung 12d kann den Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung bewerten, indem sie basierend auf dem von dem Rechner 12c berechneten Impuls (parallele Bewegung oder Drehbewegung) der Kopfbewegung bestimmt, ob die Daten zum Berechnen der vestibulookulären Reflexbewegung geeignet sind.
Die vestibulookuläre Reflexbewegung ist die Augenbewegung, die nicht erzeugt wird, wenn sich der Kopf des Fahrers 3 nicht bewegt. Somit kann die Eignungsgradauswerteeinrichtung 12d bewerten, dass der Fall, in dem der von dem Rechner 12c berechnete Impuls (Parallelbewegung oder Drehbewegung) der Kopfbewegung kleiner als ein vorgegebener Impuls ist, nicht als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet ist.
(9) Die Eignungsgradauswerteeinrichtung 12d kann die Beschleunigungsdaten des Fahrzeugs 2 durch die Datenerfassungseinheit 12b in Übereinstimmung mit dem in dem Rechner 12c vorgenommenen Erfassungszyklus des aufgenommenen Bildes erfassen und den Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung bewerten (beispielsweise das Vorhandensein oder Nichtvorhandensein der Eignung, der Eignungsgrad gemäß der binären Bestimmung, wie z. B. der Eignungsstufe, oder der Eignungsgrad durch die mehrstufige Bestimmung, wie z. B. die Eignungsrate), indem sie basierend auf den Beschleunigungsdaten des Fahrzeugs 2 bestimmt, ob die von dem Rechner 12c berechneten Daten die Daten sind, die zum Berechnen der vestibulookulären Reflexbewegung geeignet sind.
In dem Fall, in dem eine vorgegebene Beschleunigung in der Auf-Ab-, Rechts-Links- oder Vor-Zurück-Richtung des Fahrzeuges 2 erzeugt wird, bewegt sich der Kopf des Fahrers 3 leicht in der Auf-Ab-, Rechts-Links- oder Neigungsrichtung.
In dem Fall, in dem die Beschleunigungsdaten des Fahrzeugs 2 größer als ein Schwellenwert sind, bei dem die Kopfbewegung des Fahrers 3 leicht erzeugt wird, kann die Eignungsgradauswerteeinrichtung 12d somit bewerten, dass die Beschleunigungsdaten des Fahrzeugs 2 als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet sind.
Die Eignungsgradauswerteeinrichtung 12d kann bewerten, dass der Fall, in dem die Vibration des Fahrzeugs 2 und die Kopfbewegung, die aus den Beschleunigungsdaten des Fahrzeugs 2 erhalten werden, eine bestimmte Beziehung, wie z. B. die Vibration bei einer identischen Frequenz in der identischen Richtung, aufweisen, als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet sind.
Zusätzlich zu der Verwendung der Daten von dem an dem Fahrzeug 2 montierten Beschleunigungssensor 32 können die Beschleunigungsdaten des Fahrzeugs 2 aus der Geschwindigkeit des Fahrzeugs 2 erhalten werden, die aus einer Zeitreihenänderung des Abstands zu dem von dem Fahrzeugaußensensor 31 erkannten Objekt erhalten wird.
Wie vorstehend beschrieben, gibt die Eignungsgradauswerteeinrichtung 12d in dem Fall, in dem die Eignungsgradauswerteeinrichtung 12d bestimmt, dass die Daten als Zustand zum Berechnen der vestibulookulären Reflexbewegung geeignet oder sehr geeignet sind, die Bestimmungsdaten an die Bereitstellungseinheit 12e als Eignungsgrad aus und zeigt dabei an, dass die Daten geeignet oder sehr geeignet sind.
Andererseits gibt die Eignungsgradauswerteeinrichtung 12d in dem Fall, in dem die Eignungsgradauswerteeinrichtung 12d bestimmt, dass die Daten nicht geeignet sind oder die Eignung als Zustand zum Berechnen der vestibulookulären Reflexbewegung niedrig ist, die Bestimmungsdaten an die Bereitstellungseinheit 12e als Eignungsgrad aus und zeigt dabei an, dass die Daten nicht geeignet sind oder die Eignung niedrig ist.
Alternativ gibt die Eignungsgradauswerteeinrichtung 12d in dem Fall, in dem die Eignungsgradauswerteeinrichtung 12d das Ausmaß der Eignung als Zustand zum Berechnen der vestibulookulären Reflexbewegung anzeigt, die Daten, die das Ausmaß der Eignung anzeigen, an die Bereitstellungseinheit 12e als Eignungsgrad aus.
Die Eignungsgradauswerteeinrichtung 12d kann dazu eingerichtet sein, die Bewertung von einem der vorstehenden Punkte (1) bis (9) durchzuführen, oder sie kann dazu eingerichtet sein, die Bewertungen von mindestens zwei der vorstehenden Punkte (1) bis (9) in geeigneter Weise gemäß dem Zustand des Fahrzeugs 2 oder des Fahrers 3 zu kombinieren und durchzuführen. Der Verarbeitungszeitpunkt wird in dem Rechner 12c und der Eignungsgradauswerteeinrichtung 12d so gesteuert, dass der Eignungsgrad in jedem bei der Berechnung des Rechners 12c verwendeten Einzelbild erhalten werden kann. Beispielsweise wird der Eignungsgrad in jedem Einzelbild in Übereinstimmung mit einem Aufnahmezyklus des aufgenommenen Bildes in dem Rechner 12c bewertet.
In dem Fall, in dem die von dem Rechner 12c berechneten Daten und der von der Eignungsgradauswerteeinrichtung 12d bewertete Eignungsgrad erfasst werden, führt die Bereitstellungseinheit 12e eine Verarbeitung zum Bereitstellen des von der Eignungsgradauswerteeinrichtung 12d bewerteten Eignungsgrads an die Daten (die berechneten Daten jedes Einzelbildes), die sich auf die von dem Rechner 12c berechnete Pupillenbewegung und Kopfbewegung des Fahrers 3 beziehen, durch.
Die Bereitstellungseinheit 12e führt eine Verarbeitung zum Speichern der Daten, die sich auf die Pupillenbewegung und die Kopfbewegung des Fahrers 3 beziehen, und des im Speicher 133 für berechnete Daten an die Daten bereitgestellten Eignungsgrads aus, während die Daten, die sich auf die Pupillenbewegung und die Kopfbewegung des Fahrers 3 beziehen, und der an die Daten bereitgestellte Eignungsgrad miteinander in jedem Einzelbild verknüpft werden.
Beispielsweise kann der Eignungsgrad binäre Daten sein, die das Vorhandensein oder Nichtvorhandensein der Eignung als Zustand zum Berechnen der VOR anzeigen, oder mehrwertige Daten gemäß dem Ausmaß der Eignung, nämlich gewichtete mehrwertige Daten. In dem Fall, in dem die mehrwertigen Daten, die dem Ausmaß der Eignung entsprechen, als Eignungsgrad verwendet werden, kann die Eignung als Zustand zum Berechnen der VOR durch Gewichtung fein unterschieden werden.
Wenn die berechneten Daten für die vorgegebene Zeit in dem Speicher für berechnete Daten 133 gespeichert werden, führt die Auswahleinrichtung 12f die Verarbeitung zum Auswählen einer von der ersten Technik zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung des Fahrers 3 und der zweiten, sich von der ersten Technik unterscheidenden Technik basierend auf dem an die Daten für die vorgegebene Zeit bereitgestellten Eignungsgrad.
Beispielsweise wählt die Auswahleinrichtung 12f die erste Technik aus, wenn der Eignungsgrad die vorgegebene Bedingung erfüllt, und sie wählt die zweite Technik aus, wenn der Eignungsgrad die vorgegebene Bedingung nicht erfüllt.
Beispielsweise kann in dem Fall, in dem der Eignungsgrad die binären Daten sind, die das Vorhandensein oder Nichtvorhandensein der Eignung anzeigen, die Bedingung, dass die Daten, an die der Eignungsgrad, der das Vorhandensein oder Nichtvorhandensein der Eignung anzeigt, unter den Elementen von berechneten Daten für die vorgegebene Zeit bereitgestellt wird, größer als oder gleich einem vorgegebenen Anteil (zum Beispiel 80%) sind, als die vorgegebene Bedingung festgelegt werden.
In dem Fall, in dem der Eignungsgrad die mehrwertigen Daten sind, die das Ausmaß der Eignung (die Eignungsrate) anzeigen, kann die Bedingung, dass die Daten, an die der Eignungsgrad, der die Eignungsrate größer als oder gleich einem vorgegebenen Schwellenwert anzeigt, unter den Elementen von berechneten Daten für die vorgegebene Zeit bereitgestellt wird, größer als oder gleich einem vorgegebenen Anteil (zum Beispiel 80%) sind, als die vorgegebene Bedingung festgelegt werden.
Wenn die erste Technik von der Auswahleinrichtung 12f ausgewählt wird, wird das Auswahlsignal der ersten Technik an den ersten Müdigkeitsrechner 12g ausgegeben. Andererseits, wenn die zweite Technik von der Auswahleinrichtung 12f ausgewählt wird, wird das Auswahlsignal der zweiten Technik an den zweiten Müdigkeitsrechner 12i ausgegeben.
In dem Fall, in dem die erste Technik von der Auswahleinrichtung 12f ausgewählt wird, führt der erste Müdigkeitsrechner 12g die Verarbeitung zum Berechnen der Müdigkeit basierend auf der ersten Technik durch.
Genauer gesagt beinhaltet der erste Müdigkeitsrechner 12g den VOR-Rechner 12h, der die vestibulookulären Reflexbewegung des Fahrers 3 basierend auf den berechneten Daten unter Berücksichtigung des Eignungsgrades berechnet, und führt die Verarbeitung zum Berechnen der Müdigkeit basierend auf der von dem VOR-Rechner 12h berechneten vestibulookuläre Reflexbewegung des Fahrers 3 durch.
Der VOR-Rechner 12h führt die Verarbeitung zum Berechnen der vestibulookulären Reflexbewegung des Fahrers 3 unter Verwendung der Daten durch, bei denen der Eignungsgrad die vorgegebene Bedingung unter den aus dem Speicher für berechnete Daten 133 ausgelesenen Elementen von berechneten Daten für die vorgegebene Zeit erfüllt.
Beispiele der Daten, bei denen der Eignungsgrad die vorgegebene Bedingung unter den Elementen von berechneten Daten für die vorgegebene Zeit erfüllt, beinhalten die Daten, an die der die Eignung anzeigende Eignungsgrad bereitgestellt wird, die Daten, bei denen der die Eignung anzeigende Eignungsgrad größer als der vorgegebene Schwellenwert ist, und eine vorgegebene Anzahl von Elementen von Daten in absteigender Reihenfolge des die Eignungsrate anzeigenden Eignungsgrades.
Die berechneten Daten, die sich auf die von dem Reflexbewegungsrechner 12h berechnete vestibulookuläre Reflexbewegung beziehen, beinhalten mindestens eines von den Datenelementen (auch als Parameter bezeichnet), wie z. B. einer VOR-Verstärkung, einer Reststandardabweichung und einer Verzögerungszeit, und die berechneten Daten beinhalten vorzugsweise die VOR-Verstärkung.
Unter VOR-Verstärkung versteht man im Prinzip eine Ansprechrate der Pupillenbewegung (Augenrotationswinkelgeschwindigkeit) in Bezug auf die Kopfbewegung (Kopfrotationswinkelgeschwindigkeit), und die VOR-Verstärkung kann durch die Pupillenbewegung (Augenrotationswinkelgeschwindigkeit) oder die Kopfbewegung (Kopfrotationswinkelgeschwindigkeit) ausgedrückt werden.
Die VOR-Verstärkung kann beispielsweise durch die Kleinsten-Quadrate-Schätzung unter Verwendung einer Gleichung [mathematische Formel 2] als Koeffizient G eines Regressionsmodells einer Gleichung [mathematische Formel 1] erhalten werden, in der eine Zielvariable eine Augenrotationswinkelgeschwindigkeit e(t) ist und eine erklärende Variable eine ideale Augenwinkelgeschwindigkeit h(t) und ein konstanter Term dc ist. Wobei ε(t) ein Residuum des Regressionsmodells und τ eine Verzögerungszeit der Augenbewegung gegenüber der idealen Augenbewegung ist.
Ein Winkel der Augenbewegung wird auf der Grundlage der von dem Rechner 12c berechneten Daten der Pupillenbewegung erhalten, und die Augenrotationswinkelgeschwindigkeit e(t) kann durch Differenzieren des Winkels der Augenbewegung erhalten werden. Die ideale Augenwinkelgeschwindigkeit h(t) kann erhalten werden, indem ein Winkel der Kopfbewegung basierend auf den von dem Rechner 12c berechneten Daten der Kopfbewegung erhalten wird, und die ideale Augenwinkelgeschwindigkeit h(t) kann durch Differenzieren des Winkels der Kopfbewegung erhalten werden. Die VOR-Verstärkung kann für mindestens eine der Auf-Ab-, Rechts-Links-, Vor-Zurück-, Gier- oder Neigungsrichtungen des Fahrers 3 berechnet werden. $e (t) = Gh (t - τ) + dc + ε (t)$
$G = \frac{N \sum_{t = 1}^{N} h (t - τ) e (t) - \sum_{t = 1}^{N} h (t - τ) \sum_{t = 1}^{N} e (t)}{N \sum_{t = 1}^{N} h^{2} (t - τ) - {(\sum_{t = 1}^{N} h (t - τ))}^{2}}$
Die Reststandardabweichung (SDres) kann durch die folgende Gleichung [mathematische Formel 3] berechnet werden. $SDres = \sqrt{\frac{1}{N - 1} \sum_{t = 1}^{N} ε^{2} (t)}$
In der VOR-Verstärkung und der Reststandardabweichung werden Daten einer ersten Zeit (beispielsweise zehn Sekunden oder eine vorgegebene Anzahl von Einzelbildern) auf ein Segment gesetzt, so dass eine ausreichende Schätzgenauigkeit erhalten wird, und ein Wert in jedem Segment kann zu jeder dritten Zeit kürzer als zu einer zweiten Zeit berechnet werden, während eine Überlappung bereitgestellt ist für den Fall, dass die zweite Zeit kürzer als die erste Zeit ist. Wenn sich der Fahrer 3 müde fühlt, nimmt die VOR-Verstärkung im Allgemeinen ab und die Reststandardabweichung nimmt tendenziell zu. Somit kann eine Änderungsrate, wie z. B. die Abnahmerate der VOR-Verstärkung, oder eine Änderungsrate, wie z. B. eine Zunahmerate der Reststandardabweichung, erhalten werden, um ein Anzeichen der Müdigkeit genau zu bestimmen.
Der erste Müdigkeitsrechner 12g berechnet die Müdigkeit des Fahrers 3 unter Verwendung der von dem VOR-Rechner 12h berechneten Daten, die sich auf die vestibulookulären Reflexbewegung beziehen. Beispielsweise wird ein Vergleich mit dem vorgegebenen Schwellenwert unter Verwendung von mindestens einem der Parameter der VOR-Verstärkung, der Reststandardabweichung und der Verzögerungszeit durchgeführt, und das Müdigkeitsniveau, das den Müdigkeitsgrad des Fahrers 3 anzeigt, wird berechnet. Nach dem Berechnen der Müdigkeit des Fahrers 3 gibt der erste Müdigkeitsrechner 12g das Berechnungsergebnis der Müdigkeit des Fahrers 3, beispielsweise das Müdigkeitsniveau, an die Wecksteuereinrichtung 12m aus.
In dem Fall, in dem die zweite Technik von der Auswahleinrichtung 12f ausgewählt wird, führt der zweite Müdigkeitsrechner 12i die Verarbeitung zum Berechnen der Müdigkeit basierend auf der zweiten Technik durch.
Genauer gesagt beinhaltet der zweite Müdigkeitsrechner 12i den Sakkadenbewegungsrechner 12j und den Augenlidbewegungsrechner 12k und er beinhaltet die Konfiguration, die die Verarbeitung zum Berechnen der Müdigkeit basierend auf der von dem Sakkadenbewegungsrechner 12j berechneten sakkadischen Bewegung des Fahrers 3 durchführt, und die Konfiguration, die die Verarbeitung zum Berechnen der Müdigkeit basierend auf dem von dem Augenlidbewegungsrechner 12k berechneten, auf der Augenlidbewegung basierenden Index durchführt.
Beispielsweise wählt der zweite Müdigkeitsrechner 12i den Sakkadenbewegungsrechner 12j in dem Fall aus, in dem die Daten, bei denen die Pupille ermittelt wird, größer als oder gleich einem vorgegebenen Verhältnis (zum Beispiel 80%) unter den Elementen von berechneten Daten für die vorgegebene Zeit sind, und der zweite Müdigkeitsrechner 12i wählt den Augenlidbewegungsrechner 12k in dem Fall aus, in dem die Daten, bei denen die Pupille ermittelt wird, weniger als das vorgegebene Verhältnis (zum Beispiel 80%) sind.
Der Sakkadenbewegungsrechner 12j führt die Verarbeitung zum Berechnen der sakkadischen Bewegung des Fahrers 3 unter Verwendung der aus dem Speicher für berechnete Daten 133 ausgelesenen berechneten Daten für die vorgegebene Zeit durch.
Die sakkadische Bewegung wird auch als impulsive Augenbewegung bezeichnet und ist eine schnelle Augenbewegung von kurzer Dauer, die beim Ändern der Blickrichtungsposition erzeugt wird. Die für die sakkadische Bewegung erforderliche Zeit ist üblicherweise so kurz wie etwa 20 Millisekunden bis etwa 70 Millisekunden, und die Geschwindigkeit der sakkadischen Bewegung soll im Hinblick auf einen Betrachtungswinkel üblicherweise etwa 300 Grad/Sekunde bis 500 Grad/Sekunde betragen. Die sakkadische Bewegung ist eine lineare Augenbewegung mit einer Augenfixierung vor und nach der Augenbewegung.
Somit kann die Augenbewegung (d. h. die Pupillenbewegung), bei der die Richtung der Augenbewegung für eine vorgegebene Zeit (beispielsweise 20 Millisekunden bis 70 Millisekunden) kontinuierlich identisch ist, während die durchschnittliche Winkelgeschwindigkeit der vorgegebenen Zeit größer als oder gleich einem vorgegebenen Wert ist, als sakkadische Bewegung ermittelt werden.
Das folgende Verarbeitungsbeispiel kann auf die von dem zweiten Müdigkeitsrechner 12i durchgeführte Müdigkeitsberechnungsverarbeitung basierend auf der sakkadischen Bewegung angewandt werden.
In dem Fall, in dem die sakkadische Bewegung in dem Zustand, in dem ein Wachheitsgrad hoch ist, und die sakkadische Bewegung in dem Zustand, in dem der Wachheitsgrad abzunehmen beginnt, in der tatsächlichen Fahrzeugumgebung miteinander verglichen werden, wenn der Wachheitsgrad abnimmt, nimmt eine Amplitude (Bewegungsbetrag) der Augenbewegung aufgrund der sakkadischen Bewegung und der Bewegungsgeschwindigkeit tendenziell ab, und das Zeitintervall der sakkadischen Bewegung wird tendenziell verkürzt. Mit anderen Worten, in dem Fall, in dem der Wachheitsgrad abnimmt, wird die sakkadische Bewegung mit den kleinen Amplituden und dem kurzen Zeitintervall tendenziell häufig erzeugt. So können zum Beispiel die Amplitude (Bewegungsbetrag) der sakkadischen Bewegung, das Zeitintervall und eine Erzeugungsfrequenz pro Zeiteinheit als Merkmalsbetrag verwendet werden, der zur Berechnung der Müdigkeit auf der Basis der sakkadischen Bewegung verwendet wird.
Der Sakkadenbewegungsrechner 12j bewertet die innerhalb einer vorgegebenen Zeit erzeugte sakkadische Bewegung basierend auf den berechneten Daten für die vorgegebene Zeit und erhalten die Amplitude (Bewegungsbetrag), das Zeitintervall und die Anzahl von Erzeugungszeiten innerhalb der vorgegebenen Zeit jeder bewerteten sakkadischen Bewegung.
Der zweite Müdigkeitsrechner 12i berechnet die Müdigkeit basierend auf der Amplitude (Bewegungsbetrag), dem Zeitintervall und der Anzahl von Erzeugungszeiten innerhalb der vorgegebenen Zeit der sakkadischen Bewegung, die von dem sakkadischen Bewegungsrechner 12j berechnet werden. Beispielsweise kann die Anzahl von Erzeugungszeiten der sakkadischen Bewegung, bei der die Amplitude kleiner als oder gleich einem vorgegebenen Wert ist und das Zeitintervall kleiner als oder gleich einer vorgegebenen Zeit ist, erhalten werden, und der den Müdigkeitsgrad anzeigende Müdigkeitsgrad kann gemäß der Anzahl der Erzeugungszeiten berechnet werden, oder es kann bestimmt werden, dass das Müdigkeitsniveau hoch ist in dem Fall, in dem die Anzahl von Erzeugungszeiten größer als oder gleich einer vorgegebenen Anzahl von Erzeugungszeiten ist.
Der Augenlidbewegungsrechner 12k berechnet aus dem aufgenommenen Bild einen auf der Augenlidbewegung der Person basierenden Index.
Beispiele für den auf der Augenlidbewegung der Person basierenden Index beinhalten den Augenlidöffnungsgrad (der Öffnungsgrad des Auges), die Blinzelfrequenz und den PERCLOS.
Der Augenlidöffnungsgrad zeigt den Öffnungsgrad (%) der Augen an. Zum Beispiel kann der Augenlidöffnungsgrad durch ein Verhältnis zwischen dem Abstand von dem oberen Augenlid zu dem unteren Augenlid und dem Durchmesser in Querrichtung der Iris ausgedrückt werden, die aus dem aufgenommenen Bild ermittelt werden.
Die Blinzelfrequenz zeigt an, wie oft in einer vorgegebenen Zeit geblinzelt wird, und der Fall, in dem der aus dem aufgenommenen Bild ermittelte Zustand des geschlossenen Auges kürzer als eine typische Blinzelzeit (beispielsweise 100 Millisekunden bis 300 Millisekunden) ist, wird als Blinzeln gezählt. Der Zustand des geschlossenen Auges kann als geschlossener Augenzustand ermittelt werden, der kleiner als oder gleich einem Grad ist, bei dem die Pupille durch das Augenlid verborgen ist, beispielsweise ein Zustand, in dem der Augenlidöffnungsgrad kleiner als oder gleich einem vorgegebenen Wert ist (beispielsweise 20% oder weniger).
Der PERCLOS zeigt das Verhältnis einer Zeit, in der das Auge geschlossen ist, zu einer Zeiteinheit an. Die Zeit, in der das Auge geschlossen ist, kann als Zeit anzeigt werden, bei der Zeit angesammelt wird, in der ein geschlossener Augenzustand kleiner oder gleich einem Grad, bei dem die Pupille durch das Augenlid verborgen ist, beispielsweise ein Zustand, in dem der Augenlidöffnungsgrad kleiner als oder gleich einem vorgegebenen Wert (beispielsweise 20% oder weniger) ist, oder das Verhältnis zwischen dem Längsdurchmesser und dem Querdurchmesser (Längsdurchmesser/Querdurchmesser) der Pupille weniger als oder gleich einem vorgegebenen Wert (beispielsweise 0,8 oder weniger) ist, länger als oder gleich einer vorgegebenen Blinzelzeit fortgesetzt wird.
Das nachstehende Verarbeitungsbeispiel kann auf die Verarbeitung zum Berechnen der Müdigkeit basierend auf dem auf der Augenlidbewegung basierenden Index angewandt werden, wobei die Verarbeitung von dem zweiten Müdigkeitsrechner 12i durchgeführt wird.
Der Augenlidbewegungsrechner 12k berechnet den auf der Augenlidbewegung basierenden Index (beispielsweise mindestens eines von dem Augenlidöffnungsgrad, der Blinzelfrequenz und dem PERCLOS) basierend auf den berechneten Daten für die vorgegebene Zeit oder den Daten des aufgenommenen Bildes für die vorgegebene Zeit
Der zweite Müdigkeitsrechner 12i berechnet die Müdigkeit basierend auf dem auf der Augenlidbewegung basierenden Index, wobei der Index durch den Augenlidbewegungsrechner 12k berechnet wird.
Beispielsweise wird in dem Fall, in dem innerhalb einer vorgegebenen Zeit ermittelt wird, dass der Zustand, in dem der Augenlidöffnungsgrad (%) kleiner als oder gleich einem vorgegebenen Wert (zum Beispiel 20% oder weniger) ist, für die vorgegebene Zeit fortgesetzt wird, das Müdigkeitsniveau berechnet, das anzeigt, dass der Müdigkeitsgrad hoch ist. In dem Fall, in dem bewertet wird, dass die Blinzelfrequenz größer als oder gleich einer vorgegebenen Anzahl innerhalb der vorgegebenen Zeit ist, kann das Müdigkeitsniveau berechnet werden, das anzeigt, dass der Müdigkeitsgrad hoch ist. Das Müdigkeitsniveau, das den Müdigkeitsgrad gemäß dem Wert (%) des Anteils (PERCLOS) der Zeit, in der das Auge geschlossen ist, innerhalb der vorgegebenen Zeit anzeigt, kann berechnet werden.
Die Wecksteuereinrichtung 12m führt die Verarbeitung zum Ausgeben eines Steuersignals zum Aufwecken des Fahrers 3 an die Weckvorrichtung 70 basierend auf dem von dem ersten Müdigkeitsrechner 12g oder dem zweiten Müdigkeitsrechner 12i erfassten Müdigkeitsniveau aus.
Wenn die Weckvorrichtung 70 mit der Alarmvorrichtung konstruiert ist, die den Alarm an den Fahrer 3 durch Ton oder Licht ausgibt, gibt die Wecksteuereinrichtung 12m an die Alarmvorrichtung ein Steuersignal zum Betreiben der Alarmvorrichtung für eine vorgegebene Zeitdauer aus.
In dem Fall, in dem die Weckvorrichtung 70 mit einer Klimaanlage konstruiert ist, die kalte Luft, warme Luft oder ein Gas, das eine Aromakomponente oder eine Geruchskomponente enthält, zu dem Fahrer 3 bläst, gibt die Wecksteuereinrichtung 12m an die Klimaanlage ein Steuersignal zum Betreiben der Klimaanlage für eine vorgegebene Zeitdauer aus.
Wenn die Weckvorrichtung 70 mit der Vibrationsvorrichtung konstruiert ist, die ein Lenkrad, einen Sicherheitsgurt, einen Sitz oder dergleichen in Vibration versetzt, gibt die Wecksteuereinrichtung 12m an die Vibrationseinrichtung ein Steuersignal zum Betreiben der Vibrationsvorrichtung für einen vorgegebenen Zeitraum aus.
Die Verarbeitung zum Ausgeben eines Steuersignals zum Aufwecken des Fahrers 3 kann an der Navigationsvorrichtung 50 durchgeführt werden. In diesem Fall beinhaltet das Steuersignal ein Steuersignal, das die Navigationsvorrichtung 50 veranlasst, einen Alarmton oder eine Alarmanzeige auszugeben, die den Fahrer 3 weckt.
[Verarbeitungsvorgangsbeispiel]
4A und 4B sind Flussdiagramme, die ein Beispiel der von der Steuereinheit 12 in der Datenverarbeitungsvorrichtung 10 der Ausführungsform durchgeführten Verarbeitungsoperation veranschaulichen. Der folgende Verarbeitungsvorgang ist nur beispielhaft und eine Änderung, wie z. B. Auslassen, Ersetzen und Hinzufügen des Verarbeitungsschritts, kann in geeigneter Weise vorgenommen werden.
(Aktivierung des Überwachungssystems 1)
Wenn der Startschalter 40 des Fahrzeugs 2 von dem Fahrer 3 eingeschaltet wird, werden die das Überwachungssystem 1 bildende Datenverarbeitungsvorrichtung 10 und die Kamera 20 aktiviert, und die Steuereinheit 12 der Datenverarbeitungsvorrichtung 10 beginnt mit der Verarbeitung zum Überwachen des Fahrers 3 basierend auf dem Programm 134.
In Schritt S1 fungiert die Steuereinheit 12 als Bilderfassungseinheit 12a und führt die Verarbeitung zum Erfassen des aufgenommenen Bildes von der Kamera 20 durch, die so angeordnet ist, dass sie das Bild des Gesichts des Fahrers 3 aufnimmt. In der Kamera 20 werden jede Sekunde Bilder einer vorgegebenen Anzahl von Einzelbildern aufgenommen. Die Steuereinheit 12 erfasst diese aufgenommenen Bilder in Zeitserien und führt die Verarbeitung in jedem Einzelbild oder allen Einzelbildern in vorgegebenen Intervallen durch. Nach dem Erfassen des aufgenommenen Bildes setzt die Steuereinheit 12 die Verarbeitung mit Schritt S2 fort.
In Schritt S2 fungiert die Steuereinheit 12 als Datenerfassungseinheit 12b und führt die Verarbeitung zum Erfassen der den Zustand des Fahrzeugs 2 anzeigenden Daten von dem bordeigenen Sensor 30, der Navigationsvorrichtung 50 und dergleichen durch. Beispielsweise können die Ermittlungsdaten von jedem Sensor von dem bordeigenen Sensor 30 erfasst werden, oder die Straßendaten, die die Form (wie etwa die gerade Linie und die Kurve) der Fahrstraße beinhalten, können von der Navigationsvorrichtung 50 erfasst werden. Nach dem Erfassen der Daten, die den Zustand des Fahrzeugs 2 anzeigen, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S3 fort.
In Schritt S3 fungiert die Steuereinheit 12 als Rechner 12c und führt die Verarbeitung zum Berechnen der Pupillenbewegung des Fahrers 3 durch. Das vorstehende Verfahren wird zum Berechnen der Pupillenbewegung, die von dem Rechner 12c durchgeführt wird, verwendet. Beispielsweise wird die Verarbeitung zum Berechnen der Pupillenbewegung in jedem Einzelbild des in Schritt S1 erfassten aufgenommenen Bildes durchgeführt. Nach dem Berechnen der Pupillenbewegung des Fahrers 3 setzt die Steuereinheit 12 die Verarbeitung mit Schritt S4 fort. In Schritt S3 kann die Steuereinheit 12 eine Pupillengröße wie den Längsdurchmesser und den Querdurchmesser oder eine Fläche der Pupille zusammen mit der Pupillenbewegung berechnen.
In Schritt S4 fungiert die Steuereinheit 12 als Rechner 12c und führt die Verarbeitung zum Berechnen der Kopfbewegung des Fahrers 3 durch. Das vorstehende Verfahren wird zu dem von dem Rechner 12c durchgeführten Berechnen der Kopfbewegung verwendet. Beispielsweise wird die Verarbeitung zum Berechnen der Kopfbewegung in jedem Einzelbild des in Schritt S1 erfassten aufgenommenen Bildes durchgeführt. Nach dem Berechnen der Kopfbewegung des Fahrers 3 setzt die Steuereinheit 12 die Verarbeitung mit Schritt S5 fort. Die Reihenfolge der Schritte S3 und S4 kann geändert werden. Die Reihenfolge von Schritt S2 kann so geändert werden, dass er nach Schritt S4 liegt.
In Schritt S5 fungiert die Steuereinheit 12 als Eignungsgradauswerteeinrichtung 12d und führt die Verarbeitung zum Bewerten des Eignungsgrades der Situation zum Berechnen der vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung des Fahrers 3 durch. Bei der von der Eignungsgradauswerteeinrichtung 12d durchgeführten Verarbeitung kann der Eignungsgrad durch ein beliebiges der vorstehenden Verfahren (1) bis (9) bewertet werden, oder der Eignungsgrad kann durch geeignetes Kombinieren von mindestens zwei der vorstehenden Verfahren (1) bis (9) gemäß dem Zustand des Fahrzeugs 2 oder des Fahrers 3 bewertet werden. Wenn der Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung bewertet ist, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S6 fort.
In Schritt S6 fungiert die Steuereinheit 12 als Bereitstellungseinheit 12e und führt die Verarbeitung zum Bereitstellen des in Schritt S5 bewerteten Eignungsgrades an die Daten durch, die sich auf die in den Schritten S3, S4 berechnete Pupillenbewegung und Kopfbewegung der Person beziehen. Wenn der Eignungsgrad für die Daten, die sich auf die Pupillenbewegung und die Kopfbewegung jedes Bildrahmens beziehen, bereitgestellt ist, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S7 fort.
In Schritt S7 führt die Steuereinheit 12 die Verarbeitung zum Speichern der berechneten Daten, die sich auf die in den Schritten S3, S4 berechnete Pupillenbewegung und Kopfbewegung und den an die berechneten Daten in dem Speicher für berechnete Daten 133 bereitgestellten Eignungsgrad beziehen, während sie die die Daten und den Eignungsgrad miteinander verknüpft. Nach dem Durchführen der Speicherverarbeitung in dem Speicher für berechnete Daten 133 setzt die Steuereinheit 12 die Verarbeitung mit Schritt S8 fort.
In dem Fall, in dem die Pupillengröße zusammen mit den in Schritt S3 berechneten Daten berechnet wird, speichert die Steuereinheit 12 die berechneten Daten und die Daten der Pupillengröße in dem Speicher für berechnete Daten 133.
In Schritt S8 bestimmt die Steuereinheit 12, ob die berechneten Daten für die vorgegebene Zeit in dem Speicher für berechnete Daten 133 gespeichert werden (beispielsweise für t Sekunden: t Sekunden zeigen einige Sekunden bis einige Dutzend Sekunden an. Beispielsweise für 40 Sekunden). Anstatt der vorgegebenen Zeit kann bestimmt werden, ob die berechneten Daten, die der vorgegebenen Anzahl von Einzelbildern entsprechen, gespeichert werden.
Wenn bestimmt wird, dass die berechneten Daten in Schritt S8 nicht für t Sekunden in dem Speicher für berechnete Daten 133 gespeichert werden, kehrt die Steuereinheit 12 zur Verarbeitung in Schritt S1 zurück, und führt die Verarbeitungselemente in den Schritten S1 bis S7 durch.
Wenn andererseits bestimmt wird, dass die berechneten Daten in Schritt S8 für t Sekunden in dem Speicher für berechnete Daten 133 gespeichert werden, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S9 in 4B fort.
In Schritt S9 fungiert die Steuereinheit 12 als Auswahleinrichtung 12f, liest die berechneten Daten für t Sekunden aus dem Speicher für berechnete Daten 133 und den Eignungsgrad aus und bestimmt, ob der Anteil von berechneten Daten, an die der Eignungsgrad, der höher als der erste Schwellenwert ist, bereitgestellt wird, größer als oder gleich n% (beispielsweise 80% oder mehr) unter den Elementen von berechneten Daten für t Sekunden ist. Der erste Schwellenwert wird als Schwellenwert festgelegt, der zum Bestimmen der Eignung zum Berechnen der Müdigkeit basierend auf der VOR verwendet wird.
Wenn in Schritt S9 bestimmt wird, dass der Anteil der berechneten Daten, an die der Eignungsgrad höher als der erste Schwellenwert bereitgestellt wird, unter den Elementen von berechneten Daten für t Sekunden größer als oder gleich n% ist, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S10 fort.
In Schritt S10 fungiert die Steuereinheit 12 als VOR-Rechner 12h und führt die Verarbeitung zum Berechnen der vestibulookulären Reflexbewegung des Fahrers 3 basierend auf den Elementen von berechneten Daten für t Sekunden unter Berücksichtigung des an die berechneten Daten bereitgestellten Eignungsgrades durch.
Zum Beispiel wird die vestibulookulären Reflexbewegung des Fahrers 3 unter Verwendung der berechneten Daten unter den berechneten Daten für t Sekunden berechnet, an die der Eignungsgrad, der höher als der zweite Schwellenwert ist, bereitgestellt wird. Der zweite Schwellenwert kann auf denselben Wert wie der erste Schwellenwert oder auf einen anderen Wert gesetzt werden. Unter dem Gesichtspunkt der Verbesserung der Berechnungsgenauigkeit der VOR wird der zweite Schwellenwert jedoch vorzugsweise größer als der erste Schwellenwert gewählt.
Der zweite Schwellenwert kann ein zuvor festgelegter Schwellenwert sein oder kann in geeigneter Weise gemäß einem Wert verändert werden, wie z. B. einem Mittelwert, einem Medianwert, einem Moduswert und einer Standardabweichung, der durch statistische Verarbeitung des an alle berechneten Daten für t Sekunden bereitgestellten Eignungsgrads erhalten wird. Beispielsweise kann der Schwellenwert mit zunehmendem Mittelwert, Medianwert oder Moduswert des Eignungsgrades höher gesetzt werden. Für den hohen Mittelwert des Eignungsgrades kann die VOR selbst für die kleine Anzahl von berechneten Datenelementen genau berechnet werden, und die Effizienz der Berechnungsverarbeitung kann ebenfalls verbessert werden. Für die hohe Standardabweichung des Eignungsgrades wird der Schwellenwert erhöht und die Berechnungsgenauigkeit der VOR kann unter Verwendung der berechneten Daten, an die der hohe Eignungsgrad bereitgestellt wird, verbessert werden.
Beispiele des Parameters, der das in Schritt S10 berechnete Merkmal der vestibulookulären Reflexbewegung anzeigt, beinhalten die VOR-Verstärkung, die Reststandardabweichung und die Verzögerungszeit. Nach dem Berechnen der vestibulookulären Reflexbewegung des Fahrers 3 setzt die Steuereinheit 12 die Verarbeitung mit Schritt S11 fort.
In Schritt S11 fungiert die Steuereinheit 12 als erster Müdigkeitsrechner 12g und führt die Verarbeitung zum Berechnen der Müdigkeit des Fahrers 3 durch, beispielsweise des in Schritt S10 aus der vestibulookulären Reflexbewegung des Fahrers 3 berechneten Müdigkeitsniveaus.
Wie vorstehend beschrieben, kann das Müdigkeitsniveau des Fahrers 3 unter Verwendung von mindestens einem der Parameter, wie z. B. der VOR-Verstärkung, der Reststandardabweichung und der Verzögerungszeit, berechnet werden. Nach dem Durchführen der Verarbeitung zum Berechnen des Müdigkeitsniveaus des Fahrers 3 setzt die Steuereinheit 12 die Verarbeitung mit Schritt S17 fort.
Andererseits, wenn in Schritt S9 bestimmt wird, dass der Anteil der berechneten Daten, an die der Eignungsgrad höher als der erste Schwellenwert bereitgestellt wird, weniger als n% unter den Elementen von berechneten Daten für t Sekunden ist, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S12 fort.
In Schritt S12 fungiert die Steuereinheit 12 als zweiter Müdigkeitsrechner 12i und bestimmt, ob der Anteil der Daten, bei denen die Pupille ermittelt wird (das heißt, die Daten, die den Augenlidöffnungsgrad bis zu dem Grad anzeigen, dass die Pupille nicht versteckt ist), größer als oder gleich einem vorgegebenen Anteil (m%) (beispielsweise 80% oder mehr) unter den Elementen von berechneten Daten für t Sekunden ist.
Wenn in Schritt S12 bestimmt wird, dass der Anteil der Daten, bei denen die Pupille ermittelt wird, größer als oder gleich m% unter den berechneten Daten für t Sekunden ist, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S13 fort.
In Schritt S13 fungiert die Steuereinheit 12 als Sakkadenbewegungsrechner 12j und führt die Verarbeitung zum Berechnen der sakkadischen Bewegung des Fahrers 3 basierend auf den Elementen von berechneten Daten für t Sekunden durch. Beispiele des Parameters, der das in Schritt S13 berechnete Merkmal der sakkadischen Bewegung anzeigt, beinhalten die Amplitude (Bewegungsgröße) der in t Sekunden erzeugten sakkadischen Bewegung, das Zeitintervall und die Anzahl von Erzeugungszeiten in t Sekunden. Nach dem Berechnen der sakkadischen Bewegung des Fahrers 3 setzt die Steuereinheit 12 die Verarbeitung mit Schritt S14 fort.
In Schritt S14 fungiert die Steuereinheit 12 als zweiter Müdigkeitsrechner 12i und führt die Verarbeitung zum Berechnen der Müdigkeit, beispielsweise des Müdigkeitsniveaus des Fahrers 3 basierend auf der in Schritt S13 berechneten sakkadischen Bewegung des Fahrers 3, durch.
Wie vorstehend beschrieben, wird das Müdigkeitsniveau des Fahrers 3 beispielsweise basierend auf der Amplitude (Bewegungsbetrag), dem Zeitintervall und der Anzahl von Erzeugungszeiten während t Sekunden der sakkadische Bewegung berechnet. Nach dem Durchführen der Verarbeitung zum Berechnen des Müdigkeitsniveaus basierend auf der sakkadischen Bewegung setzt die Steuereinheit 12 die Verarbeitung mit Schritt S17 fort.
Andererseits, wenn in Schritt S12 bestimmt wird, dass der Anteil der Daten, bei denen die Pupille ermittelt wird, weniger als m% unter den berechneten Daten für t Sekunden ist, setzt die Verarbeitungseinheit 12 die Verarbeitung mit Schritt S15 fort.
In Schritt S15 fungiert die Steuereinheit 12 als Augenlidbewegungsrechner 12k und führt die Verarbeitung zum Berechnen des auf der Augenlidbewegung des Fahrers 3 basierenden Indexes basierend auf den Elementen von berechneten Daten für t Sekunden durch. Mindestens eines von dem Augenlidöffnungsgrad, der Blinzelfrequenz und dem PERCLOS kann auf den Index basierend auf der Augenlidbewegung angewandt werden, und der Fall, in dem der PERCLOS auf den Index angewendet wird, wird hier beschrieben.
In Schritt S15 berechnet die Steuereinheit 12 aus den Elementen von berechneten Daten für t Sekunden und den Daten des aufgenommenen Bildes eine Gesamtzeit des Zustands des geschlossenen Auges, der kleiner als oder gleich dem Grad ist, bis zu dem die Pupille durch das Augenlid verborgen ist. Beispielsweise wird der Zustand des geschlossenen Auges als ein Zustand ermittelt, in dem der Augenlidöffnungsgrad kleiner als oder gleich einem vorgegebenen Wert (beispielsweise 20% oder weniger) ist oder das Verhältnis (Längsdurchmesser/Querdurchmesser) des Längsdurchmessers und des Querdurchmessers der Pupille kleiner als oder gleich einem vorgegebenen Wert (zum Beispiel 0,8 oder weniger) ist. Die Steuereinheit 12 berechnet die Gesamtzeit aus der angesammelten Anzahl von der Anzahl von Einzelbildern, in denen der Zustand des geschlossenen Auges ermittelt wird, und berechnet den Anteil ((Gesamtzeit/t Sekunden) × 100 (%)) der Gesamtzeit zu t Sekunden als den Wert des PERCLOS. Anschließend setzt die Steuereinheit 12 die Verarbeitung mit Schritt S16 fort.
In Schritt S16 fungiert die Steuereinheit 12 als zweiter Müdigkeitsrechner 12i und führt die Verarbeitung zum Berechnen der Müdigkeit, beispielsweise des Müdigkeitsniveaus des Fahrers 3 basierend auf dem in Schritt S15 berechneten PERCLOS des Fahrers 3, durch.
Beispielsweise wird eine Müdigkeitsniveautabelle, in der der Wert des PRECLOS mit dem Müdigkeitsniveau oder einem Vergleichsausdruck, der die Beziehung zwischen dem Wert des PRECLOS und dem Müdigkeitsniveau ausdrückt, korreliert, zuvor in dem ROM 123 oder dem Programm 134 gespeichert, und das Müdigkeitsniveau, das dem berechneten Wert des PERCLOS-Wertes entspricht, kann aus der Müdigkeitsniveautabelle oder dem Vergleichsausdruck erhalten werden. Wenn das Müdigkeitsniveau basierend auf dem PERCLOS berechnet wird, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S17 fort.
In Schritt S17 fungiert die Steuereinheit 12 als Wecksteuereinrichtung 12m und bestimmt, ob das in Schritt S11, S14 oder S16 erfasste Müdigkeitsniveau kleiner als ein vorgegebener Schwellenwert ist (zum Beispiel ein Schwellenwert, bei dem die Erzeugung der Müdigkeit bestimmt werden kann). Der vorgegebene Schwellenwert kann einer oder mindestens zwei gemäß dem Müdigkeitsgrad (zum Beispiel dem Müdigkeitsgrad von einem Stadium eines Müdigkeitsanzeichens bis zu einem Döszustand) sein.
Wenn in Schritt S17 bestimmt wird, dass das Müdigkeitsniveau größer als oder gleich dem vorgegebenen Schwellenwert ist (die Müdigkeit wird erzeugt), setzt die Steuereinheit 12 die Verarbeitung mit Schritt S18 fort. Wenn andererseits in Schritt S17 bestimmt wird, dass das Müdigkeitsniveau niedriger als der vorgegebene Schwellenwert ist (die Müdigkeit wird nicht erzeugt), setzt die Steuereinheit 12 die Verarbeitung mit Schritt S19 fort.
In Schritt S18 fungiert die Steuereinheit 12 als Wecksteuereinrichtung 12m und führt die Verarbeitung zum Ausgeben des vorgegebenen Steuersignals zum Aufwecken des Fahrers 3 an die Weckvorrichtung 70 aus. Wenn die Wecksteuerung an dem Fahrer 3 durchgeführt wird, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S19 fort.
In dem Fall, in dem in Schritt S17 mindestens zwei Schwellenwerte als vorgegebener Schwellenwert bereitgestellt werden, kann ein jedem Schwellenwert entsprechendes Wecksteuersignal ausgegeben werden. Beispielsweise kann ein Steuersignal zum Erwecken von Aufmerksamkeit durch eine Stimme oder dergleichen in dem Fall ausgegeben werden, in dem das Müdigkeitsniveau größer als oder gleich dem Stadium von einem Müdigkeitsanzeichen ist und weniger als das Anfangsstadium der Müdigkeit ist, und ein Steuersignal zum Ausgeben eines Alarms durch Vibration oder dergleichen kann in dem Fall ausgegeben werden, in dem das Müdigkeitsniveau größer als oder gleich dem Anfangsstadium der Müdigkeit ist (Döszustand).
In Schritt S19 bestimmt die Steuereinheit 12, ob der Startschalter 40 ausgeschaltet ist. Wenn bestimmt wird, dass der Startschalter 40 nicht ausgeschaltet ist, kehrt die Steuereinheit 12 zur Verarbeitung in Schritt S1 zurück. Andererseits, wenn in Schritt S19 bestimmt wird, dass der Startschalter 40 ausgeschaltet ist, setzt die Steuereinheit 12 die Verarbeitung mit Schritt S20 fort. In Schritt S20 stoppt die Steuereinheit 12 den Überwachungsvorgang und beendet die Verarbeitung.
[Arbeitsweise und Auswirkung]
In der Datenverarbeitungsvorrichtung 10 der Ausführungsform bewertet die Eignungsgradauswerteeinrichtung 12d den Eignungsgrad der Situation zum Berechnen der vestibulookulären Reflexbewegung, und die Bereitstellungseinheit 12e stellt den Eignungsgrad (beispielsweise die binären Daten, die das Vorhandensein oder Nichtvorhandensein der Eignung anzeigen, oder die mehrwertigen Daten, die die Eignungsrate anzeigen) an die berechneten Daten bereit. Somit kann die Art der dateneigenen Eignung als Zustand zum Berechnen der vestibulookulären Reflexbewegung durch den an die berechneten Daten bereitgestellten Eignungsgrad unterschieden werden.
Die Auswahleinrichtung 12f wählt die erste Technik zum Berechnen der Müdigkeit basierend auf der vestibulookulären Reflexbewegung oder die zweite Technik zum Berechnen der Müdigkeit basierend auf der sakkadischen Bewegung oder dem Index, der sich auf die Augenlidbewegung bezieht, aus, und die Müdigkeit wird basierend auf der ausgewählten Technik berechnet.
Beispielsweise wird in dem Fall, in dem die Daten, an die der Eignungsgrad größer als oder gleich dem ersten Schwellenwert unter den für die vorgegebene Zeit gespeicherten Elementen von berechneten Daten bereitgestellt wird, größer als oder gleich einem vorgegebenen Anteil (beispielsweise 80%) sind, die erste Technik ausgewählt, und die Müdigkeit wird basierend auf der vestibulookulären Reflexbewegung berechnet.
Andererseits wird in dem Fall, in dem die Daten, an die der Eignungsgrad größer als oder gleich dem ersten Schwellenwert unter den für die vorgegebene Zeit gespeicherten Elementen von berechneten Daten bereitgestellt wird, weniger als der vorgegebene Anteil (beispielsweise 80%) sind (d. h. der Fall eignet sich nicht als Situation, in der die VOR berechnet wird), die Müdigkeit durch die zweite Technik berechnet.
Folglich kann selbst in der Situation, die nicht zur Berechnung der Müdigkeit nach der ersten Technik geeignet ist, nämlich in der Situation, die nicht zur Berechnung der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person geeignet ist (beispielsweise die Situation mit vielen Rauschkomponenten), die Müdigkeit basierend auf der zweiten Technik berechnet werden, und die Müdigkeit kann in der realen Umgebung stabil mit hoher Genauigkeit berechnet werden.
In der Datenverarbeitungsvorrichtung 10 berechnet der erste Müdigkeitsrechner 12g die vestibulookuläre Reflexbewegung des Fahrers 3 basierend auf den berechneten Daten unter Berücksichtigung des Eignungsgrades und berechnet die Müdigkeit basierend auf der berechneten vestibulookulären Reflexbewegung. Folglich kann unter Verwendung der entsprechenden Daten, bei denen der Eignungsgrad unter den Elementen von berechneten Daten berücksichtigt wird, die Berechnungsgenauigkeit der vestibulookulären Reflexbewegung verbessert werden, die Müdigkeit kann basierend auf der vestibulookulären Reflexbewegung genau berechnet werden und das Anzeichen der Müdigkeit kann auch in der realen Umgebung genau bewertet werden.
In der Datenverarbeitungsvorrichtung 10 berechnet der zweite Müdigkeitsrechner 12i die sakkadische Bewegung, und die Müdigkeit wird basierend auf der berechneten sakkadischen Bewegung berechnet. Dies ermöglicht es, in der Situation, die nicht zur Berechnung der vestibulookulären Reflexbewegung geeignet ist, die Müdigkeit basierend auf der sakkadischen Bewegung genau zu berechnen.
In der Datenverarbeitungsvorrichtung 10 berechnet der zweite Müdigkeitsrechner 12i den auf der Augenlidbewegung basierenden Index, wie z. B. den PERCLOS, und berechnet die Müdigkeit basierend auf dem auf der Augenlidbewegung basierenden Index. Dies ermöglicht es, in der Situation, die nicht zur Berechnung der vestibulookulären Reflexbewegung geeignet ist, die Müdigkeit basierend auf dem auf der Augenlidbewegung basierenden Index genau zu berechnen.
Der VOR-Rechner 12h der Datenverarbeitungsvorrichtung 10 berechnet die vestibulookuläre Reflexbewegung des Fahrers 3 unter Verwendung der berechneten Daten, an die der Eignungsgrad, der höher als der zweite Schwellenwert ist, unter den im Speicher für berechnete Daten 133 gespeicherten Elementen von berechneten Daten für t Sekunden bereitgestellt wird.
Somit kann durch Eingrenzen der berechneten Daten, die bei der VOR-Berechnung verwendet werden, auf Daten mit hoher Eignung der Berechnungsaufwand in Bezug auf die VOR-Berechnung reduziert werden, und die vestibulookuläre Bewegung des Fahrers 3 kann effizient und genau berechnet werden.
Die Datenverarbeitungsvorrichtung 10 beinhaltet den ersten Müdigkeitsrechner 12g und den zweiten Müdigkeitsrechner 12i, so dass das Müdigkeitsniveau des Fahrers 3 in der tatsächlichen Fahrzeugumgebung genau berechnet werden kann. Die Datenverarbeitungsvorrichtung 10 beinhaltet die Wecksteuereinrichtung 12m, so dass die Steuerung des ordnungsgemäßen Aufweckens des Fahrers 3 gemäß dem Müdigkeitsniveau durchgeführt werden kann.
In dem Überwachungssystem 1, das die Datenverarbeitungsvorrichtung 10 und die Kamera 20 beinhaltet, kann ein Fahrerüberwachungssystem bereitgestellt werden, das leicht in eine tatsächliche Fahrzeugumgebung integriert werden kann.
Das Wecksystem, das die Datenverarbeitungsvorrichtung 10 beinhaltet, und die Weckvorrichtung 70 können ein System bereitstellen, das den Fahrer 3 in der tatsächlichen Fahrzeugumgebung ordnungsgemäß wecken kann.
[Weitere Ausführungsformen]
Während die Ausführungsform der vorliegenden Erfindung vorstehend im Detail beschrieben ist, ist die vorstehende Beschreibung in jeder Hinsicht nur ein Beispiel für die vorliegende Erfindung. Verschiedene Verbesserungen und Modifizierungen können vorgenommen werden, ohne von dem Umfang der vorliegenden Erfindung abzuweichen.
(Erste Modifizierung)
Die Steuereinheit 12 der Datenverarbeitungsvorrichtung 10 muss nicht alle Einheiten in 3 beinhalten. In einer anderen Ausführungsform kann die Steuereinheit 12 mit einer ersten Konfiguration konstruiert sein, die mindestens den Rechner 12c, die Eignungsgradauswerteeinrichtung 12d, die Bereitstellungseinheit 12e, die Auswahleinrichtung 12f, den ersten Müdigkeitsrechner 12g und den zweiten Müdigkeitsrechner 12i beinhaltet, oder einer zweiten Konfiguration, die zusätzlich zu der ersten Konfiguration ferner eine Wecksteuereinrichtung 12m beinhaltet.
Obwohl der zweite Müdigkeitsrechner 12i den Sakkadenbewegungsrechner 12j und den Augenlidbewegungsrechner 12k beinhaltet, kann der zweite Müdigkeitsrechner 12i einen von dem Sakkadenbewegungsrechner 12j und dem Augenlidbewegungsrechner 12k beinhalten. Die Steuereinheit 12 kann einen anderen Augenbewegungsrechner beinhalten, der effektiv beim Berechnen der Müdigkeit ist.
(Zweite Modifizierung)
In der von der Steuereinheit 12 in 4B durchgeführten Müdigkeitsberechnungsverarbeitung kann in Schritt S9 bestimmt werden, ob der Anteil von berechneten Daten, an die der Eignungsgrad, der höher als der erste Schwellenwert ist, unter den Elementen von berechneten Daten für t Sekunden bereitgestellt wird, größer als oder gleich n% ist.
Der Eignungsgrad ist nicht auf die mehrwertigen Daten beschränkt, die das Ausmaß der Eignung anzeigen, sondern kann die binären Daten sein, die das Vorhandensein oder Nichtvorhandensein der Eignung oder die Eignungsstufe anzeigen. In dem Fall, in dem der Eignungsgrad die binären Daten sind, kann in Schritt S9 bestimmt werden, ob der Anteil von berechneten Daten, an die der Eignungsgrad, der anzeigt, dass die Daten geeignet oder sehr geeignet sind, unter den Elementen von berechneten Daten für t Sekunden bereitgestellt wird, größer als oder gleich n% ist.
(Dritte Modifizierung)
In der von der Steuereinheit 12 in 4B durchgeführten Müdigkeitsberechnungsverarbeitung wird in Schritt S10 die VOR des Fahrers 3 unter Verwendung der berechneten Daten berechnet, an die der Eignungsgrad, der höher als der zweite Schwellenwert ist, unter den im Speicher für berechnete Daten 133 gespeicherten Elementen von berechneten Daten für t Sekunden bereitgestellt wird.
In einer anderen Ausführungsform kann in Schritt S10 die VOR des Fahrers 3 unter Verwendung der Elemente von berechneten Daten für die vorgegebene Anzahl von Einzelbildern in absteigender Reihenfolge des Eignungsgrades unter den im Speicher für berechnete Daten 133 gespeicherten Elementen von berechneten Daten für t Sekunden berechnet werden. Mit dieser Konfiguration kann durch Eingrenzen der berechneten Daten, die bei in der VOR-Berechnung verwendet werden, auf Daten mit hoher Eignung der Berechnungsaufwand in Bezug auf die VOR-Berechnung reduziert werden, und die VOR des Fahrers 3 kann effizient und genau berechnet werden.
(Vierte Modifizierung)
In der obigen Ausführungsform sind das Überwachungssystem 1 und die Datenverarbeitungsvorrichtung 10 an dem Fahrzeug 2 montiert. Das Überwachungssystem 1 und die Datenverarbeitungsvorrichtung 10 sind jedoch nicht auf die bordinterne Verwendung beschränkt.
In einer anderen Ausführungsform können das Überwachungssystem 1 und die Datenverarbeitungsvorrichtung 10 beispielsweise in einer Fabrik oder in einem Büro installiert sein, und breit auf ein System angewandt werden, das die Müdigkeit einer Person überwacht, die in der Fabrik installierte Geräte bedient, oder einer Person, die am Schreibtisch vorgegebene Arbeiten verrichtet. In diesem Fall wird beispielsweise eine Produktionsvorrichtung von der Person in der Fabrik bedient. Beispielsweise wird ein Bürogerät, wie z. B. ein Computer, von der Person in dem Büro bedient.
[Ergänzende Anmerkungen]
Die Ausführungsform der vorliegenden Erfindung kann auch wie folgt beschrieben werden, ohne jedoch darauf beschränkt zu sein.
(Ergänzende Anmerkung 1)
Datenverarbeitungsvorrichtung (10), die eine Datenverarbeitung zum Überwachen einer Person durchführt, wobei die Datenverarbeitungsvorrichtung (10) beinhaltet:

einen Rechner (12c), der dazu eingerichtet ist, die Pupillenbewegung und die Kopfbewegung der Person zu berechnen;
eine Auswerteeinrichtung (12d), die dazu eingerichtet ist, einen Eignungsgrad einer Situation zum Berechnen der vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person zu bewerten;
eine Bereitstellungseinheit (12e), die dazu eingerichtet ist, den von der Auswerteeinrichtung (12d) bewerteten Eignungsgrad an Daten bereitzustellen, die sich auf die von dem Rechner (12c) berechnete Pupillenbewegung und Kopfbewegung der Person beziehen;
eine Auswahleinrichtung (12f), die dazu eingerichtet ist, eine erste Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder eine zweite, sich von der ersten Technik unterscheidende Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad auszuwählen;
einen ersten Müdigkeitsrechner (12g), der dazu eingerichtet ist, die Müdigkeit basierend auf der ersten Technik zu berechnen, wenn die Auswahleinrichtung (12f) die erste Technik auswählt; und
einen zweiten Müdigkeitsrechner (12i), der dazu eingerichtet ist, die Müdigkeit basierend auf der zweiten Technik zu berechnen, wenn die Auswahleinrichtung (12f) die zweite Technik auswählt.

(Ergänzende Anmerkung 2)
Überwachungssystem (1), das beinhaltet:

die Datenverarbeitungseinrichtung (10); und
eine Bildgebungseinheit (20), die dazu eingerichtet ist, ein Bild, das die Person beinhaltet, aufzunehmen,
wobei der Rechner (12c) der Datenverarbeitungsvorrichtung (10) die Pupillenbewegung und die Kopfbewegung der Person unter Verwendung des von der Bildgebungsvorrichtung (20) erfassten Bildes berechnet.

(Ergänzende Anmerkung 3)
Datenverarbeitungsverfahren zum Überwachen einer Person, wobei das Datenverarbeitungsverfahren beinhaltet:

einen Berechnungsschritt (S3, S4) zum Berechnen der Pupillenbewegung und der Kopfbewegung der Person;
einen Bewertungsschritt (S5) zum Bewerten eines Eignungsgrades einer Situation zum Berechnen der vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person;
einen Bereitstellungsschritt (S6) zum Bereitstellen des in dem Bewertungsschritt (S5) bewerteten Eignungsgrades an Daten, die sich auf die in dem Berechnungsschritt (S3, S4) berechnete Pupillenbewegung und Kopfbewegung der Person beziehen;
einen Auswahlschritt (S9) zum Auswählen einer ersten Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder einer zweiten, sich von der ersten Technik unterscheidenden Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad;
einen ersten Müdigkeitsberechnungsschritt (S10, S11) zum Berechnen der Müdigkeit basierend auf der ersten Technik, wenn in dem Auswahlschritt (S9) die erste Technik ausgewählt wird; und
einen zweiten Müdigkeitsberechnungsschritt (S10, S11) zum Berechnen der Müdigkeit basierend auf der zweiten Technik, wenn in dem Auswahlschritt (S9) die zweite Technik ausgewählt wird.

(Ergänzende Anmerkung 4)
Datenverarbeitungsprogramm, das mindestens einen Computer (12) dazu veranlasst, Datenverarbeitung zum Überwachen einer Person durchzuführen, wobei das Datenverarbeitungsprogramm den mindestens einen Computer (12) dazu veranlasst, auszuführen:

einen Berechnungsschritt (S3, S4) zum Berechnen der Pupillenbewegung und der Kopfbewegung der Person;
einen Bewertungsschritt (S5) zum Bewerten eines Eignungsgrades einer Situation zum Berechnen der vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person;
einen Bereitstellungsschritt (S6) zum Bereitstellen des in dem Bewertungsschritt (S5) bewerteten Eignungsgrades an Daten, die sich auf die in dem Berechnungsschritt (S3, S4) berechnete Pupillenbewegung und Kopfbewegung der Person beziehen;
einen Auswahlschritt (S9) zum Auswählen einer ersten Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder einer zweiten, sich von der ersten Technik unterscheidenden Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad;
einen ersten Müdigkeitsberechnungsschritt (S10, S11) zum Berechnen der Müdigkeit basierend auf der ersten Technik, wenn in dem Auswahlschritt (S9) die erste Technik ausgewählt wird; und
einen zweiten Müdigkeitsberechnungsschritt (S12 bis S16) zum Berechnen der Müdigkeit basierend auf der zweiten Technik, wenn in dem Auswahlschritt die zweite Technik ausgewählt wird.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018089368 [0001]
JP 5255063 [0003, 0004, 0005]

Claims

Datenverarbeitungsvorrichtung, die eine Datenverarbeitung zum Überwachen einer Person durchführt, wobei die Datenverarbeitungsvorrichtung umfasst: einen Rechner, der dazu eingerichtet ist, eine Pupillenbewegung und Kopfbewegung der Person zu berechnen; eine Auswerteeinrichtung, die dazu eingerichtet ist, einen Eignungsgrad einer Situation zum Berechnen der vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person zu bewerten; eine Bereitstellungseinheit, die dazu eingerichtet ist, den von der Auswerteeinrichtung bewerteten Eignungsgrad an Daten bereitzustellen, die sich auf die von dem Rechner berechnete Pupillenbewegung und Kopfbewegung der Person beziehen; eine Auswahleinrichtung, die dazu eingerichtet ist, eine erste Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder eine zweite, sich von der ersten Technik unterscheidende Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad, auszuwählen; einen ersten Müdigkeitsrechner, der dazu eingerichtet ist, die Müdigkeit basierend auf der ersten Technik zu berechnen, wenn die Auswahleinrichtung die erste Technik auswählt; und einen zweiten Müdigkeitsrechner, der dazu eingerichtet ist, die Müdigkeit basierend auf der zweiten Technik zu berechnen, wenn die Auswahleinrichtung die zweite Technik auswählt.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Auswahleinrichtung die erste Technik auswählt, wenn der Eignungsgrad eine vorgegebene Bedingung erfüllt, und die Auswahleinrichtung die zweite Technik auswählt, wenn der Eignungsgrad die vorgegebene Bedingung nicht erfüllt.
Datenverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei der erste Müdigkeitsrechner einen Reflexbewegungsrechner beinhaltet, der dazu eingerichtet ist, die vestibulookuläre Reflexbewegung der Person basierend auf den Daten unter Berücksichtigung des Eignungsgrades zu berechnen, und die Müdigkeit basierend auf der von dem Reflexbewegungsrechner berechneten vestibulookulären Reflexbewegung der Person berechnet wird.
Datenverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei der zweite Müdigkeitsrechner einen Sakkadenbewegungsrechner beinhaltet, der dazu eingerichtet ist, die sakkadische Bewegung eines Auges der Person zu berechnen, und die Müdigkeit basierend auf der von dem Sakkadenbewegungsrechner berechneten sakkadischen Bewegung der Person berechnet wird.
Datenverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei der zweite Müdigkeitsrechner einen Augenlidbewegungsrechner beinhaltet, der dazu eingerichtet ist, einen auf der Augenlidbewegung der Person basierenden Index zu berechnen, und die Müdigkeit basierend auf dem von dem Augenlidbewegungsrechner berechneten, auf der Augenlidbewegung basierenden Index berechnet wird.
Datenverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, ferner umfassend eine Wecksteuereinrichtung, die dazu eingerichtet ist, eine Steuerung des Weckens der Person basierend auf der von dem ersten Müdigkeitsrechner oder dem zweiten Müdigkeitsrechner berechneten Müdigkeit durchzuführen.
Datenverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Auswerteeinrichtung den Eignungsgrad basierend auf einem Zustand der Person oder eines von der Person betätigten Objekts bewertet.
Datenverarbeitungsvorrichtung nach Anspruch 7, wobei das Objekt ein Fahrzeug ist, und die Person ein Fahrer des Fahrzeugs ist.
Datenverarbeitungsvorrichtung nach Anspruch 8, wobei die Auswerteeinrichtung den Eignungsgrad basierend auf mindestens einem von einer in den Daten enthaltenen Rauschkomponente, einer Blickrichtung des Fahrers, einem Fahrzustand des Fahrzeugs und einem Ermittlungszustand des in einer Fahrtrichtung des Fahrzeugs vorhandenen Objekts bewertet.
Datenverarbeitungsvorrichtung nach Anspruch 8, ferner umfassend eine Erfassungseinheit, die dazu eingerichtet ist, die Beschleunigung des Fahrzeugs zu erfassen, wobei die Auswerteeinrichtung den Eignungsgrad basierend auf einer Beziehung zwischen einer von dem Fahrzeug erfassten Beschleunigungsänderung des Fahrzeugs und der von dem Rechner berechneten Kopfbewegung oder Pupillenbewegung des Fahrers bewertet.
Überwachungssystem, umfassend: die Datenverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 10; und eine Bildgebungsvorrichtung, die dazu eingerichtet ist, ein Bild, das die Person beinhaltet, aufzunehmen, wobei der Rechner der Datenverarbeitungsvorrichtung die Pupillenbewegung und die Kopfbewegung der Person unter Verwendung des von der Bildgebungsvorrichtung erfassten Bildes berechnet.
Wecksystem, umfassend: die Datenverarbeitungsvorrichtung nach Anspruch 6; und eine Weckvorrichtung, die von der Wecksteuereinrichtung der Datenverarbeitungsvorrichtung gesteuert wird.
Datenverarbeitungsverfahren zum Überwachen einer Person, wobei das Datenverarbeitungsverfahren umfasst: einen Berechnungsschritt zum Berechnen der Pupillenbewegung und Kopfbewegung der Person; einen Bewertungsschritt zum Bewerten eines Eignungsgrads einer Situation zum Berechnen einer vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person; einen Bereitstellungsschritt zum Bereitstellen des in dem Bewertungsschritt bewerteten Eignungsgrads an Daten, die sich auf die in dem Berechnungsschritt berechnete Pupillenbewegung und Kopfbewegung der Person beziehen; einen Auswahlschritt zum Auswählen einer ersten Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder einer zweiten, sich von der ersten Technik unterscheidenden Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad; einen ersten Müdigkeitsberechnungsschritt zum Berechnen der Müdigkeit basierend auf der ersten Technik, wenn in dem Auswahlschritt die erste Technik ausgewählt wird; und einen zweiten Müdigkeitsberechnungsschritt zum Berechnen der Müdigkeit basierend auf der zweiten Technik, wenn in dem Auswahlschritt die zweite Technik ausgewählt wird.
Datenverarbeitungsprogramm, das mindestens einen Computer dazu veranlasst, Datenverarbeitung zum Überwachen einer Person durchzuführen, wobei das Datenverarbeitungsprogramm den mindestens einen Computer dazu veranlasst, auszuführen: einen Berechnungsschritt zum Berechnen der Pupillenbewegung und Kopfbewegung der Person; einen Bewertungsschritt zum Bewerten eines Eignungsgrads einer Situation zum Berechnen einer vestibulookulären Reflexbewegung basierend auf der Pupillenbewegung und der Kopfbewegung der Person; einen Bereitstellungsschritt zum Bereitstellen des in dem Bewertungsschritt bewerteten Eignungsgrads an Daten, die sich auf die in dem Berechnungsschritt berechnete Pupillenbewegung und Kopfbewegung der Person beziehen; einen Auswahlschritt zum Auswählen einer ersten Technik des Berechnens der Müdigkeit basierend auf der vestibulookulären Reflexbewegung der Person oder einer zweiten, sich von der ersten Technik unterscheidenden Technik basierend auf dem an die Daten bereitgestellten Eignungsgrad; einen ersten Müdigkeitsberechnungsschritt zum Berechnen der Müdigkeit basierend auf der ersten Technik, wenn in dem Auswahlschritt die erste Technik ausgewählt wird; und einen zweiten Müdigkeitsberechnungsschritt zum Berechnen der Müdigkeit basierend auf der zweiten Technik, wenn in dem Auswahlschritt die zweite Technik ausgewählt wird.