DE102016121625A1

DE102016121625A1 - Vorrichtung und Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung

Info

Publication number: DE102016121625A1
Application number: DE102016121625.9A
Authority: DE
Inventors: Seong Sook Ryu; Byoung Joon Lee; Jin Kwon Kim; Ho Choul Jung; Sam Yong Kim
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2016-06-21
Filing date: 2016-11-11
Publication date: 2017-12-21
Also published as: US20170364761A1; CN107527000B; CN107527000A; KR101816415B1; KR20170143387A; US10002300B2

Abstract

Bereitgestellt sind eine Vorrichtung (100) und ein Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung, welche in der Lage sind, zu überwachen, ob ein Fahrer eine wichtige Information konzentriert erhält durch Verfolgen des Blicks eines Fahrers, während das Fahrzeug fährt, um eine Warnung an den Fahrer bereitzustellen, wenn die Konzentration des Fahrers zum Zeitpunkt, wenn die wichtige Information verändert ist, während das Fahrzeug fährt, verringert ist.

Description

Querverweis auf verwandte Anmeldung
Die vorliegende Anmeldung basiert auf und beansprucht den Prioritätsvorteil der am 21. Juni 2016 beim koreanischen Patentamt eingereichten koreanischen Patentanmeldung Nr. 10-2016-0077598 , deren Inhalt durch Bezugnahme in seiner Gesamtheit hierin einbezogen ist.
Gebiet
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Überwachen einer Konzentration eines Fahrers/einer Fahrerin (nachfolgend kurz: Fahrer) und insbesondere eine Vorrichtung und ein Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Verfolgung des Auges/der Augen (bzw. des Blicks) des Fahrers.
Hintergrund
Die meisten Verkehrsunfälle resultieren aus einem Mangel von Reaktionsfähigkeit auf Situationen aufgrund der Unaufmerksamkeit des Fahrers und einer kognitiven Belastung. Eine Schläfrigkeit des Fahrers oder ein Bewusstlos-Zustand kann im Gegensatz dazu einen heftigen Unfall verursachen, wobei jedoch die Anzahl dieser Fälle relativ gering ist.
Ein Fahrverhalten eines Fahrers in einem Kognitive-Belastung-Zustand ist insbesondere bei einem einfachen Fahrniveau (z.B. einer unproblematischen Verkehrssituation) nicht leicht von einem Fahrverhalten in einem Konzentrierte-Tätigkeit-Zustand zu unterscheiden, wobei jedoch, wenn eine Fahrumgebung sich schnell verändert, ein Fahrer in dem Kognitive-Belastung-Zustand eine langsame Reaktionsgeschwindigkeit bei einer Antwort/Reaktion hat, was mit einem Verkehrsunfall enden kann.
Erläuterung der Erfindung
Die vorliegende Erfindung wurde getätigt, um die vorstehend genannten Probleme, die im Stand der Technik auftreten, zu lösen, wobei die durch den Stand der Technik erzielten Vorteile intakt gehalten werden.
Ein Aspekt der vorliegenden Erfindung schafft eine Vorrichtung und ein Verfahren zum Überwachen einer Konzentration/Aufmerksamkeit (bzw. Konzentrationsfähigkeit bzw. eines Grads der Konzentration, nachfolgend nur noch: Konzentration) eines Fahrers, welche in der Lage sind, ein Auge (bzw. einen Blick) des Fahrers zu verfolgen, während ein Fahrzeug fährt, um zu überwachen, ob der Fahrer eine wichtige Information (bzw. wichtige Informationen) konzentriert erhält, um eine Warnung (z.B. ein Warnsignal) bereitzustellen, wenn die Konzentration des Fahrers zum Zeitpunkt, wenn die wichtige Information verändert ist/wird, während das Fahrzeug fährt, verringert ist.
Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung weist eine Vorrichtung zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung (bzw. Blickverfolgung/Blickerfassung, sogenanntes „Eye-Tracking“), während ein Fahrzeug (z.B. ein Kraftfahrzeug) fährt, auf: einen Konzentrationsermittler, welcher in Echtzeit Sichtbereiche (bzw. Blickfelder, z.B. Bereiche, welche der Fahrer sieht), auf welche ein Fahrer seine Augen (bzw. seine Blicke) richtet, während das Fahrzeug fährt, ermittelt und welcher einen Sichtkonzentrationswert (bzw. Blickkonzentrationswert) jedes Pixels (z.B. einen Wert für jeden Pixel, der das Ausmaß der Konzentration des Fahrers auf den jeweiligen Pixel angibt) entsprechend jedem eine vorbestimmte Größe aufweisenden Sichtbereich in einem Frontbild (z.B. einem Bild, dass einer Ansicht durch die Frontscheibe des Fahrzeugs entspricht, bzw. einem Bild, das dem entspricht, was der Fahrer durch die Frontscheibe des Fahrzeugs sieht) ermittelt, um eine Konzentrationskarte (bzw. eine Karte, die den Sichtkonzentrationswert jedes Pixels aufweist, z.B. ein Konzentrationskennfeld), die mit dem Frontbild korrespondiert, zu erzeugen, einen Bereich-von-Interesse-(ROI-)Ermittler (bzw. eine Ermittlungseinrichtung zum Ermitteln eines Bereichs von Interesse (ROI, abgeleitet aus dem Englischen „Region of Interest“)), welcher einen ROI, der relativ zu einem peripheren Vergleichsbereich (z.B. einen umgebenden Vergleichsbereich) in dem Frontbild eine Konzentration des Fahrers, die ein Niveau hat, das gleich oder höher einem vorbestimmten Niveau ist, erfordert, ermittelt, und einen Konzentriert-Zustand-Ermittler (bzw. eine Ermittlungseinrichtung zum Ermitteln eines Konzentriert-Zustands), welcher mittels Vergleichens des ROI mit der mit dem Frontbild korrespondieren Konzentrationskarte ermittelt, ob der Fahrer in einem Konzentriert-Zustand ist.
Der Konzentrationsermittler kann einen Sichtkonzentrationswert jedes Pixels ermitteln (z.B. festlegen), so dass jeweilige Sichtkonzentrationswerte der Pixel in jedem Sichtbereich allmählich (z.B. schrittweise) von einem Zentrales-Sehen-Abschnitt, welcher an dem Zentrum einer Blickrichtung des Fahrers angeordnet ist, aus hin zu einem Peripheres-Sehen-Abschnitt darum (bzw. um diesen) herum verringert sind.
Der Konzentrationsermittler kann die Konzentrationskarte mittels Ermittelns (z.B. Festlegens) jedes Sichtbereichs jedes Bildrahmens (z.B. Einzelbilds, Bildausschnitts, in Englisch „frames“ oder „image frames“) konfigurieren (z.B. bilden, festlegen), kann die Konzentrationskarte mittels Akkumulierens (z.B. Zusammenrechnens, Addierens) des Sichtkonzentrationswerts jedes Pixels während einer vorbestimmten Rahmenzahl (z.B. Zahl von Einzelbildern) erzeugen und kann den Sichtkonzentrationswert jedes Pixels in jeder vorbestimmten Rahmenzahl (z.B. von einem Bildrahmen zum nächsten Bildrahmen in der vorbestimmten Rahmenzahl) abschwächen (z.B. verringern).
Der Konzentrationsermittler kann einen jeweiligen Gewichtswert bzw. Gewichtungswert (z.B. jeden Gewichtswert) auf einen Sichtkonzentrationswert jedes Pixels eines vorherigen Rahmens und einen Sichtkonzentrationswert jedes Pixels eines momentanen Rahmens anwenden und die Sichtkonzentrationswerte addieren (z.B. summieren), um die Sichtkonzentrationswerte zu akkumulieren.
Der Konzentrationsermittler kann die gleiche Abschwächungsrate auf alle Pixel anwenden, um die Sichtkonzentrationswerte abzuschwächen. Der Konzentrationsermittler kann unterschiedliche Abschwächungsraten gemäß einer Tiefe (z.B. einer Farbtiefe) jedes Pixels auf der Grundlage einer Tiefeninformation jedes Pixels anwenden, um die Sichtkonzentrationswerte abzuschwächen.
Der Konzentriert-Zustand-Ermittler kann als Antwort auf eine Ermittlung, dass ein Mittelwert der Sichtkonzentrationswerte von Pixeln des ROI gleich oder größer einem Schwellenwert ist, ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist.
Der Konzentriert-Zustand-Ermittler kann als Antwort auf eine Ermittlung, dass Sichtkonzentrationswerte von Pixeln des ROI im Lauf der Zeit (bzw. im Zeitablauf) relativ zu Sichtkonzentrationswerten der peripheren (bzw. umgebenden) Bereiche steigen (bzw. erhöht sind), ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist.
Der Konzentriert-Zustand-Ermittler kann als Antwort auf eine Ermittlung, dass ein Abstand zwischen dem Zentrum von Pixeln, die einen Konzentrationswert, der gleich oder größer einem Schwellenwert ist, aufweisen, und dem Zentrum des ROI kleiner als ein vorbestimmter Wert ist, ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist.
Der Konzentriert-Zustand-Ermittler kann als Antwort auf eine Ermittlung, dass der Konzentriert-Zustand des Fahrers in einen Nicht-Konzentriert-Zustand verändert ist/wird (bzw. sich verändert hat/verändert), eine Warnung (z.B. ein Warnsignal) an den Fahrer mittels einer Schnittstelle (z.B. einer Nutzerschittstelle) bereitstellen (z.B. ausgeben).
Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung weist ein Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung (bzw. Blickverfolgung/Blickerfassung, sogenanntes „Eye-Tracking“), während ein Fahrzeug fährt, auf: Ermitteln in Echtzeit von Sichtbereichen (bzw. Blickfeldern), auf welche ein Fahrer seine Augen (bzw. seine Blicke) richtet, während das Fahrzeug fährt, und Ermitteln eines Sichtkonzentrationswerts jedes Pixels entsprechend jedem eine vorbestimmte Größe aufweisenden Sichtbereich in einem Frontbild (z.B. einem Bild, dass einer Ansicht durch die Frontscheibe des Fahrzeugs entspricht, bzw. einem Bild, das dem entspricht, was der Fahrer durch die Frontscheibe des Fahrzeugs sieht), um eine Konzentrationskarte (z.B. ein Konzentrationskennfeld), die mit dem Frontbild korrespondiert, zu erzeugen, Ermitteln eines Bereichs von Interesse (ROI), der relativ zu einem peripheren Vergleichsbereich (z.B. einen umgebenden Vergleichsbereich) in dem Frontbild eine Konzentration des Fahrers, die ein Niveau hat, das gleich oder höher einem vorbestimmten Niveau ist, erfordert, und Ermitteln, ob der Fahrer in einem Konzentriert-Zustand ist, mittels Vergleichens des ROI mit der mit dem Frontbild korrespondieren Konzentrationskarte.
Das Erzeugen der Konzentrationskarte kann aufweisen: Ermitteln (z.B. Festlegen) des Sichtkonzentrationswerts jedes Pixels, so dass jeweilige Sichtkonzentrationswerte der Pixel in jedem Sichtbereich allmählich (z.B. schrittweise) von einem Zentrales-Sehen-Abschnitt, welcher an dem Zentrum einer Blickrichtung des Fahrers angeordnet ist, aus hin zu einem Peripheres-Sehen-Abschnitt darum (bzw. um diesen) herum verringert sind.
Das Erzeugen der Konzentrationskarte kann aufweisen: Konfigurieren (z.B. Bilden, Festlegen) der Konzentrationskarte mittels Ermittelns (z.B. Festlegens) jedes Sichtbereichs jedes Bildrahmens, Erzeugen der Konzentrationskarte mittels Akkumulierens (z.B. Zusammenrechnen, Addieren) des Sichtkonzentrationswerts jedes Pixels während einer vorbestimmten Rahmenzahl (z.B. Zahl von Einzelbildern) und Abschwächen (z.B. Verringern) des Sichtkonzentrationswerts jedes Pixels in jeder vorbestimmten Rahmenzahl (z.B. von einem Bildrahmen zum nächsten Bildrahmen in der vorbestimmten Rahmenzahl).
Ein jeweiliger Gewichtswert (z.B. jeder Gewichtswert) kann auf einen Sichtkonzentrationswert jedes Pixels eines vorherigen Rahmens und einen Sichtkonzentrationswert jedes Pixels eines momentanen Rahmens angewendet werden, und die Sichtkonzentrationswerte können addiert (z.B. summiert) werden, um die Sichtkonzentrationswerte zu akkumulieren.
Die gleiche Abschwächungsrate kann auf alle Pixel angewendet werden, um die Sichtkonzentrationswerte abzuschwächen.
Unterschiedliche Abschwächungsraten gemäß einer Tiefe (z.B. einer Farbtiefe) jedes Pixels auf der Grundlage einer Tiefeninformation jedes Pixels können angewendet werden, um die Sichtkonzentrationswerte abzuschwächen.
Das Ermitteln, ob der Fahrer in dem Konzentriert-Zustand ist, kann aufweisen: Ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist, als Antwort auf eine Ermittlung, dass ein Mittelwert der Sichtkonzentrationswerte von Pixeln des ROI gleich oder größer einem Schwellenwert ist.
Das Ermitteln, ob der Fahrer in dem Konzentriert-Zustand ist, kann aufweisen: Ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist, als Antwort auf eine Ermittlung, dass Sichtkonzentrationswerte von Pixeln des ROI im Lauf der Zeit (bzw. im Zeitablauf) relativ zu Sichtkonzentrationswerten der peripheren (bzw. umgebenden) Bereiche steigen (bzw. erhöht sind).
Das Ermitteln, ob der Fahrer in dem Konzentriert-Zustand ist, kann aufweisen: Ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist, als Antwort auf eine Ermittlung, dass ein Abstand zwischen dem Zentrum von Pixeln, die einen Konzentrationswert, der gleich oder größer einem Schwellenwert ist, aufweisen, und dem Zentrum des ROI kleiner als ein vorbestimmter Wert ist.
Das Ermitteln, ob der Fahrer in dem Konzentriert-Zustand ist, kann aufweisen: Bereitstellen (z.B. Ausgeben) einer Warnung (z.B. eines Warnsignals) an den Fahrer mittels einer Schnittstelle (z.B. einer Nutzerschittstelle) als Antwort auf eine Ermittlung, dass der Konzentriert-Zustand des Fahrers in einen Nicht-Konzentriert-Zustand verändert ist/wird (bzw. sich verändert hat/verändert).
Zeichnungen
Die obigen und andere Ziele, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung deutlicher verstanden, wenn diese in Verbindung mit den beigefügten Zeichnungen genommen wird.
1 ist ein Blockdiagramm, welches eine Vorrichtung zum Überwachen einer Konzentration eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Flussdiagramm, welches einen Betrieb einer Vorrichtung zum Überwachen einer Konzentration eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt.
3 ist eine Ansicht, welche ein Zentrales-Sehen/Peripheres-Sehen-Modell der vorliegenden Erfindung darstellt.
4 ist eine Ansicht, welche eine Ermittlung hinsichtlich eines Sichtbereichs der vorliegenden Erfindung darstellt.
5 ist eine Ansicht, welche eine Abschwächung jedes Pixels einer Sichtkonzentrationskarte per Rahmen in der vorliegenden Erfindung darstellt.
6 ist eine Ansicht, welche eine Akkumulation jedes Pixels einer Sichtkonzentrationskarte per Rahmen in der vorliegenden Erfindung darstellt.
7A bis 7C sind Ansichten, welche eine Ermittlung eines Bereichs von Interesse (ROI) in der vorliegenden Erfindung darstellen.
8 ist eine Ansicht, welche ein Beispiel des Ermittelns einer Konzentration eines Fahrers in der vorliegenden Erfindung darstellt.
9 ist eine Ansicht, welche ein Beispiel zum Realisieren einer Vorrichtung zum Überwachen einer Konzentration eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt.
Detaillierte Beschreibung
Nachstehend werden beispielhafte Ausführungsformen der vorliegenden Erfindung im Detail unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In diesem Fall beziehen sich in jeder Zeichnung ähnliche (oder gleiche) Bezugszeichen auf ähnliche (oder die gleichen) Elemente. Die detaillierten Beschreibungen der relevanten bekannten Funktionen und/oder Strukturen werden außerdem weggelassen. In den nachstehend offenbarten Details werden sich Beschreibungen auf Elemente, welche erforderlich sind, die Vorgänge gemäß den zahlreichen Ausführungsformen zu verstehen, fokussieren, und die detaillierten Beschreibungen zu Elementen, welche unnötigerweise die wichtigen Punkte der Beschreibungen unübersichtlich machen würden, werden weggelassen. In den Zeichnungen können außerdem einige Elemente übertrieben, weggelassen oder schematisch dargestellt sein. Die Größe jedes Elements muss nicht gänzlich eine tatsächliche Größe widerspiegeln, und folglich sind hierin beschriebene Details nicht durch die relativen Größen oder Abstände von Elementen, die in jeder Zeichnung dargestellt sind, beschränkt.
1 ist ein Blockdiagramm, welches eine Vorrichtung 100 zum Überwachen einer Konzentration eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt.
Bezugnehmend auf 1 weist die Vorrichtung 100 zum Überwachen einer Konzentration eines Fahrers mittels Verfolgens des Auges/der Augen (bzw. Blicks) des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung eine Steuereinrichtung 110, einen Speicher 111, einen Konzentrationsermittler 120, einen Bereich-von-Interesse-(ROI-)Ermittler 130, einen Konzentriert-Zustand-Ermittler 140 und eine Schnittstelle 150 auf.
Die Komponenten der Vorrichtung 100 zum Überwachen der Konzentration des Fahrers mittels Verfolgens des Auges/der Augen (bzw. Blicks) des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung, welche in einem Fahrzeug montiert sein können, können durch Hardware, wie z.B. einem Halbleiterprozessor, Software, wie z.B. ein Anwendungsprogramm, oder eine Kombination davon realisiert sein. Die Steuereinrichtung 110, welche das allgemeine Steuern zahlreicher Komponenten der Vorrichtung 100 durchführt, kann realisiert sein, so dass sie eine Funktion von einer oder mehreren der anderen Komponenten aufweist, und eine Teilfunktion der Steuereinrichtung 110 kann als eine separate Komponente als eine andere Einheit realisiert sein. Der Speicher 111 speichert Daten oder Konfigurationsinformationen, welche für einen Betrieb der Vorrichtung 100 zum Überwachen der Konzentration des Fahrers erforderlich sind.
Ein Betrieb der Vorrichtung 100 zum Überwachen der Konzentration des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung wird als Erstes beschrieben.
Der Konzentrationsermittler 120 ermittelt einen Sichtbereich bezüglich einer Frontseite, auf welchen ein Fahrer seine Augen (bzw. seinen Blick) richtet, (z.B. einen Bereich vor dem Fahrzeug, den der Fahrer sieht bzw. der dem Fahrer zugewandt ist) in jedem Bildrahmen (z.B. Einzelbild, Bildausschnitt; in Englisch „frame“ oder „image frame“) in Echtzeit, während das Fahrzeug fährt, und ermittelt (z.B. legt fest) einen Sichtkonzentrationswert jedes Pixels entsprechend jedem eine vorbestimmte Größe aufweisenden Sichtbereich in einem Frontbild, um eine Konzentrationskarte (z.B. ein Konzentrationskennfeld), die mit dem gesamten Frontbild korrespondiert, zu erzeugen. Der Konzentrationsermittler 120 kann hier einen Sichtbereich bezüglich einer Frontseite, auf welchen ein Fahrer seine Augen (bzw. seinen Blick) richtet, ermitteln mittels Analysierens eines Bilds bezüglich des Fahrers, welches durch eine in dem Fahrzeug angebrachte Bilderfassungseinrichtung, wie z.B. eine Kamera oder dergleichen, aufgenommen und übermittelt wurde. Der Konzentrationsermittler 120 kann außerdem nach jedem Sichtbereich (siehe 3 und 4) aus einem anderen Frontbild des Fahrzeugs, welches durch eine andere Bilderfassungseinrichtung aufgenommen und übermittelt wurde, suchen und einen Sichtkonzentrationswert jedes der korrespondierenden Pixel ermitteln.
Der ROI-Ermittler 130 ermittelt einen ROI bzw. Bereich von Interesse (siehe 7A, 7B und 7C), der relativ zu einem peripheren Vergleichsbereich (z.B. einen umgebenden Vergleichsbereich) in dem Frontbild eine Konzentration des Fahrers, die ein Niveau hat, das gleich oder höher einem vorbestimmten Niveau ist, erfordert.
Der Konzentriert-Zustand-Ermittler 140 vergleicht eine Konzentrationskarte, welche mit dem Frontbild korrespondiert, mit dem ROI, um einen Konzentriert-Zustand (Konzentration/keine Konzentration) des Fahrers zu ermitteln. Wenn der Konzentriert-Zustand-Ermittler 140 ferner ermittelt, dass der Konzentriert-Zustand des Fahrers in einen Nicht-Konzentriert-Zustand verändert ist/wird, kann der Konzentriert-Zustand-Ermittler 140 eine Warnung (z.B. ein Warnsignal) an den Fahrer mittels der Schnittstelle 150 bereitstellen.
Die Schnittstelle 150 kann beispielsweise eine Anzeigevorrichtung, welche ein Flüssigkristallanzeige (LCD), eine Head-Up-Anzeige (HUD), eine Erweitere-Realität-(AR-)Vorrichtung und dergleichen unterstützt/aufweist, aufweisen, kann ein Benachrichtigungsmittel, welches in der Lage ist, den Fahrer physisch zu kontaktieren, wie z.B. mittels eines Geräusch/Ton, einer Vibration, einer Beleuchtung, einer Temperatur und dergleichen, aufweisen und kann ein Mittel aufweisen, welches eine Fahrzeug-zu-Allem-Kommunikation (kurz V2X-Kommunikation) mit der Umgebung unterstützt. Gemäß den Umständen kann die Schnittstelle 150 außerdem eine Steuerungsvorrichtung zum Steuern eines Fahrzeugs, wie z.B. einer Bremse, eines Lenkungssystems und der dergleichen, aufweisen.
Wenn der Konzentriert-Zustand-Ermittler 140 ermittelt, dass die Konzentration des Fahrers auf einen ROI oder dergleichen verringert ist, kann der Konzentriert-Zustand-Ermittler 140 einen Warndienst (bzw. einen Warnservice) oder dergleichen an den Fahrer auf der Grundlage des momentanen Ermüdungszustands, der Historie (z.B. der Vorgeschichte) des Auftretens eines Unaufmerksamkeitsereignisses, eines Schläfrigkeitsgrads (z.B. eines Verschlafenheitsgrads), einer Gefühlsveränderung oder einer Straßensituationsinformation mittels V2X-Kommunikation durch die Schnittstelle 150 bereitstellen. Der Konzentriert-Zustand-Ermittler 140 kann beispielsweise durch die Schnittstelle 150 eine Physischer-Kontakt-Benachrichtigung mittels eines Mittels (z.B. eines Mediums), das mit dem Fahrer physisch in Kontakt kommen kann, wie z.B. eines Geräuschs/Tons, einer Vibration, einer Beleuchtung und einer Temperatur, bereitstellen, kann eine Beratung (z.B. einen Hinweis, eine Anleitung) oder eine interaktive Nachricht, die das Erfordernis einer Pause angibt, auf einer Anzeigevorrichtung bereitstellen oder kann einen Dienst, wie z.B. ein Bremsen, ein Lenken und dergleichen, gemäß einem Konzentriert-Zustand des Fahrers mittels einer Steuerungsvorrichtung zum Steuern des Fahrzeugs bereitstellen. Die Steuerungsvorrichtung zum Steuern des Fahrzeugs kann eine Information (bzw. Informationen) von einem Fahrzeugsensor, wie z.B. eine Information über einen Abstand zu einem vorausfahrenden Fahrzeug mittels eines Radarsensors, eine Fahrzeuggeschwindigkeitsinformation mittels eines Raddrehzahlsensors/Gaspedal-/Bremspedal-Sensors, verwenden, um ein Bremsen oder ein Lenken zu steuern.
Nachstehend wird ein Betrieb der Vorrichtung 100 zum Überwachen der Konzentration des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf das Flussdiagramm in 2 detaillierter beschrieben.
2 ist ein Flussdiagramm, welches einen Betrieb der Vorrichtung 100 zum Überwachen der Konzentration des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt.
Um einen Sichtbereich hinsichtlich einer Frontseite, auf welchen der Fahrer seine Augen (bzw. seinen Blick) richtet, zu ermitteln und um eine Konzentrationskarte (z.B. ein Konzentrationskennfeld) zu erzeugen, während das Fahrzeug fährt, berechnet unter Bezugnahme auf 2 der Konzentrationsermittler 120 als Erstes im Vorgang S110 ein Zentrales-Sehen-und-Peripheres-Sehen-Modell (bzw. ein Modell des zentralen Sehens und des peripheren Sehens) des Fahrers gemäß einem Sehmodell, welches auf der Grundlage eines allgemeinen Augapfelmodells, wie in 3 dargestellt, vordefiniert ist. Das heißt, dass der Konzentrationsermittler 120 in Vorgang 120 einen Bereich von einem Zentrales-Sehen-Abschnitt, welcher an dem Zentrum in der Blickrichtung des Fahrers angeordnet ist, aus bis zu einem Peripheres-Sehen-Abschnitt darum herum als einen Sichtbereich (z.B. einen Bereich, welchen der Fahrer sieht) ermitteln (z.B. festlegen) kann. In einem Fall, in welchem eine Person mit einem normalen Sehvermögen von 1,0 definiert ist, so dass sie eine Hauptsicht (z.B. ein Hauptsehfeld) von 3 Grad hat, kann ein Bereich von den 3 Grad der Hauptsicht als ein Zentrales-Sehen-Abschnitt durch den Konzentrationsermittler 120 angesehen werden und kann ein Bereich darum herum bis zu 20 Grad als ein Peripheres-Sehen-Abschnitt durch den Konzentrationsermittler 120 angesehen werden. Da jede Person eine unterschiedliche Hauptsicht haben kann, kann der Konzentrationsermittler 120 einen Sichtbereich jeder Person mittels Reflektierens (z.B. Berücksichtigens) eines Gewichtswerts für jede Person gemäß einem relativen Abstand bezüglich einer Frontseite (z.B. gemäß einem Abstand zwischen den Augen der Person und der Frontseite vor dem Fahrzeug) ermitteln.
Wenn der Konzentrationsermittler 120 den Sichtbereich auf der Grundlage des Zentrales-Sehen-und-Peripheres-Sehen-Modells des Fahrers ermittelt, kann der Konzentrationsermittler 120 eine mit dem gesamten Frontbild korrespondierende Konzentrationskarte (z.B. ein Konzentrationskennfeld) erzeugen mittels Ermittelns (z.B. Festlegens) eines Sichtkonzentrationswerts jedes Pixel entsprechend jedem Sichtbereich.
Wie in 4 dargestellt, kann zum Beispiel der Konzentrationsermittler 120 einen Sichtkonzentrationswert jedes Pixels ermitteln (z.B. festlegen), so dass Sichtkonzentrationswerte von Pixeln allmählich (z.B. schrittweise) von dem Zentrales-Sehen-Abschnitt, der an dem Zentrum der Blickrichtung des Fahrers angeordnet ist, aus hin zu einem Peripheres-Sehen-Abschnitt darum herum in jedem Sichtbereich jedes Bildrahmens verringert sind. 4 stellt ein Beispiel von Sichtkonzentrationswerten jeweiliger Pixel des Sichtbereichs dar, die mittels des Konzentrationsermittlers 120 ermittelt sind, so dass ein Konzentrationswert des Zentrales-Sehen-Abschnitts mittels des Werts 5 angegeben ist und Konzentrationswerte der Zentrales-Sehen-Abschnitte darum herum auf die Werte 4, 3, 2 und 1 in dem rechteckigen Sichtbereich W·H (z.B. dem Sichtbereich mit der Größe W mal H) verringert sind (W und H sind natürliche Zahlen).
Der Konzentrationsermittler 120 akkumuliert in Vorgang 130 die Konzentrationswerte bezüglich jedes Pixels der mit dem gesamten Frontbild korrespondierenden Konzentrationskarte, wobei (z.B. während) er die selbigen auf Grundlage des Bildrahmens abschwächt. Der Konzentrationsermittler 120 kann einen Konzentrationswert jedes Pixels an jeder Sichtkonzentration-Stufe gemäß einer Akkumulation und einer Abschwächungsrate jeder Sichtkonzentration-Stufe in jedem Rahmen ermitteln (z.B. festlegen).
Der Konzentrationsermittler 120 kann die Konzentrationskarte konfigurieren (z.B. bilden, festlegen) durch Ermitteln (z.B. Festlegen) jedes Sichtbereichs jedes Bildrahmens und kann einen Vorgang des Erzeugens einer Konzentrationskarte mittels Akkumulierens eines Sichtkonzentrationswerts jedes Pixel während einer vorbestimmten Rahmenzahl (d.h. drei Rahmen) und Abschwächens (z.B. Verringerns) des Sichtkonzentrationswerts jedes Pixels in jeder vorbestimmten Rahmenzahl (z.B. drei Rahmen) wiederholen. Die Sichtkonzentrationswerte können durch den Konzentrationsermittler 120 akkumuliert und anschließend abgeschwächt oder abgeschwächt und anschließend akkumuliert werden.
Wie in 5 gezeigt, kann der Konzentrationsermittler 120 beispielsweise die gleiche Abschwächungsrate (z.B. eine Verringerung um D = 2 jedes Mal) auf alle Pixel anwenden, um den Sichtkonzentrationswert jedes Pixels der momentanen Konzentrationskarte in jeder vorbestimmten Rahmenzahl (z.B. drei Rahmen) (beispielsweise in einem Bildrahmen zum nächsten Bildrahmen in der vorbestimmten Rahmenzahl) abzuschwächen. In einigen Beispielen kann der Konzentrationsermittler 120 den Sichtkonzentrationswert jedes Pixels der momentanen Konzentrationskarte in jeder vorbestimmten Rahmenzahl (z.B. drei Rahmen) abschwächen und unterschiedliche Abschwächungsraten gemäß einer Tiefe (z.B. einer Farbtiefe) jedes Pixels auf der Grundlage einer Tiefeninformation pro Pixel basierend auf einer 3D-Kamera oder dergleichen anwenden. Eine größere Abschwächungsrate kann hier auf einen Pixel, welcher einen größeren Tiefenwert hat, angewendet werden im Vergleich zu einem Pixel, welcher einen kleineren Tiefenwert hat.
6 ist eine Ansicht, welche eine Akkumulation jedes Pixels einer Sichtkonzentrationskarte per Rahmen in der vorliegenden Erfindung darstellt.
Wie in 6 gezeigt, kann, um eine Konzentrationskarte durch Akkumulieren des Sichtkonzentrationswerts jedes Pixels während einer vorbestimmten Rahmenzahl zu erzeugen, der Konzentrationsermittler 120 einen jeweiligen Gewichtswert bzw. Gewichtungswert (z.B. jeden Gewichtswert) auf einen Sichtkonzentrationswert jedes Pixels eines vorherigen Rahmens und einen Sichtkonzentrationswert jedes Pixels eines momentanen Rahmens anwenden und die Sichtkonzentrationswerte addieren, um eine Konzentrationskarte akkumulierter Sichtkonzentrationswert (bzw. eine sichtkonzentrationswert-akkumulierte Konzentrationskarte) zu erzeugen. 6 stellt ein Beispiels des Akkumulierens der Sichtkonzentrationswerte während zweier Rahmen (vorheriger Rahmen und momentaner Rahmen) dar, wobei M = 1 ein Gewichtswert eines Sichtkonzentrationswerts des vorherigen Rahmens ist und N = 1 ein Gewichtswert eines Sichtkonzentrationswerts des momentanen Rahmens ist. Sogar wenn Sichtkonzentrationswerte von drei oder mehr Rahmen akkumuliert werden, können die Sichtkonzentrationswerte durch Anwenden desselben Gewichtswerts oder von unterschiedlichen Gewichtswerten auf jeweilige Rahmen akkumuliert (z.B. addiert, zusammengerechnet) werden.
Der ROI-Ermittler 130 ermittelt im Vorgang S140 einen ROI (siehe 7A, 7B und 7C), welcher im Vergleich mit einem peripheren Vergleichsbereich (Referenzbereich für den Vergleich) in einem Frontbild eine Konzentration des Fahrers, die ein Niveau, das gleich oder höher einem vorbestimmten Niveau ist, hat, erfordert. Der ROI-Ermittler 130 kann Eigenschaftspunkte des Bilds der Frontseite des Fahrzeugs analysieren, um gültige Objekte, die einen Einfluss auf das Fahren des Fahrzeugs durch den Fahrer auswirken, wie z.B. ein Fahrstreifen (z.B. eine Fahrspur), in welchem das Fahrzeug fährt, ein vorausfahrendes Fahrzeug, ein Verkehrsschild, ein Signallicht (z.B. einer Ampel), ein Hindernis und dergleichen, zu detektieren. Wenn beispielsweise ein vorausfahrendes Fahrzeug detektiert wird, wie in 7A dargestellt, vergleicht der ROI-Ermittler 130 einen Vorausfahrendes-Fahrzeug-Bereich (z.B. einen Bereich, der mit der Position des vorausfahrenden Fahrzeugs korrespondiert) 710 mit Koordinaten der Konzentrationskarte auf der Grundlage eines vorbestimmten Koordinatensystems, wie z.B. eines Fahrzeugkoordinatensystems oder dergleichen, wie in 7B dargestellt, ermittelt der ROI-Ermittler einen vorbestimmten erweiterten (z.B. vergrößerten) Bereich, welcher den Vorausfahrendes-Fahrzeug-Bereich 710 aufweist (z.B. einschließt), als einen ROI 720, wie in 7C dargestellt, und setzt der ROI-Ermittler den ROI 720 als einen Bereich, welcher im Vergleich mit dem peripheren Vergleichsbereich (Bereich für den Vergleich) 730 eine Konzentration des Fahrers erfordert, die ein Niveau hat, das gleich oder höher dem vorbestimmten Niveau ist.
Der Konzentriert-Zustand-Ermittler 140 ermittelt im Vorgang S150 einen Konzentriert-Zustand (Konzentration/keine Konzentration) des Fahrers mittels Vergleichens des ROI mit der Konzentrationskarte, die mit dem Frontbild korrespondiert. Wenn der Konzentriert-Zustand-Ermittler 140 ermittelt, dass ein Konzentriert-Zustand des Fahrers in einen Nicht-Konzentriert-Zustand verändert ist/wird, kann der Konzentriert-Zustand-Ermittler 140 eine Warnung (z.B. ein Warnsignal) an den Fahrer gemäß zahlreicher vorstehend genannter Techniken mittels der Schnittstelle 150 bereitstellen (z.B. ausgeben).
Wenn ein Mittelwert der Sichtkonzentrationswerte der Pixel des ROI (z.B. 720) gleich oder größer einem Schwellenwert ist, kann der Konzentriert-Zustand-Ermittler 140 ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist.
Wenn ferner Sichtkonzentrationswerte der Pixel des ROI (z.B. 720) im Lauf der Zeit (bzw. im Zeitablauf) relativ zu Sichtkonzentrationswerten der peripheren (bzw. umgebenden) Bereiche steigen (bzw. erhöht sind), kann der Konzentriert-Zustand-Ermittler 140 ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist.
Wie in 8 dargestellt, kann außerdem, wenn ein Abstand zwischen dem Zentrum (X1, Y1) von Pixeln, die einen Konzentrationswert, der gleich einem oder größer als ein Schwellenwert ist, aufweisen, und dem Zentrum (X2, Y2) des ROI kleiner als ein vorbestimmter Wert ist, der Konzentriert-Zustand-Ermittler 140 ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist. Hierzu kann der Konzentriert-Zustand-Ermittler 140 eine Gruppe von einem oder mehreren Pixeln (z.B. eine rechteckige Form), wobei jeder einen Konzentrationswert, der gleich einem oder größer als der Schwellenwert ist, aufweist, detektieren und Zentralkoordinaten (X1, Y1) (z.B. Mittelpunktkoordinaten) für jeden Pixel der Gruppe (z.B. Zentralkoordinaten jedes Pixels der Gruppe und/oder Zentralkoordinaten eines zentralen Pixels der Gruppe) berechnen, um einen Abstand zwischen der (den) Zentralkoordinate(n) (X1, Y1) für jeden Pixel und der (den) Zentralkoordinate(n) (X2, Y2) des ROI zu berechnen (z.B. um einen Abstand zwischen den Zentralkoordinaten jedes Pixels und/oder Zentralkoordinaten der gesamten Gruppe (z.B. eines zentralen Pixels der Gruppe) und den Zentralkoordinaten des ROI zu berechnen).
9 ist eine Ansicht, welche ein Beispiel zum Realisieren der Vorrichtung 100 zum Überwachen der Konzentration des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt. Die Vorrichtung 100 zum Überwachen der Konzentration des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung kann mittels Hardware, Software oder einer Kombination davon ausgestaltet sein. Beispielsweise kann die Vorrichtung 100 zum Überwachen der Konzentration des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung realisiert sein als ein in 9 dargestelltes Datenverarbeitungssystem (bzw. Rechensystem) 1000.
Das Datenverarbeitungssystem 1000 kann wenigstens einen Prozessor 1100, einen (Daten-)Speicher 1300, eine Nutzerschnittstelle-Eingabevorrichtung 1400, eine Nutzerschnittstelle-Ausgabevorrichtung 1500, eine (Daten-)Speicherungseinrichtung 1600 und eine Netzwerkschnittstelle 1700, welche durch einen Bus (z.B. ein Datenübertragungssystem, das beispielsweise einen gemeinsamen Datenübertragungsweg aufweist) 1200 verbunden sind, aufweisen. Der Prozessor 110 kann eine Halbleitervorrichtung sein, welche ein Verarbeiten von Kommandosprachen, die in einer zentralen Prozessoreinheit (CPU) oder dem Speicher 1300 und/oder der Speicherungseinrichtung 1600 gespeichert sind, durchführt. Der Speicher 1300 und die Speicherungseinrichtung 1600 können zahlreiche Arten von flüchtigen oder nichtflüchtigen Speichermedien aufweisen. Beispielsweise kann der Speicher 1300 einen Nur-Lese-Speicher bzw. Festwertspeicher (ROM) 1310 und einen Schreib-Lese-Speicher (RAM) 1320 aufweisen.
Die Schritte des vorstehend bezüglich der beispielhaften Ausführungsformen der vorliegenden Erfindung beschriebenen Verfahrens oder Algorithmus können mittels Hardware, einem Softwaremodul oder einer durch den Prozessor 1100 ausgeführten Kombination davon direkt umgesetzt sein. Das Softwaremodul kann sich in einem Speichermedium (d.h. dem Speicher 1300 und/oder der Speicherungseinrichtung 1600), wie z.B. einem RAM-Speicher, einem Flash-Speicher, einem ROM-Speicher, einem EPROM-Speicher (bzw. löschbaren, programmierbaren Nur-Lese-Speicher), einem EEPROM-Speicher (bzw. elektrisch löschbaren, programmierbaren Nur-Lese-Speicher), einem Register, einer Festplatte, einer entfernbaren Platte (z.B. einer externen Festplatte) oder einer CD-ROM, befinden (bzw. darin hinterlegt sein). Ein beispielhaftes Speichermedium ist mit dem Prozessor 1100 verbunden, und der Prozessor 1100 kann Informationen von dem Speichermedium lesen und Informationen auf das Speichermedium schreiben. Der Prozessor 1100 und das Speichermedium können sich in einer anwendungsspezifischen integrierten Schaltung (ASIC) befinden (z.B. darin integriert sein). Der ASIC kann sich in einer Nutzerstation (z.B. einem Nutzerendgerät, einem Nutzerterminal) befinden (bzw. darin untergebracht sein). In einer weiteren Ausführungsform können sich der Prozessor 1100 und das Speichermedium als separate Bauteile in einer Nutzerstation (z.B. einem Nutzerendgerät, einem Nutzerterminal) befinden (bzw. darin untergebracht sein).
In der Vorrichtung und dem Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung gemäß beispielhaften Ausführungsformen der vorliegenden Erfindung, wie vorstehend beschrieben, kann mittels Überwachen, ob ein Fahrer eine wichtige Information (bzw. wichtige Informationen) konzentriert erhält, durch Verfolgen der Augen des Fahrers, während das Fahrzeug fährt, eine Warnung effektiv an den Fahrer bereitgestellt werden, wenn die Konzentration des Fahrers zu einer Zeit sinkt, wenn die wichtige Information verändert ist/wird, während das Fahrzeug fährt.
Obwohl vorstehend die Erfindung/Offenbarung in Verbindung unter Bezugnahme auf beispielhafte Ausführungsformen und die beigefügten Zeichnungen beschrieben wurde, ist die vorliegende Erfindung/Offenbarung nicht darauf beschränkt, sondern kann auf zahlreiche Weisen modifiziert und abgewandelt werden durch die Fachmänner in der Technik, zu der die vorliegende Erfindung/Offenbarung gehört, ohne dabei vom Sinn und Umfang der vorliegenden Erfindung, wie in den nachfolgenden Ansprüche beansprucht, abzuweichen.
Bezugszeichenliste

110: Steuereinrichtung
111: Speicher
120: Konzentrationsermittler
130: ROI-Ermittler
140: Konzentriert-Zustand-Ermittler
150: Schnittstelle (Anzeige, Ton/Vibration, V2X)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2016-0077598 [0001]

Claims

Vorrichtung (100) zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung, während ein Fahrzeug fährt, die Vorrichtung (100) aufweisend: einen Konzentrationsermittler (120), welcher in Echtzeit Sichtbereiche, auf welche ein Fahrer seine Augen richtet, während das Fahrzeug fährt, ermittelt und welcher einen Sichtkonzentrationswert jedes Pixels entsprechend jedem eine vorbestimmte Größe aufweisenden Sichtbereich in einem Frontbild ermittelt, um eine Konzentrationskarte, die mit dem Frontbild korrespondiert, zu erzeugen, einen Bereich-von-Interesse-(ROI-)Ermittler (130), welcher einen Bereich von Interesse (ROI), der relativ zu einem peripheren Vergleichsbereich in dem Frontbild eine Konzentration des Fahrers, die ein Niveau hat, das gleich oder höher einem vorbestimmten Niveau ist, erfordert, ermittelt, und einen Konzentriert-Zustand-Ermittler (140), welcher mittels Vergleichens des ROI mit der mit dem Frontbild korrespondieren Konzentrationskarte ermittelt, ob der Fahrer in einem Konzentriert-Zustand ist.
Vorrichtung (100) gemäß Anspruch 1, wobei der Konzentrationsermittler (120) einen Sichtkonzentrationswert jedes Pixels ermittelt, so dass jeweilige Sichtkonzentrationswerte der Pixel in jedem Sichtbereich allmählich von einem Zentrales-Sehen-Abschnitt, welcher an dem Zentrum einer Blickrichtung des Fahrers angeordnet ist, aus hin zu einem Peripheres-Sehen-Abschnitt darum herum verringert sind.
Vorrichtung (100) gemäß Anspruch 1 oder 2, wobei der Konzentrationsermittler (120) die Konzentrationskarte mittels Ermittelns jedes Sichtbereichs jedes Bildrahmens konfiguriert, die Konzentrationskarte mittels Akkumulierens des Sichtkonzentrationswerts jedes Pixels während einer vorbestimmten Rahmenzahl erzeugt und den Sichtkonzentrationswert jedes Pixels in jeder vorbestimmten Rahmenzahl abschwächt.
Vorrichtung (100) gemäß Anspruch 3, wobei der Konzentrationsermittler (120) einen jeweiligen Gewichtswert auf einen Sichtkonzentrationswert jedes Pixels eines vorherigen Rahmens und einen Sichtkonzentrationswert jedes Pixels eines momentanen Rahmens anwendet und die Sichtkonzentrationswerte addiert, um die Sichtkonzentrationswerte zu akkumulieren.
Vorrichtung (100) gemäß Anspruch 3 oder 4, wobei der Konzentrationsermittler (120) die gleiche Abschwächungsrate auf alle Pixel anwendet, um die Sichtkonzentrationswerte abzuschwächen.
Vorrichtung (100) gemäß Anspruch 3 oder 4, wobei der Konzentrationsermittler (120) unterschiedliche Abschwächungsraten gemäß einer Tiefe jedes Pixels auf der Grundlage einer Tiefeninformation jedes Pixels anwendet, um die Sichtkonzentrationswerte abzuschwächen.
Vorrichtung (100) gemäß irgendeinem der Ansprüche 1 bis 6, wobei der Konzentriert-Zustand-Ermittler (140) als Antwort auf eine Ermittlung, dass ein Mittelwert der Sichtkonzentrationswerte von Pixeln des ROI gleich oder größer einem Schwellenwert ist, ermittelt, dass der Fahrer in einem Konzentriert-Zustand ist.
Vorrichtung (100) gemäß irgendeinem der Ansprüche 1 bis 7, wobei der Konzentriert-Zustand-Ermittler (140) als Antwort auf eine Ermittlung, dass Sichtkonzentrationswerte von Pixeln des ROI im Lauf der Zeit relativ zu Sichtkonzentrationswerten der peripheren Bereiche steigen, ermittelt, dass der Fahrer in einem Konzentriert-Zustand ist.
Vorrichtung (100) gemäß irgendeinem der Ansprüche 1 bis 8, wobei der Konzentriert-Zustand-Ermittler (140) als Antwort auf eine Ermittlung, dass ein Abstand zwischen dem Zentrum von Pixeln, die einen Konzentrationswert, der gleich oder größer einem Schwellenwert ist, aufweisen, und dem Zentrum des ROI kleiner als ein vorbestimmter Wert ist, ermittelt, dass der Fahrer in einem Konzentriert-Zustand ist.
Vorrichtung (100) gemäß irgendeinem der Ansprüche 1 bis 9, wobei der Konzentriert-Zustand-Ermittler (140) als Antwort auf eine Ermittlung, dass der Konzentriert-Zustand des Fahrers in einen Nicht-Konzentriert-Zustand verändert ist, eine Warnung an den Fahrer mittels einer Schnittstelle (150) bereitstellt.
Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung, während ein Fahrzeug fährt, das Verfahren aufweisend: Ermitteln (S120) in Echtzeit von Sichtbereichen, auf welche ein Fahrer seine Augen richtet, während das Fahrzeug fährt, und Ermitteln eines Sichtkonzentrationswerts jedes Pixels entsprechend jedem eine vorbestimmte Größe aufweisenden Sichtbereich in einem Frontbild, um eine Konzentrationskarte, die mit dem Frontbild korrespondiert, zu erzeugen, Ermitteln (S140) eines Bereichs von Interesse (ROI), der relativ zu einem peripheren Vergleichsbereich in dem Frontbild eine Konzentration des Fahrers, die ein Niveau hat, das gleich oder höher einem vorbestimmten Niveau ist, erfordert, und Ermitteln (S150), ob der Fahrer in einem Konzentriert-Zustand ist, mittels Vergleichens des ROI mit der mit dem Frontbild korrespondierenden Konzentrationskarte.
Verfahren gemäß Anspruch 11, wobei das Erzeugen der Konzentrationskarte aufweist: Ermitteln des Sichtkonzentrationswerts jedes Pixels, so dass jeweilige Sichtkonzentrationswerte der Pixel in jedem Sichtbereich allmählich von einem Zentrales-Sehen-Abschnitt, welcher an dem Zentrum einer Blickrichtung des Fahrers angeordnet ist, aus hin zu einem Peripheres-Sehen-Abschnitt darum herum verringert sind.
Verfahren gemäß Anspruch 11 oder 12, wobei das Erzeugen der Konzentrationskarte aufweist: Konfigurieren der Konzentrationskarte mittels Ermittelns jedes Sichtbereichs jedes Bildrahmens, Erzeugen (S130) der Konzentrationskarte mittels Akkumulierens des Sichtkonzentrationswerts jedes Pixels während einer vorbestimmten Rahmenzahl und Abschwächen des Sichtkonzentrationswerts jedes Pixels in jeder vorbestimmten Rahmenzahl.
Verfahren gemäß Anspruch 13, wobei ein jeweiliger Gewichtswert auf einen Sichtkonzentrationswert jedes Pixels eines vorherigen Rahmens und einen Sichtkonzentrationswert jedes Pixels eines momentanen Rahmens angewendet wird und die Sichtkonzentrationswerte addiert werden, um die Sichtkonzentrationswerte zu akkumulieren.
Verfahren gemäß Anspruch 13 oder 14, wobei die gleiche Abschwächungsrate auf alle Pixel angewendet wird, um die Sichtkonzentrationswerte abzuschwächen.
Verfahren gemäß Anspruch 13 oder 14, wobei unterschiedliche Abschwächungsraten gemäß einer Tiefe jedes Pixels auf der Grundlage einer Tiefeninformation jedes Pixels angewendet werden, um die Sichtkonzentrationswerte abzuschwächen.
Verfahren gemäß irgendeinem der Ansprüche 11 bis 16, wobei das Ermitteln (S150), ob der Fahrer in dem Konzentriert-Zustand ist, aufweist: Ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist, als Antwort auf eine Ermittlung, dass ein Mittelwert der Sichtkonzentrationswerte der Pixel des ROI gleich oder größer einem Schwellenwert ist.
Verfahren gemäß irgendeinem der Ansprüche 11 bis 17, wobei das Ermitteln (S150), ob der Fahrer in dem Konzentriert-Zustand ist, aufweist: Ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist, als Antwort auf eine Ermittlung, dass Sichtkonzentrationswerte der Pixel des ROI im Lauf der Zeit relativ zu Sichtkonzentrationswerten der peripheren Bereiche steigen.
Verfahren gemäß irgendeinem der Ansprüche 11 bis 18, wobei das Ermitteln (S150), ob der Fahrer in dem Konzentriert-Zustand ist, aufweist: Ermitteln, dass der Fahrer in einem Konzentriert-Zustand ist, als Antwort auf eine Ermittlung, dass ein Abstand zwischen dem Zentrum von Pixeln, die einen Konzentrationswert, der gleich oder größer einem Schwellenwert ist, aufweisen, und dem Zentrum des ROI kleiner als ein vorbestimmter Wert ist.
Verfahren gemäß irgendeinem der Ansprüche 11 bis 19, wobei das Ermitteln (S150), ob der Fahrer in dem Konzentriert-Zustand ist, aufweist: Bereitstellen einer Warnung an den Fahrer mittels einer Schnittstelle als Antwort auf eine Ermittlung, dass der Konzentriert-Zustand des Fahrers in einen Nicht-Konzentriert-Zustand verändert ist.