DE112017007252T5 - Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren - Google Patents

Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren Download PDF

Info

Publication number
DE112017007252T5
DE112017007252T5 DE112017007252.2T DE112017007252T DE112017007252T5 DE 112017007252 T5 DE112017007252 T5 DE 112017007252T5 DE 112017007252 T DE112017007252 T DE 112017007252T DE 112017007252 T5 DE112017007252 T5 DE 112017007252T5
Authority
DE
Germany
Prior art keywords
driver
information
driving
concentration
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112017007252.2T
Other languages
English (en)
Inventor
Hatsumi AOI
Koichi Kinoshita
Tomoyoshi Aizawa
Tadashi Hyuga
Tomohiro YABUUCHI
Mei UETANI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of DE112017007252T5 publication Critical patent/DE112017007252T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

Eine Fahrerüberwachungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung beinhaltet: eine Bildbeschaffungseinheit, die ein aufgenommenes Bild von einer Bildgebungsvorrichtung beschafft, welche so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; eine Beobachtungsinformationsbeschaffungseinheit, die so eingerichtet ist, dass sie Beobachtungsinformationen über den Fahrer beschafft, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers enthalten; und eine Fahrerzustandsabschätzungseinheit, die so eingerichtet ist, dass sie das aufgenommene Bild und die Beobachtungsinformationen in eine trainierte Lerneinheit eingibt, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen, und die dazu eingerichtet ist, von der Lerneinheit Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren zu beschaffen.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Fahrerüberwachungsvorrichtung, ein Fahrerüberwachungsverfahren, eine Lernvorrichtung und ein Lernverfahren.
  • Stand der Technik
  • In jüngster Zeit wurden Techniken zur Überwachung des Zustands eines Fahrers entwickelt, um Verkehrsunfälle durch Einschlafen, plötzliche Veränderungen der körperlichen Verfassung und dergleichen zu verhindern. Auch die Trends zur automatischen Fahrtechnologie in Kraftfahrzeugen haben sich beschleunigt. Beim automatischen Fahren wird die Lenkung des Kraftfahrzeugs von einem System gesteuert, aber da Situationen eintreten können, in denen der Fahrer die Kontrolle über das Fahren von dem System übernehmen muss, ist es während des automatischen Fahrens notwendig, zu überwachen, ob der Fahrer in der Lage ist, Fahrvorgänge durchzuführen oder nicht. Die Notwendigkeit, den Zustand des Fahrers während des automatischen Fahrens zu überwachen, wurde auch auf der regierungsübergreifenden Konferenz (WP29) der Wirtschaftskommission der Vereinten Nationen für Europa (UN-ECE) bestätigt. Auch vor diesem Hintergrund wird an einer Technologie zur Überwachung des Fahrerzustandes gearbeitet.
  • Beispiele für eine Technologie zur Abschätzung des Fahrerzustands beinhalten ein in der Patentliteratur 1 vorgeschlagenes Verfahren zum Ermitteln des tatsächlichen Konzentrationsgrades eines Fahrers basierend auf Augenlidbewegungen, Blickrichtungsänderungen oder kleinen Veränderungen des Lenkradwinkels. Mit dem Verfahren in der Patentliteratur 1 wird der ermittelte tatsächliche Konzentrationsgrad mit einem erforderlichen Konzentrationsgrad verglichen, der auf der Grundlage von Umgebungsinformationen des Fahrzeugs berechnet wird, um festzustellen, ob der tatsächliche Konzentrationsgrad im Vergleich zum erforderlichen Konzentrationsgrad ausreichend ist. Reicht der tatsächliche Konzentrationsgrad im Vergleich zum erforderlichen Konzentrationsgrad nicht aus, wird die Fahrgeschwindigkeit beim automatischen Fahren reduziert. Das in der Patentliteratur 1 beschriebene Verfahren verbessert somit die Sicherheit bei der Geschwindigkeitsregelung.
  • Als weiteres Beispiel schlägt die Patentliteratur 2 ein Verfahren zur Bestimmung der Schläfrigkeit des Fahrers vor, die auf dem Mundöffnungsverhalten und dem Zustand der Muskeln um den Mund herum basiert. Bei dem Verfahren in der Patentliteratur 2 wird, wenn der Fahrer seinen Mund nicht geöffnet hat, der Grad der Schläfrigkeit des Fahrers basierend auf der Anzahl der Muskeln, die sich in einem entspannten Zustand befinden, bestimmt. Mit anderen Worten wird gemäß dem Verfahren der Patentliteratur 2 der Grad der Schläfrigkeit des Fahrers basierend auf einem Phänomen bestimmt, das unbewusst aufgrund von Schläfrigkeit auftritt, wodurch es möglich wird, die Ermittlungsgenauigkeit zu erhöhen, wenn ermittelt wird, dass der Fahrer schläfrig ist.
  • Als weiteres Beispiel schlägt die Patentliteratur 3 ein Verfahren zum Bestimmen der Schläfrigkeit des Fahrers vor, basierend darauf, ob sich der Gesichtsausrichtungswinkel des Fahrers nach einer Augenlidbewegung geändert hat oder nicht. Das Verfahren in der Patentliteratur 3 reduziert die Möglichkeit, einen nach unten gerichteten Blick fälschlicherweise als Zustand hoher Schläfrigkeit zu ermitteln, und erhöht so die Genauigkeit der Schläfrigkeitsermittlung.
  • Als weiteres Beispiel schlägt die Patentliteratur 4 ein Verfahren zum Bestimmen des Grades der Schläfrigkeit und des Grades der Unaufmerksamkeit eines Fahrers vor, indem das Gesichtsbild auf dem Führerschein mit einem aufgenommenen Bild des Fahrers verglichen wird. Gemäß dem Verfahren in der Patentliteratur 4 wird das Gesichtsbild auf dem Führerschein als Frontbild des Fahrers im Wachzustand verwendet, und die Merkmalsgrößen werden zwischen dem Gesichtsbild und dem aufgenommenen Bild verglichen, um den Grad der Schläfrigkeit und den Grad der Unaufmerksamkeit des Fahrers zu bestimmen.
  • Als ein weiteres Beispiel schlägt die Patentliteratur 5 ein Verfahren zum Bestimmen des Grades der Konzentration eines Fahrers basierend auf der Blickrichtung des Fahrers vor. Insbesondere wird gemäß dem Verfahren der Patentliteratur 5 die Blickrichtung des Fahrers ermittelt und die Verweildauer des ermittelten Blicks in einem Blickbereich gemessen. Überschreitet die Verweildauer einen Schwellenwert, wird bestimmt, dass der Konzentrationsgrad des Fahrers reduziert ist. Gemäß dem Verfahren der Patentliteratur 5 kann der Konzentrationsgrad des Fahrers basierend auf Veränderungen in einer kleinen Anzahl von blickbezogenen Pixelwerten bestimmt werden. Somit kann der Konzentrationsgrad des Fahrers mit einem kleinen Rechenaufwand bestimmt werden.
  • Literaturliste
  • Patentliteratur
    • Patentliteratur 1: JP 2008-213823A
    • Patentliteratur 2: JP 2010-122897A
    • Patentliteratur 3: JP 2011-048531A
    • Patentliteratur 4: JP 2012-084068A
    • Patentliteratur 5: JP 2014-191474A
  • Kurzdarstellung der Erfindung
  • Technisches Problem
  • Die Erfinder der vorliegenden Erfindung stellten Probleme wie die folgenden in den vorstehend beschriebenen konventionellen Methoden zur Überwachung des Fahrerzustandes fest. Bei den konventionellen Methoden wird der Fahrerzustand abgeschätzt, indem man sich auf Veränderungen in nur bestimmten Bereichen des Gesichts des Fahrers konzentriert, wie z. B. Änderungen in der Gesichtsausrichtung, auf das Öffnen/Schließen der Augen und auf Änderungen der Blickrichtung. Es gibt Aktionen, die für das Fahren notwendig sind, wie z. B. das Drehen des Kopfes, um die Umgebung während des Rechts-/Linksabbiegens zu überprüfen, das Zurückschauen zur visuellen Bestätigung und das Ändern der Blickrichtung, um Spiegel, Messgeräte und die Anzeige einer bordeigenen Vorrichtung zu überprüfen, und solche Verhaltensweisen können möglicherweise mit unaufmerksamen Verhaltensweisen oder einem reduzierten Konzentrationszustand verwechselt werden. Ebenso besteht im Falle von Zuständen verminderter Aufmerksamkeit, wie z. B. Trinken oder Rauchen mit Blick nach vorne oder Sprechen auf einem Mobiltelefon mit Blick nach vorne die Möglichkeit, dass solche Zustände mit normalen Zuständen verwechselt werden. Auf diese Weise, da konventionelle Verfahren nur Informationen verwenden, die auf Veränderungen in Abschnitten des Gesichts hinweisen, stellten die Erfinder der vorliegenden Erfindung fest, dass ein Problem besteht dahingehend, dass solche Verfahren nicht genau abschätzen können, inwieweit sich ein Fahrer auf das Fahren konzentriert, unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer möglicherweise befinden kann.
  • Ein Aspekt der vorliegenden Erfindung wurde angesichts der vorgenannten Umstände erreicht, und ein Ziel davon ist es, eine Technologie bereitzustellen, die es ermöglicht, den Konzentrationsgrad eines Fahrers auf das Fahren unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer möglicherweise befinden kann, abzuschätzen.
  • Problemlösung
  • Nachstehend werden Konfigurationen der vorliegenden Erfindung zur Lösung der vorstehend beschriebenen Probleme beschrieben.
  • Eine Fahrerüberwachungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung beinhaltet: eine Bildbeschaffungseinheit, die eingerichtet ist, um ein aufgenommenes Bild von einer Bildgebungsvorrichtung zu beschaffen, welche so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; eine Beobachtungsinformationsbeschaffungseinheit, die dazu eingerichtet ist, Beobachtungsinformationen über den Fahrer zu beschaffen, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers enthalten; und eine Fahrerzustandsabschätzungseinheit, die dazu eingerichtet ist, das aufgenommene Bild und die Beobachtungsinformationen in eine trainierte Lerneinheit einzugeben, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen, und die dazu eingerichtet ist, von der Lerneinheit Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren zu beschaffen.
  • Gemäß dieser Konfiguration wird der Zustand des Fahrers abgeschätzt anhand der trainierten Lerneinheit, die dazu trainiert wurde, den Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen. Der von der Lerneinheit empfangene Eingang beinhaltet die Beobachtungsinformationen, die durch Beobachten des Fahrers beschafft werden, und beinhaltet Gesichtsverhaltensinformationen über das Verhalten des Gesichts des Fahrers, sowie das aufgenommene Bild, das von der Bildgebungsvorrichtung beschafft wird, die so angeordnet ist, dass sie Bilder des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers aufnimmt. Aus diesem Grund kann der Körperzustand des Fahrers nicht nur anhand des Verhaltens des Gesichts des Fahrers, sondern auch anhand des aufgenommenen Bildes analysiert werden. Daher kann gemäß dieser Konfiguration der Konzentrationsgrad des Fahrers auf das Fahren unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer möglicherweise befinden kann, abgeschätzt werden. Es ist zu beachten, dass die Beobachtungsinformationen eventuell nicht nur die Gesichtsverhaltensinformationen über das Verhalten des Gesichts des Fahrers beinhalten, sondern auch verschiedene Arten von Informationen, die durch das Beobachten des Fahrers beschafft werden können, wie z. B. biologische Informationen, die Gehirnströme, Herzfrequenz oder dergleichen anzeigen.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann die Fahrerzustandsabschätzungseinheit als die Fahrkonzentrationsinformationen Aufmerksamkeitszustandsinformationen beschaffen, die einen Aufmerksamkeitszustand des Fahrers anzeigen, und Bereitschaftsinformationen, die einen Grad der Fahrbereitschaft des Fahrers anzeigen. Gemäß dieser Konfiguration kann der Zustand des Fahrers aus zwei Perspektiven überwacht werden, nämlich dem Aufmerksamkeitszustand des Fahrers und dem Fahrbereitschaftszustand.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt können die Aufmerksamkeitszustandsinformationen den Aufmerksamkeitszustand des Fahrers in einer Vielzahl von Stufen anzeigen, und die Bereitschaftsinformationen können den Grad der Fahrbereitschaft des Fahrers in einer Vielzahl von Stufen anzeigen. Gemäß dieser Konfiguration kann der Konzentrationsgrad des Fahrers auf das Fahren in mehreren Stufen ausgedrückt werden.
  • Die Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann ferner eine Warneinheit beinhalten, die eingerichtet ist, um den Fahrer, entsprechend einer Stufe des Aufmerksamkeitszustandes des Fahrers, die durch die Aufmerksamkeitszustandsinformationen angezeigt wird, und einer Stufe der Fahrbereitschaft des Fahrers, die durch die Bereitschaftsinformationen angezeigt wird, in einer Vielzahl von Stufen warnend aufzufordern, einen Zustand anzunehmen, der geeignet ist, das Fahrzeug zu fahren. Gemäß dieser Konfiguration ist es möglich, den Zustand des Fahrers in mehreren Stufen auszuwerten und Warnmeldungen zu geben, die für verschiedene Zustände geeignet sind.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann die Fahrerzustandsabschätzungseinheit als die Fahrkonzentrationsinformationen Aktionszustandsinformationen beschaffen, die einen Aktionszustand des Fahrers aus einer Vielzahl von vorgegebenen Aktionszuständen anzeigen, die jeweils entsprechend einem Konzentrationsgrad des Fahrers auf das Fahren eingestellt sind. Gemäß dieser Konfiguration kann der Konzentrationsgrad des Fahrers auf das Fahren basierend auf Aktionszuständen des Fahrers überwacht werden.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann die Beobachtungsinformationsbeschaffungseinheit als die Gesichtsverhaltensinformationen Informationen über mindestens eines der Folgenden beschaffen: ob das Gesicht des Fahrers ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und einen geöffneten/geschlossenen Zustand der Augen, indem sie eine vorgegebene Bildanalyse des aufgenommenen Bildes, das beschafft wurde, durchführt. Gemäß dieser Konfiguration kann der Zustand des Fahrers anhand von Informationen über mindestens eines der Folgenden abgeschätzt werden: ob das Gesicht des Fahrers ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und eines geöffneten/geschlossenen Zustandes der Augen.
  • Die Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann ferner eine Auflösungsumwandlungseinheit beinhalten, die eingerichtet ist, um eine Auflösung des beschafften aufgenommenen Bildes zu verringern, um ein niedrigauflösendes aufgenommenes Bild zu erzeugen, und die Fahrerzustandsabschätzungseinheit kann das niedrigauflösende aufgenommene Bild in die Lerneinheit eingeben. Gemäß dieser Konfiguration erhält die Lerneinheit einen Eingang nicht nur des aufgenommenen Bildes, sondern auch der Beobachtungsinformationen, die die Gesichtsverhaltensinformationen über das Verhalten des Gesichts des Fahrers beinhalten. Aus diesem Grund gibt es Fälle, in denen keine detaillierten Informationen von dem aufgenommenen Bild benötigt werden. In Anbetracht dessen wird gemäß der vorstehenden Konfiguration das niedrigauflösende aufgenommene Bild in die Lerneinheit eingegeben. Dementsprechend ist es möglich, den Berechnungsaufwand in der von der Lerneinheit durchgeführten Rechenverarbeitung zu reduzieren und die Belastung des Prozessors bei der Überwachung des Fahrers zu niedrig zu halten. Es ist zu beachten, dass selbst bei einer niedrigeren Auflösung Merkmale zur Haltung des Fahrers aus dem aufgenommenen Bild extrahiert werden können. Aus diesem Grund ist es möglich, anhand des niedrigauflösenden aufgenommenen Bildes zusammen mit den Beobachtungsinformationen den Konzentrationsgrad des Fahrers auf das Fahren unter Berücksichtigung verschiedener Zustände des Fahrers abzuschätzen.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann die Lerneinheit ein vollständig verbundenes neuronales Netzwerk, in das die Beobachtungsinformationen eingegeben werden, ein neuronales Faltungsnetzwerk, in das das aufgenommene Bild eingegeben wird, und eine Verbindungsschicht, die den Ausgang aus dem vollständig verbundenen neuronalen Netzwerk und den Ausgang aus dem neuronalen Faltungsnetzwerk verbindet, beinhalten. Das vollständig verbundene neuronale Netzwerk ist ein neuronales Netzwerk, das eine Vielzahl von Schichten aufweist, die jeweils ein oder mehrere Neuronen (Knoten) beinhalten, und das eine oder die mehreren Neuronen in jeder Schicht sind mit allen Neuronen verbunden, die in einer angrenzenden Schicht enthalten sind. Ebenso ist das neuronale Faltungsnetzwerk ein neuronales Netzwerk, das eine oder mehrere Faltungsschichten und eine oder mehrere Pooling-Schichten beinhaltet, und die Faltungsschichten und die Pooling-Schichten sind alternierend angeordnet. Die Lerneinheit in der vorstehenden Konfiguration beinhaltet zwei Arten von neuronalen Netzwerken auf der Eingangsseite, nämlich das vollständig verbundene neuronale Netzwerk und das neuronale Faltungsnetzwerk. Dementsprechend ist es möglich, eine Analyse durchzuführen, die für jede Art von Eingang geeignet ist, und es ist möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann die Lerneinheit ferner ein rekurrentes neuronales Netzwerk beinhalten, in das der Ausgang von der Verbindungsschicht eingegeben wird. Ein rekurrentes neuronales Netzwerk ist ein neuronales Netzwerk mit einer inneren Schleife, wie z. B. einem Pfad von einer Zwischenschicht zu einer Eingangsschicht. Gemäß dieser Konfiguration kann durch die Verwendung von Zeitreihendaten für die Beobachtungsinformationen und das aufgenommene Bild der Zustand des Fahrers unter Berücksichtigung vergangener Zustände abgeschätzt werden. Dementsprechend ist es möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt kann das rekurrente neuronale Netzwerk einen Long Short-Term Memory- (LSTM)-Block beinhalten. Der Long Short-Term Memory-Block beinhaltet ein Eingangs- und ein Ausgangs-Gate und ist dazu eingerichtet, Zeitpunkte zu lernen, zu denen Informationen gespeichert und ausgegeben werden. Es gibt auch eine Art Long Short-Term Memory-Block, der ein Forget-Gate beinhaltet, um Zeitpunkte zum Vergessen von Informationen lernen zu können. Nachstehend wird der Long Short-Term Memory-Block auch als „LSTM-Block“ bezeichnet. Gemäß der vorstehenden Konfiguration kann der Zustand des Fahrers unter Berücksichtigung nicht nur kurzfristiger, sondern auch langfristiger Abhängigkeiten abgeschätzt werden. Dementsprechend ist es möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • In der Fahrerüberwachungsvorrichtung gemäß dem vorstehenden Aspekt gibt die Fahrerzustandsabschätzungseinheit der Lerneinheit weiterhin Einflussfaktorinformationen über einen Faktor, der den Konzentrationsgrad des Fahrers auf das Fahren beeinflusst, ein. Gemäß dieser Konfiguration werden die Einflussfaktorinformationen auch beim Abschätzen des Zustands des Fahrers verwendet, so dass es möglich ist, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen. Es ist zu beachten, dass die Einflussfaktorinformationen verschiedene Arten von Faktoren beinhalten können, die den Konzentrationsgrad des Fahrers möglicherweise beeinflussen können, wie z. B. Geschwindigkeitsinformationen, die die Fahrgeschwindigkeit des Fahrzeugs anzeigen, Umgebungsinformationen, die die Situation in der Umgebung des Fahrzeugs anzeigen (z. B. Messergebnisse einer Radarvorrichtung und von einer Kamera aufgenommene Bilder), und Wetterinformationen, die das Wetter anzeigen.
  • Ein Fahrüberwachungsverfahren gemäß einem Aspekt der vorliegenden Erfindung ist ein Verfahren, bei dem ein Computer ausführt: einen Bildbeschaffungsschritt, um ein aufgenommenes Bild von einer Bildgebungsvorrichtung zu beschaffen, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; einen Beobachtungsinformationsbeschaffungsschritt zum Beschaffen von Beobachtungsinformationen über den Fahrer, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers enthalten; und einen Abschätzungsschritt zum Eingeben des aufgenommenen Bildes und der Beobachtungsinformationen in eine trainierte Lerneinheit, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen, und Beschaffen von Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren von der Lerneinheit. Gemäß dieser Konfiguration kann der Konzentrationsgrad des Fahrers auf das Fahren unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer möglicherweise befinden kann, abgeschätzt werden.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann der Computer in dem Abschätzungsschritt als die Fahrkonzentrationsinformationen Informationen über den Aufmerksamkeitszustand beschaffen, die einen Aufmerksamkeitszustand des Fahrers anzeigen, und Bereitschaftsinformationen, die einen Grad der Fahrbereitschaft des Fahrers anzeigen. Gemäß dieser Konfiguration kann der Zustand des Fahrers aus zwei Perspektiven überwacht werden, nämlich dem Aufmerksamkeitszustand des Fahrers und dem Fahrbereitschaftszustand.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt können die Aufmerksamkeitszustandsinformationen den Aufmerksamkeitszustand des Fahrers in einer Vielzahl von Stufen anzeigen, und die Bereitschaftsinformationen können den Grad der Fahrbereitschaft des Fahrers in einer Vielzahl von Stufen anzeigen. Gemäß dieser Konfiguration kann der Konzentrationsgrad des Fahrers auf das Fahren in mehreren Stufen ausgedrückt werden.
  • In dem Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann der Computer ferner einen Warnschritt ausführen, um den Fahrer, entsprechend einer Stufe des Aufmerksamkeitszustandes des Fahrers, die durch die Aufmerksamkeitszustandsinformationen angezeigt wird, und einer Stufe der Fahrbereitschaft des Fahrers, die durch die Bereitschaftsinformationen angezeigt wird, in einer Vielzahl von Stufen warnend aufzufordern, einen Zustand anzunehmen, der zum Fahren des Fahrzeugs geeignet ist. Gemäß dieser Konfiguration ist es möglich, den Zustand des Fahrers in mehreren Stufen auszuwerten und Warnmeldungen zu geben, die für verschiedene Zustände geeignet sind.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann der Computer in dem Abschätzungsschritt als die Fahrkonzentrationsinformationen Aktionszustandsinformationen beschaffen, die einen Aktionszustand des Fahrers aus einer Vielzahl von vorgegebenen Aktionszuständen anzeigen, die jeweils entsprechend einem Konzentrationsgrad des Fahrers auf das Fahren festgelegt sind. Gemäß dieser Konfiguration kann der Konzentrationsgrad des Fahrers auf das Fahren basierend auf Aktionszuständen des Fahrers überwacht werden.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann der Computer in dem Beobachtungsinformationsbeschaffungsschritt als die Gesichtsverhaltensinformationen Informationen über mindestens eines der Folgenden beschaffen: ob das Gesicht des Fahrers ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und einen geöffneten/geschlossenen Zustand der Augen, indem er eine vorgegebene Bildanalyse des aufgenommenen Bildes, das in dem Bildbeschaffungsschritt beschafft wurde, durchführt. Gemäß dieser Konfiguration kann der Zustand des Fahrers anhand von Informationen über mindestens eines der Folgenden abgeschätzt werden: ob das Gesicht des Fahrers ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und eines geöffneten/geschlossenen Zustandes der Augen.
  • In dem Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann der Computer ferner einen Auflösungskonvertierungsschritt zum Verringern einer Auflösung des beschafften aufgenommenen Bildes ausführen, um ein niedrigauflösendes aufgenommenes Bild zu erzeugen, und in dem Abschätzungsschritt kann der Computer das niedrigauflösende aufgenommene Bild in die Lerneinheit eingeben. Gemäß dieser Konfiguration ist es möglich, den Berechnungsaufwand in der von der Lerneinheit durchgeführten Rechenverarbeitung zu reduzieren und die Belastung des Prozessors bei der Überwachung des Fahrers niedrig zu halten.
  • In dem Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann die Lerneinheit ein vollständig verbundenes neuronales Netzwerk, in das die Beobachtungsinformationen eingegeben werden, ein neuronales Faltungsnetzwerk, in das das aufgenommene Bild eingegeben wird, und eine Verbindungsschicht, die den Ausgang aus dem vollständig verbundenen neuronalen Netzwerk und den Ausgang aus dem neuronalen Faltungsnetzwerk verbindet, beinhalten. Gemäß dieser Konfiguration ist es möglich, eine Analyse durchzuführen, die für jede Art von Eingang geeignet ist, und es ist möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann die Lerneinheit ferner ein rekurrentes neuronales Netzwerk beinhalten, in das der Ausgang von der Verbindungsschicht eingegeben wird. Gemäß dieser Konfiguration ist es möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann das wiederkehrende neuronale Netzwerk einen Long Short-Term Memory- (LSTM)-Block beinhalten. Gemäß dieser Konfiguration ist es möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • Im Fahrüberwachungsverfahren gemäß dem vorstehenden Aspekt kann der Computer in dem Abschätzungsschritt der Lerneinheit ferner Einflussfaktorinformationen über einen Faktor eingeben, der den Konzentrationsgrad des Fahrers auf das Fahren beeinflusst. Gemäß dieser Konfiguration ist es möglich, die Genauigkeit der Abschätzung des Zustands des Fahrers zu erhöhen.
  • Ebenso beinhaltet eine Lernvorrichtung gemäß einem Aspekt der vorliegenden Erfindung: eine Trainingsdatenbeschaffungseinheit, die dazu eingerichtet ist, als Trainingsdaten einen Satz eines aufgenommenen Bildes zu beschaffen, das von einer Bildgebungsvorrichtung beschafft wurde, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt, Beobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers und Fahrkonzentrationsinformationen über einen Konzentrationsgrad des Fahrers auf das Fahren beinhalten, und eine Lernverarbeitungseinheit, die dazu eingerichtet ist, eine Lerneinheit zu trainieren, einen Ausgangswert auszugeben, der den Fahrkonzentrationsinformationen entspricht, wenn das aufgenommene Bild und die Beobachtungsinformationen eingegeben werden. Gemäß dieser Konfiguration ist es möglich, eine trainierte Lerneinheit zur Verwendung beim Abschätzen des Konzentrationsgrades des Fahrers auf das Fahren aufzubauen.
  • Ebenso ist ein Lernverfahren gemäß einem Aspekt der vorliegenden Erfindung ein Verfahren, bei dem ein Computer ausführt: einen Trainingsdatenbeschaffungsschritt zum Beschaffen, als Trainingsdaten, eines Satzes eines aufgenommenen Bildes, das von einer Bildgebungsvorrichtung beschafft wurde, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; von Beobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers und Fahrkonzentrationsinformationen über einen Konzentrationsgrad des Fahrers auf das Fahren beinhalten; und einen Lernverarbeitungsschritt zum Trainieren einer Lerneinheit, um einen Ausgangswert auszugeben, der den Fahrkonzentrationsinformationen entspricht, wenn das aufgenommene Bild und die Beobachtungsinformationen eingegeben werden. Gemäß dieser Konfiguration ist es möglich, eine trainierte Lerneinheit zur Verwendung beim Abschätzen des Konzentrationsgrades des Fahrers beim Fahren aufzubauen.
  • Vorteilhafte Auswirkungen der Erfindung
  • Gemäß der vorliegenden Erfindung ist es möglich, Technologie bereitzustellen, die es ermöglicht, den Konzentrationsgrad eines Fahrers auf das Fahren unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer möglicherweise befinden kann, abzuschätzen.
  • Figurenliste
    • 1 veranschaulicht schematisch ein Beispiel für eine Situation, in der die vorliegende Erfindung zur Anwendung kommt.
    • 2 veranschaulicht schematisch ein Beispiel für eine Hardwarekonfiguration einer automatischen Fahrassistenzvorrichtung gemäß einer Ausführungsform.
    • 3 veranschaulicht schematisch ein Beispiel für eine Hardwarekonfiguration einer Lernvorrichtung gemäß einer Ausführungsform.
    • 4 veranschaulicht schematisch ein Beispiel für eine Funktionskonfiguration der automatischen Fahrassistenzvorrichtung gemäß einer Ausführungsform.
    • 5A veranschaulicht schematisch ein Beispiel für Aufmerksamkeitszustandsinformationen gemäß einer Ausführungsform.
    • 5B veranschaulicht schematisch ein Beispiel für Bereitschaftsinformationen gemäß einer Ausführungsform.
    • 6 veranschaulicht schematisch ein Beispiel für eine Funktionskonfiguration einer Lernvorrichtung gemäß einer Ausführungsform.
    • 7 veranschaulicht schematisch ein Beispiel für eine Verarbeitungsprozedur der automatischen Fahrassistenzvorrichtung gemäß einer Ausführungsform.
    • 8 veranschaulicht schematisch ein Beispiel für eine Verarbeitungsprozedur der Lernvorrichtung gemäß einer Ausführungsform.
    • 9A veranschaulicht schematisch ein Beispiel für Aufmerksamkeitszustandsinformationen gemäß einer Variante.
    • 9B veranschaulicht schematisch ein Beispiel für Bereitschaftsinformationen gemäß einer Variante.
    • 10 veranschaulicht schematisch ein Beispiel für eine Verarbeitungsprozedur der automatischen Fahrassistenzvorrichtung gemäß einer Variante.
    • 11 veranschaulicht schematisch ein Beispiel für eine Verarbeitungsprozedur der automatischen Fahrassistenzvorrichtung gemäß einer Variante.
    • 12 veranschaulicht schematisch ein Beispiel für eine Funktionskonfiguration einer automatischen Fahrassistenzvorrichtung gemäß einer Variante.
    • 13 veranschaulicht schematisch ein Beispiel für eine Funktionskonfiguration einer automatischen Fahrassistenzvorrichtung gemäß einer Variante.
  • Beschreibung von Ausführungsformen
  • Eine Ausführungsform gemäß einem Aspekt der vorliegenden Erfindung (im Folgenden auch als vorliegende Ausführungsform bezeichnet) wird nachstehend in Bezug auf die Zeichnungen beschrieben. Es ist zu beachten, dass die nachstehend beschriebene Ausführungsform nur ein veranschaulichendes Beispiel für die vorliegende Erfindung in allen Aspekten ist. Selbstverständlich können verschiedene Verbesserungen und Veränderungen vorgenommen werden, ohne von dem Umfang der vorliegenden Erfindung abzuweichen. Insbesondere können bei der Durchführung der vorliegenden Erfindung bei Bedarf spezifische Konfigurationen verwendet werden, die der Art und Weise der Durchführung der Erfindung entsprechen. Die vorliegende Ausführungsform veranschaulicht beispielsweise ein Beispiel, in dem die vorliegende Erfindung auf eine automatische Fahrassistenzvorrichtung angewendet wird, die das automatische Fahren eines Fahrzeugs unterstützt. Die vorliegende Erfindung beschränkt sich jedoch nicht darauf, auf ein Fahrzeug angewendet zu werden, das automatisches Fahren ausführen kann, und die vorliegende Erfindung kann auf ein allgemeines Fahrzeug angewendet werden, das automatisches Fahren nicht ausführen kann. Es ist zu beachten, dass, wenngleich die in der vorliegenden Ausführungsform verwendeten Daten in einer natürlichen Sprache beschrieben werden, derartige Daten spezifischer unter Verwendung einer computerlesbaren Sprache, wie z. B. einer Pseudo-Sprache, von Befehlen, Parametern oder einer Maschinensprache definiert sind.
  • Anwendungsbeispiele
  • Nachstehend wird zunächst unter Bezugnahme auf 1 ein Beispiel für eine Situation beschrieben, in der die vorliegende Erfindung angewendet wird. 1 veranschaulicht schematisch ein Beispiel für eine Situation, in der eine automatische Fahrassistenzvorrichtung 1 und eine Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform eingesetzt werden.
  • Wie in 1 dargestellt, ist die automatische Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform ein Computer, der das automatische Fahren eines Fahrzeugs unterstützt, während er einen Fahrer D mit Hilfe einer Kamera 31 überwacht. Die automatische Fahrassistenzvorrichtung 1 nach der vorliegenden Ausführungsform entspricht einer „Fahrerüberwachungsvorrichtung“ der vorliegenden Erfindung. Insbesondere beschafft die automatische Fahrassistenzvorrichtung 1 ein aufgenommenes Bild von der Kamera 31, die so angeordnet ist, dass sie ein Bild des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers D aufnimmt. Die Kamera 31 ist ein Beispiel für die „Bildgebungsvorrichtung“ der vorliegenden Erfindung. Die automatische Fahrassistenzvorrichtung 1 beschafft auch Fahrerbeobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten des Gesichts des Fahrers D beinhalten. Die automatische Fahrassistenzvorrichtung 1 gibt das beschaffte aufgenommene Bild und die Beobachtungsinformationen in eine Lerneinheit (neuronales Netzwerk 5, das weiter unten beschrieben wird) ein, die durch maschinelles Lernen dazu trainiert wurde, den Grad abzuschätzen, in dem sich der Fahrer auf das Fahren konzentriert, und beschafft von der Lerneinheit Fahrkonzentrationsinformationen, die den Grad anzeigen, in dem sich der Fahrer D auf das Fahren konzentriert. Die automatische Fahrassistenzvorrichtung 1 schätzt somit den Zustand des Fahrers D, genauer gesagt, den Grad, in dem sich der Fahrer D auf das Fahren konzentriert (nachstehend „Grad der Fahrkonzentration“ genannt), ab.
  • Die Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform ist ein Computer, der die Lerneinheit, die in der automatischen Fahrassistenzvorrichtung 1 verwendet wird, aufbaut, oder genauer gesagt, ein Computer, der die Lerneinheit durch maschinelles Lernen zur Ausgabe von Fahrerkonzentrationsinformationen trainiert, die den Grad angeben, in dem sich der Fahrer D auf das Fahren konzentriert, als Reaktion auf eine Eingabe eines aufgenommenen Bildes und von Beobachtungsinformationen. Insbesondere beschafft die Lernvorrichtung 2 einen Satz von aufgenommenen Bildern, Beobachtungsinformationen und Fahrkonzentrationsinformationen als Trainingsdaten. Die aufgenommenen Bilder und die Beobachtungsinformationen werden als Eingangsdaten und die Fahrkonzentrationsinformationen als Lerndaten verwendet. Insbesondere trainiert die Lernvorrichtung 2 eine Lerneinheit (neuronales Netzwerk 6, das weiter unten beschrieben wird), Ausgangswerte auszugeben, die den Fahrkonzentrationsinformationen als Reaktion auf die Eingabe von aufgenommenen Bildern und Beobachtungsinformationen entsprechen. Dadurch wird die trainierte Lerneinheit beschafft, die in der automatischen Fahrassistenzvorrichtung 1 verwendet wird. Die automatische Fahrassistenzvorrichtung 1 beschafft die von der Lernvorrichtung 2 aufgebaute trainierte Lerneinheit beispielsweise über ein Netzwerk. Das Netzwerk kann entsprechend ausgewählt werden, beispielsweise aus dem Internet, einem drahtlosen Kommunikationsnetz, einem Mobilfunknetz, einem Telefonnetz und einem dedizierten Netzwerk.
  • Wie vorstehend beschrieben, wird in der vorliegenden Ausführungsform der Zustand des Fahrers D anhand einer trainierten Lerneinheit abgeschätzt, die dazu trainiert wurde, den Grad abzuschätzen, in dem sich ein Fahrer auf das Fahren konzentriert. Die Informationen, die in die Lerneinheit eingegeben werden, beinhalten Beobachtungsinformationen, die durch die Beobachtung des Fahrers beschafft werden, und beinhalten Gesichtsverhaltensinformationen über das Verhalten des Gesichts des Fahrers sowie aufgenommene Bilder, die von der Kamera 31 beschafft wurden, die so angeordnet ist, dass sie Bilder des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers aufnimmt. Aus diesem Grund wird die Abschätzung nicht nur anhand des Verhaltens des Gesichts des Fahrers D, sondern auch anhand des Körperzustands (z. B. Körperorientierung und Körperhaltung) des Fahrers D durchgeführt, der anhand der aufgenommenen Bilder analysiert werden kann. Entsprechend ermöglicht die vorliegende Ausführungsform eine Abschätzung des Grades, in dem sich der Fahrer D auf das Fahren konzentriert, unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer D möglicherweise befinden kann.
  • Beispielstruktur
  • Hardware-Konfiguration
  • Automatische Fahrassistenzvorrichtung
  • Die Hardwarekonfiguration der automatischen Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform wird nun in Bezug auf 2 beschrieben. 2 veranschaulicht schematisch ein Beispiel für die Hardwarekonfiguration der automatischen Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform.
  • Wie in 2 dargestellt, ist die automatische Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform ein Computer mit einer Steuereinheit 11, einer Speichereinheit 12 und einer externen Schnittstelle 13, die elektrisch miteinander verbunden sind. In 2 wird die externe Schnittstelle als externe I/F (Englisch: interface) abgekürzt.
  • Die Steuereinheit 11 beinhaltet beispielsweise eine zentrale Verarbeitungseinheit (CPU, Englisch: central processing unit) als Hardwareprozessor, eine Direktzugriffsspeichervorrichtung (RAM, Englisch: random access memory) und eine Nur-Lese-Speichervorrichtung (ROM, Englisch: read only memory), und die Steuereinheit 11 steuert die Bestandselemente gemäß der Informationsverarbeitung. Die Speichereinheit 12 beinhaltet beispielsweise ein RAM und ein ROM und speichert ein Programm 121, Trainingsergebnisdaten 122 und andere Informationen. Die Speichereinheit 12 entspricht einer „Speichervorrichtung“.
  • Das Programm 121 ist ein Programm, mit dem die automatische Fahrassistenzvorrichtung 1 veranlasst wird, eine weiter unten beschriebene Informationsverarbeitung (7) zum Abschätzen des Zustands des Fahrers D durchzuführen. Die Trainingsergebnisdaten 122 werden zum Einstellen der trainierten Lerneinheit verwendet. Dies wird nachstehend ausführlich beschrieben.
  • Die externe Schnittstelle 13 dient zum Anschluss an externe Vorrichtungen und ist entsprechend eingerichtet, je nachdem, mit welchen externen Vorrichtungen Verbindungen hergestellt werden. In der vorliegenden Ausführungsform ist die externe Schnittstelle 13 beispielsweise über ein Controller Area Network (CAN) mit einer Navigationsvorrichtung 30, der Kamera 31, einem Biosensor 32 und einem Lautsprecher 33 verbunden.
  • Die Navigationsvorrichtung 30 ist ein Computer, der eine Routenführung während der Fahrt des Fahrzeugs bereitstellt. Die Navigationsvorrichtung 30 kann eine bekannte Fahrzeugnavigationsvorrichtung sein. Die Navigationsvorrichtung 30 misst die Position des Fahrzeugs basierend auf einem GPS(Global Positioning System)-Signal und stellt eine Routenführung anhand von Karteninformationen und Umgebungsinformationen über nahegelegene Gebäude und andere Objekte bereit. Die Informationen, die die basierend auf einem GPS-Signal gemessene Position des Fahrzeugs anzeigen, werden nachstehend als „GPS-Informationen“ bezeichnet.
  • Die Kamera 31 ist so angeordnet, dass sie Bilder des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers D aufnimmt. So ist beispielsweise in dem Beispiel von 1 die Kamera 31 in einer Position oberhalb und vor dem Fahrersitz angeordnet. Die Position der Kamera 31 ist jedoch nicht auf dieses Beispiel beschränkt, und die Position kann gemäß der Implementierung entsprechend ausgewählt werden, solange es möglich ist, Bilder des auf dem Fahrersitz sitzenden Fahrers D aufzunehmen. Es ist zu beachten, dass die Kamera 31 eine typische Digitalkamera, Videokamera oder dergleichen sein kann.
  • Der Biosensor 32 ist dazu eingerichtet, biologische Informationen über den Fahrer D zu beschaffen. Es gibt keine besonderen Einschränkungen für die zu beschaffenden biologischen Informationen, und Beispiele sind u. a. Gehirnströme und Herzfrequenz. Der Biosensor 32 muss nur in der Lage sein, die erforderlichen biologischen Informationen zu beschaffen, und es ist möglich, einen bekannten Gehirnwellensensor, Herzfrequenzsensor oder dergleichen zu verwenden. Der Biosensor 32 ist an einem Körperteil des Fahrers D befestigt, der den zu beschaffenden biologischen Informationen entspricht.
  • Der Lautsprecher 33 ist für die Tonausgabe eingerichtet. Der Lautsprecher 33 wird verwendet, um den Fahrer D warnend aufzufordern, einen für das Fahren des Fahrzeugs geeigneten Zustand anzunehmen, wenn sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, während das Fahrzeug fährt. Dies wird nachstehend ausführlich beschrieben.
  • Es ist zu beachten, dass die externe Schnittstelle 13 mit einer anderen externen Vorrichtung als den vorstehend beschriebenen externen Vorrichtungen verbunden werden kann. So kann beispielsweise die externe Schnittstelle 13 an ein Kommunikationsmodul zur Datenkommunikation über ein Netzwerk verbunden werden. Die externe Schnittstelle 13 beschränkt sich nicht nur auf die Herstellung einer Verbindung mit den vorstehend beschriebenen externen Vorrichtungen, und je nach Implementierung kann auch jede andere externe Vorrichtung ausgewählt werden.
  • In dem in 2 dargestellten Beispiel beinhaltet die automatische Fahrassistenzvorrichtung 1 eine externe Schnittstelle 13. Die externe Schnittstelle 13 kann jedoch für jede externe Vorrichtung, zu der eine Verbindung hergestellt wird, separat bereitgestellt werden. Die Anzahl der externen Schnittstellen 13 kann je nach Implementierung entsprechend ausgewählt werden.
  • Es ist zu beachten, dass in der spezifischen Hardwarekonfiguration der automatischen Fahrassistenzvorrichtung 1 Bestandselemente je nach Implementierung weggelassen, ersetzt oder gegebenenfalls hinzugefügt werden können. Zum Beispiel kann die Steuereinheit 11 mehrere Hardwareprozessoren beinhalten. Die Hardwareprozessoren können ein Mikroprozessor, ein FPGA (Feldprogrammierbares Gate-Array) oder dergleichen sein. Die Speichereinheit 12 kann das in der Steuereinheit 11 enthaltene RAM oder ROM sein. Die Speichereinheit 12 kann auch eine Zusatzspeichervorrichtung wie ein Festplattenlaufwerk oder ein Solid-State-Laufwerk sein. Die automatische Fahrassistenzvorrichtung 1 kann eine Informationsverarbeitungsvorrichtung, die für einen vorgesehenen Dienst bestimmt ist, oder ein Universalcomputer sein.
  • Lernvorrichtung
  • Ein Beispiel für die Hardwarekonfiguration der Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform wird nun in Bezug auf 3 beschrieben. 3 veranschaulicht schematisch ein Beispiel für die Hardwarekonfiguration der Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform.
  • Wie in 3 dargestellt, ist die Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform ein Computer mit einer Steuereinheit 21, einer Speichereinheit 22, einer Kommunikationsschnittstelle 23, einer Eingabevorrichtung 24, einer Ausgabevorrichtung 25 und einem Laufwerk 26, die elektrisch miteinander verbunden sind. In 3 ist die Kommunikationsschnittstelle als „Kommunikations-I/F“ abgekürzt.
  • Ähnlich wie die vorstehend beschriebene Steuereinheit 11 beinhaltet die Steuereinheit 21 beispielsweise eine CPU als Hardwareprozessor, ein RAM und ein ROM, und führt verschiedene Arten der Informationsverarbeitung basierend auf Programmen und Daten durch. Die Speichereinheit 22 beinhaltet beispielsweise ein Festplattenlaufwerk oder ein Solid State Drive. Die Speichereinheit 22 speichert beispielsweise ein Lernprogramm 221, das von der Steuereinheit 21 ausgeführt werden soll, die von der Lerneinheit beim Lernen verwendeten Trainingsdaten 222 und die durch die Ausführung des Lernprogramms 221 erzeugten Trainingsergebnisdaten 122.
  • Das Lernprogramm 221 ist ein Programm, das die Lernvorrichtung 2 veranlasst, eine weiter unten beschriebene maschinelle Lernverarbeitung durchzuführen (8). Die Trainingsdaten 222 werden verwendet, um die Lerneinheit zu trainieren, um die Fähigkeit zu erhalten, den Grad der Fahrkonzentration des Fahrers abzuschätzen. Dies wird nachstehend ausführlich beschrieben.
  • Die Kommunikationsschnittstelle 23 ist z. B. ein leitungsgebundenes Local Area Network(LAN)-Modul oder ein drahtloses LAN-Modul für die leitungsgebundene oder drahtlose Kommunikation über ein Netzwerk. Die Lernvorrichtung 2 kann die erzeugten Trainingsdaten 222 über die Kommunikationsschnittstelle 23 an eine externe Vorrichtung verteilen.
  • Die Eingabevorrichtung 24 ist z. B. eine Maus oder eine Tastatur. Die Ausgabevorrichtung 25 ist z. B. ein Display oder ein Lautsprecher. Ein Bediener kann die Lernvorrichtung 2 über die Eingabevorrichtung 24 und die Ausgabevorrichtung 25 bedienen.
  • Das Laufwerk 26 ist eine Laufwerksvorrichtung, wie z. B. ein Compact Disc(CD)-Laufwerk oder ein Digital Versatile Disc- (DVD) -Laufwerk zum Lesen eines auf einem Speichermedium 92 gespeicherten Programms. Die Art des Laufwerks 26 kann je nach Art des Speichermediums 92 entsprechend ausgewählt werden. Das Lernprogramm 221 und die Trainingsdaten 222 können auf dem Speichermedium 92 gespeichert werden.
  • Das Speichermedium 92 speichert Programme oder andere Informationen auf elektrische, magnetische, optische, mechanische oder chemische Weise, damit ein Computer oder eine andere Vorrichtung oder Maschine die aufgezeichneten Programme oder anderen Informationen lesen kann. Die Lernvorrichtung 2 kann das Lernprogramm 221 und die Trainingsdaten 222 aus dem Speichermedium 92 beschaffen.
  • In 3 ist das Speichermedium 92 ein Speichermedium für Platten, wie z. B. eine CD und eine DVD. Das Speichermedium 92 ist jedoch nicht auf eine Platte beschränkt, und kann ein anderes Medium als eine Platte sein. Ein Beispiel für ein anderes Speichermedium als eine Platte ist eine Halbleiterspeichervorrichtung, wie z. B. eine Flash-Speichervorrichtu ng.
  • Es ist zu beachten, dass in der spezifischen Hardwarekonfiguration der Lernvorrichtung 2 Bestandselemente je nach Implementierung weggelassen, ersetzt oder gegebenenfalls hinzugefügt werden können. Zum Beispiel kann die Steuereinheit 21 mehrere Hardwareprozessoren beinhalten. Die Hardwareprozessoren können ein Mikroprozessor, ein FPGA (Feldprogrammierbares Gate-Array) oder dergleichen sein. Die Lernvorrichtung 2 kann mehrere Informationsverarbeitungsvorrichtungen beinhalten. Die Lernvorrichtung 2 kann auch eine Informationsverarbeitungsvorrichtung sein, die für einen bestimmten Dienst bestimmt ist, oder sie kann ein Universalserver oder ein Personalcomputer (PC) sein.
  • Funktionskonfiguration
  • Automatische Fahrassistenzvorrichtung
  • Ein Beispiel für die Funktionskonfiguration der automatischen Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform wird nun in Bezug auf 4 beschrieben. 4 veranschaulicht schematisch ein Beispiel für die Funktionskonfiguration der automatischen Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform.
  • Die in der automatischen Fahrassistenzvorrichtung 1 enthaltene Steuereinheit 11 lädt das in der Speichereinheit 12 gespeicherte Programm 121 in das RAM. Die CPU in der Steuereinheit 11 interpretiert und führt dann das in das RAM geladene Programm 121 zur Steuerung der Bestandselemente aus. Die automatische Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform funktioniert somit als ein Computer, der eine Bildbeschaffungseinheit 111, eine Beobachtungsinformationsbeschaffungseinheit 112, eine Auflösungsumwandlungseinheit 113, eine Fahrzustandsabschätzungseinheit 114 und eine Warneinheit 115 beinhaltet, wie in 4 dargestellt.
  • Die Bildbeschaffungseinheit 111 beschafft ein aufgenommenes Bild 123 von der Kamera 31, die dazu angeordnet ist, Bilder des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers D aufzunehmen. Die Beobachtungsinformationsbeschaffungseinheit 112 beschafft Beobachtungsinformationen 124, die Gesichtsverhaltensinformationen 1241 über das Verhalten des Gesichts des Fahrers D und biologische Informationen 1242 beinhalten, die durch den Biosensor 32 beschafft wurden. In der vorliegenden Ausführungsform werden die Gesichtsverhaltensinformationen 1241 durch Durchführung einer Bildanalyse an dem aufgenommenen Bild 123 beschafft. Es ist zu beachten, dass die Beobachtungsinformationen 124 nicht auf dieses Beispiel beschränkt sind und die biologischen Informationen 1242 weggelassen werden können. In diesem Fall kann der Biosensor 32 entfallen.
  • Die Auflösungsumwandlungseinheit 113 reduziert die Auflösung des aufgenommenen Bildes 123, das durch die Bildbeschaffungseinheit 111 beschafft wurde. Die Auflösungsumwandlungseinheit 113 erzeugt somit ein niedrigauflösendes aufgenommenes Bild 1231.
  • Die Fahrzustandsabschätzungseinheit 114 gibt das niedrigauflösende aufgenommene Bild 1231, das durch Verringern der Auflösung des aufgenommenen Bildes 123 beschafft wurde, und die Beobachtungsinformationen 124 an eine trainierte Lerneinheit (neuronales Netzwerk 5) weiter, die dazu trainiert wurde, den Grad der Fahrkonzentration des Fahrers abzuschätzen. Die Fahrzustandsabschätzungseinheit 114 beschafft somit von der Lerneinheit Fahrkonzentrationsinformationen 125 über den Grad der Fahrkonzentration des Fahrers D. In der vorliegenden Ausführungsform beinhalten die durch die Fahrzustandsabschätzungseinheit 114 beschafften Fahrkonzentrationsinformationen 125 Aufmerksamkeitszustandsinformationen 1251, die den Aufmerksamkeitszustand des Fahrers D anzeigen, und Bereitschaftsinformationen 1252, die anzeigen, inwieweit der Fahrer D fahrbereit ist. Die Verarbeitung zur Reduzierung der Auflösung kann entfallen. In diesem Fall kann die Fahrzustandsabschätzungseinheit 114 das aufgenommene Bild 123 in die Lerneinheit eingeben.
  • Nachstehend werden die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 in Bezug auf die 5A und 5B beschrieben. Die 5A und 5B zeigen Beispiele für die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252. Wie in 5A dargestellt, zeigten die Aufmerksamkeitszustandsinformationen 1251 der vorliegenden Ausführungsform bei Verwendung einer von zwei Stufen an, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht. Ebenso, wie in 5B dargestellt, zeigen die Bereitschaftsinformationen 1252 der vorliegenden Ausführungsform anhand von einer von zwei Stufen an, ob sich der Fahrer in einem Zustand hoher oder niedriger Fahrbereitschaft befindet.
  • Die Beziehung zwischen dem Aktionszustand des Fahrers D und dem Aufmerksamkeitszustand und der Bereitschaft kann entsprechend eingestellt werden. Befindet sich der Fahrer D beispielsweise in einem Aktionszustand wie „nach vorne blicken“, „Messgeräte prüfen“ oder „Navigationssystem prüfen“, so kann abgeschätzt werden, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt und sich in einem Zustand hoher Fahrbereitschaft befindet. In Anbetracht dessen werden in der vorliegenden Ausführungsform, wenn sich der Fahrer D in Aktionszuständen wie „nach vorne blicken“, „Messgeräte prüfen“ und „Navigationssystem prüfen“ befindet, die Aufmerksamkeitszustandsinformationen 1251 so eingestellt, dass sie anzeigen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt, und die Bereitschaftsinformationen 1252 werden so eingestellt, dass sie anzeigen, dass sich der Fahrer D in einem Zustand hoher Fahrbereitschaft befindet. Diese „Bereitschaft“ gibt an, inwieweit der Fahrer fahrbereit ist, wie z. B. inwieweit der Fahrer D zum manuellen Fahren des Fahrzeugs zurückkehren kann, wenn in der automatischen Fahrvorrichtung 1 eine Unregelmäßigkeit oder dergleichen auftritt und das automatische Fahren nicht mehr fortgesetzt werden kann. Es ist zu beachten, dass sich „nach vorne blicken“ auf einen Zustand bezieht, in dem der Fahrer D in die Richtung blickt, in die das Fahrzeug fährt. Ebenso bezieht sich „Messgeräte prüfen“ auf einen Zustand, in dem der Fahrer D ein Messgerät, wie z. B. den Geschwindigkeitsmesser des Fahrzeugs, überprüft. Ferner bezieht sich „Navigationssystem prüfen“ auf einen Zustand, in dem der Fahrer D die von der Navigationsvorrichtung 30 bereitgestellte Routenführung überprüft.
  • Ebenso ist es möglich, wenn sich der Fahrer D in einem Aktionszustand wie „Rauchen“, „Essen/Trinken“ oder „Telefonieren“ befindet, abzuschätzen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt, sich aber in einem Zustand niedriger Fahrbereitschaft befindet. In Anbetracht dessen werden in der vorliegenden Ausführungsform, wenn sich der Fahrer D in Aktionszuständen wie „nach vorne blicken“, „Messgeräte prüfen“ und „Navigationssystem prüfen“ befindet, die Aufmerksamkeitszustandsinformationen 1251 so eingestellt, dass sie anzeigen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt, und die Bereitschaftsinformationen 1252 so eingestellt, dass sie anzeigen, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet. Es ist zu beachten, dass sich „Rauchen“ auf einen Zustand bezieht, in dem der Fahrer D raucht. Ebenso bezieht sich „Essen/Trinken“ auf einen Zustand, in dem der Fahrer D isst oder trinkt. Ferner bezieht sich „Telefonieren“ auf einen Zustand, in dem der Fahrer D an einem Telefon, wie z. B. einem Mobiltelefon, spricht.
  • Ebenso werden, wenn sich der Fahrer D in einem Aktionszustand wie „schräg blicken“, „Umdrehen“ oder „schläfrig“ befindet, die Aufmerksamkeitszustandsinformationen so eingestellt, dass sie anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, aber die Bereitschaftsinformationen werden so eingestellt, dass sie anzeigen, dass sich der Fahrer D in einem Zustand hoher Fahrbereitschaft befindet. In Anbetracht dessen werden in der vorliegenden Ausführungsform, wenn sich der Fahrer D in Aktionszuständen wie „schräg blicken“, „Umdrehen“ oder „schläfrig“ befindet, die Aufmerksamkeitszustandsinformationen 1251 so eingestellt, dass sie anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, und die Bereitschaftsinformationen 1252 werden so eingestellt, dass sie anzeigen, dass sich der Fahrer D in einem Zustand hoher Fahrbereitschaft befindet. Es ist zu beachten, dass sich „schräg blicken“ auf einen Zustand bezieht, in dem der Fahrer D nicht nach vorne schaut. Ebenso bezieht sich „Umdrehen“ auf einen Zustand, in dem sich der Fahrer D zu den Rücksitzen umgedreht hat. Ferner bezieht sich „schläfrig“ auf einen Zustand, in dem der Fahrer D schläfrig geworden ist.
  • Ebenso, kann wenn sich der Fahrer D in einem Aktionszustand wie „Schlafen“, „Mobiltelefonbedienung“ oder „Panik“ befindet, abgeschätzt werden, dass der Fahrer D dem Fahren nicht die nötige Aufmerksamkeit zukommen lässt und sich in einem Zustand niedriger Fahrbereitschaft befindet. In Anbetracht dessen werden in der vorliegenden Ausführungsform, wenn sich der Fahrer D in Aktionszuständen wie „Schlafen“, „Mobiltelefonbedienung“ oder „Panik“ befindet, die Aufmerksamkeitszustandsinformationen 1251 so eingestellt, dass sie anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, und die Bereitschaftsinformationen 1252 werden so eingestellt, dass sie anzeigen, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet. Es ist zu beachten, dass sich „Schlafen“ auf einen Zustand bezieht, in dem der Fahrer D schläft. Ebenso bezieht sich „Mobiltelefonbedienung“ auf einen Zustand, in dem der Fahrer D ein Mobiltelefon bedient. Ferner bezieht sich „Panik“ auf einen Zustand, in dem der Fahrer D aufgrund einer plötzlichen Veränderung der körperlichen Verfassung in Panik gerät.
  • Die Warneinheit 115 bestimmt basierend auf den Fahrkonzentrationsinformationen 125, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, oder mit anderen Worten, ob der Fahrkonzentrationsgrad des Fahrers D hoch ist oder nicht. Nach dem Bestimmen, dass sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, wird der Lautsprecher 33 verwendet, um eine Warnung auszugeben, um den Fahrer D aufzufordern, einen für das Fahren des Fahrzeugs geeigneten Zustand anzunehmen.
  • Lerneinheit
  • Nun wird die Lerneinheit beschrieben. Wie in 4 dargestellt, verwendet die automatische Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform das neuronale Netzwerk 5 als durch maschinelles Lernen trainierte Lerneinheit, um den Grad der Fahrkonzentration des Fahrers abzuschätzen. Das neuronale Netzwerk 5 gemäß der vorliegenden Ausführungsform besteht aus einer Kombination mehrerer Typen von neuronalen Netzwerken.
  • Insbesondere ist das neuronale Netzwerk 5 in vier Teile unterteilt, nämlich ein vollständig verbundenes neuronales Netzwerk 51, ein neuronales Faltungsnetzwerk 52, eine Verbindungsschicht 53 und ein LSTM-Netzwerk 54. Das vollständig verbundene neuronale Netzwerk 51 und das neuronale Faltungsnetzwerk 52 sind eingangsseitig parallel angeordnet, das vollständig verbundene neuronale Netzwerk 51 empfängt einen Eingang der Beobachtungsinformationen 124 und das neuronale Faltungsnetzwerk 52 empfängt einen Eingang des niedrigauflösenden aufgenommenen Bildes 1231. Die Verbindungsschicht 53 verbindet den Ausgang des vollständig verbundenen neuronalen Netzwerks 51 mit dem Ausgang des neuronalen Faltungsnetzwerks 52. Das LSTM-Netzwerk 54 empfängt den Ausgang von der Verbindungsschicht 53 und gibt die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 aus.
  • Vollständig verbundenes neuronales Netzwerk
  • Das vollständig verbundene neuronale Netzwerk 51 ist ein sogenanntes mehrschichtiges neuronales Netzwerk, das eine Eingangsschicht 511, eine Zwischenschicht (ausgeblendete Schicht) 512 und eine Ausgangsschicht 513 in der angegebenen Reihenfolge von der Eingangsseite her beinhaltet. Die Anzahl der Schichten, die in dem vollständig verbundenen neuronalen Netzwerk 51 enthalten sind, ist nicht auf das vorstehende Beispiel beschränkt und kann je nach Implementierung entsprechend ausgewählt werden.
  • Jede der Schichten 511 bis 513 beinhaltet ein oder mehrere Neuronen (Knoten). Die Anzahl der Neuronen, die in jeder der Schichten 511 bis 513 enthalten sind, kann je nach Implementierung entsprechend bestimmt werden. Jedes Neuron, das in jeder der Schichten 511 bis 513 enthalten ist, ist mit allen Neuronen in den angrenzenden Schichten verbunden, um das vollständig verbundene neuronale Netzwerk 51 aufzubauen. Jede Verbindung weist ein Gewicht (Verbindungsgewicht) auf, das entsprechend eingestellt ist.
  • Neuronales Faltungsnetzwerk
  • Das neuronale Faltungsnetzwerk 52 ist ein vorwärtsgekoppeltes neuronales Netzwerk mit den Faltungsschichten 521 und den Pooling-Schichten 522, die alternierend gestapelt und miteinander verbunden sind. Im neuronalen Faltungsnetzwerk 52 gemäß der vorliegenden Ausführungsform sind die Faltungsschichten 521 und die Pooling-Schichten 522 auf der Eingangsseite alternierend angeordnet. Der Ausgang aus der Pooling-Schicht 522, die der Ausgangsseite am nächsten liegt, wird in eine vollständig verbundene Schicht 523 eingegeben, und der Ausgang aus der vollständig verbundenen Schicht 523 wird in eine Ausgangsschicht 524 eingegeben.
  • Die Faltungsschichten 521 führen Faltungsberechnungen für Bilder durch. Die Bildfaltung entspricht einer Verarbeitung zum Berechnen einer Korrelation zwischen einem Bild und einem vorgegebenen Filter. Ein Eingangsbild durchläuft eine Bildfaltung, die beispielsweise ein Graustufenmuster ähnlich dem Graustufenmuster des Filters ermittelt.
  • Die Pooling-Schichten 522 führen die Pooling-Verarbeitung durch. In der Pooling-Verarbeitung werden Bildinformationen an Positionen, die stark auf den Filter ansprechen, teilweise verworfen, um eine unveränderliche Reaktion auf leichte Positionsänderungen der in dem Bild auftretenden Merkmale zu erreichen.
  • Die vollständig verbundene Schicht 523 verbindet alle Neuronen in angrenzenden Schichten. Genauer gesagt ist jedes Neuron, das in der vollständig verbundenen Schicht 523 enthalten ist, mit allen Neuronen in den angrenzenden Schichten verbunden. Das neuronale Faltungsnetzwerk 52 kann zwei oder mehr vollständig verbundene Schichten 523 beinhalten. Die Anzahl der in der vollständig verbundenen Schicht 423 enthaltenen Neuronen kann je nach Implementierung entsprechend bestimmt werden.
  • Die Ausgangsschicht 524 ist am nächsten an der Ausgangsseite des neuronalen Faltungsnetzwerks 52 angeordnet. Die Anzahl der in der Ausgangsschicht 524 enthaltenen Neuronen kann je nach Implementierung entsprechend bestimmt werden. Es ist zu beachten, dass die Struktur des neuronalen Faltungsnetzwerks 52 nicht auf das vorstehende Beispiel beschränkt ist und je nach Implementierung entsprechend eingestellt werden kann.
  • Verbindungsschicht
  • Die Verbindungsschicht 53 ist zwischen dem vollständig verbundenen neuronalen Netzwerk 51 und dem LSTM-Netzwerk 54 sowie zwischen dem neuronalen Faltungsnetzwerk 52 und dem LSTM-Netzwerk 54 angeordnet. Die Verbindungsschicht 53 verbindet den Ausgang der Ausgangsschicht 513 in dem vollständig verbundenen neuronalen Netzwerk 51 und den Ausgang der Ausgangsschicht 524 in dem neuronalen Faltungsnetzwerk 52. Die Anzahl der in der Verbindungsschicht 53 enthaltenen Neuronen kann entsprechend der Anzahl der Ausgänge des vollständig verbundenen neuronalen Netzwerks 51 und des neuronalen Faltungsnetzwerks 52 bestimmt werden.
  • LSTM-Netzwerk
  • Das LSTM-Netzwerk 54 ist ein rekurrentes neuronales Netzwerk mit einem LSTM-Block 542. Ein rekurrentes neuronales Netzwerk ist ein neuronales Netzwerk mit einer inneren Schleife, wie z. B. einen Pfad von einer Zwischenschicht zu einer Eingangsschicht. Das LSTM-Netzwerk 54 weist eine typische rekurrente neuronale Netzwerkarchitektur auf, wobei die Zwischenschicht durch den LSTM-Block 542 ersetzt wird.
  • In der vorliegenden Ausführungsform beinhaltet das LSTM-Netzwerk 54 eine Eingangsschicht 541, den LSTM-Block 542 und eine Ausgangsschicht 543 in der angegebenen Reihenfolge von der Eingangsseite, und das LSTM-Netzwerk 54 verfügt über einen Pfad für die Rückkehr von dem LSTM-Block 542 zur Eingangsschicht 541 sowie über einen vorwärtsgekoppelten Pfad. Die Anzahl der Neuronen, die sowohl in der Eingangsschicht 541 als auch der Ausgangsschicht 543 enthalten sind, kann je nach Implementierung entsprechend bestimmt werden.
  • Der LSTM-Block 542 beinhaltet ein Eingangs- und ein Ausgangs-Gate, um Zeitpunkte zu lernen, an denen Informationen gespeichert und ausgegeben werden (S. Hochreiter und J. Schmidhuber, „ Long short-term memory", Neural Computation, 9(8):1735-1780, 15. November 1997). Der LSTM-Block 542 kann auch ein Forget-Gate beinhalten, um Zeitpunkte so einzustellen, dass Informationen vergessen werden (Felix A. Gers, Jürgen Schmidhuber und Fred Cummins, „Learning to Forget: Continual Prediction with LSTM", Neural Computation, Seiten 2451-2471, Oktober 2000). Die Struktur des LSTM-Netzwerks 54 kann je nach Implementierung entsprechend eingestellt werden.
  • Zusammenfassung
  • Jedes Neuron weist einen Schwellenwert auf, und der Ausgang jedes Neurons wird grundsätzlich davon bestimmt, ob die Summe seiner Eingänge multipliziert mit den entsprechenden Gewichten den Schwellenwert überschreitet. Die automatische Fahrassistenzvorrichtung 1 gibt die Beobachtungsinformationen 124 in das vollständig verbundene neuronale Netzwerk 51 ein und gibt das niedrigauflösende aufgenommene Bild 1231 in das neuronale Faltungsnetzwerk 52 ein. Die automatische Fahrassistenzvorrichtung 1 bestimmt dann, ob Neuronen in den Schichten „gefeuert“ haben, angefangen von der der Eingangsseite nächstgelegenen Schicht. Die automatische Fahrassistenzvorrichtung 1 beschafft somit Ausgangswerte, die den Aufmerksamkeitszustandsinformationen 1251 und den Bereitschaftsinformationen 1252 aus der Ausgangsschicht 543 des neuronalen Netzwerks 5 entsprechen.
  • Es ist zu beachten, dass die Trainingsergebnisdaten 122 Informationen über die Konfiguration des neuronalen Netzwerks 5 (z. B. die Anzahl der Schichten in jedem Netzwerk, die Anzahl der Neuronen in jeder Schicht, die Verbindungen zwischen Neuronen und die Übertragungsfunktion jedes Neurons), die Verbindungsgewichte zwischen Neuronen und den Schwellenwert jedes Neurons enthalten. Die automatische Fahrassistenzvorrichtung 1 referenziert die Trainingsergebnisdaten 122 und stellt das trainierte neuronale Netzwerk 5 ein, das bei der Verarbeitung zum Abschätzen des Grades der Fahrkonzentration des Fahrers D zu verwenden ist.
  • Lernvorrichtung
  • Ein Beispiel für die Funktionskonfiguration der Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform wird nun in Bezug auf 6 beschrieben. 6 veranschaulicht schematisch ein Beispiel für die Funktionskonfiguration der Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform.
  • Die in Lernvorrichtung 2 enthaltene Steuereinheit 21 lädt das in der Speichereinheit 22 gespeicherte Programm 221 in das RAM. Die CPU in der Steuereinheit 21 interpretiert und führt dann das in das RAM geladene Lernprogramm 221 zur Steuerung der Bestandselemente aus. Die Lernvorrichtung 2 gemäß der vorliegenden Ausführungsform fungiert somit als Computer, der eine Trainingsdatenbeschaffungseinheit 211 und eine Lernverarbeitungseinheit 212 beinhaltet, wie in 6 dargestellt.
  • Die Trainingsdatenbeschaffungseinheit 211 beschafft ein aufgenommenes Bild, das von einer Bildgebungsvorrichtung aufgenommen wird, die dazu eingebaut ist, um ein Bild des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers, Fahrerbeobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten des Gesichts des Fahrers beinhalten, und Fahrkonzentrationsinformationen über den Grad, in dem sich der Fahrer auf das Fahren konzentriert, als Trainingsdatensatz aufzunehmen. Das aufgenommene Bild und die Beobachtungsinformationen werden als Eingangsdaten verwendet. Die Fahrkonzentrationsinformationen werden als Lerndaten verwendet. In der vorliegenden Ausführungsform sind die durch die Trainingsdatenbeschaffungseinheit 211 beschafften Trainingsdaten 222 ein Satz aus einem niedrigauflösenden aufgenommenen Bild 223, Beobachtungsinformationen 224, Aufmerksamkeitszustandsinformationen 2251 und Bereitschaftsinformationen 2252. Das niedrigauflösende aufgenommene Bild 223 und die Beobachtungsinformationen 224 entsprechen dem niedrigauflösenden aufgenommenen Bild 1231 und den vorstehend beschriebenen Beobachtungsinformationen 124. Die Aufmerksamkeitszustandsinformationen 2251 und die Bereitschaftsinformationen 2252 entsprechen den vorstehend beschriebenen Aufmerksamkeitszustandsinformationen 1251 und den Bereitschaftsinformationen 1252 der Fahrkonzentrationsinformationen 125. Die Lernverarbeitungseinheit 212 trainiert die Lerneinheit, Ausgangswerte auszugeben, die den Aufmerksamkeitszustandsinformationen 2251 und den Bereitschaftsinformationen 2252 entsprechen, wenn das niedrigauflösende aufgenommene Bild 223 und die Beobachtungsinformationen 224 eingegeben werden.
  • Wie in 6 dargestellt, ist die Lerneinheit, die in der vorliegenden Ausführungsform trainiert werden soll, ein neuronales Netzwerk 6. Ähnlich wie das neuronale Netzwerk 5 beinhaltet das neuronale Netzwerk 6 ein vollständig verbundenes neuronales Netzwerk 61, ein neuronales Faltungsnetzwerk 62, eine Verbindungsschicht 63 und ein LSTM-Netzwerk 64. Das vollständig verbundene neuronale Netzwerk 61, das neuronale Faltungsnetzwerk 62, die Verbindungsschicht 63 und das LSTM-Netzwerk 64 sind jeweils ähnlich dem vollständig verbundenen neuronalen Netzwerk 51, dem neuronalen Faltungsnetzwerk 52, der Verbindungsschicht 53 und dem LSTM-Netzwerk 54, die vorstehend beschrieben wurden. Durch Trainingsverarbeitung in dem neuronalen Netzwerk baut die Lernverarbeitungseinheit 212 das neuronale Netzwerk 6 so auf, dass, wenn die Beobachtungsinformationen 224 in das vollständig verbundene neuronale Netzwerk 61 eingegeben werden und das niedrigauflösende aufgenommene Bild 223 in das neuronale Faltungsnetzwerk 62 eingegeben wird, Ausgangswerte, die den Aufmerksamkeitszustandsinformationen 2251 und den Bereitschaftsinformationen 2252 entsprechen, aus dem LSTM-Netzwerk 64 ausgegeben werden. Die Lernverarbeitungseinheit 212 speichert Informationselemente, die die Struktur des aufgebauten neuronalen Netzwerks 6, die Verbindungsgewichte zwischen Neuronen und den Schwellenwert jedes Neurons in der Speichereinheit 22 als Trainingsergebnisdaten 122 anzeigen.
  • Weitere Bemerkungen
  • Die Funktionen der automatischen Fahrassistenzvorrichtung 1 und der Lernvorrichtung 2 werden in den folgenden Ausführungsbeispielen ausführlich beschrieben. Es ist zu beachten, dass in der vorliegenden Ausführungsform die Funktionen der automatischen Fahrassistenzvorrichtung 1 und der Lernvorrichtung 2 alle durch eine Universal-CPU realisiert werden. Einige oder alle Funktionen können jedoch von einem oder mehreren dedizierten Prozessoren realisiert werden. In den Funktionskonfigurationen der automatischen Fahrassistenzvorrichtung 1 und der Lernvorrichtung 2 können je nach Implementierung Funktionen weggelassen, ersetzt oder hinzugefügt werden.
  • Ausführungsbeispiele
  • Automatische Fahrassistenzvorrichtung
  • Die Ausführungsbeispiele der automatischen Fahrassistenzvorrichtung 1 werden nun in Bezug auf 7 beschrieben. 7 ist ein Flussdiagramm einer Prozedur, die von der automatischen Fahrassistenzvorrichtung 1 durchgeführt wird. Die nachstehend beschriebene Verarbeitungsprozedur zum Abschätzen des Zustands des Fahrers D entspricht einem „Fahrerüberwachungsverfahren“ gemäß der vorliegenden Erfindung. Die nachstehend beschriebene Verarbeitungsprozedur ist jedoch nur ein Beispiel, und die Verarbeitungsschritte können auf jede beliebige Weise modifiziert werden. In der nachstehend beschriebenen Verarbeitungsprozedur können Schritte je nach Implementierung weggelassen, ersetzt oder hinzugefügt werden.
  • Aktivierung
  • Der Fahrer D schaltet zunächst die Zündstromversorgung des Fahrzeugs ein, um die automatische Fahrassistenzvorrichtung 1 zu aktivieren, so dass die aktivierte automatische Fahrassistenzvorrichtung 1 das Programm 121 ausführt. Die Steuereinheit 11 der automatischen Fahrassistenzvorrichtung 1 beschafft Karteninformationen, Umgebungsinformationen und GPS-Informationen von der Navigationsvorrichtung 30 und startet das automatische Fahren des Fahrzeugs basierend auf den beschafften Karteninformationen, Umgebungsinformationen und GPS-Informationen. Das automatische Fahren kann durch ein bekanntes Steuerungsverfahren gesteuert werden. Nach dem Start des automatischen Fahrens des Fahrzeugs überwacht die Steuereinheit 11 den Zustand des Fahrers D gemäß der nachfolgend beschriebenen Verarbeitungsprozedur. Es ist zu beachten, dass die Programmausführung nicht darauf beschränkt ist, durch Einschalten der Zündstromversorgung des Fahrzeugs ausgelöst zu werden, und der Auslöser je nach Implementierung entsprechend ausgewählt werden kann. Wenn das Fahrzeug beispielsweise einen manuellen Fahrmodus und einen automatischen Fahrmodus beinhaltet, kann die Programmausführung durch einen Übergang in den automatischen Fahrmodus ausgelöst werden. Es ist zu beachten, dass der Übergang in den automatischen Fahrmodus gemäß einer Anweisung von dem Fahrer erfolgen kann.
  • Schritt S101
  • In Schritt S101 arbeitet die Steuereinheit 11 als Bildbeschaffungseinheit 111 und beschafft das aufgenommene Bild 123 von der Kamera 31, die so angeordnet ist, dass sie ein Bild des auf dem Fahrersitz des Fahrzeugs sitzenden Fahrers D aufnimmt. Das beschaffte aufgenommene Bild 123 kann ein bewegtes Bild oder ein Standbild sein. Nach dem Beschaffen des aufgenommenen Bildes 123 setzt die Steuereinheit 11 die Verarbeitung mit Schritt S102 fort.
  • Schritt S102
  • In Schritt S102 fungiert die Steuereinheit 11 als die Beobachtungsinformationsbeschaffungseinheit 112 und beschafft die Beobachtungsinformationen 124, die die biologischen Informationen 1242 und die Gesichtsverhaltensinformationen 1241 über das Verhaltens des Gesichts des Fahrers D beinhalten. Nach dem Beschaffen der Beobachtungsinformationen 124 setzt die Steuereinheit 11 die Verarbeitung mit Schritt S103 fort.
  • Die Gesichtsverhaltensinformationen 1241 können entsprechend abgerufen werden. Durch die Durchführung einer vorgegebenen Bildanalyse des aufgenommenen Bildes 123, das in Schritt S101 beschafft wurde, kann die Steuereinheit 11 beispielsweise als Gesichtsverhaltensinformationen 1241 Informationen über mindestens eines der Folgenden beschaffen: ob das Gesicht des Fahrers D ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und einen geöffneten/geschlossenen Zustand der Augen.
  • Als ein Beispiel für ein Verfahren zum Beschaffen der Gesichtsverhaltensinformationen 1241 ermittelt die Steuereinheit 11 zunächst das Gesicht des Fahrers D in dem aufgenommenen Bild 123 und gibt die Position des ermittelten Gesichts an. Die Steuereinheit 11 kann somit Informationen darüber beschaffen, ob ein Gesicht ermittelt wurde oder nicht und über die Position des Gesichts. Durch die kontinuierliche Gesichtsermittlung kann die Steuereinheit 11 Informationen über die Bewegung des Gesichts beschaffen. Die Steuereinheit 11 ermittelt dann in dem ermittelten Gesichtsbild Organe, die sich in dem Gesicht des Fahrers D befinden (Augen, Mund, Nase, Ohren, usw.). Die Steuereinheit 11 kann somit Informationen über die Positionen der Gesichtsorgane beschaffen. Durch die Analyse der Zustände der ermittelten Organe (Augen, Mund, Nase, Ohren usw.) kann die Steuereinheit 11 Informationen über die Gesichtsausrichtung, die Blickrichtung und den geöffneten/geschlossenen Zustand der Augen beschaffen. Gesichtsermittlung, Organermittlung und Organzustandsanalyse können mit bekannten Bildanalysemethoden durchgeführt werden.
  • Wenn das beschaffte aufgenommene Bild 123 ein bewegtes Bild oder eine Gruppe von Standbildern ist, die sich in einer Zeitreihe befinden, kann die Steuereinheit 11 verschiedene Arten von Informationen beschaffen, die der Zeitreihe entsprechen, indem sie die vorgenannten Typen von Bildanalyse für jeden Frame des aufgenommenen Bildes 123 ausführt. Die Steuereinheit 11 kann somit verschiedene Arten von Informationen beschaffen, die durch ein Histogramm oder statistische Größen (Mittelwert, Varianzwert, usw.) als Zeitreihendaten ausgedrückt werden.
  • Die Steuereinheit 11 kann auch die biologischen Informationen (z. B. Gehirnströme oder Herzfrequenz) 1242 von dem Biosensor 32 beschaffen. So können beispielsweise die biologischen Informationen 1242 durch ein Histogramm oder statistische Größen (Mittelwert, Varianzwert usw.) ausgedrückt werden. Ähnlich wie die Gesichtsverhaltensinformationen 1241 kann die Steuereinheit 11 die biologischen Informationen 1242 als Zeitreihendaten durch kontinuierlichen Zugriff auf den Biosensor 32 beschaffen.
  • Schritt S103
  • In Schritt S103 fungiert die Steuereinheit 11 als die Auflösungsumwandlungseinheit 113 und reduziert die Auflösung des in Schritt S101 beschafften, aufgenommenen Bildes 123. Die Steuereinheit 11 erzeugt somit das niedrigauflösende aufgenommene Bild 1231. Die Auflösung kann mit jeder Technik reduziert werden, die je nach Implementierung entsprechend ausgewählt wird. So kann beispielsweise die Steuereinheit 11 einen Algorithmus des „nächsten Nachbarn“, eine bilineare Interpolation oder eine bikubische Interpolation verwenden, um das niedrigauflösende aufgenommene Bild 1231 zu erzeugen. Nach dem Erzeugen des niedrigauflösenden aufgenommenen Bildes 1231 setzt die Steuereinheit 11 die Verarbeitung mit Schritt S104 fort. Es ist zu beachten, dass Schritt S103 entfallen kann.
  • Schritte S104 und S105
  • In Schritt S104 fungiert die Steuereinheit 11 als Fahrzustandsabschätzungseinheit 114 und führt die rechnerische Verarbeitung in dem neuronalen Netzwerk 5 anhand von den beschafften Beobachtungsinformationen 124 und dem niedrigauflösenden aufgenommenen Bild 1231 als Eingang für das neuronale Netzwerk 5 durch. Entsprechend beschafft die Steuereinheit 11 in Schritt S105 Ausgangswerte, die den Aufmerksamkeitszustandsinformationen 1251 und den Bereitschaftsinformationen 1252 der Fahrkonzentrationsinformationen 125 aus dem neuronalen Netzwerk 5 entsprechen.
  • Insbesondere gibt die Steuereinheit 11 die in Schritt S102 beschafften Beobachtungsinformationen 124 in die Eingangsschicht 511 des vollständig verbundenen neuronalen Netzwerks 51 ein und gibt das in Schritt S103 beschaffte niedrigauflösende aufgenommene Bild 1231 in die der Eingangsseite am nächsten gelegene Faltungsschicht 521 in dem neuronalen Faltungsnetzwerk 52 ein. Die Steuereinheit 11 bestimmt dann, ob jedes Neuron in jeder Schicht feuert, angefangen von der Schicht, die der Eingangsseite am nächsten liegt. Die Steuereinheit 11 beschafft somit von der Ausgangsschicht 543 des LSTM-Netzwerks 54 Ausgangswerte, die den Aufmerksamkeitszustandsinformationen 1251 und den Bereitschaftsinformationen 1252 entsprechen.
  • Schritte S106 und S107
  • In Schritt S106 fungiert die Steuereinheit 11 als Warneinheit 115 und bestimmt, basierend auf den in Schritt S105 beschafften Aufmerksamkeitszustandsinformationen 1251 und den Bereitschaftsinformationen 1252, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht. Nach dem Bestimmen, dass sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, überspringt die Steuereinheit 11 den nachfolgenden Schritt S107 und beendet die Verarbeitung in Bezug auf dieses Ausführungsbeispiel. Wenn jedoch bestimmt wird, dass sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, führt die Steuereinheit 11 die Verarbeitung des nachfolgenden Schrittes S107 durch. Insbesondere verwendet die Steuereinheit 11 den Lautsprecher 33, um den Fahrer D warnend aufzufordern, einen für das Fahren des Fahrzeugs geeigneten Zustand anzunehmen, und beendet dann die Verarbeitung in Bezug auf dieses Ausführungsbeispiel.
  • Die Kriterien zum Bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, können je nach Implementierung entsprechend eingestellt werden. So ist beispielsweise eine Konfiguration möglich, bei der, wenn die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, oder die Bereitschaftsinformationen 1252 anzeigen, dass sich der Fahrer D in einem niedrigen Zustand der Fahrbereitschaft befindet, die Steuereinheit 11 bestimmt, dass sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, und die Warnung in Schritt S107 ausgibt. Ebenso kann in dem Fall, in dem die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, und die Bereitschaftsinformationen 1252 anzeigen, dass sich der Fahrer D in einem niedrigen Zustand der Fahrbereitschaft befindet, die Steuereinheit 11 bestimmen, dass sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, und die Warnung in Schritt S107 ausgeben.
  • Ferner zeigen die Aufmerksamkeitszustandsinformationen 1251 in der vorliegenden Ausführungsform anhand von einer von zwei Stufen an, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht, und die Bereitschaftsinformationen 1252 zeigen anhand von einer von zwei Stufen an, ob sich der Fahrer in einem Zustand hoher oder niedriger Fahrbereitschaft befindet. Aus diesem Grund kann die Steuereinheit 11 je nach dem Grad der Aufmerksamkeit des Fahrers D, der durch die Aufmerksamkeitszustandsinformationen 1251 angezeigt wird, und der Stufe der Bereitschaft des Fahrers D, die durch die Bereitschaftsinformationen 1252 angezeigt wird, unterschiedliche Warnstufen ausgeben.
  • Wenn beispielsweise die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die nötige Aufmerksamkeit zukommen lässt, kann die Steuereinheit 11 als Warnung eine akustische Meldung von dem Lautsprecher 33 ausgeben, um den Fahrer D aufzufordern, dem Fahren die erforderliche Aufmerksamkeit zukommen zu lassen. Ebenso kann die Steuereinheit 11 in dem Fall, dass die Bereitschaftsinformationen 1252 anzeigen, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet, als Warnung eine akustische Meldung von dem Lautsprecher 33 ausgeben, um den Fahrer D aufzufordern, seine Fahrbereitschaft zu erhöhen. Ferner kann die Steuereinheit 11 in dem Fall, in dem die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, und die Bereitschaftsinformationen 1252 anzeigen, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet, eine stärkere Warnung auslösen als in den beiden vorgenannten Fällen (z. B. kann die Lautstärke erhöht oder ein Piepton ausgegeben werden).
  • Wie vorstehend beschrieben, überwacht die automatische Fahrassistenzvorrichtung 1 den Grad der Fahrkonzentration des Fahrers D während des automatischen Fahrens des Fahrzeugs. Es ist zu beachten, dass die automatische Fahrassistenzvorrichtung 1 den Grad der Fahrkonzentration des Fahrers D kontinuierlich überwachen kann, indem sie die Verarbeitung der Schritte S101 bis S107 wiederholt durchführt. Ebenso kann die automatische Fahrassistenzvorrichtung 1 während der wiederholten Ausführung der Verarbeitung der Schritte S101 bis S107 das automatische Fahren anhalten, wenn in Schritt S106 mehrfach hintereinander bestimmt wurde, dass sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet. In diesem Fall, nachdem z. B. mehrere aufeinanderfolgende Male bestimmt wurde, dass sich der Fahrer D nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, kann die Steuereinheit 11 unter Bezugnahme auf die Karteninformationen, Umgebungsinformationen und GPS-Informationen einen Halteabschnitt zum sicheren Anhalten des Fahrzeugs einstellen. Die Steuereinheit 11 kann dann eine Warnung ausgeben, um den Fahrer D darüber zu informieren, dass das Fahrzeug angehalten werden soll, und kann das Fahrzeug in dem eingestellten Halteabschnitt automatisch anhalten. Das Fahrzeug kann somit gestoppt werden, wenn sich der Grad der Fahrkonzentration des Fahrers D kontinuierlich in einem niedrigen Zustand befindet.
  • Lernvorrichtung
  • Ein Ausführungsbeispiel der Lernvorrichtung 2 wird nun in Bezug auf 8 beschrieben. 8 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitungsprozedur darstellt, die von der Lernvorrichtung 2 durchgeführt wird. Es ist zu beachten, dass die nachstehend beschriebene Verarbeitungsprozedur in Zusammenhang mit dem maschinellen Lernen durch die Lerneinheit ein Beispiel für das „Lernverfahren“ der vorliegenden Erfindung ist. Die nachstehend beschriebene Verarbeitungsprozedur ist jedoch nur ein Beispiel, und die Verarbeitungsschritte können auf jede beliebige Weise modifiziert werden. In der nachstehend beschriebenen Verarbeitungsprozedur können Schritte je nach Implementierung weggelassen, ersetzt oder hinzugefügt werden.
  • Schritt S201
  • In Schritt S201 fungiert die Steuereinheit 21 der Lernvorrichtung 2 als Trainingsdatenbeschaffungseinheit 211 und beschafft als Trainingsdaten 222 einen Satz des niedrigauflösenden aufgenommenen Bildes 223, die Beobachtungsinformationen 224, die Aufmerksamkeitszustandsinformationen 2251 und die Bereitschaftsinformationen 2252.
  • Die Trainingsdaten 222 werden verwendet, um das neuronale Netzwerk 6 durch maschinelles Lernen zu trainieren, um den Grad der Fahrkonzentration des Fahrers abzuschätzen. Die vorstehend beschriebenen Trainingsdaten 222 werden beispielsweise erzeugt, indem ein Fahrzeug mit der Kamera 31 vorbereitet wird, Bilder des in verschiedenen Zuständen auf dem Fahrersitz sitzenden Fahrers aufgenommen werden und jedes aufgenommene Bild den entsprechenden abgebildeten Zuständen (Aufmerksamkeitszuständen und Bereitschaftsgraden) zugeordnet werden. Das niedrigauflösende aufgenommene Bild 223 kann durch Ausführen derselben Verarbeitung wie in dem vorstehend beschriebenen Schritt S103 an den aufgenommenen Bildern beschafft werden. Ebenso können die Beobachtungsinformationen 224 durch Ausführen derselben Verarbeitung wie in dem vorstehend beschriebenen Schritt S102 an den aufgenommenen Bildern beschafft werden. Ferner können die Aufmerksamkeitszustandsinformationen 2251 und die Bereitschaftsinformationen 2252 beschafft werden, indem ein Eingang der Zustände des Fahrers empfangen wird, die entsprechend in den aufgenommenen Bildern erscheinen.
  • Es ist zu beachten, dass die Trainingsdaten 222 von einem Bediener manuell über die Eingabevorrichtung 24 oder automatisch durch ein Programm generiert werden können. Die Trainingsdaten 222 können zu geeigneten Zeiten von einem in Betrieb befindlichen Fahrzeug gesammelt werden. Die Trainingsdaten 222 können von jeder anderen Informationsverarbeitungsvorrichtung als der Lernvorrichtung 2 erzeugt werden. Wenn die Trainingsdaten 222 von der Lernvorrichtung 2 erzeugt werden, kann die Steuereinheit 21 die Trainingsdaten 222 beschaffen, indem sie den Prozess der Erzeugung der Trainingsdaten 222 in Schritt S201 durchführt. Wenn die Trainingsdaten 222 von einer anderen Informationsverarbeitungsvorrichtung als der Lernvorrichtung 2 erzeugt werden, kann die Lernvorrichtung 2 die von der anderen Informationsverarbeitungsvorrichtung erzeugten Trainingsdaten 222 beispielsweise über ein Netzwerk oder das Speichermedium 92 beschaffen. Ferner kann die Anzahl der in Schritt S201 beschafften Trainingsdatensätze 222 je nach Implementierung zum Trainieren des neuronalen Netzwerks 6 durch Lernen entsprechend bestimmt werden.
  • Schritt S202
  • In Schritt S202 fungiert die Steuereinheit 21 als Lernverarbeitungseinheit 212 und trainiert anhand von der in Schritt S201 beschafften Trainingsdaten 222 das neuronale Netzwerk 6 durch maschinelles Lernen, um Ausgangswerte auszugeben, die den Aufmerksamkeitszustandsinformationen 2251 und den Bereitschaftsinformationen 2252 als Reaktion auf einen Eingang des niedrigauflösenden aufgenommenen Bildes 223 und den Beobachtungsinformationen 224 entsprechen.
  • Genauer gesagt bereitet die Steuereinheit 21 zunächst das zu trainierende neuronale Netzwerk 6 vor. Die Architektur des vorzubereitenden neuronalen Netzwerks 6, die Standardwerte der Verbindungsgewichte zwischen den Neuronen und der Standardschwellenwert jedes Neurons können in Form einer Vorlage oder durch einen Bediener eingegeben werden. Zum Neutrainieren kann die Steuereinheit 21 das neuronale Netzwerk 6 auf der Grundlage der neu zu erlernenden Trainingsergebnisdaten 122 vorbereiten.
  • Als nächstes trainiert die Steuereinheit 21 das neuronale Netzwerk 6 anhand des niedrigauflösenden aufgenommenen Bildes 223 und der Beobachtungsinformationen 224, die in den in Schritt S201 beschafften Trainingsdaten 222 enthalten sind, als Eingangsdaten, und anhand der Aufmerksamkeitszustandsinformationen 2251 und der Bereitschaftsinformationen 2252 als Lerndaten. Das neuronale Netzwerk 6 kann beispielsweise durch ein stochastisches Gradientenabstiegsverfahren trainiert werden.
  • So gibt beispielsweise die Steuereinheit 21 die Beobachtungsinformationen 224 in die Eingangsschicht des vollständig verbundenen neuronalen Netzwerks 61 ein und gibt das niedrigauflösende aufgenommene Bild 223 in die Faltungsschicht ein, die der Eingangsseite des neuronalen Faltungsnetzwerks 62 am nächsten liegt. Die Steuereinheit 21 bestimmt dann, ob jedes Neuron in jeder Schicht feuert, angefangen von der Schicht, die dem Eingangsende am nächsten liegt. Die Steuereinheit 21 beschafft somit einen Ausgangswert von der Ausgangsschicht in dem LSTM-Netzwerk 64. Die Steuereinheit 21 berechnet dann einen Fehler zwischen den von der Ausgangsschicht in dem LSTM-Netzwerk 64 beschafften Ausgangswerten und den Werten, die den Aufmerksamkeitszustandsinformationen 2251 und den Bereitschaftsinformationen 2252 entsprechen. Anschließend berechnet die Steuereinheit 21 Fehler in den Verbindungsgewichten zwischen Neuronen und Fehler in den Schwellenwerten der Neuronen anhand des berechneten Fehlers in dem Ausgangswert mit einem „Backpropagation-through-time“(Rückführung durch die Zeit)-Verfahren. Die Steuereinheit 21 aktualisiert dann basierend auf den berechneten Fehlern die Verbindungsgewichte zwischen den Neuronen und auch die Schwellenwerte der Neuronen.
  • Die Steuereinheit 21 wiederholt die vorstehende Prozedur für jeden Trainingsdatensatz 222, bis die Ausgangswerte aus dem neuronalen Netzwerk 6 mit den Werten übereinstimmen, die den Aufmerksamkeitszustandsinformationen 2251 und den Bereitschaftsinformationen 2252 entsprechen. Die Steuereinheit 21 baut somit das neuronale Netzwerk 6 auf, das Ausgangswerte ausgibt, die den Aufmerksamkeitszustandsinformationen 2251 und den Bereitschaftsinformationen 2252 entsprechen, wenn das niedrigauflösende aufgenommene Bild 223 und die Beobachtungsinformationen 224 eingegeben werden.
  • Schritt S203
  • In Schritt S203 fungiert die Steuereinheit 21 als Lernverarbeitungseinheit 212 und speichert die Informationselemente, die die Struktur des aufgebauten neuronalen Netzwerks 6, die Verbindungsgewichte zwischen den Neuronen und den Schwellenwert jedes Neurons der Speichereinheit 22 als Trainingsergebnisdaten 122 anzeigen. Die Steuereinheit 21 beendet dann den diesem Ausführungsbeispiel zugeordneten Lernprozess des neuronalen Netzwerks 6.
  • Es ist zu beachten, dass die Steuereinheit 21 die erzeugten Trainingsergebnisdaten 122 nach Abschluss der Verarbeitung in Schritt S203 an die automatische Fahrassistenzvorrichtung 1 übertragen kann. Die Steuereinheit 21 kann den Lernprozess in den Schritten S201 bis S203 periodisch durchführen, um die Trainingsergebnisdaten 122 periodisch zu aktualisieren. Die Steuereinheit 21 kann die erzeugten Trainingsergebnisdaten 122 nach Abschluss jedes Lernprozesses an die automatische Fahrassistenzvorrichtung 1 übertragen und die von der automatischen Fahrassistenzvorrichtung 1 gehaltenen Trainingsergebnisdaten 122 regelmäßig aktualisieren. Die Steuereinheit 21 kann die erzeugten Trainingsergebnisdaten 122 auf einem Datenserver, wie z. B. einem Network Attached Storage (NAS), speichern. In diesem Fall kann die automatische Fahrassistenzvorrichtung 1 die Trainingsergebnisdaten 122 von dem Datenserver beschaffen.
  • Vorteile und Auswirkungen
  • Wie vorstehend beschrieben, beschafft die automatische Fahrassistenzvorrichtung 1 gemäß der vorliegenden Ausführungsform durch die Verarbeitung in den Schritten S101 bis S103 die Beobachtungsinformationen 124, die die Gesichtsverhaltensinformationen 1241 über den Fahrer D und das aufgenommene Bild (niedrigauflösendes aufgenommenes Bild 1231) beinhalten, das von der Kamera 31 beschafft wird, die so angeordnet ist, dass sie das Bild des auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers D aufnimmt. Die automatische Fahrassistenzvorrichtung 1 gibt dann in den Schritten S104 und S105 die beschafften Beobachtungsinformationen 124 und das niedrigauflösende aufgenommene Bild 1231 in das trainierte neuronale Netzwerk (neuronales Netzwerk 5) ein, um den Grad der Fahrkonzentration des Fahrers D abzuschätzen. Das trainierte neuronale Netzwerk wird von der Lernvorrichtung 2 anhand von Trainingsdaten erstellt, die das niedrigauflösende aufgenommene Bild 223, die Beobachtungsinformationen 224, die Aufmerksamkeitszustandsinformationen 2251 und die Bereitschaftsinformationen 2252 beinhalten. Dementsprechend können in der vorliegenden Ausführungsform beim Prozess der Abschätzung des Grades der Fahrkonzentration des Fahrers nicht nur das Verhalten des Gesichts des Fahrers D, sondern auch Körperzustände des Fahrers D (z. B. Körperausrichtung und Haltung) berücksichtigt werden, die basierend auf dem niedrigauflösenden aufgenommenen Bild identifiziert werden können. Daher kann gemäß der vorliegenden Ausführungsform der Grad der Fahrkonzentration des Fahrers D unter Berücksichtigung verschiedener Zustände, in denen sich der Fahrer D möglicherweise befinden kann, abgeschätzt werden.
  • Ebenso werden in der vorliegenden Ausführungsform die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 in Schritt S105 als Fahrkonzentrationsinformationen beschafft. Aus diesem Grund ist es nach der vorliegenden Ausführungsform möglich, den Grad der Fahrkonzentration des Fahrers D unter zwei Gesichtspunkten zu überwachen, nämlich dem Aufmerksamkeitszustand des Fahrers D und dem Grad der Fahrbereitschaft. Zusätzlich ist es gemäß der vorliegenden Ausführungsform möglich, in Schritt S107 Warnungen unter diesen beiden Gesichtspunkten auszugeben.
  • Ebenso werden in der vorliegenden Ausführungsform die Beobachtungsinformationen (124, 224), die die Gesichtsverhaltensinformationen des Fahrers beinhalten, als Eingang für das neuronale Netzwerk (5, 6) verwendet. Aus diesem Grund braucht das aufgenommene Bild, das als Eingang für das neuronale Netzwerk (5, 6) gegeben wird, keine ausreichende Auflösung aufzuweisen, um das Verhalten des Gesichts des Fahrers zu erkennen. In Anbetracht dessen ist es in der vorliegenden Ausführungsform möglich, das niedrigauflösende aufgenommene Bild (1231, 223), das durch Verringern der Auflösung des von der Kamera 31 beschafften aufgenommenen Bildes erzeugt wird, als Eingang in das neuronale Netzwerk (5, 6) zu verwenden. Dies reduziert die Berechnung in dem neuronalen Netzwerk (5, 6) und die Belastung des Prozessors. Es ist zu beachten, dass das niedrigauflösende aufgenommene Bild (1231, 223) vorzugsweise eine Auflösung aufweist, die die Extraktion von Merkmalen in Bezug auf die Haltung des Fahrers ermöglicht, aber keine Identifizierung des Verhaltens des Gesichts des Fahrers ermöglicht.
  • Ebenso beinhaltet das neuronale Netzwerk 5 gemäß der vorliegenden Ausführungsform das vollständig verbundene neuronale Netzwerk 51 und das neuronale Faltungsnetzwerk 52 auf der Eingangsseite. In Schritt S104 werden die Beobachtungsinformationen 124 in das vollständig verbundene neuronale Netzwerk 51 eingegeben, und das niedrigauflösende aufgenommene Bild 1231 wird in das neuronale Faltungsnetzwerk 52 eingegeben. Dadurch ist es möglich, eine Analyse durchzuführen, die für jede Art von Eingang geeignet ist. Das neuronale Netzwerk 5 gemäß der vorliegenden Ausführungsform beinhaltet auch das LSTM-Netzwerk 54. Dementsprechend ist es durch die Verwendung von Zeitreihendaten für die Beobachtungsinformationen 124 und das niedrigauflösende aufgenommene Bild 1231 möglich, den Grad der Fahrkonzentration des Fahrers D unter Berücksichtigung sowohl kurzfristiger als auch langfristiger Abhängigkeiten abzuschätzen. So ist es nach der vorliegenden Ausführungsform möglich, die Genauigkeit der Abschätzung des Fahrkonzentrationsgrades des Fahrers D zu erhöhen.
  • Variationen
  • Die Ausführungsformen der vorliegenden Erfindung, die vorstehend im Detail beschrieben sind, haben in jeder Hinsicht nur Beispielcharakter. Selbstverständlich können verschiedene Verbesserungen und Veränderungen vorgenommen werden, ohne von dem Umfang der vorliegenden Erfindung abzuweichen. So können beispielsweise die Ausführungsformen in den folgenden Formen geändert werden. Dieselben Komponenten wie die in den vorstehenden Ausführungsformen werden nachstehend mit denselben Bezugszahlen versehen, und die Vorgänge, die mit denen in den vorstehenden Ausführungsformen identisch sind, werden nicht beschrieben. Die nachfolgend beschriebenen Änderungen können entsprechend kombiniert werden.
  • <4.1 >
  • Die vorstehende Ausführungsform veranschaulicht ein Beispiel für die Anwendung der vorliegenden Erfindung auf ein Fahrzeug, das automatisches Fahren ausführen kann. Die vorliegende Erfindung beschränkt sich jedoch nicht darauf, auf ein Fahrzeug angewendet zu werden, das automatisches Fahren ausführen kann, und die vorliegende Erfindung kann auf ein Fahrzeug angewendet werden, das automatisches Fahren nicht ausführen kann.
  • <4.2>
  • In der vorstehenden Ausführungsform zeigen die Aufmerksamkeitszustandsinformationen 1251 anhand von einer von zwei Stufen an, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht, und die Bereitschaftsinformationen 1252 zeigen anhand von einer von zwei Stufen an, ob sich der Fahrer in einem Zustand hoher oder niedriger Fahrbereitschaft befindet. Die Ausdrücke der Aufmerksamkeitszustandsinformationen 1251 und der Bereitschaftsinformationen 1252 sind jedoch nicht auf diese Beispiele beschränkt, und die Aufmerksamkeitszustandsinformationen 1251 können anhand von drei oder mehr Stufen anzeigen, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht, und die Bereitschaftsinformationen 1252 können anhand von drei oder mehr Stufen anzeigen, ob sich der Fahrer in einem Zustand hoher oder niedriger Fahrbereitschaft befindet.
  • Die 9A und 9B zeigen Beispiele für die Aufmerksamkeitszustandsinformationen und die Bereitschaftsinformationen gemäß der vorliegenden Variation. Wie in 9A dargestellt, werden die Aufmerksamkeitszustandsinformationen gemäß der vorliegenden Variation durch Punktwerte von 0 bis 1 definiert, die das Ausmaß der Aufmerksamkeit in verschiedenen Aktionszuständen anzeigen. So werden beispielsweise im Beispiel in 9A der Punktwert „0“ für „Schlafen“ und „Panik“, der Punktwert „1“ für „nach vorne blicken“ und für die anderen Aktionszustände Punktwerte zwischen 0 und 1 zugeordnet.
  • Analog werden die Bereitschaftsinformationen gemäß der vorliegenden Variation durch Punktwerte von 0 bis 1 definiert, die das Ausmaß der Bereitschaft im Verhältnis zu verschiedenen Aktionszuständen angeben. So werden beispielsweise im Beispiel in 9B der Punktwert „0“ für „Schlafen“ und „Panik“, der Punktwert „1“ für „nach vorne blicken“ und für die anderen Aktionszustände Punktwerte zwischen 0 und 1 zugeordnet.
  • Auf diese Weise können die Aufmerksamkeitszustandsinformationen 1251 durch Zuweisung von drei oder mehr Punktwerten für verschiedene Aktionszustände anhand von drei oder mehr Stufen anzeigen, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht, und die Bereitschaftsinformationen 1252 können anhand von drei oder mehr Stufen anzeigen, ob sich der Fahrer in einem Zustand hoher oder niedriger Fahrbereitschaft befindet.
  • In diesem Fall kann die Steuereinheit 11 in Schritt S106 anhand der Punktwerte der Aufmerksamkeitszustandsinformationen und der Bereitschaftsinformationen bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht. So kann beispielsweise die Steuereinheit 11 bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, basierend darauf, ob der Punktwert der Aufmerksamkeitszustandsinformationen über einem vorgegebenen Schwellenwert liegt oder nicht. Ebenso kann beispielsweise die Steuereinheit 11 bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, basierend darauf, ob der Punktwert der Bereitschaftsinformationen über einem vorgegebenen Schwellenwert liegt oder nicht. Ferner kann beispielsweise die Steuereinheit 11 bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, basierend darauf, ob der Gesamtwert des Punktwerts der Aufmerksamkeitszustandsinformationen und des Punktwerts der Bereitschaftsinformationen über einem vorgegebenen Schwellenwert liegt oder nicht. Dieser Schwellenwert kann entsprechend festgelegt werden. Ebenso kann die Steuereinheit 11 den Inhalt der Warnung entsprechend dem Punktwert ändern. Die Steuereinheit 11 kann daher unterschiedliche Warnstufen ausgeben. Es ist zu beachten, dass in diesem Fall, wenn die Aufmerksamkeitszustandsinformationen und die Bereitschaftsinformationen durch Punktwerte ausgedrückt werden, der obere Grenzwert und der untere Grenzwert der Punktwerte je nach Implementierung entsprechend eingestellt werden können. Der obere Grenzwert des Punktwertes ist nicht auf „1“ und der untere Grenzwert nicht auf „0“ beschränkt.
  • <4.3>
  • In der vorstehenden Ausführungsform wird in Schritt S106 der Grad der Fahrkonzentration des Fahrers D anhand der Aufmerksamkeitszustandsinformationen 1251 und der Bereitschaftsinformationen 1252 parallel bestimmt. Bei der Feststellung, ob sich der Fahrer D in einem zum Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, kann jedoch entweder den Aufmerksamkeitszustandsinformationen 1251 oder den Bereitschaftsinformationen 1252 Vorrang eingeräumt werden.
  • Die 10 und 11 zeigen eine Variation der vorstehend beschriebenen Verarbeitungsprozedur. Durch die Durchführung der Verarbeitungsprozedur gemäß der vorliegenden Variation stellt die automatische Fahrassistenzvorrichtung 1 sicher, dass der Fahrer D dem Fahren mindestens die erforderliche Aufmerksamkeit zukommen lässt, wenn sie das automatische Fahren des Fahrzeugs steuert. Insbesondere steuert die automatische Fahrassistenzvorrichtung 1 das automatische Fahren des Fahrzeugs wie nachfolgend beschrieben.
  • Schritt S301
  • In Schritt S301 startet die Steuereinheit 11 das automatische Fahren des Fahrzeugs. Ähnlich wie bei der vorstehenden Ausführungsform beschafft die Steuereinheit 11 beispielsweise Karteninformationen, Umgebungsinformationen und GPS-Informationen von der Navigationsvorrichtung 30 und implementiert das automatische Fahren des Fahrzeugs basierend auf den beschafften Karteninformationen, Umgebungsinformationen und GPS-Informationen. Nach dem Starten des automatischen Fahrens des Fahrzeugs setzt die Steuereinheit 11 die Verarbeitung mit Schritt S302 fort.
  • Schritte S302 bis S306
  • Die Schritte S302 bis S306 sind ähnlich den vorstehend beschriebenen Schritten S101 bis S105. Mit anderen Worten beschafft, als Ergebnis der Verarbeitung in den Schritten S302 bis S306, die Steuereinheit 11 die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 aus dem neuronalen Netzwerk 5. Nach dem Beschaffen der Aufmerksamkeitszustandsinformationen 1251 und der Bereitschaftsinformationen 1252 setzt die Steuereinheit 11 die Verarbeitung mit Schritt S307 fort.
  • Schritt S307
  • In Schritt S307 bestimmt die Steuereinheit 11 anhand der in Schritt S306 beschafften Bereitschaftsinformationen 1252, ob sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet oder nicht. Wenn die Bereitschaftsanzeige 1252 anzeigt, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet, setzt die Steuereinheit 11 die Verarbeitung mit Schritt S310 fort. Wenn die Bereitschaftsanzeige 1252 jedoch anzeigt, dass sich der Fahrer D in einem Zustand hoher Fahrbereitschaft befindet, setzt die Steuereinheit 11 die Verarbeitung mit Schritt S308 fort.
  • Schritt S308
  • In Schritt S308 bestimmt die Steuereinheit 11, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht, basierend auf den in Schritt S306 beschafften Aufmerksamkeitszustandsinformationen 1251. Wenn die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, befindet sich der Fahrer D in einem Zustand hoher Fahrbereitschaft, ist jedoch in einem Zustand, in dem er dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt. In diesem Fall setzt die Steuereinheit 11 die Verarbeitung mit Schritt S309 fort.
  • Wenn jedoch die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt, befindet sich der Fahrer D in einem Zustand hoher Fahrbereitschaft und ist in einem Zustand, in dem er dem Fahren die erforderliche Aufmerksamkeit zukommen lässt. In diesem Fall führt die Steuereinheit 11 die Verarbeitung zu Schritt S302 zurück und überwacht weiterhin den Fahrer D, während sie das automatische Fahren des Fahrzeugs durchführt.
  • Schritt S309
  • In Schritt S309 fungiert die Steuereinheit 11 als Warneinheit 115, und wenn festgestellt wurde, dass sich der Fahrer D in einem Zustand hoher Fahrbereitschaft befindet, sich aber in einem Zustand befindet, in dem er dem Fahren nicht die nötige Aufmerksamkeit zukommen lässt, gibt die Steuereinheit 11 als Warnung die akustische Meldung von dem Lautsprecher 33 „Bitte blicken Sie nach vorne!“ aus. Die Steuereinheit 11 fordert den Fahrer D somit auf, dem Fahren die erforderliche Aufmerksamkeit zukommen zu lassen. Wenn diese Warnung beendet ist, führt die Steuereinheit 11 die Verarbeitung zu Schritt S302 zurück. Dementsprechend überwacht die Steuereinheit 11 weiterhin den Fahrer D, während sie das automatische Fahren des Fahrzeugs durchführt.
  • Schritt S310
  • In Schritt S310 bestimmt die Steuereinheit 11, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht, basierend auf den in Schritt S306 beschafften Aufmerksamkeitszustandsinformationen 1251. Wenn die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, befindet sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft, und ist in einem Zustand, in dem er dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt. In diesem Fall setzt die Steuereinheit 11 die Verarbeitung mit Schritt S311 fort.
  • Wenn jedoch die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt, befindet sich der Fahrer D zwar in einem Zustand niedriger Fahrbereitschaft, aber in einem Zustand, in dem er dem Fahren die erforderliche Aufmerksamkeit zukommen lässt. In diesem Fall setzt die Steuereinheit 11 die Verarbeitung mit Schritt S313 fort.
  • Schritte S311 und S312
  • In Schritt S311 fungiert die Steuereinheit 11 als Warneinheit 115, und wenn festgestellt wurde, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet und sich in einem Zustand befindet, in dem er dem Fahren nicht die nötige Aufmerksamkeit zukommen lässt, gibt die Steuereinheit 11 als Warnung die akustische Meldung von dem Lautsprecher 33 „Blicken Sie sofort nach vorne“ aus. Die Steuereinheit 11 fordert den Fahrer D somit auf, dem Fahren mindestens die erforderliche Aufmerksamkeit zukommen zu lassen. Nachdem die Warnung ausgelöst wurde, wartet die Steuereinheit 11 in Schritt S312 eine erste Zeitspanne ab. Nach dem Abwarten der ersten Zeitspanne setzt die Steuereinheit 11 die Verarbeitung mit Schritt S315 fort. Es ist zu beachten, dass der spezifische Wert der ersten Zeitspanne je nach Implementierung entsprechend eingestellt werden kann.
  • Schritte S313 und S314
  • In Schritt S313 fungiert die Steuereinheit 11 als Warneinheit 115, und wenn festgestellt wurde, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet, sich aber in einem Zustand der erforderlichen Aufmerksamkeit für das Fahren befindet, gibt die Steuereinheit 11 als Warnung die akustische Meldung von dem Lautsprecher 33 „Bitte nehmen Sie eine Fahrhaltung ein!“ aus. Die Steuereinheit 11 fordert den Fahrer D somit auf, einen Zustand hoher Fahrbereitschaft anzunehmen. Nachdem die Warnung ausgelöst wurde, wartet die Steuereinheit 11 in Schritt S314 auf eine zweite Zeitspanne, die länger als die erste Zeitspanne ist. Schritt S312 wird ausgeführt, wenn bestimmt wird, dass sich der Fahrer D in einem Zustand niedriger Fahrbereitschaft befindet und sich in einem Zustand befindet, in dem er dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, aber im Gegensatz dazu wurde im Fall der Ausführung von Schritt S314 bestimmt, dass sich der Fahrer D in einem Zustand befindet, in dem er dem Fahren die erforderliche Aufmerksamkeit zukommen lässt. Aus diesem Grund wartet die Steuereinheit 11 in Schritt S314 länger als in Schritt S312. Nach dem Abwarten der zweiten Zeitspanne setzt die Steuereinheit 11 die Verarbeitung mit Schritt S315 fort. Es ist zu beachten, dass der spezifische Wert der zweiten Zeitspanne je nach Implementierung entsprechend eingestellt werden kann, solange sie länger als die erste Zeitspanne ist.
  • Schritte S315 bis S319
  • Die Schritte S315 bis S319 sind ähnlich den vorstehend beschriebenen Schritten S302 bis S306. Mit anderen Worten, als Ergebnis der Verarbeitung in den Schritten S315 bis S319 beschafft die Steuereinheit 11 die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 aus dem neuronalen Netzwerk 5. Nach dem Beschaffen der Aufmerksamkeitszustandsinformationen 1251 und der Bereitschaftsinformationen 1252 setzt die Steuereinheit 11 die Verarbeitung mit Schritt S320 fort.
  • Schritt S320
  • In Schritt S320 wird basierend auf der in Schritt S319 beschafften Aufmerksamkeitszustandsinformationen 1251 bestimmt, ob der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt oder nicht. Wenn die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren nicht die erforderliche Aufmerksamkeit zukommen lässt, bedeutet dies, dass es nicht möglich war, sicherzustellen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt. In diesem Fall setzt die Steuereinheit 11 die Verarbeitung mit Schritt S321 fort, um das automatische Fahren zu stoppen.
  • Wenn jedoch die Aufmerksamkeitszustandsinformationen 1251 anzeigen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt, bedeutet dies, dass es möglich ist, sicherzustellen, dass der Fahrer D dem Fahren die erforderliche Aufmerksamkeit zukommen lässt. In diesem Fall führt die Steuereinheit 11 die Verarbeitung zu Schritt S302 zurück und überwacht weiterhin den Fahrer D, während sie das automatische Fahren des Fahrzeugs durchführt.
  • Schritte S321 bis S323
  • In Schritt S321 definiert die Steuereinheit 11 einen Halteabschnitt zum sicheren Anhalten des Fahrzeugs durch Bezugnahme auf die Karteninformationen, Umgebungsinformationen und GPS-Informationen. Im nachfolgenden Schritt S322 gibt die Steuereinheit 11 eine Warnung an den Fahrer D aus, dass das Fahrzeug angehalten werden soll. Im nachfolgenden Schritt S323 stoppt die Steuereinheit 11 das Fahrzeug automatisch in dem definierten Halteabschnitt. Die Steuereinheit 11 beendet somit die automatische Fahrverarbeitungsprozedur entsprechend der vorliegenden Variation.
  • Wie vorstehend beschrieben, kann die automatische Fahrassistenzvorrichtung 1 dazu eingerichtet werden, sicherzustellen, dass der Fahrer D dem Fahren mindestens die erforderliche Aufmerksamkeit zukommen lässt, wenn sie das automatische Fahren des Fahrzeugs steuert. Mit anderen Worten, wenn bestimmt wird, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet oder nicht, kann den Aufmerksamkeitszustandsinformationen 1251 Vorrang vor den Bereitschaftsinformationen 1252 eingeräumt werden (als Faktor zum Bestimmen, ob das automatische Fahren in der vorliegenden Variation fortgesetzt werden soll oder nicht). Dementsprechend ist es möglich, mehrere Zustandsebenen des Fahrers D abzuschätzen und das automatische Fahren entsprechend zu steuern. Es ist zu beachten, dass die priorisierten Informationen die Bereitschaftsinformationen 1252 anstelle der Aufmerksamkeitszustandsinformationen 1251 sein können.
  • <4.4>
  • In der vorstehenden Ausführungsform beschafft die automatische Fahrassistenzvorrichtung 1 die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 als Fahrkonzentrationsinformationen 125 in Schritt S105. Die Fahrkonzentrationsinformationen 125 sind jedoch nicht auf das vorstehende Beispiel beschränkt und können je nach Implementierung entsprechend eingestellt werden.
  • So können beispielsweise entweder die Aufmerksamkeitszustandsinformationen 1251 oder die Bereitschaftsinformationen 1252 weggelassen werden. In diesem Beispiel kann die Steuereinheit 11 bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, basierend auf den Aufmerksamkeitszustandsinformationen 1251 oder den Bereitschaftsinformationen 1252 in Schritt S106, wie vorstehend beschrieben.
  • Außerdem können die Fahrkonzentrationsinformationen 125 beispielsweise andere Informationen als die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 beinhalten. So können beispielsweise die Fahrkonzentrationsinformationen 125 Informationen beinhalten, die anzeigen, ob sich der Fahrer D auf dem Fahrersitz befindet oder nicht, Informationen, die anzeigen, ob die Hände des Fahrers D auf dem Lenkrad liegen oder nicht, Informationen, die anzeigen, ob der Fuß des Fahrers D auf dem Pedal liegt oder nicht, oder dergleichen.
  • Auch in den Fahrkonzentrationsinformationen 125 kann der Grad der Fahrkonzentration des Fahrers D selbst beispielsweise durch einen Zahlenwert ausgedrückt werden. In diesem Beispiel kann die Steuereinheit 11 bestimmen, ob sich der Fahrer D in einem für das Fahren des Fahrzeugs geeigneten Zustand befindet, basierend darauf, ob der durch die Fahrkonzentrationsinformationen 125 angezeigte Zahlenwert höher als ein vorgegebener Schwellenwert in dem vorstehend beschriebenen Schritt S106 ist oder nicht.
  • Ebenso kann, wie in 12 dargestellt, die automatische Fahrassistenzvorrichtung 1 in Schritt S105 als Fahrkonzentrationsinformationen 125 Aktionszustandsinformationen beschaffen, die den Aktionszustand des Fahrers D aus einer Vielzahl von vorgegebenen Aktionszuständen anzeigen, die entsprechend verschiedenen Graden der Fahrkonzentration des Fahrers D eingestellt wurden.
  • 12 veranschaulicht schematisch ein Beispiel für die Funktionskonfiguration einer automatischen Fahrassistenzvorrichtung 1A entsprechend der aktuellen Variation. Die automatische Fahrassistenzvorrichtung 1A weist die gleiche Konfiguration wie die automatische Fahrassistenzvorrichtung 1 auf, mit der Ausnahme, dass die Aktionszustandsinformationen 1253 als Ausgang aus dem neuronalen Netzwerk 5 beschafft werden. Die vorgegebenen Aktionszustände, die für den Fahrer D abgeschätzt werden können, können je nach Implementierung entsprechend eingestellt werden. Ähnlich wie bei der vorstehend beschriebenen Ausführungsform können beispielsweise die vorgegebenen Aktionszustände als „nach vorne blicken“, „Messgeräte prüfen“, „Navigationssystem prüfen“, „Rauchen“, „Essen/Trinken“, „Telefonieren“, „schräg blicken“, „Umdrehen“, „schläfrig“, „Schlafen“, „Mobiltelefonbedienung“ und „Panik“ eingestellt werden. Dementsprechend kann die automatische Fahrassistenzvorrichtung 1A durch die Verarbeitung der Schritte S101 bis S105 gemäß der vorliegenden Variation den Aktionszustand des Fahrers D abschätzen.
  • Es ist zu beachten, dass in dem Fall, in dem die Aktionszustandsinformationen 1253 als Fahrerkonzentrationsinformationen beschafft werden, die automatische Fahrassistenzvorrichtung 1A die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 beschaffen kann, indem sie den Aufmerksamkeitszustand des Fahrers D und den Grad der Fahrbereitschaft basierend auf den Aktionszustandsinformationen 1253 angibt. Die in den 5A und 5B oder 9A und 9B gezeigten Kriterien können verwendet werden, wenn der Aufmerksamkeitszustand des Fahrers D und der Grad der Fahrbereitschaft angegeben werden. Mit anderen Worten kann die Steuereinheit 11 der automatischen Fahrassistenzvorrichtung 1A in Schritt S105 nach Beschaffung der Aktionszustandsinformationen 1253 den Aufmerksamkeitszustand des Fahrers D und den Grad der Fahrbereitschaft gemäß den in den 5A und 5B oder 9A und 9B gezeigten Kriterien angeben. Wenn in diesem Fall die Aktionszustandsinformationen 1253 beispielsweise „Rauchen“ angeben, kann die Steuereinheit 11 angeben, dass der Fahrer dem Fahren die erforderliche Aufmerksamkeit zukommen lässt und sich in einem Zustand niedriger Fahrbereitschaft befindet.
  • <4.5>
  • In der vorstehenden Ausführungsform wird das niedrigauflösende aufgenommene Bild 1231 in dem vorstehend beschriebenen Schritt S104 in das neuronale Netzwerk 5 eingegeben. Das aufgenommene Bild, das in das neuronale Netzwerk 5 eingegeben werden soll, ist jedoch nicht auf das vorstehende Beispiel beschränkt. Die Steuereinheit 11 kann das in Schritt S101 beschaffte aufgenommene Bild 123 direkt in das neuronale Netzwerk 5 eingeben. In diesem Fall kann der Schritt S103 aus der Prozedur weggelassen werden. Ebenso kann die Auflösungsumwandlungseinheit 113 aus der Funktionskonfiguration der automatischen Fahrassistenzvorrichtung 1 weggelassen werden.
  • Ebenso beschafft die Steuereinheit 11 in der vorstehenden Ausführungsform die Beobachtungsinformationen 124 in Schritt S102 und führt anschließend eine Verarbeitung zur Verringerung der Auflösung des aufgenommenen Bildes 123 in Schritt S103 durch. Die Verarbeitungsreihenfolge in den Schritten S102 und S103 ist jedoch nicht auf dieses Beispiel beschränkt, und es ist eine Konfiguration möglich, bei der zuerst die Verarbeitung von Schritt S103 ausgeführt wird und die Steuereinheit 11 dann die Verarbeitung von Schritt S102 durchführt.
  • <4.6>
  • In der vorstehenden Ausführungsform beinhaltet das neuronale Netzwerk, das zum Abschätzen des Grades der Fahrkonzentration des Fahrers D verwendet wird, das vollständig verbundene neuronale Netzwerk, das neuronale Faltungsnetzwerk, die Verbindungsschicht und das LSTM-Netzwerk, wie in den 4 und 6 dargestellt. Die Architektur des neuronalen Netzwerks, das zum Abschätzen des Grades der Fahrkonzentration des Fahrers D verwendet wird, ist jedoch nicht auf das vorstehende Beispiel beschränkt und kann je nach Implementierung entsprechend bestimmt werden. So kann beispielsweise das LSTM-Netzwerk entfallen.
  • <4.7>
  • In der vorstehenden Ausführungsform wird ein neuronales Netzwerk als Lerneinheit zum Abschätzen des Grades der Fahrkonzentration des Fahrers D verwendet. Solange die Lerneinheit jedoch die Beobachtungsinformationen 124 und das niedrigauflösende aufgenommene Bild 1231 als Eingang verwenden kann, ist die Lerneinheit nicht darauf beschränkt, ein neuronales Netzwerk zu sein; die Lerneinheit kann je nach Implementierung entsprechend ausgewählt werden. Beispiele für die Lerneinheit sind u. a. eine Support-Vektor-Maschine, eine selbstorganisierende Karte und eine durch Verstärkungslernen trainierte Lerneinheit.
  • <4.8>
  • In der vorstehenden Ausführungsform gibt die Steuereinheit 11 die Beobachtungsinformationen 124 und das niedrigauflösende aufgenommene Bild 1231 in Schritt S104 in das neuronale Netzwerk 5 ein. Es gibt jedoch keine Einschränkung für dieses Beispiel, und andere Informationen als die Beobachtungsinformationen 124 und das niedrigauflösende aufgenommene Bild 1231 können ebenfalls in das neuronale Netzwerk 5 eingegeben werden.
  • 13 veranschaulicht schematisch ein Beispiel für die Funktionskonfiguration einer automatischen Fahrassistenzvorrichtung 1B gemäß der vorliegenden Variation. Die automatische Fahrassistenzvorrichtung 1B hat dieselbe Konfiguration wie die automatische Fahrassistenzvorrichtung 1, mit der Ausnahme, dass Einflussfaktorinformationen 126 über einen Faktor, der den Konzentrationsgrad des Fahrers D auf das Fahren beeinflusst, in das neuronale Netzwerk 5 eingegeben werden. Die Einflussfaktorinformationen 126 beinhalten beispielsweise Geschwindigkeitsinformationen, die die Fahrgeschwindigkeit des Fahrzeugs anzeigen, Umgebungsinformationen, die die Situation in der Umgebung des Fahrzeugs anzeigen (Messergebnisse einer Radarvorrichtung und von einer Kamera aufgenommene Bilder), und Wetterinformationen, die das Wetter anzeigen.
  • Wenn die Einflussfaktorinformationen 126 durch Zahlenwertdaten angezeigt werden, kann die Steuereinheit 11 der automatischen Fahrassistenzvorrichtung 1B die Einflussfaktorinformationen 126 in Schritt S104 in das vollständig verbundene neuronale Netzwerk 51 des neuronalen Netzwerks 5 eingeben. Auch wenn die Einflussfaktorinformationen 126 durch Bilddaten angezeigt werden, kann die Steuereinheit 11 die Einflussfaktorinformationen 126 in das neuronale Faltungsnetzwerk 52 des neuronalen Netzwerks 5 in Schritt S104 eingeben.
  • In dieser Variation werden neben den Beobachtungsinformationen 124 und dem niedrigauflösenden aufgenommenen Bild 1231 auch die Einflussfaktorinformationen 126 verwendet, so dass bei der Durchführung der vorstehend beschriebenen Abschätzungsverarbeitung ein Faktor berücksichtigt werden kann, der den Fahrkonzentrationsgrad des Fahrers D beeinflusst. Die Vorrichtung gemäß der vorliegenden Variation erhöht somit die Genauigkeit der Abschätzung des Fahrkonzentrationsgrades des Fahrers D.
  • Es ist zu beachten, dass die Steuereinheit 11 das in Schritt S106 verwendete Bestimmungskriterium basierend auf den Einflussfaktorinformationen 126 verändern kann. Wenn beispielsweise die Aufmerksamkeitszustandsinformationen 1251 und die Bereitschaftsinformationen 1252 durch Punktwerte wie in der in 4.2 beschriebenen Variation angezeigt werden, kann die Steuereinheit 11 den Schwellenwert ändern, der bei der in Schritt S106 durchgeführten Bestimmung basierend auf den Einflussfaktorinformationen 126 verwendet wird. In einem Beispiel kann die Steuereinheit 11 für ein Fahrzeug, das mit einer höheren Geschwindigkeit fährt, wie durch Geschwindigkeitsinformationen angezeigt, einen höheren Schwellenwert verwenden, um zu bestimmen, dass sich der Fahrer D in einem zum Fahren des Fahrzeugs geeigneten Zustand befindet.
  • Es ist zu beachten, dass die Beobachtungsinformationen 124 die biologischen Informationen 1242 zusätzlich zu den Gesichtsverhaltensinformationen 1241 in der vorstehenden Ausführungsform beinhalten. Die Konfiguration der Beobachtungsinformationen 124 ist jedoch nicht auf dieses Beispiel beschränkt und kann je nach Ausführungsform entsprechend ausgewählt werden. So können beispielsweise die biologischen Informationen 1242 weggelassen werden. Auch können die Beobachtungsinformationen 124 beispielsweise andere Informationen als die biologischen Informationen 1242 beinhalten.
  • Anhang 1
  • Eine Fahrerüberwachungsvorrichtung beinhaltet:
    • einen Hardwareprozessor und
    • eine Speichervorrichtung, die ein Programm hält, das von dem Hardwareprozessor ausgeführt werden soll,
    • wobei der Hardwareprozessor dazu eingerichtet ist, durch Ausführen des Programms auszuführen:
      • einen Bildbeschaffungsschritt zum Beschaffen eines aufgenommenen Bildes von einer Bildgebungsvorrichtung, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt;
      • einen Beobachtungsinformationsbeschaffungsschritt zum Beschaffen von Beobachtungsinformationen über den Fahrer, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und
      • einen Abschätzungsschritt zum Eingeben des aufgenommenen Bildes und der Beobachtungsinformationen in eine trainierte Lerneinheit, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen, und zum Beschaffen von Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren von der Lerneinheit.
  • Anhang 2
  • Ein Fahrerüberwachungsverfahren beinhaltet:
    • einen Bildbeschaffungsschritt zum Beschaffen eines aufgenommenen Bildes anhand eines Hardwareprozessors von einer Bildgebungsvorrichtung, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt;
    • einen Beobachtungsinformationsbeschaffungsschritt zum Beschaffen von Beobachtungsinformationen über den Fahrer anhand des Hardwareprozessors, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und
    • einen Abschätzungsschritt, bei dem anhand des Hardwareprozessors das aufgenommene Bild und die Beobachtungsinformationen in eine trainierte Lerneinheit eingegeben werden, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen, und bei dem von der Lerneinheit Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren beschafft werden.
  • Anhang 3
  • Eine Lerneinheit beinhaltet
    einen Hardwareprozessor und
    eine Speichervorrichtung, die ein Programm hält, das von dem Hardwareprozessor ausgeführt werden soll,
    wobei der Hardwareprozessor dazu eingerichtet ist, durch Ausführen des Programms auszuführen:
    • einen Trainingsdatenbeschaffungsschritt zum Beschaffen, als Trainingsdaten, eines Satzes eines aufgenommenen Bildes, das von einer Bildgebungsvorrichtung beschafft wurde, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; von Beobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und von Fahrkonzentrationsinformationen über einen Konzentrationsgrad des Fahrers auf das Fahren; und
    • einen Lernverarbeitungsschritt zum Trainieren einer Lerneinheit, um einen Ausgangswert auszugeben, der den Fahrkonzentrationsinformationen entspricht, wenn das aufgenommene Bild und die Beobachtungsinformationen eingegeben werden.
  • Anhang 4
  • Ein Lernverfahren beinhaltet:
    • einen Trainingsdatenbeschaffungsschritt zum Beschaffen, als Trainingsdaten, anhand eines Hardwareprozessors, eines Satzes eines aufgenommenen Bildes, das von einer Bildgebungsvorrichtung beschafft wurde, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; von Beobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und von Fahrkonzentrationsinformationen über einen Konzentrationsgrad des Fahrers auf das Fahren; und
    • einen Lernverarbeitungsschritt zum Trainieren einer Lerneinheit anhand eines Hardwareprozessors, um einen Ausgangswert auszugeben, der den Fahrkonzentrationsinformationen entspricht, wenn das aufgenommene Bild und die Beobachtungsinformationen eingegeben werden.
  • Bezugszeichenliste
    • 1
    automatische Fahrassistenzvorrichtung,
    11
    Steuereinheit, 12 Speichereinheit, 13 externe Schnittstelle,
    111
    Bildbeschaffungseinheit, 112 Beobachtungsinformationsbeschaffungseinheit,
    113
    Auflösungsumwandlungseinheit, 114 Fahrzustandsabschätzungseinheit,
    115
    Wameinheit,
    121
    Programm, 122 Trainingsergebnisdaten,
    123
    aufgenommenes Bild, 1231 niedrigauflösendes aufgenommenes Bild,
    124
    Beobachtungsinformationen, 1241 Gesichtsverhaltensinformationen, 1242
    125
    biologische Informationen, Informationen zur Fahrkonzentration,
    1251
    Aufmerksamkeitszustandsinformationen, 1252 Bereitschaftsinformationen,
    2
    Lernvorrichtung
    21
    Steuereinheit, 22 Speichereinheit, 23 Kommunikationsschnittstelle,
    24
    Eingabevorrichtung, 25 Ausgabevorrichtung, 26 Laufwerk,
    211
    Trainingsdatenbeschaffungseinheit, 212 Lernverarbeitungseinheit,
    221
    Lernprogramm, 222 Trainingsdaten,
    223
    niedrigauflösendes aufgenommenes Bild, 224 Beobachtungsinformationen,
    2251
    Aufmerksamkeitszustandsinformation, 2252 Bereitschaftsinformation,
    30
    Navigationsvorrichtung, 31 Kamera, 32 Biosensor,
    33
    Lautsprecher,
    5
    neuronales Netzwerk,
    51
    vollständig verbundenes neuronales Netzwerk,
    511
    Eingangsschicht, 512 Zwischenschicht (ausgeblendete Schicht), 513 Ausgangsschicht,
    52
    neuronales Faltungsnetzwerk,
    521
    Faltungsschicht, 522 Pooling-Schicht,
    523
    vollständig verbundene Schicht, 524 Ausgangsschicht,
    53
    Verbindungsschicht,
    54
    LSTM-Netzwerk (rekurrentes neuronales Netzwerk),
    541
    Eingangsschicht, 542 LSTM-Block, 543 Ausgangsschicht,
    6
    neuronales Netzwerk,
    61
    vollständig verbundenes neuronales Netzwerk,
    62
    neuronales Faltungsnetzwerk, 63 Verbindungsschicht,
    64
    LSTM-Netzwerk,
    92
    Speichermedium.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2008213823 A [0007]
    • JP 2010122897 A [0007]
    • JP 2011048531 A [0007]
    • JP 2012084068 A [0007]
    • JP 2014191474 A [0007]
  • Zitierte Nicht-Patentliteratur
    • S. Hochreiter und J. Schmidhuber, „ Long short-term memory“, Neural Computation, 9(8):1735-1780, 15. November 1997 [0087]
    • Felix A. Gers, Jürgen Schmidhuber und Fred Cummins, „Learning to Forget: Continual Prediction with LSTM“, Neural Computation, Seiten 2451-2471, Oktober 2000 [0087]

Claims (24)

  1. Fahrerüberwachungsvorrichtung, umfassend: eine Bildbeschaffungseinheit, die zum Beschaffen eines aufgenommenen Bildes von einer Bildgebungsvorrichtung eingerichtet ist, welche so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; eine Beobachtungsinformationsbeschaffungseinheit, die eingerichtet ist, um Beobachtungsinformationen über den Fahrer zu beschaffen, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und eine Fahrerzustandsabschätzungseinheit, die dazu eingerichtet ist, das aufgenommene Bild und die Beobachtungsinformationen in eine trainierte Lerneinheit einzugeben, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers auf das Fahren abzuschätzen, und dazu eingerichtet ist, von der Lerneinheit Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren zu beschaffen.
  2. Fahrerüberwachungsvorrichtung nach Anspruch 1, wobei die Fahrerzustandsabschätzungseinheit als die Fahrkonzentrationsinformationen Aufmerksamkeitszustandsinformationen beschafft, die einen Aufmerksamkeitszustand des Fahrers anzeigen, und Bereitschaftsinformationen, die einen Grad der Fahrbereitschaft des Fahrers anzeigen.
  3. Fahrerüberwachungsvorrichtung nach Anspruch 2, wobei die Aufmerksamkeitszustandsinformationen den Aufmerksamkeitszustand des Fahrers in einer Vielzahl von Stufen anzeigen, und die Bereitschaftsinformationen den Grad der Fahrbereitschaft des Fahrers in einer Vielzahl von Stufen anzeigen.
  4. Fahrerüberwachungsvorrichtung nach Anspruch 3, ferner umfassend: eine Warneinheit, die eingerichtet ist, um den Fahrer, entsprechend einer Stufe des Aufmerksamkeitszustandes des Fahrers, die durch die Aufmerksamkeitszustandsinformationen angezeigt wird, und einer Stufe der Fahrbereitschaft des Fahrers, die durch die Bereitschaftsinformationen angezeigt wird, in einer Vielzahl von Stufen warnend aufzufordern, einen Zustand anzunehmen, der geeignet ist, das Fahrzeug zu fahren.
  5. Fahrerüberwachungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Fahrerzustandsabschätzungseinheit als die Fahrkonzentrationsinformationen Aktionszustandsinformationen beschafft, die einen Aktionszustand des Fahrers aus einer Vielzahl von vorgegebenen Aktionszuständen anzeigen, die jeweils entsprechend einem Konzentrationsgrad des Fahrers auf das Fahren eingestellt sind.
  6. Fahrerüberwachungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Beobachtungsinformationsbeschaffungseinheit, durch Ausführen einer vorgegebenen Bildanalyse an dem aufgenommenen Bild, das beschafft wurde, als die Gesichtsverhaltensinformationen Informationen über mindestens eines der Folgenden beschafft: ob das Gesicht des Fahrers ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und einen geöffneten/geschlossenen Zustand der Augen.
  7. Fahrerüberwachungsvorrichtung nach einem der Ansprüche 1 bis 6, ferner umfassend: eine Auflösungsumwandlungseinheit, die eingerichtet ist, um eine Auflösung des beschafften aufgenommenen Bildes zu reduzieren, um ein niedrigauflösendes aufgenommenes Bild zu erzeugen, wobei die Fahrerzustandsabschätzungseinheit das niedrigauflösende aufgenommene Bild in die Lerneinheit eingibt.
  8. Fahrerüberwachungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Lerneinheit ein vollständig verbundenes neuronales Netzwerk, in das die Beobachtungsinformationen eingegeben werden, ein neuronales Faltungsnetzwerk, in das das aufgenommene Bild eingegeben wird, und eine Verbindungsschicht, die den Ausgang aus dem vollständig verbundenen neuronalen Netzwerk und den Ausgang aus dem neuronalen Faltungsnetzwerk verbindet, beinhaltet.
  9. Fahrerüberwachungsvorrichtung nach Anspruch 8, wobei die Lerneinheit ferner ein rekurrentes neuronales Netzwerk beinhaltet, in das der Ausgang aus der Verbindungsschicht eingegeben wird.
  10. Fahrerüberwachungsvorrichtung nach Anspruch 9, wobei das rekurrente neuronale Netzwerk einen Long Short-Term Memory-Block beinhaltet.
  11. Fahrerüberwachungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei die Fahrerzustandsabschätzungseinheit ferner Einflussfaktorinformationen über einen Faktor, der den Konzentrationsgrad des Fahrers auf das Fahren beeinflusst, in die Lerneinheit eingibt.
  12. Fahrerüberwachungsverfahren, das einen Computer veranlasst, auszuführen: einen Bildbeschaffungsschritt zum Beschaffen eines aufgenommenen Bildes von einer Bildgebungsvorrichtung, die so angeordnet ist, dass sie ein Bild eines Fahrers aufnimmt, der auf einem Fahrersitz eines Fahrzeugs sitzt; einen Beobachtungsinformationsbeschaffungsschritt zum Beschaffen von Beobachtungsinformationen über den Fahrer, wobei die Beobachtungsinformationen Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und einen Abschätzungsschritt zum Eingeben des aufgenommenen Bildes und der Beobachtungsinformationen in eine trainierte Lerneinheit, die dazu trainiert wurde, einen Konzentrationsgrad des Fahrers beim Fahren abzuschätzen, und zum Beschaffen von Fahrkonzentrationsinformationen über den Konzentrationsgrad des Fahrers auf das Fahren von der Lerneinheit.
  13. Fahrerüberwachungsverfahren nach Anspruch 12, wobei der Computer in dem Abschätzungsschritt als die Fahrkonzentrationsinformationen Aufmerksamkeitszustandsinformationen beschafft, die einen Aufmerksamkeitszustand des Fahrers anzeigen, und Bereitschaftsinformationen, die einen Grad der Fahrbereitschaft des Fahrers anzeigen.
  14. Fahrerüberwachungsverfahren nach Anspruch 13, wobei die Aufmerksamkeitszustandsinformationen den Aufmerksamkeitszustand des Fahrers in einer Vielzahl von Stufen anzeigen, und die Bereitschaftsinformationen den Grad der Fahrbereitschaft des Fahrers in einer Vielzahl von Stufen anzeigen.
  15. Fahrerüberwachungsverfahren nach Anspruch 14, wobei der Computer ferner einen Warnschritt ausführt, bei dem der Fahrer, entsprechend einer Stufe des Aufmerksamkeitszustandes des Fahrers, die durch die Aufmerksamkeitszustandsinformationen angezeigt wird, und einer Stufe der Fahrbereitschaft des Fahrers, die durch die Bereitschaftsinformationen angezeigt wird, in einer Vielzahl von Stufen warnend aufgefordert wird, einen Zustand anzunehmen, der zum Fahren des Fahrzeugs geeignet ist.
  16. Fahrerüberwachungsverfahren nach einem der Ansprüche 12 bis 15, wobei der Computer in dem Abschätzungsschritt als die Fahrkonzentrationsinformationen Aktionszustandsinformationen beschafft, die einen Aktionszustand des Fahrers aus einer Vielzahl von vorgegebenen Aktionszuständen anzeigen, die jeweils entsprechend einem Konzentrationsgrad des Fahrers auf das Fahren eingestellt sind.
  17. Fahrerüberwachungsverfahren nach einem der Ansprüche 12 bis 16, wobei der Computer in dem Schritt zum Beschaffen von Beobachtungsinformationen durch Ausführen einer vorgegebenen Bildanalyse an dem aufgenommenen Bild, das in dem Bildbeschaffungsschritt beschafft wurde, als die Gesichtsverhaltensinformationen Informationen über mindestens eines der Folgenden beschafft: ob das Gesicht des Fahrers ermittelt wurde oder nicht, eine Gesichtsposition, eine Gesichtsausrichtung, eine Gesichtsbewegung, eine Blickrichtung, eine Position eines Gesichtsorgans und einen geöffneten/geschlossenen Zustand der Augen.
  18. Fahrerüberwachungsverfahren nach einem der Ansprüche 12 bis 17, wobei der Computer ferner einen Auflösungsumwandlungsschritt zum Reduzieren einer Auflösung des beschafften aufgenommenen Bildes ausführt, um ein niedrigauflösendes aufgenommenes Bild zu erzeugen, und der Computer im Abschätzungsschritt das niedrigauflösende aufgenommene Bild in die Lerneinheit eingibt.
  19. Fahrerüberwachungsverfahren nach einem der Ansprüche 12 bis 18, wobei die Lerneinheit ein vollständig verbundenes neuronales Netzwerk, in das die Beobachtungsinformationen eingegeben werden, ein neuronales Faltungsnetzwerk, in das das aufgenommene Bild eingegeben wird, und eine Verbindungsschicht, die den Ausgang aus dem vollständig verbundenen neuronalen Netzwerk und den Ausgang aus dem neuronalen Faltungsnetzwerk verbindet, beinhaltet.
  20. Fahrerüberwachungsverfahren nach Anspruch 19, wobei die Lerneinheit ferner ein rekurrentes neuronales Netzwerk beinhaltet, in das der Ausgang aus der Verbindungsschicht eingegeben wird.
  21. Fahrerüberwachungsverfahren nach Anspruch 20, wobei das rekurrente neuronale Netzwerk einen Long Short-Term Memory-Block beinhaltet.
  22. Fahrerüberwachungsverfahren nach einem der Ansprüche 12 bis 21, wobei der Computer in dem Abschätzungsschritt weiterhin Einflussfaktorinformationen über einen Faktor in die Lerneinheit eingibt, der den Konzentrationsgrad des Fahrers auf das Fahren beeinflusst.
  23. Lernvorrichtung, umfassend: eine Trainingsdatenbeschaffungseinheit, die eingerichtet ist zum Beschaffen, als Trainingsdaten, eines Satzes eines aufgenommenen Bildes, das von einer Bildgebungsvorrichtung beschafft wurde, die so angeordnet ist, dass sie ein Bild eines Fahrers aufnimmt, der auf einem Fahrersitz eines Fahrzeugs sitzt; von Beobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und von Fahrkonzentrationsinformationen über einen Konzentrationsgrad des Fahrers auf das Fahren; und eine Lernverarbeitungseinheit, die dazu eingerichtet ist, eine Lerneinheit zu trainieren, um einen Ausgangswert auszugeben, der den Fahrkonzentrationsinformationen entspricht, wenn das aufgenommene Bild und die Beobachtungsinformationen eingegeben werden.
  24. Lernverfahren, das einen Computer veranlasst, auszuführen: einen Trainingsdatenbeschaffungsschritt zum Beschaffen, als Trainingsdaten, eines Satzes eines aufgenommenen Bildes, das von einer Bildgebungsvorrichtung beschafft wurde, die so angeordnet ist, dass sie ein Bild eines auf einem Fahrersitz eines Fahrzeugs sitzenden Fahrers aufnimmt; von Beobachtungsinformationen, die Gesichtsverhaltensinformationen über das Verhalten eines Gesichts des Fahrers beinhalten; und Fahrkonzentrationsinformationen über einen Konzentrationsgrad des Fahrers auf das Fahren; und einen Lernverarbeitungsschritt zum Trainieren einer Lerneinheit, um einen Ausgangswert auszugeben, der den Fahrkonzentrationsinformationen entspricht, wenn das aufgenommene Bild und die Beobachtungsinformationen eingegeben werden.
DE112017007252.2T 2017-03-14 2017-05-26 Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren Withdrawn DE112017007252T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-049250 2017-03-14
JP2017049250 2017-03-14
PCT/JP2017/019719 WO2018167991A1 (ja) 2017-03-14 2017-05-26 運転者監視装置、運転者監視方法、学習装置及び学習方法

Publications (1)

Publication Number Publication Date
DE112017007252T5 true DE112017007252T5 (de) 2019-12-19

Family

ID=61020628

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017007252.2T Withdrawn DE112017007252T5 (de) 2017-03-14 2017-05-26 Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren

Country Status (5)

Country Link
US (1) US20190370580A1 (de)
JP (3) JP6264492B1 (de)
CN (1) CN110268456A (de)
DE (1) DE112017007252T5 (de)
WO (3) WO2018167991A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021202790A1 (de) 2021-03-23 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Insassenzustandsüberwachung in einem Kraftfahrzeug

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6766791B2 (ja) * 2017-10-04 2020-10-14 株式会社デンソー 状態検出装置、状態検出システム及び状態検出プログラム
JP7347918B2 (ja) 2017-11-20 2023-09-20 日本無線株式会社 水位予測方法、水位予測プログラム及び水位予測装置
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
EP3751540A4 (de) * 2018-02-05 2021-04-07 Sony Corporation Informationsverarbeitungsvorrichtung, mobiles gerät, verfahren und programm
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
JP6935774B2 (ja) * 2018-03-14 2021-09-15 オムロン株式会社 推定システム、学習装置、学習方法、推定装置及び推定方法
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法
JP2021128349A (ja) * 2018-04-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US20190362235A1 (en) 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
US10457294B1 (en) * 2018-06-27 2019-10-29 Baidu Usa Llc Neural network based safety monitoring system for autonomous vehicles
JP7014129B2 (ja) * 2018-10-29 2022-02-01 オムロン株式会社 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
US11200438B2 (en) 2018-12-07 2021-12-14 Dus Operating Inc. Sequential training method for heterogeneous convolutional neural network
JP7135824B2 (ja) * 2018-12-17 2022-09-13 日本電信電話株式会社 学習装置、推定装置、学習方法、推定方法、及びプログラム
US11087175B2 (en) * 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
JP7334415B2 (ja) * 2019-02-01 2023-08-29 オムロン株式会社 画像処理装置
US11068069B2 (en) * 2019-02-04 2021-07-20 Dus Operating Inc. Vehicle control with facial and gesture recognition using a convolutional neural network
JP7361477B2 (ja) * 2019-03-08 2023-10-16 株式会社Subaru 車両の乗員監視装置、および交通システム
CN111723596B (zh) * 2019-03-18 2024-03-22 北京市商汤科技开发有限公司 注视区域检测及神经网络的训练方法、装置和设备
US10740634B1 (en) 2019-05-31 2020-08-11 International Business Machines Corporation Detection of decline in concentration based on anomaly detection
JP7136047B2 (ja) * 2019-08-19 2022-09-13 株式会社デンソー 運転制御装置及び車両行動提案装置
US10752253B1 (en) * 2019-08-28 2020-08-25 Ford Global Technologies, Llc Driver awareness detection system
WO2021053780A1 (ja) * 2019-09-19 2021-03-25 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
JP7434829B2 (ja) 2019-11-21 2024-02-21 オムロン株式会社 モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
JP2021082154A (ja) 2019-11-21 2021-05-27 オムロン株式会社 モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
JP7317277B2 (ja) 2019-12-31 2023-07-31 山口 道子 ピンチを使わない物干し具
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021172584A1 (ja) * 2020-02-28 2021-09-02 ダイキン工業株式会社 効率推定装置
US11738763B2 (en) * 2020-03-18 2023-08-29 Waymo Llc Fatigue monitoring system for drivers tasked with monitoring a vehicle operating in an autonomous driving mode
CN111553190A (zh) * 2020-03-30 2020-08-18 浙江工业大学 一种基于图像的驾驶员注意力检测方法
JP7351253B2 (ja) * 2020-03-31 2023-09-27 いすゞ自動車株式会社 許否決定装置
US11091166B1 (en) * 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
JP7405030B2 (ja) 2020-07-15 2023-12-26 トヨタ紡織株式会社 状態判定装置、状態判定システム、および制御方法
GB2597092A (en) * 2020-07-15 2022-01-19 Daimler Ag A method for determining a state of mind of a passenger, as well as an assistance system
JP7420000B2 (ja) 2020-07-15 2024-01-23 トヨタ紡織株式会社 状態判定装置、状態判定システム、および制御方法
JP7186749B2 (ja) * 2020-08-12 2022-12-09 ソフトバンク株式会社 管理システム、管理方法、管理装置、プログラム及び通信端末
CN112558510B (zh) * 2020-10-20 2022-11-15 山东亦贝数据技术有限公司 一种智能网联汽车安全预警系统及预警方法
WO2022141114A1 (zh) * 2020-12-29 2022-07-07 深圳市大疆创新科技有限公司 视线估计方法、装置、车辆及计算机可读存储介质
JP2022169359A (ja) * 2021-04-27 2022-11-09 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
WO2022256877A1 (en) * 2021-06-11 2022-12-15 Sdip Holdings Pty Ltd Prediction of human subject state via hybrid approach including ai classification and blepharometric analysis, including driver monitoring systems
WO2023032617A1 (ja) * 2021-08-30 2023-03-09 パナソニックＩｐマネジメント株式会社 判定システム、判定方法、及び、プログラム
US11878707B2 (en) * 2022-03-11 2024-01-23 International Business Machines Corporation Augmented reality overlay based on self-driving mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008213823A (ja) 2007-02-06 2008-09-18 Denso Corp 車両用制御装置
JP2010122897A (ja) 2008-11-19 2010-06-03 Denso Corp 眠気判定装置、プログラム
JP2011048531A (ja) 2009-08-26 2011-03-10 Aisin Seiki Co Ltd 眠気検出装置、眠気検出方法、及びプログラム
JP2012084068A (ja) 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2014191474A (ja) 2013-03-26 2014-10-06 Fujitsu Ltd 集中度判定プログラム、集中度判定装置、および集中度判定方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2546415B2 (ja) * 1990-07-09 1996-10-23 トヨタ自動車株式会社 車両運転者監視装置
JP3654656B2 (ja) * 1992-11-18 2005-06-02 日産自動車株式会社 車両の予防安全装置
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
JP2005050284A (ja) * 2003-07-31 2005-02-24 Toyota Motor Corp 動き認識装置および動き認識方法
JP2005173635A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ
JP2006123640A (ja) * 2004-10-27 2006-05-18 Nissan Motor Co Ltd ドライビングポジション調整装置
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
JP2008176510A (ja) * 2007-01-17 2008-07-31 Denso Corp 運転支援装置
JP2009037415A (ja) * 2007-08-01 2009-02-19 Toyota Motor Corp ドライバ状態判別装置、および運転支援装置
JP5224280B2 (ja) * 2008-08-27 2013-07-03 株式会社デンソーアイティーラボラトリ 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置
JP2010238134A (ja) * 2009-03-31 2010-10-21 Saxa Inc 画像処理装置及びプログラム
JP2010257072A (ja) * 2009-04-22 2010-11-11 Toyota Motor Corp 意識状態推定装置
JP5018926B2 (ja) * 2010-04-19 2012-09-05 株式会社デンソー 運転補助装置、及びプログラム
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
CN101941425B (zh) * 2010-09-17 2012-08-22 上海交通大学 对驾驶员疲劳状态的智能识别装置与方法
WO2012135018A2 (en) * 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
JP2013058060A (ja) * 2011-09-08 2013-03-28 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法及びプログラム
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
CN102542257B (zh) * 2011-12-20 2013-09-11 东南大学 基于视频传感器的驾驶人疲劳等级检测方法
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
JP2015099406A (ja) * 2012-03-05 2015-05-28 アイシン精機株式会社 運転支援装置
JP5879188B2 (ja) * 2012-04-25 2016-03-08 日本放送協会 顔表情解析装置および顔表情解析プログラム
JP5807620B2 (ja) * 2012-06-19 2015-11-10 トヨタ自動車株式会社 運転支援装置
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
JP5789578B2 (ja) * 2012-09-20 2015-10-07 富士フイルム株式会社 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム
JP6150258B2 (ja) * 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
JP2015194798A (ja) * 2014-03-31 2015-11-05 日産自動車株式会社 運転支援制御装置
CN106462800A (zh) * 2014-04-11 2017-02-22 谷歌公司 使卷积神经网络的训练并行化
JP6273994B2 (ja) * 2014-04-23 2018-02-07 株式会社デンソー 車両用報知装置
JP6397718B2 (ja) * 2014-10-14 2018-09-26 日立オートモティブシステムズ株式会社 自動運転システム
JP6403261B2 (ja) * 2014-12-03 2018-10-10 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
US10331127B2 (en) * 2014-12-12 2019-06-25 Sony Corporation Automatic driving control device and automatic driving control method, and program
JP6409699B2 (ja) * 2015-07-13 2018-10-24 トヨタ自動車株式会社 自動運転システム
JP6552316B2 (ja) * 2015-07-29 2019-07-31 修一 田山 車輌の自動運転システム
CN105139070B (zh) * 2015-08-27 2018-02-02 南京信息工程大学 基于人工神经网络和证据理论的疲劳驾驶评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008213823A (ja) 2007-02-06 2008-09-18 Denso Corp 車両用制御装置
JP2010122897A (ja) 2008-11-19 2010-06-03 Denso Corp 眠気判定装置、プログラム
JP2011048531A (ja) 2009-08-26 2011-03-10 Aisin Seiki Co Ltd 眠気検出装置、眠気検出方法、及びプログラム
JP2012084068A (ja) 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2014191474A (ja) 2013-03-26 2014-10-06 Fujitsu Ltd 集中度判定プログラム、集中度判定装置、および集中度判定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Felix A. Gers, Jürgen Schmidhuber und Fred Cummins, „Learning to Forget: Continual Prediction with LSTM", Neural Computation, Seiten 2451-2471, Oktober 2000
S. Hochreiter und J. Schmidhuber, „ Long short-term memory", Neural Computation, 9(8):1735-1780, 15. November 1997

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021202790A1 (de) 2021-03-23 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Insassenzustandsüberwachung in einem Kraftfahrzeug

Also Published As

Publication number Publication date
JP2018152037A (ja) 2018-09-27
US20190370580A1 (en) 2019-12-05
CN110268456A (zh) 2019-09-20
WO2018168040A1 (ja) 2018-09-20
JP6264495B1 (ja) 2018-01-24
JP2018152034A (ja) 2018-09-27
JP2018152038A (ja) 2018-09-27
JP6264492B1 (ja) 2018-01-24
WO2018168039A1 (ja) 2018-09-20
JP6264494B1 (ja) 2018-01-24
WO2018167991A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
DE112017007252T5 (de) Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
DE102013210050B4 (de) Neurokognitive Verarbeitung eines Fahrerzustands
DE102014118479B4 (de) Affektive Benutzerschnittstelle in einem autonomen Fahrzeug
DE112019004597T5 (de) Informationsverarbeitungseinrichtung, bewegungsvorrichtung, verfahren und programm
DE102017120978A1 (de) Fahrgastüberwachungssysteme und -verfahren
DE102015213360B4 (de) System und verfahren zum bestimmen eines schläfrigen zustands eines fahrers
DE112017002765T5 (de) Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm
DE102017120839A1 (de) Passagiertrackingsysteme und -verfahren
DE112016002832T5 (de) Sicherheitssysteme und -verfahren für autonome Fahrzeuge
DE112017006567T5 (de) Autonomes fahrzeug mit fahrerausbildung
DE112018004885T5 (de) Assistenzverfahren und Assistenzsystem und dieses verwendende Assistenzvorrichtung
DE102017211005A1 (de) Fahrerzustandsüberwachung unter verwendung der hornhautreflexionserfassung
DE112020006551T5 (de) Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE112016007124T5 (de) Verfahren und Vorrichtungen zur Überwachung eines Aktivitätsniveaus eines Fahrers
DE102020125989A1 (de) System zum Steuern autonomer Fahrzeuge zum Verringern von Reisekrankheit
DE102021103347A1 (de) Kraftfahrzeug mit kognitivem reaktionstestsystem zur vorausschauenden erkennung potentieller fahrerbeeinträchtigung
DE102018210375A1 (de) Fahrerassistenzsystem, Fahrzeug, Verfahren zum Betreiben des Fahrerassistenzsystems, Computerprogramm und computerlesbares Speichermedium
DE212020000450U1 (de) Technik zur Verwendung bei der Fahrzeugherstellung
WO2020058006A1 (de) Verfahren zum klassifizieren einer fahraufgabenfremden aktivität eines fahrers hinsichtlich einer unterbrechbarkeit der fahraufgabenfremden aktivität bei einer übernahmeaufforderung der fahraufgabe und verfahren zur wiederfreigabe einer fahraufgabenfremden aktivität nach einer unterbrechung der fahraufgabenfremden aktivität aufgrund einer übernahmeaufforderung der fahraufgabe
DE102022102479A1 (de) Systeme und verfahren zum sicherstellen von privatsphäre in einem autonomen fahrzeug
DE102017216328B3 (de) Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
DE112019000475T5 (de) Überwachung der aufmerksamkeit von fahrzeuginsassen für autonome fahrzeuge
DE102021116309A1 (de) Assistenz für beeinträchtigte fahrer
DE102018100650A1 (de) Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug mit einem Fahrunterstützungssystem
DE112017007247T5 (de) Bildverarbeitungsvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee