DE102018002963A1 - Fahrerüberwachungsapparat und fahrerüberwachungsverfahren - Google Patents

Fahrerüberwachungsapparat und fahrerüberwachungsverfahren Download PDF

Info

Publication number
DE102018002963A1
DE102018002963A1 DE102018002963.9A DE102018002963A DE102018002963A1 DE 102018002963 A1 DE102018002963 A1 DE 102018002963A1 DE 102018002963 A DE102018002963 A DE 102018002963A DE 102018002963 A1 DE102018002963 A1 DE 102018002963A1
Authority
DE
Germany
Prior art keywords
driver
image
section
steering wheel
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102018002963.9A
Other languages
English (en)
Other versions
DE102018002963B4 (de
Inventor
Hatsumi AOI
Kazuyoshi OKAJI
Hiroshi Sugahara
Michie Uno
Koji Takizawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of DE102018002963A1 publication Critical patent/DE102018002963A1/de
Application granted granted Critical
Publication of DE102018002963B4 publication Critical patent/DE102018002963B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04—Hand wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

Es wird ein Fahrerüberwachungsapparat zur Verfügung gestellt, welcher genau detektieren kann, ob ein ursprünglicher Fahrer, welcher in einem Fahrersitz sitzt, ein Lenkrad ergreift oder nicht, wenn ein autonomer Fahrmodus zu einem manuellen Fahrmodus umgeschaltet wird. Ein Fahrerüberwachungsapparat 10 für ein Überwachen eines Fahrers, welcher in einem Fahrersitz in einem Fahrzeug sitzt, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen ist, beinhaltet: einen Bilderfassungsabschnitt 12a, welcher konfiguriert ist, um ein Fahrerbild zu erfassen, welches durch eine Fahrerbild-Aufnahmekamera 54 aufgenommen wird; einen Bildspeicherabschnitt 13a, welcher konfiguriert ist, um das Fahrerbild zu speichern, welches durch den Bilderfassungsabschnitt 12a erfasst wird; einen Bestimmungs-Bearbeitungsabschnitt 12c, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, welches aus dem Bildspeicherabschnitt 13a ausgelesen wird, und um zu bestimmen, ob ein Lenkrad 52 des Fahrzeugs durch eine Hand des Fahrers ergriffen wird oder nicht, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist; und einen Signalausgabeabschnitt 12g, welcher konfiguriert ist, um ein vorbestimmtes Signal auszugeben, welches auf einem Resultat der Bestimmung basiert, welche durch den Bestimmungs-Bearbeitungsabschnitt 12c durchgeführt wird.

Description

  • BEZUGNAHMEN AUF ZUGEHÖRIGE ANMELDUNGEN
  • Diese Anmeldung beansprucht eine Priorität der Japanischen Patentanmeldung Nr. 2017-092844, eingereicht am 9. Mai 2017, deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist.
  • GEBIET
  • Die vorliegende Erfindung bezieht sich auf einen einen Fahrer überwachenden Apparat bzw. Fahrerüberwachungsapparat und auf ein einen Fahrer überwachendes Verfahren bzw. Fahrerüberwachungsverfahren, und bezieht sich genauer auf einen Fahrerüberwachungsapparat und ein Fahrerüberwachungsverfahren für ein Überwachen eines Fahrers eines Fahrzeugs, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen ist.
  • HINTERGRUND
  • In jüngsten Jahren wurden Forschung und Entwicklung aktiv durchgeführt, um ein autonomes Fahren zu realisieren, d.h. ein autonomes Regeln bzw. Steuern eines Fahrens eines Fahrzeugs. Eine Technologie eines autonomen Fahrens wird in verschiedene Niveaus klassifiziert, welche von einem Level bzw. Niveau, bei welchem wenigstens ein Teil einer Fahrregelung bzw. -steuerung, welche eine Beschleunigung und eine Verlangsamung, ein Lenken und ein Bremsen beinhaltet, automatisiert ist, bis zu einem Niveau einer vollständigen Automatisierung reichen.
  • Bei einem Automatisierungsniveau, bei welchem Fahrzeugbetätigungen bzw. -vorgänge und eine Umgebungsbeobachtung durch ein System eines autonomen Fahrens bzw. ein autonomes Fahrsystem (z.B. Niveau 3, bei welchem eine Beschleunigung, ein Lenken und Bremsen vollständig durch das autonome Fahrsystem durchgeführt werden und ein Fahrer eine Regelung bzw. Steuerung durchführt, wenn dies durch das autonome Fahrsystem angefordert wird) durchgeführt werden, wird eine Situation ins Auge gefasst, wo ein autonomer Fahrmodus zu einem manuellen Fahrmodus, in welchem der Fahrer das Fahrzeug fährt, in Abhängigkeit von Faktoren, wie beispielsweise die Verkehrsumgebung umgeschaltet wird. Es ist beispielsweise eine Situation, wo, obwohl ein autonomes Fahren auf einer Autobahn bzw. Schnellstraße möglich ist, das autonome Fahrsystem den Fahrer auffordert, das Fahrzeug nahe einer Kreuzung manuell zu fahren.
  • In dem autonomen Fahrmodus bzw. Modus eines autonomen Fahrens auf dem oben erwähnten Niveau 3 ist der Fahrer im Wesentlichen von einem Durchführen von Fahrvorgängen bzw. -betätigungen entlastet und demgemäß kann der Fahrer einen Vorgang bzw. eine Betätigung verschieden von einem Fahren durchführen oder kann weniger aufmerksam während eines autonomen Fahrens sein. Aus diesem Grund muss, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umgeschaltet wird, sich der Fahrer in einem Zustand befinden, in welchem er fähig ist, die Betätigung des Lenkrads und eine Pedalbetätigung des Fahrzeugs von dem autonomen Fahrsystem bzw. System eines autonomen Fahrens zu übernehmen, um die Sicherheit des Fahrzeugs sicherzustellen. Ein Zustand, wo der Fahrer diese Betätigungen von dem autonomen Fahrsystem übernehmen kann, bezieht sich beispielsweise auf einen Zustand, wo der Fahrer ein Lenkrad ergreift.
  • Betreffend eine Konfiguration für ein Detektieren einer Lenkradbetätigung, welche durch einen Fahrer durchgeführt wird, wird beispielsweise ein ergriffener Zustand eines Lenkrads als detektierbar bzw. feststellbar erachtet, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umgeschaltet wird, indem eine Greif-Detektionsvorrichtung verwendet wird, welche in dem Patentdokument 1 unten geoffenbart ist.
  • Jedoch kann mit bzw. bei der Greif-Detektionsvorrichtung, welche in dem Patentdokument 1 beschrieben ist, nicht genau bestimmt werden, ob eine Hand, welche sich in Kontakt mit dem Lenkrad befindet, tatsächlich eine Hand des Fahrers ist oder nicht. Beispielsweise wird bestimmt werden, dass der Fahrer das Lenkrad ergreift, selbst wenn ein Mitfahrer bzw. Passagier verschieden von dem Fahrer (eine Person in einem Beifahrersitz oder einem Rücksitz) verschieden von dem Fahrer das Lenkrad ergreift.
  • In dem Fall eines Verwendens der oben erwähnten Greif-Detektionsvorrichtung gibt es, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umgeschaltet wird, Bedenken, dass der Fahrmodus zu einem autonomen Fahren umschalten wird, selbst wenn ein Mitfahrer verschieden von dem Fahrer das Lenkrad ergreift, und es kann die Sicherheit des Fahrzeugs nicht sichergestellt werden.
  • JP 2016-203660 ist ein Beispiel für den Stand der Technik.
  • ZUSAMMENFASSUNG
  • Die vorliegende Erfindung wurde unter Berücksichtigung des vorangehenden Problems durchgeführt und zielt darauf ab, einen einen Fahrer überwachenden Apparat bzw. Fahrerüberwachungsapparat und ein einen Fahrer überwachendes Verfahren bzw. Fahrerüberwachungsverfahren zur Verfügung zu stellen, mit welchen, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, genau bzw. zuverlässig detektiert bzw. festgestellt werden kann, ob der ursprüngliche bzw. tatsächliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht.
  • Um den oben erwähnten Gegenstand zu erhalten, ist ein Fahrerüberwachungsapparat (1) gemäß der vorliegenden Erfindung ein Fahrerüberwachungsapparat, welcher einen Fahrer überwacht, welcher in einem Fahrersitz in einem Fahrzeug sitzt, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen ist, wobei der Apparat beinhaltet:
    • einen Bilderfassungsabschnitt, welcher konfiguriert ist, ein Fahrerbild zu erhalten bzw. zu erfassen, welches durch einen Bildaufnahmeabschnitt für ein Aufnehmen eines Bilds des Fahrers aufgenommen wird;
    • einen Bildspeicherabschnitt, welcher konfiguriert ist, um das Fahrerbild zu speichern, welches durch den Bilderfassungsabschnitt erfasst wird;
    • einen Bestimmungs-Bearbeitungsabschnitt, welcher konfiguriert ist, um, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, das Fahrerbild zu bearbeiten, welches aus dem Bildspeicherabschnitt ausgelesen wird, um zu bestimmen, ob ein Lenkrad des Fahrzeugs durch eine Hand des Fahrers ergriffen ist oder nicht; und
    • einen Signalausgabeabschnitt, welcher konfiguriert ist, um ein vorbestimmtes Signal auszugeben, welches auf einem Resultat der Bestimmung basiert, welche durch den Bestimmungs-Bearbeitungsabschnitt durchgeführt wird.
  • Mit bzw. bei dem oben beschriebenen Fahrerüberwachungsapparat (1) wird, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, das Fahrerbild be- bzw. verarbeitet, um zu bestimmen, ob das Lenkrad durch eine Hand des Fahrers ergriffen ist oder nicht, und es wird das vorbestimmte Signal, welches auf dem Resultat der Bestimmung basiert, ausgegeben. Eine Unterscheidung von einem Zustand kann gemacht werden, wo ein Mitfahrer verschieden von dem Fahrer das Lenkrad ergreift, indem das Fahrerbild in dem Bestimmungsbearbeiten bzw. Bearbeiten der Bestimmung verwendet wird, welches durch den Bestimmungs-Bearbeitungsabschnitt bzw. den die Bestimmung bearbeitenden Abschnitt durchgeführt wird. Somit kann sicher detektiert werden, ob der ursprüngliche bzw. tatsächliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht.
  • Ein Fahrerüberwachungsapparat (2) gemäß der vorliegenden Erfindung ist der oben beschriebene Fahrerüberwachungsapparat (1), in welchem das Fahrerbild ein Bild ist, welches durch ein Aufnehmen eines Bilds eines Blickfelds erhalten wird, welches wenigstens einen Abschnitt einer Schulter bis zu einem Oberarm des Fahrers und einen Abschnitt des Lenkrads beinhaltet, und der Bestimmungs-Bearbeitungsabschnitt beinhaltet:
    • einen Greifpositions-Detektionsabschnitt, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, um eine greifende bzw. Greifposition auf dem Lenkrad zu detektieren;
    • einen Positions-Detektionsabschnitt, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, um eine Position einer Schulter und eines Arms des Fahrers zu detektieren; und
    • einen Greif-Bestimmungsabschnitt, welcher konfiguriert ist, um zu bestimmen, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, basierend auf der Greifposition, welche durch den Greifpositions-Detektionsabschnitt detektiert wird, und der Position der Schulter und des Arms des Fahrers, welche durch den Positions-Detektionsabschnitt detektiert wird.
  • Mit dem oben beschriebenen Fahrerüberwachungsapparat (2) wird, ob das Lenkrad durch eine Hand des Fahrers ergriffen ist bzw. wird oder nicht, basierend auf der greifenden bzw. Greifposition auf dem Lenkrad, welche durch ein Be- bzw. Verarbeiten des Fahrerbilds detektiert wird, und der Position der Schulter und des Arms des Fahrers bestimmt. Demgemäß kann eine klare Unterscheidung von einem Zustand gemacht werden, ob ein Mitfahrer bzw. Passagier verschieden von dem Fahrer das Lenkrad ergreift, und es kann, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht, genauer detektiert bzw. festgestellt werden.
  • Ein Fahrerüberwachungsapparat (3) gemäß der vorliegenden Erfindung ist der oben beschriebene Fahrerüberwachungsapparat (1), in welchem das Fahrerbild ein Bild ist, welches durch ein Aufnehmen eines Bilds eines Blickfelds erhalten wird, welches wenigstens einen Abschnitt einer Schulter bis zu einem Oberarm des Fahrers beinhaltet,
    der Fahrerüberwachungsapparat weiters einen Kontaktsignal-Erfassungsabschnitt beinhaltet, welcher konfiguriert ist, um ein Signal von einem Kontakt-Detektionsabschnitt zu erhalten, welcher in dem Lenkrad vorgesehen ist und einen Kontakt mit einer Hand detektiert, und
    der Bestimmungs-Bearbeitungsabschnitt beinhaltet:
    • einen Greifpositions-Detektionsabschnitt, welcher konfiguriert ist, um eine Greifposition auf dem Lenkrad basierend auf dem Kontaktsignal zu detektieren, welches durch den Kontaktsignal-Erfassungsabschnitt erfasst wird;
    • einen Positions-Detektionsabschnitt, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, um eine Position einer Schulter und eines Arms des Fahrers zu detektieren; und
    • einen Greif-Bestimmungsabschnitt, welcher konfiguriert ist, um zu bestimmen, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, basierend auf der Greifposition, welche durch den Greifpositions-Detektionsabschnitt detektiert wird, und der Position der Schulter und des Arms des Fahrers, welche durch den Positions-Detektionsabschnitt detektiert wird.
  • Mit bzw. bei dem oben beschriebenen Fahrerüberwachungsapparat (3) wird, ob das Lenkrad durch eine Hand des Fahrers ergriffen wird oder nicht, basierend auf der Greifposition auf dem Lenkrad, welche basierend auf dem Kontaktsignal von dem den Kontakt detektierenden Abschnitt bzw. Kontakt-Detektionsabschnitt detektiert wird, und der Position der Schulter und des Arms des Fahrers bestimmt, welche durch ein Verarbeiten des Fahrerbilds detektiert wird. Demgemäß kann, selbst wenn das Lenkrad nicht in dem Fahrerbild erscheint, eine Unterscheidung von einem Zustand gemacht werden, wo ein Mitfahrer verschieden von dem Fahrer das Lenkrad ergreift, und es kann, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht, genau detektiert werden.
  • Ein Fahrerüberwachungsapparat (4) gemäß der vorliegenden Erfindung ist der oben beschriebene Fahrerüberwachungsapparat (2) oder (3), in welchem, wenn die Greifposition nicht durch den Greifpositions-Detektionsabschnitt detektiert wird, der Signalausgabeabschnitt ein Signal ausgibt, um zu bewirken, dass ein warnender bzw. Warnabschnitt, welcher in dem Fahrzeug vorgesehen ist, eine Warnungsbearbeitung ausführt, um den Fahrer zu veranlassen, das Lenkrad zu ergreifen.
  • Mit dem oben beschriebenen Fahrerüberwachungsapparat (4) wird, wenn die Greifposition nicht durch den die Greifposition detektierenden Abschnitt bzw. Greifpositions-Detektionsabschnitt detektiert wird, eine Warnungsver- bzw. -bearbeitung ausgeführt, um den Fahrer zu veranlassen, das Lenkrad zu ergreifen. Demgemäß kann der Fahrer veranlasst bzw. dazu bewegt werden, das Lenkrad zu ergreifen.
  • Ein Fahrerüberwachungsapparat (5) gemäß der vorliegenden Erfindung ist der oben beschriebene Fahrerüberwachungsapparat (1), weiters beinhaltend:
    • einen Klassifizierer-Speicherabschnitt, welcher konfiguriert ist, um einen trainierten Klassifizierer zu speichern, welcher durch ein vorangehendes Durchführen eines lernenden bzw. Lernbearbeitens durch ein Verwenden als Trainingsdaten von Bildern des Fahrers, welcher das Lenkrad ergreift, und von Bildern des Fahrers erzeugt wird, welcher nicht das Lenkrad ergreift,
    • wobei der trainierte Klassifizierer einen Eingabelayer, welchem Daten des Fahrerbilds, welches aus dem Bildspeicherabschnitt ausgelesen wird, eingegeben werden, und einen Ausgabelayer beinhaltet, welcher Bestimmungsdaten ausgibt, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, und
    • wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, der Bestimmungs-Bearbeitungsabschnitt ein Bearbeiten durchführt, um die Daten des Fahrerbilds zu dem Eingabelayer des trainierten Klassifizierers einzugeben, welche aus dem Klassifizierer-Speicherabschnitt ausgelesen werden, und aus dem Ausgabelayer die Bestimmungsdaten auszugeben, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht.
  • Mit dem oben beschriebenen Fahrerüberwachungsapparat (5) werden, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, Bestimmungsdaten betreffend die Tatsache, ob das Lenkrad durch eine Hand des Fahrers ergriffen ist oder nicht, von dem Ausgangs- bzw. Ausgabelayer bzw. der Ausgabelage durch ein Eingeben der Fahrerbilddaten zu dem Eingabe- bzw. Eingangslayer bzw. der Eingabelage des trainierten Klassifizierers ausgegeben. Demgemäß kann eine Unterscheidung von einem Zustand gemacht werden, wo ein Passagier verschieden von dem Fahrer das Lenkrad ergreift, indem der trainierte Klassifizierer in dem Be- bzw. Verarbeiten verwendet wird, welches durch den die Bestimmung bearbeitenden Abschnitt bzw. Bestimmungs-Bearbeitungsabschnitt durchgeführt wird. Derart kann, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht, genau detektiert werden.
  • Ein Fahrerüberwachungsapparat (6) gemäß der vorliegenden Erfindung ist der oben beschriebene Fahrerüberwachungsapparat (1), weiters beinhaltend:
    • einen Klassifiziererinformations-Speicherabschnitt, welcher konfiguriert ist, um Definitionsinformation betreffend einen nicht trainierten Klassifizierer, beinhaltend die Anzahl von Layern in einem neuralen Netzwerk, die Anzahl von Neuronen in jedem Layer und eine Transferfunktion und Daten von Konstanten, beinhaltend eine Gewichtung und einen Schwellwert für Neuronen in jedem Layer zu speichern, welche vorab durch ein Lernbearbeiten erhalten wurden; und
    • einen Erzeugungsabschnitt eines trainierten Klassifizierers bzw. einen einen trainierten Klassifizierer erzeugenden Abschnitt, welcher konfiguriert ist, um die Definitionsinformation und die Daten der Konstanten aus dem Klassifiziererinformations-Speicherabschnitt auszulesen, um einen trainierten Klassifizierer zu erzeugen,
    • wobei der trainierte Klassifizierer einen Eingabelayer, welchem Daten des Fahrerbilds, welches aus dem Bildspeicherabschnitt ausgelesen wird, eingegeben werden, und einen Ausgabelayer beinhaltet, welcher Bestimmungsdaten ausgibt, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, und
    • wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, der Bestimmungs-Bearbeitungsabschnitt ein Bearbeiten durchführt, um die Daten des Fahrerbilds zu dem Eingabelayer des trainierten Klassifizierers einzugeben, welcher durch den Erzeugungsabschnitt des trainierten Klassifizierers erzeugt wird, und von bzw. aus dem Ausgabelayer die Bestimmungsdaten auszugeben, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht.
  • Mit dem oben beschriebenen Fahrerüberwachungsapparat (6) wird, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, ein trainierter Klassifizierer erzeugt, es werden die Fahrerbilddaten zu dem Eingabelayer davon eingegeben, und es werden derart Bestimmungsdaten betreffend die Tatsache, ob das Lenkrad durch eine Hand des Fahrers ergriffen ist bzw. wird oder nicht, von dem Ausgabelayer ausgegeben. Demgemäß kann eine Unterscheidung von einem Zustand gemacht werden, wo ein Passagier verschieden von dem Fahrer das Lenkrad ergreift, indem der trainierte Klassifizierer in dem Verarbeiten verwendet wird, welches durch den Bestimmungs-Bearbeitungsabschnitt durchgeführt wird. Somit kann, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht, genau detektiert werden.
  • Ein Fahrerüberwachungsapparat (7) gemäß der vorliegenden Erfindung ist ein beliebiger der oben beschriebenen Fahrerüberwachungsapparate (1) bis (6), in welchem, wenn durch den Bestimmungs-Bearbeitungsabschnitt bestimmt wird, dass das Lenkrad durch die Hand des Fahrers ergriffen ist, der Signalausgabeabschnitt ein Signal ausgibt, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben.
  • Mit dem oben beschriebenen Fahrerüberwachungsapparat (7) wird, wenn bestimmt wird, dass das Lenkrad durch eine Hand des Fahrers ergriffen ist bzw. wird, ein Signal ausgegeben, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben. Demgemäß kann der autonome Fahrmodus zu dem manuellen Fahrmodus in einem Zustand umgeschaltet werden, wo der Fahrer Betätigungen des Lenkrads übernommen hat, und es kann eine Sicherheit des Fahrzeugs zu der Zeit des Umschaltens sichergestellt werden.
  • Ein Fahrerüberwachungsapparat (8) gemäß der vorliegenden Erfindung ist ein beliebiger der oben beschriebenen Fahrerüberwachungsapparate (1) bis (6), in welchem, wenn durch den Bestimmungs-Bearbeitungsabschnitt bestimmt wird, dass das Lenkrad nicht durch die Hand des Fahrers ergriffen ist, der Signalausgabeabschnitt ein Signal ausgibt, um nicht ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben.
  • Mit dem oben beschriebenen Fahrerüberwachungsapparat (8) wird, wenn bestimmt wird, dass das Lenkrad nicht durch eine Hand des Fahrers ergriffen wird, ein Signal ausgegeben, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus nicht zu erlauben. Demgemäß ist es möglich, ein Umschalten zu dem manuellen Fahrmodus in einem Zustand zu verhindern, wo der Fahrer Betätigungen des Lenkrads nicht übernommen hat.
  • Ein Fahrerüberwachungsverfahren gemäß der vorliegenden Erfindung ist ein einen Fahrer überwachendes Verfahren bzw. Fahrerüberwachungsverfahren für ein Überwachen eines Fahrers, welcher in einem Fahrersitz in einem Fahrzeug sitzt, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen wird, durch ein Verwenden eines Apparats, beinhaltend einen Speicherabschnitt und einen Hardware-Prozessor, welcher mit dem Speicherabschnitt verbunden wird,
    wobei der Speicherabschnitt einen Bildspeicherabschnitt beinhaltet, welcher konfiguriert wird, um ein Fahrerbild zu speichern, welches durch einen Bildaufnahmeabschnitt für ein Aufnehmen eines Bilds des Fahrers aufgenommen wird,
    wobei das Verfahren umfasst:
    • ein Erhalten bzw. Erfassen des Fahrerbilds, welches durch den ein Bild aufnehmenden Abschnitt bzw. Bildaufnahmeabschnitt aufgenommen wird, durch den Hardware-Prozessor, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist;
    • ein Bewirken, dass der Bildspeicherabschnitt das erfasste Fahrerbild speichert, durch den Hardware-Prozessor;
    • ein Auslesen des Fahrerbilds aus dem Bildspeicherabschnitt, durch den Hardware-Prozessor;
    • ein Bearbeiten des gelesenen Fahrerbilds, um zu bestimmen, ob ein Lenkrad des Fahrzeugs durch eine Hand des Fahrers ergriffen wird oder nicht, durch den Hardware-Prozessor; und
    • ein Ausgeben eines vorbestimmten Signals, welches auf einem Resultat der Bestimmung basiert, durch den Hardware-Prozessor.
  • Mit dem oben beschriebenen Fahrerüberwachungsverfahren wird, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, das Fahrerbild, welches durch den das Bild aufnehmenden Abschnitt bzw. Bildaufnahmeabschnitt aufgenommen wird, erhalten, es wird der Bildspeicherabschnitt veranlasst, das erhaltene bzw. erfasste Fahrerbild zu speichern, es wird das Fahrerbild aus dem Bildspeicherabschnitt ausgelesen, es wird das Fahrerbild be- bzw. verarbeitet, um zu bestimmen, ob das Lenkrad durch eine Hand des Fahrers ergriffen ist bzw. wird oder nicht, oder es wird das vorbestimmte Signal ausgegeben, welches auf dem Resultat der Bestimmung basiert. Demgemäß kann eine Unterscheidung von einem Zustand gemacht werden, wo ein Passagier bzw. Mitfahrer verschieden von dem Fahrer das Lenkrad ergreift, indem das Fahrerbild bei dem Bestimmen verwendet wird. Somit kann, ob der ursprüngliche bzw. tatsächliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad ergreift oder nicht, genau detektiert werden.
  • Figurenliste
    • 1 ist ein Blockdiagramm, welches eine Konfiguration von wesentlichen Teilen eines autonomen Fahrsystems zeigt, welches einen Fahrerüberwachungsapparat gemäß einer Ausführungsform (1) der vorliegenden Erfindung beinhaltet.
    • 2 ist ein Blockdiagramm, welches eine Hardware-Konfiguration des Fahrerüberwachungsapparats gemäß der Ausführungsform (1) zeigt.
    • 3A zeigt ein Beispiel eines Fahrerbilds, welches durch eine Fahrerbild-Aufnahmekamera erfasst bzw. aufgenommen wird, und 3B zeigt ein Beispiel einer Bestimmungstabelle, welche in einem Greifbestimmungsverfahren-Speicherabschnitt gespeichert ist.
    • 4 ist ein Flussdiagramm, welches einen be- bzw. verarbeitenden Vorgang zeigt, welcher durch eine Regel- bzw. Steuereinheit in dem Fahrerüberwachungsapparat gemäß der Ausführungsform (1) durchgeführt wird.
    • 5 ist ein Flussdiagramm, welches einen Greifbestimmungs-Bearbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit in dem Fahrerüberwachungsapparat gemäß der Ausführungsform (1) durchgeführt wird.
    • 6 ist ein Blockdiagramm, welches eine Konfiguration von wesentlichen Teilen eines autonomen Fahrsystems zeigt, welches einen Fahrerüberwachungsapparat gemäß einer Ausführungsform (2) beinhaltet.
    • 7 ist ein Blockdiagramm, welches eine Hardware-Konfiguration des Fahrerüberwachungsapparats gemäß der Ausführungsform (2) zeigt.
    • 8 ist ein Flussdiagramm, welches einen Greifbestimmungs-Bearbeitungsvorgang zeigt, welcher durch eine Regel- bzw. Steuereinheit in dem Fahrerüberwachungsapparat gemäß der Ausführungsform (2) durchgeführt wird.
    • 9 ist ein Blockdiagramm, welches eine Hardware-Konfiguration des Fahrerüberwachungsapparats gemäß einer Ausführungsform (3) zeigt.
    • 10 ist ein Blockdiagramm, welches eine Hardware-Konfiguration eines Lernapparats für ein Erzeugen eines Klassifizierers zeigt, welcher in einem Klassifizierer-Speicherabschnitt in dem Fahrerüberwachungsapparat gemäß der Ausführungsform (3) zu speichern ist.
    • 11 ist ein Flussdiagramm, welches einen ein Lernen be- bzw. verarbeitenden Vorgang zeigt, welcher durch eine lernende bzw. Lern-Regel- bzw. -Steuereinheit in dem Lernapparat durchgeführt wird.
    • 12 ist ein Flussdiagramm, welches einen Greifbestimmungs-Bearbeitungsvorgang zeigt, welcher durch eine Regel- bzw. Steuereinheit in dem Fahrerüberwachungsapparat gemäß der Ausführungsform (3) durchgeführt wird.
    • 13 ist ein Blockdiagramm, welches eine Hardware-Konfiguration eines Fahrerüberwachungsapparats gemäß einer Ausführungsform (4) zeigt.
  • DETAILLIERTE BESCHREIBUNG
  • Nachfolgend werden Ausführungsformen eines einen Fahrer überwachenden Apparats bzw. Fahrerüberwachungsapparats und eines einen Fahrer überwachenden Verfahrens bzw. Fahrerüberwachungsverfahrens gemäß der vorliegenden Erfindung basierend auf den Zeichnungen beschrieben werden. Es ist festzuhalten, dass die folgenden Ausführungsformen bevorzugte spezifische Beispiele der vorliegenden Erfindung sind und technisch in verschiedenen Weisen bzw. Wegen beschränkt bzw. begrenzt sind. Jedoch ist der Rahmen bzw. Geltungsbereich der vorliegenden Erfindung nicht auf diese Ausführungsformen beschränkt, außer es ist dies besonders in der nachfolgenden Beschreibung angeführt bzw. angegeben, dass die vorliegende Erfindung beschränkt bzw. begrenzt ist.
  • 1 ist ein Blockdiagramm, welches eine Konfiguration von wesentlichen Teilen eines autonomen Fahrsystems bzw. Systems für ein autonomes Fahren zeigt, welches einen Fahrerüberwachungsapparat gemäß einer Ausführungsform (1) enthält.
  • Ein autonomes Fahrsystem 1 beinhaltet einen Fahrerüberwachungsapparat 10 und einen Regel- bzw. Steuerapparat 20 für ein autonomes Fahren. Der Regel- bzw. Steuerapparat 20 für ein autonomes Fahrer weist eine Konfiguration für ein Umschalten zwischen einem autonomen Fahrmodus bzw. Modus eines autonomen Fahrens, in welchem wenigstens ein Teil einer Fahrregelung bzw. -steuerung, welche eine Beschleunigung und Verlangsamung, ein Lenken und ein Abbremsen eines Fahrzeugs beinhaltet, autonom durch das System durchgeführt wird, und einem manuellen Fahrmodus bzw. Modus eines manuellen Fahrens auf, in welchem ein Fahrer Fahrvorgänge bzw. -betätigungen durchführt. In dieser Ausführungsform bezieht sich der Fahrer auf eine Person, welche in dem Fahrersitz in einem Fahrzeug sitzt.
  • Zusätzlich zu dem Fahrerüberwachungsapparat 10 und dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren beinhaltet das autonome Fahrsystem 1 Sensoren, Regel- bzw. Steuerapparate bzw. -geräte und dgl., welche für verschiedene Arten einer Regelung bzw. Steuerung in einem autonomen Fahren und einem manuellen Fahren erforderlich sind, wie beispielsweise einen Lenksensor 31, einen Gaspedal- bzw. Beschleunigungspedalsensor 32, einen Bremspedalsensor 33, einen Lenk-Regel- bzw. -Steuerapparat 34, einen Leistungsversorgungs-Regel- bzw. -Steuerapparat 35, einen Brems-Regel- bzw. -Steuerapparat 36, einen Warnapparat 37, einen Startschalter 38, einen Umgebungsüberwachungssensor 39, einen GPS Empfänger 40, einen Gyroskopsensor 41, einen Fahrzeuggeschwindigkeitssensor 42, ein Navigationsgerät 43 und ein Kommunikationsgerät 44. Diese verschiedenen Sensoren und Regel- bzw. Steuerapparate sind miteinander über eine Kommunikationsleitung 50 verbunden.
  • Das Fahrzeug ist auch mit einer Leistungs- bzw. Versorgungseinheit 51, welche Leistungs- bzw. Versorgungsquellen, wie beispielsweise einen Verbrennungsmotor und einen Motor beinhaltet, und einem Lenkapparat 53 ausgerüstet, welcher ein Lenkrad 52 beinhaltet, welches durch den Fahrer gelenkt wird. Eine Hardware-Konfiguration des Fahrerüberwachungsapparats 10 wird später beschrieben werden.
  • Der Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ist ein Apparat, welcher verschiedene Arten einer Regelung bzw. Steuerung ausführt, welche mit einem autonomen Fahren des Fahrzeugs assoziiert bzw. verbunden sind, und wird aufgebaut durch eine elektronische Regel- bzw. Steuereinheit, welche einen Regel- bzw. Steuerabschnitt, einen Speicherabschnitt, einen Eingabeabschnitt, einen Ausgabeabschnitt und dgl. beinhaltet, welche nicht in den Diagrammen gezeigt sind. Der Regel- bzw. Steuerabschnitt beinhaltet einen oder mehrere Hardware-Prozessor(en), liest ein Programm aus, welches in dem Speicherabschnitt gespeichert ist, und führt verschiedene Arten einer Fahrzeugsteuerung bzw. -regelung durch.
  • Der Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ist nicht nur mit dem Fahrerüberwachungsapparat 10 verbunden, sondern auch mit dem Lenksensor 31, dem Beschleunigungspedalsensor 32, dem Bremspedalsensor 33, dem Lenk-Regel- bzw. -Steuerapparat 34, dem Leistungsquellen-Regel- bzw. -Steuerapparat 35, dem Brems-Regel- bzw. -Steuerapparat 36, dem Umgebungsüberwachungssensor 39, dem GPS Empfänger 40, dem Gyroskopsensor 41, dem Fahrzeuggeschwindigkeitssensor 42, dem Navigationsapparat bzw. -gerät 43, dem Kommunikationsapparat bzw. -gerät 44 usw. Basierend auf Information, welche von diesen Abschnitten erhalten bzw. erfasst wird, gibt der Regel- bzw. Steuerapparat 20 für ein autonomes Fahren Regel- bzw. Steuersignale für ein Durchführen eines autonomen Fahrens an die Regel- bzw. Steuerapparate aus und führt eine Regelung bzw. Steuerung für ein autonomes Fahren (autonome Lenkregelung bzw. -steuerung, autonome Geschwindigkeitseinstellungs-Regelung bzw. -Steuerung, autonome Bremsregelung bzw. -steuerung etc.) des Fahrzeugs durch.
  • Ein autonomes Fahren bezieht sich darauf, einem Fahrzeug zu erlauben, autonom bzw. unabhängig auf einer Straße unter der Regelung bzw. Steuerung zu fahren, welche durch den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren durchgeführt wird, ohne dass ein Fahrer in dem Fahrersitz sitzt und Fahrvorgänge bzw. -betätigungen durchführt. Beispielsweise beinhaltet ein autonomes Fahren einen Fahrzustand, in welchem dem Fahrzeug erlaubt ist bzw. wird, autonom zu fahren in Übereinstimmung mit einer vorher festgelegten Route zu einem Bestimmungsort, einer Fahrroute, welche automatisch basierend auf einer Situation außerhalb des Fahrzeugs und auf Karteninformation erzeugt bzw. generiert wird, oder dgl. Der Regel- bzw. Steuerapparat 20 für ein autonomes Fahren beendet ein autonomes Fahren (hebt dieses auf), wenn vorbestimmte Bedingungen für ein Aufheben eines autonomen Fahrens erfüllt sind bzw. werden. Beispielsweise beendet der Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ein autonomes Fahren, wenn bestimmt wird, dass das Fahrzeug, welches einem autonomen Fahren unterworfen ist bzw. unterliegt, einen vorbestimmten Endpunkt eines autonomen Fahrens erreicht hat. Der Regel- bzw. Steuerapparat 20 für ein autonomes Fahren kann auch eine Regelung bzw. Steuerung durchführen, um ein autonomes Fahren zu beenden, wenn der Fahrer einen ein autonomes Fahren aufhebenden Vorgang (z.B. einen Vorgang bzw. eine Betätigung an einem Aufhebungs- bzw. Beendigungsknopf für ein autonomes Fahren, eine Betätigung an einem Lenkrad, einer Beschleunigungseinrichtung oder einer Bremse, welche durch den Fahrer durchgeführt wird, etc.) durchführt. Ein manuelles Fahren bezieht sich auf ein Fahren, in welchem der Fahrer Fahrvorgänge bzw. -betätigungen durchführt, um das Fahrzeug zu einem Fahren zu veranlassen.
  • Der Lenksensor 31 ist ein Sensor für ein Detektieren des Ausmaßes eines Lenkens, welches mit dem Lenkrad 52 durchgeführt wird, ist beispielsweise an einer Lenkwelle des Fahrzeugs vorgesehen und detektiert das Lenkdrehmoment, welches auf das Lenkrad 52 durch den Fahrer ausgeübt wird, oder den Lenkwinkel des Lenkrads 52. Ein Signal, welches einer Lenkradbetätigung entspricht, welche durch den Fahrer durchgeführt wird, welches durch den Lenkwinkelsensor 31 detektiert wird, wird an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren und den Lenk-Regel- bzw. -Steuerapparat 34 ausgegeben.
  • Der Beschleunigungs- bzw. Gaspedalsensor 32 ist ein Sensor für ein Detektieren des Ausmaßes, um welches ein Beschleunigungs- bzw. Gaspedal (Position des Gaspedals) mit einem Fuß gedrückt bzw. niedergetreten wird, und ist beispielsweise an einem Schaftabschnitt des Gaspedals vorgesehen. Ein Signal, welches dem Ausmaß entspricht, um welches das Gaspedal mit einem Fuß gedrückt bzw. getreten wird, welches durch den Gaspedalsensor 32 detektiert wird, wird an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren und den Regel- bzw. Steuerapparat 35 der Leistungs- bzw. Kraftquelle ausgegeben.
  • Der Bremspedalsensor 33 ist ein Sensor für ein Detektieren des Ausmaßes, um welches das Bremspedal mit einem Fuß gedrückt bzw. niedergetreten wird (Position des Bremspedals), oder der Betätigungskraft (Kraft eines Drückens bzw. Tretens mit einem Fuß), welche darauf angewandt wird. Ein Signal, welches dem Ausmaß, um welches das Bremspedal mit einem Fuß gedrückt wird, oder der Betätigungskraft entspricht, welches durch den Bremspedalsensor 33 detektiert wird, wird an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren und den Brems-Regel- bzw. -Steuerapparat 36 ausgegeben.
  • Der Lenk-Regel- bzw. -Steuerapparat 34 ist eine elektronische Regel- bzw. Steuereinheit für ein Regeln bzw. Steuern des Lenkapparats (z.B. Lenkvorrichtung mit elektrischer Leistung bzw. Versorgung) 53 des Fahrzeugs. Der Lenk-Regel- bzw. -Steuerapparat 34 regelt bzw. steuert das Lenkdrehmoment des Fahrzeugs durch ein Antreiben eines Motors für ein Regeln bzw. Steuern des Lenkdrehmoments des Fahrzeugs. In dem autonomen Fahrmodus wird das Lenkdrehmoment in Übereinstimmung mit einem Regel- bzw. Steuersignal von dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren geregelt bzw. gesteuert.
  • Der Regel- bzw. Steuerapparat 35 der Leistungs- bzw. Versorgungsquelle ist eine elektronische Regel- bzw. Steuereinheit für ein Regeln bzw. Steuern der Leistungs- bzw. Motoreinheit 51. Der Regel- bzw. Steuerapparat 35 der Leistungsquelle regelt bzw. steuert die antreibende bzw. Antriebskraft des Fahrzeugs durch ein Regeln bzw. Steuern beispielsweise der Mengen an Kraftstoff und Luft, welche dem Verbrennungsmotor zugeführt werden, oder der Menge an Elektrizität, welche dem Motor bzw. Elektromotor zugeführt wird. In dem autonomen Fahrmodus wird die Antriebskraft des Fahrzeugs in Übereinstimmung mit einem Regel- bzw. Steuersignal von dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren geregelt bzw. gesteuert.
  • Der Brems-Regel- bzw. -Steuerapparat 36 ist eine elektronische Regel- bzw. Steuereinheit für ein Regeln bzw. Steuern eines Bremssystems des Fahrzeugs. Der Brems-Regel- bzw. -Steuerapparat 36 regelt bzw. steuert die Bremskraft, welche an Räder des Fahrzeugs angelegt wird, beispielsweise durch ein Einstellen des Hydraulikdrucks, welcher an einem Hydraulikdruck-Bremssystem angelegt wird. In dem autonomen Fahrmodus wird die Bremskraft, welche an die Räder angelegt wird, in Übereinstimmung mit einem Regel- bzw. Steuersignal von dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren geregelt bzw. gesteuert.
  • Der Warnapparat 37 ist konfiguriert, um einen Audio-Ausgabeabschnitt für ein Ausgeben von verschiedenen Warnungen und Richtungen in der Form eines Geräuschs oder einer Stimme, einen Anzeige-Ausgabeabschnitt für ein Anzeigen von verschiedenen Warnungen und Richtungen in der Form von Zeichen bzw. Buchstaben oder Diagrammen oder durch ein Beleuchten einer Lampe und so weiter zu beinhalten (alle diese Abschnitte sind in den Diagrammen nicht gezeigt). Der Warnapparat 37 arbeitet basierend auf Warn-Anweisungssignalen, welche von dem Fahrerüberwachungsapparat 10 und dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ausgegeben werden.
  • Der Startschalter 38 ist ein Schalter für ein Starten und Stoppen der Motor- bzw. Leistungseinheit 51 und besteht aus einem Zündschalter für ein Starten des Motors, einem Leistungs- bzw. Versorgungsschalter für ein Starten eines fahrenden Motors und so weiter. Ein Betätigungssignal von dem Startschalter 38 wird an den Fahrerüberwachungsapparat 10 und den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren eingegeben.
  • Der Umgebungsüberwachungssensor 39 ist ein Sensor für ein Detektieren eines Zielobjekts bzw. -gegenstands, welches(r) um das Fahrzeug vorhanden ist. Das Zielobjekt kann beispielsweise ein sich bewegendes Objekt, wie beispielsweise ein Fahrzeug, ein Fahrrad oder eine Person, eine Markierung auf einer Straßenoberfläche (weiße Linie etc.), eine Leitschiene, ein Mittelstreifen oder andere Strukturen sein, welche eine Fahrt des Fahrzeugs beeinflussen können. Der Umgebungsüberwachungssensor 39 beinhaltet wenigstens eine einer vorderen Überwachungskamera, einer rückwärtigen Überwachungskamera, eines Radars, eines LIDER, d.h. eines Light Detection and Ranging or Laser Imaging Detection and Ranging, und eines Ultraschallsensors. Detektionsdaten, d.h. Daten betreffend ein Zielobjekt, welches durch den Umgebungsüberwachungssensor 39 detektiert wird, werden an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren usw. ausgegeben. Eine Stereokamera, eine monokulare Kamera oder dgl. können als die vordere Überwachungskamera und die rückwärtige Überwachungskamera verwendet bzw. eingesetzt werden. Das Radar detektiert die Position, die Richtung, den Abstand und dgl. eines Zielobjekts durch ein Übertragen von Radiowellen, wie beispielsweise Millimeterwellen, zu der Umgebung des Fahrzeugs und ein Empfangen von Radio- bzw. Funkwellen, welche von einem Zielobjekt reflektiert werden, welches um das Fahrzeug vorhanden ist. Der LIDER detektiert die Position, die Richtung, den Abstand und dgl. eines Zielobjekts durch ein Übertragen eines Laserstrahls zu der Umgebung des Fahrzeugs und ein Empfangen eines Lichtstrahls, welcher von einem Zielobjekt reflektiert wird, welches um das Fahrzeug vorhanden ist.
  • Der GPS Empfänger 40 ist ein Apparat, welcher ein Bearbeiten (GPS Navigation) durchführt, um ein GPS Signal von einem künstlichen Satelliten über eine Antenne (nicht gezeigt) zu empfangen bzw. zu erhalten und die Fahrzeugposition basierend auf dem empfangenen GPS Signal zu identifizieren. Information betreffend die Fahrzeugposition, welche durch den GPS Empfänger 40 identifiziert wird, wird an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren, das Navigationsgerät 43 usw. ausgegeben.
  • Der Gyroskopsensor 41 ist ein Sensor für ein Detektieren der Drehwinkelgeschwindigkeit (Gierrate) des Fahrzeugs. Ein Signal einer Dreh- bzw. Rotationswinkelgeschwindigkeit, welches durch den Gyroskopsensor 41 detektiert wird, wird an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren, das Navigationsgerät 43 usw. ausgegeben.
  • Der Fahrzeuggeschwindigkeitssensor 42 ist ein Sensor für ein Detektieren der Fahrzeuggeschwindigkeit und wird beispielsweise von einem Radgeschwindigkeitssensor aufgebaut, welcher an einem Rad, einer Antriebswelle oder dgl. vorgesehen ist, und detektiert die Rotationsgeschwindigkeit des Fahrzeugs. Das Fahrzeuggeschwindigkeitssignal, welches durch den Fahrzeuggeschwindigkeitssensor 42 detektiert wird, wird an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren, das Navigationsgerät 43 usw. ausgegeben.
  • Basierend auf Information betreffend die Fahrzeugposition, welche durch den GPS Empfänger 40 oder dgl. gemessen wird, und auf Karteninformation in einer Karten-Datenbank (nicht gezeigt), identifiziert das Navigationsgerät 43 die Straße und Fahrspur, auf welcher das Fahrzeug fährt, berechnet eine Route bzw. einen Weg von der gegenwärtigen Fahrzeugposition zu einem Bestimmungsort und dgl., zeigt diese Route auf einem Anzeigeabschnitt (nicht gezeigt) an und stellt eine Audioausgabe für eine Routenführung oder dgl. von einem Audio-Ausgabeabschnitt (nicht gezeigt) zur Verfügung. Die Fahrzeugpositionsinformation, Information betreffend die Straße, welche befahren wird, eine Information betreffend eine geplante Fahrroute und dgl., welche durch das Navigationsgerät 43 erhalten werden, werden an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ausgegeben. Die Information betreffend die geplante bzw. festgelegte Fahrroute beinhaltet auch Information, welche mit der Schalt- bzw. Umschaltregelung bzw. -steuerung für ein autonomes Fahren, wie beispielsweise einem Start- bzw. Ausgangspunkt und einem Endpunkt einer Zone eines autonomen Fahrens und einem Verständigungspunkt für einen Start eines autonomen Fahrens und einem Verständigungspunkt für ein Ende (eine Aufhebung) eines autonomen Fahrens assoziiert bzw. dieser zugeordnet ist. Das Navigationsgerät 43 ist konfiguriert, um einen Regel- bzw. Steuerabschnitt, einen Anzeigeabschnitt, einen Audio-Ausgabeabschnitt, einen Betätigungsabschnitt und einen Kartendaten-Speicherabschnitt usw. zu beinhalten, welche in den Diagrammen nicht gezeigt sind.
  • Der Kommunikationsapparat bzw. das Kommunikationsgerät 44 ist ein Apparat für ein Erhalten bzw. Erfassen von verschiedenen Arten von Information über ein Netzwerk für eine drahtlose Kommunikation (z.B. ein Kommunikationsnetzwerk, wie beispielsweise ein Mobiltelefon-Netzwerk, VICS (registrierte Marke) oder DSRC (registrierte Marke). Der Kommunikationsapparat 44 kann auch eine Funktion für eine Kommunikation zwischen Fahrzeugen oder eine Straßen-Fahrzeug-Kommunikationsfunktion beinhalten. Beispielsweise kann eine Straßenumgebungsinformation betreffend einen Kurs bzw. Weg des Fahrzeugs (Fahrstreifen-Beschränkungsinformation etc.) durch eine Straßen-Fahrzeug-Kommunikation mit einem straßenseitigen Transceiver (z.B. Leuchtfeuer, ITS Spot (registrierte Marke)) oder dgl. erhalten bzw. erfasst werden, welcher an einer Straßenseite vorgesehen bzw. zur Verfügung gestellt ist. Auch Information betreffend andere Fahrzeuge (Positionsinformation, Information betreffend Fahrregelung bzw. -steuerung etc.), Straßenumgebungsinformation, welche durch andere Fahrzeuge detektiert wird, usw. können durch eine Kommunikation zwischen Fahrzeugen erhalten werden.
  • Eine Fahrerbild-Aufnahmekamera (ein ein Bild erfassender bzw. aufnehmender Abschnitt bzw. Bildaufnahmeabschnitt) 54 ist ein Apparat für ein Aufnehmen eines Bilds des Fahrers, welcher in dem Fahrersitz sitzt, und ist konfiguriert, um eine Linseneinheit, einen Bildsensorabschnitt, einen Lichtbestrahlungsabschnitt, einen Interface- bzw. Schnittstellenabschnitt, einen Regel- bzw. Steuerabschnitt für ein Regeln bzw. Steuern dieser Abschnitte usw. zu beinhalten, welche nicht in dem Diagramm gezeigt sind. Der Bildsensorabschnitt ist konfiguriert bzw. aufgebaut, um einen Bildsensor, wie beispielsweise eine CCD oder ein CMOS, ein Filter, eine Mikrolinse usw. zu beinhalten. Der Lichtbestrahlungsabschnitt beinhaltet ein lichtemittierendes bzw. Leuchtelement, wie beispielsweise eine LED, und kann auch eine Infrarot LED oder dgl. verwenden, um fähig zu sein, ein Bild des Zustands des Fahrers bei Tag und bei Nacht aufzunehmen. Der Regel- bzw. Steuerabschnitt ist konfiguriert, um beispielsweise eine CPU, einen Speicher, eine Bildbearbeitungsschaltung usw. zu beinhalten. Der Regel- bzw. Steuerabschnitt regelt bzw. steuert den Bildsensorabschnitt und den Lichtbestrahlungsabschnitt, um Licht (z.B. Licht im nahen Infrarot etc.) von dem Lichtbestrahlungsabschnitt auszusenden bzw. zu bestrahlen, und führt eine Regelung bzw. Steuerung durch, um ein Bild von reflektiertem Licht des abgestrahlten Lichts unter Verwendung des Bildsensorabschnitts aufzunehmen.
  • Die Anzahl von ein Fahrerbild aufnehmenden Kameras bzw. Fahrerbild-Aufnahmekameras 54 kann eins sein oder kann auch zwei oder mehr sein. Die Fahrerbild-Aufnahmekamera 54 kann auch getrennt von dem Fahrerüberwachungsapparat 10 konfiguriert sein (d.h. als ein getrennter Körper konfiguriert sein), oder kann auch integral bzw. einstückig mit dem Fahrerüberwachungsapparat 10 konfiguriert sein (d.h. als ein integrierter Körper konfiguriert bzw. aufgebaut sein). Die Fahrerbild-Aufnahmekamera 54 kann eine monokulare Kamera sein oder kann auch eine Stereokamera sein.
  • Die Position, an welcher die Fahrerbild-Aufnahmekamera 54 in einer Fahrzeugkabine installiert ist, ist nicht besonders beschränkt bzw. begrenzt, solange sie eine Position ist, bei welcher ein Bild eines Blick- bzw. Gesichtsfelds, welches zumindest das Gesicht des Fahrers, einen Abschnitt von den Schultern bis zu den Oberarmen und einen Abschnitt (z.B. oberen Abschnitt) des Lenkrads 52 beinhaltet, welches auf der Vorderseite des Fahrersitzes vorgesehen ist, erfasst bzw. aufgenommen werden kann. Beispielsweise kann die Fahrerbild-Aufnahmekamera 54 auf dem Lenkrad 52, einem Säulenabschnitt des Lenkrads 52, einem Messgerätabschnitt oberhalb eines Armaturenbretts an einer Position nahe einem Rückspiegel oder auf einem Abschnitt einer A Säule oder dem Navigationsgerät 43 beispielsweise installiert sein. Fahrerbilddaten, welche durch die Fahrerbild-Aufnahmekamera 54 aufgenommen werden, werden an den Fahrerüberwachungsapparat 10 ausgegeben.
  • 2 ist ein Blockdiagramm, welches eine Hardware-Konfiguration des Fahrerüberwachungsapparats 10 gemäß der Ausführungsform (1) zeigt.
  • Der Fahrerüberwachungsapparat 10 ist konfiguriert, um ein Eingabe-Ausgabe-Interface (I/F) 11, eine Regel- bzw. Steuereinheit 12 und eine Speichereinheit 13 zu beinhalten.
  • Das Eingabe-Ausgabe I/F 11 ist mit der Fahrerbild-Aufnahmekamera 54, dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren, dem Warnapparat 37, dem Startschalter 38 usw. verbunden und ist konfiguriert, um Schaltungen bzw. Schaltkreise, Verbinder und dgl. für ein Austauschen von Signalen mit diesen externen Vorrichtungen zu beinhalten.
  • Die Regel- bzw. Steuereinheit 12 ist konfiguriert, um einen Bilderfassungsabschnitt 12a, einen Fahrmodus-Bestimmungsabschnitt 12b, einen Bestimmungs-Bearbeitungsabschnitt 12c, und einen Signalausgabeabschnitt 12g zu beinhalten. Die Regel- bzw. Steuereinheit 12 ist konfiguriert, um einen oder mehrere Hardware-Prozessor(en), wie beispielsweise eine zentrale Be- bzw. Verarbeitungseinheit (CPU) und eine Grafik-Bearbeitungseinheit (GPU) zu beinhalten.
  • Die Speichereinheit 13 ist konfiguriert, um einen Bildspeicherabschnitt 13a, einen Greifpositions-Detektionsverfahrens-Speicherabschnitt 13b, einen Positionsdetektionsverfahrens-Speicherabschnitt 13c und einen Greifbestimmungsverfahrens-Speicherabschnitt 13d zu beinhalten. Die Speichereinheit 13 ist konfiguriert, um eine oder mehrere Speichervorrichtung(en) für ein Speichern von Daten, unter Verwendung von Halbleitervorrichtungen, wie beispielsweise einen Nur-Lesespeicher (ROM), einen Direktzugriffsspeicher (RAM), einen Solid State Drive (SSD), einen Hard Disk Drive (Festplattenlaufwerk, HDD), einen Flash-Speicher und andere nicht-flüchtige Speicher und flüchtige Speicher zu beinhalten.
  • Ein Fahrerbild, welches durch den Bilderfassungsabschnitt 12a erhalten bzw. erfasst wird, wird in dem Bildspeicherabschnitt 13a gespeichert.
  • Ein Greifpositions-Detektionsprogramm, welches durch einen eine Greifposition detektierenden Abschnitt bzw. Greifpositions-Detektionsabschnitt 12d in der Regel- bzw. Steuereinheit 12 auszuführen ist, Daten, welche für ein Ausführen dieses Programms erforderlich sind, und dgl. sind bzw. werden in dem Greifpositions-Detektionsverfahrens-Speicherabschnitt 13b gespeichert.
  • Ein Positions-Detektionsprogramm für ein Detektieren der Position einer Schulter und eines Arms des Fahrers, welches durch einen eine Position detektierenden Abschnitt bzw. Positions-Detektionsabschnitt 12e in der Regel- bzw. Steuereinheit 12 auszuführen ist, Daten, welche für ein Ausführen dieses Programms erforderlich sind, und dgl. sind bzw. werden in dem Positionsdetektionsverfahrens-Speicherabschnitt 13c gespeichert.
  • Ein Greifbestimmungs-Programm, welches durch einen ein Ergreifen bestimmenden Abschnitt bzw. Greif-bestimmungsabschnitt 12f in der Regel- bzw. Steuereinheit 12 auszuführen ist, Daten, welche für ein Ausführen dieses Programms erforderlich sind, und dgl. werden in dem Greif-Bestimmungsverfahren-Speicherabschnitt 13d gespeichert. Beispielsweise kann eine Greif-Bestimmungstabelle, welche einen Übereinstimmungszusammenhang zwischen einer greifenden Position auf dem Lenkrad 52 und der Position (Orientierung und Winkel) einer Schulter und eines Arms des Fahrers anzeigt, auch gespeichert sein bzw. werden.
  • Die Regel- bzw. Steuereinheit 12 ist ein Apparat, welcher mit der Speichereinheit 13 zusammenwirkt, um beispielsweise ein Be- bzw. Verarbeiten für ein Speichern von verschiedenen Stücken bzw. Elementen von Daten in der Speichereinheit 13 durchzuführen und ein Be- bzw. Verarbeiten durchzuführen, um verschiedene Elemente von Daten und Programmen, welche in der Speichereinheit 13 gespeichert sind, auszulesen und diese Programme auszuführen.
  • Der Bilderfassungsabschnitt 12a, welcher in der Regel- bzw. Steuereinheit 12 enthalten ist, führt ein Be- bzw. Verarbeiten durch, um das Fahrerbild zu erhalten bzw. zu erfassen, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird, und führt ein Verarbeiten durch, um das erhaltene bzw. erfasste Fahrerbild in dem Bildspeicherabschnitt 13a zu speichern. Das Fahrerbild kann ein ruhendes bzw. Standbild sein oder kann auch ein sich bewegendes Bild sein. Der Zeitpunkt eines Erfassens des Fahrerbilds wird derart bestimmt, dass beispielsweise das Fahrerbild bei vorbestimmten Intervallen bzw. Abständen erfasst wird, nachdem der Startschalter 38 eingeschaltet wurde. Das Fahrerbild wird auch erfasst, wenn ein Aufhebungs-Verständigungssignal für ein Verständigen einer Aufhebung des autonomen Fahrmodus durch den Fahrmodus-Bestimmungsabschnitt 12b detektiert bzw. festgestellt wird.
  • Der den Fahrmodus bestimmende Abschnitt bzw. Fahrmodus-Bestimmungsabschnitt 12b detektiert beispielsweise ein einen autonomen Fahrmodus festlegendes Signal, ein Verständigungssignal einer Aufhebung eines autonomen Fahrmodus, ein Aufhebungssignal des autonomen Fahrmodus usw., welche von dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahrer erhalten werden, und führt ein Bearbeiten durch, um den Fahrmodus, welcher der autonome Fahrmodus oder der manuelle Fahrmodus sein kann, basierend auf diesen Signalen zu bestimmen. Das den autonomen Fahrmodus festlegende Signal bzw. Festlegungssignal für den autonomen Fahrmodus ist ein Signal, welches ausgegeben wird, nachdem das Einstellen bzw. Festlegen des autonomen Fahrmodus (ein Umschalten zu diesem) abgeschlossen wurde. Das Aufhebungs-Verständigungssignal für den autonomen Fahrmodus ist ein Signal, welches ausgegeben wird, bevor der autonome Fahrmodus zu dem manuellen Fahrmodus umgeschaltet wird (wenn in eine nachfolgende Zone eines manuellen Fahrvorgangs bzw. -betriebs eingetreten wird). Das Aufhebungssignal des autonomen Fahrmodus ist ein Signal, welches ausgegeben wird, nachdem der autonome Fahrmodus aufgehoben wurde und zu dem manuellen Fahrmodus umgeschaltet wurde.
  • Der eine Bestimmung bearbeitende Abschnitt bzw. Bestimmungs-Bearbeitungsabschnitt 12c beinhaltet den die Greifposition detektierenden Abschnitt bzw. Greifpositions-Detektionsabschnitt 12d, den die Position detektierenden Abschnitt bzw. Positions-Detektionsabschnitt 12e und den ein Ergreifen bestimmenden Abschnitt bzw. Greif-Bestimmungsabschnitt 12f, und ein Be- bzw. Verarbeiten dieser Abschnitte wird durchgeführt, wenn das Aufhebungs-Verständigungssignal des autonomen Fahrmodus durch den Fahrmodus-Bestimmungsabschnitt 12b detektiert bzw. festgestellt wird.
  • Wenn das Aufhebungs-Verständigungssignal des autonomen Fahrmodus detektiert wird, liest der Greifpositions-Detektionsabschnitt 12d das Fahrerbild (z.B. ein Bild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen und in dem Bildspeicherabschnitt 13a gespeichert ist bzw. wird, nachdem das Aufhebungs-Verständigungssignal des autonomen Fahrmodus detektiert wurde) aus dem Bildspeicherabschnitt 13a aus, bearbeitet das Fahrerbild und detektiert, ob das Lenkrad 52 ergriffen ist oder nicht. Wenn das Lenkrad 52 ergriffen ist, führt der Greifpositions-Detektionsabschnitt 12d ein Be- bzw. Verarbeiten durch, um die ergriffenen bzw. Greifpositionen auf dem Lenkrad 52 zu detektieren.
  • Das oben erwähnte Fahrerbildbearbeiten beinhaltet beispielsweise das folgende Bild-Be- bzw. -Verarbeiten. Einleitend werden Ränder bzw. Kanten (Konturen) des Lenkrads 52 durch ein Bild-Be- bzw. Verarbeiten, wie beispielsweise eine Rand- bzw. Kantendetektion extrahiert. Als nächstes werden Ränder bzw. Kanten einer Form bzw. Gestalt, welche die extrahierte Kante des Lenkrads 52 schneidet bzw. kreuzt, extrahiert bzw. entnommen. Wenn Ränder bzw. Kanten einer derartigen kreuzenden bzw. schneidenden Form detektiert werden, wird bestimmt, ob die detektierten Kanten Fingern entsprechen oder nicht, basierend auf den Längen der Ränder bzw. Kanten und dem Abstand dazwischen. Wenn bestimmt wird, dass die Kanten den Fingern entsprechen, werden die Positionen der Kanten, welche den Fingern entsprechen, als die Greifpositionen auf dem Lenkrad 52 detektiert.
  • Nachfolgend auf das Bearbeiten in dem Greifpositions-Detektionsabschnitt 12d bearbeitet der Positions-Detektionsabschnitt 12e das Fahrerbild und führt ein Be- bzw. Verarbeiten durch, um die Position einer Schulter und eines Arms des Fahrers zu detektieren.
  • In dem obigen Bearbeiten des Fahrerbilds wird beispielsweise ein Bearbeiten durchgeführt, um die Kanten (Konturen bzw. Außenlinien) der Schulter und des Arms des Fahrers, d.h. die Ränder bzw. Kanten der Schultern bis zu den Oberarmen und die Kanten der Unterarme durch ein Bildbearbeiten, wie beispielsweise eine Rand- bzw. Kantendetektion zu detektieren, und die Richtung (Orientierung) und einen Winkel (z.B. einen Winkel relativ zu der vertikalen Richtung) von jeder der detektierten Kanten abzuschätzen. Die Position der Schulter und des Arms des Fahrers beinhaltet entweder die Richtung oder den Winkel von wenigstens einem des linken oder rechten Oberarms und Unterarms.
  • Nachfolgend auf das Be- bzw. Verarbeiten in dem Positions-Detektionsabschnitt 12e führt der Greif-Bestimmungsabschnitt 12f ein Bearbeiten durch, um zu bestimmen, ob der Fahrer, dessen Bild aufgenommen wurde, das Lenkrad 52 ergreift oder nicht, basierend auf den Greifpositionen auf dem Lenkrad 52, welche durch den Greifpositions-Detektionsabschnitt 12d detektiert wurden, und der Position der Schulter und eines Arms des Fahrers, welche durch den Positions-Detektionsabschnitt 12e detektiert wurde.
  • Beispielsweise wird eine Bestimmungstabelle ausgelesen, welche in dem Greif-Bestimmungsverfahrens-Speicherabschnitt 13d gespeichert ist und eine Beziehung bzw. einen Zusammenhang zwischen jeder Greifposition auf dem Lenkrad 52 und der entsprechenden Position (Orientierung und Winkel) der Schulter und des Arms des Fahrers anzeigt, und es werden die detektierten Greifpositionen auf dem Lenkrad 52 und eine Position der Schulter und des Arms des Fahrers in die Bestimmungstabelle substituiert bzw. eingegeben, um zu bestimmen, ob Bedingungen, unter welchen das Lenkrad 52 ergriffen ist bzw. wird, erfüllt sind oder nicht.
  • 3A zeigt ein Beispiel eines Fahrerbilds, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird, und 3B zeigt ein Beispiel der Bestimmungstabelle, welche in dem Greif-Bestimmungsverfahrens-Speicherabschnitt 13d gespeichert ist.
  • Das Fahrerbild, welches in 3A gezeigt ist, zeigt einen Zustand (entsprechend bzw. ordnungsgemäß ergriffenen Zustand) an, wo der Fahrer das Lenkrad 52 an zwei Positionen, nämlich einer oberen linken und rechten Position ergreift. In der Bestimmungstabelle, welche in 3B gezeigt ist, sind bzw. werden Positionsbedingungen, von welchen jede einer Greifposition auf dem Lenkrad 52 entspricht und die Orientierung und den Winkel des rechten Arms oder des linken Arms beinhaltet, vorgesehen bzw. zur Verfügung gestellt. In dem Beispiel, welches in 3B gezeigt ist, sind bzw. werden Bedingungen, dass der obere linke Arm des Fahrers nach vorne orientiert bzw. gerichtet ist und der Winkel θL in einem Bereich von 40 bis 70 Grad in dem Fall ist bzw. liegt, wo eine Greifposition auf dem Lenkrad 52 einem oberen linken Abschnitt entspricht, wenn von der Vorderseite gesehen, und Bedingungen, dass der obere rechte Arm des Fahrers nach vorne orientiert ist und der Winkel θR in einem Bereich von 40 bis 70 Grad in dem Fall ist bzw. liegt, wo eine Greifposition auf dem Lenkrad 52 einem oberen rechten Abschnitt entspricht, wenn von der Vorderseite gesehen, zur Verfügung gestellt. Es ist festzuhalten bzw. anzumerken, dass die Winkel (θL, θR) der Oberarme, welche in der Bestimmungstabelle vorgesehen bzw. zur Verfügung gestellt werden, derart zur Verfügung gestellt werden können, dass eine entsprechende bzw. geeignete Bestimmung in Übereinstimmung mit Bedingungen, wie beispielsweise der Position, an bzw. bei welcher die Fahrerbild-Aufnahmekamera 54 installiert ist, dem Blick- bzw. Gesichtsfeld für ein Aufnehmen des Bilds, der Position des Fahrers in dem Bild usw. gemacht werden kann.
  • Wenn die Greifposition auf dem Lenkrad 52 nicht durch den Greifpositions-Detektionsabschnitt 12d detektiert wird, gibt der Signalausgabeabschnitt 12g ein Signal aus, um den Warnapparat (warnenden bzw. Warnabschnitt) 37 zu veranlassen, ein Warnbearbeiten auszuführen, um den Fahrer zu veranlassen, das Lenkrad 52 zu ergreifen.
  • Der Signalausgabeabschnitt 12g gibt auch ein vorbestimmtes Signal basierend auf dem Bestimmungsresultat aus, welches durch den Greif-Bestimmungsabschnitt 12f erhalten wird. Beispielsweise gibt, wenn das Bestimmungsresultat, welches durch den Greif-Bestimmungsabschnitt 12f erhalten wird, anzeigt, dass der Fahrer das Lenkrad 52 ergreift, der Signalausgabeabschnitt 12g an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ein Signal aus, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben. Andererseits führt, wenn das Bestimmungsresultat anzeigt, dass der Fahrer das Lenkrad 52 nicht ergreift, der Signalausgabeabschnitt 12g ein Verarbeiten durch, um ein Signal auszugeben, um den Warnapparat 37 anzuweisen, ein Warnbearbeiten durchzuführen, oder um an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ein Signal auszugeben, um eine zwangsweise bzw. erzwungene Gefahrenvermeidungs-Anweisung an das Fahrzeug auszugeben, um das Fahrzeug zu zwingen, eine Gefahrenvermeidung (Anhalten oder Verlangsamen bzw. Abbremsen) durch ein autonomes Fahren durchzuführen.
  • 4 ist ein Flussdiagramm, welches einen Bearbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit 12 in dem Fahrerüberwachungsapparat 10 gemäß der Ausführungsform (1) durchgeführt wird.
  • Zuerst wird in einem Schritt S1 bestimmt, ob ein EIN Signal von dem Startschalter 38 erhalten bzw. erfasst wurde oder nicht. Wenn bestimmt wird, dass das EIN Signal von dem Startschalter 38 erhalten wurde, gelangt das Bearbeiten zu einem Schritt S2. In dem Schritt S2 wird die Fahrerbild-Aufnahmekamera 54 gestartet, um ein Be- bzw. Verarbeiten zu starten, um ein Fahrerbild aufzunehmen. In dem nächsten Schritt S3 wird ein Bearbeiten durchgeführt, um das Fahrerbild zu erfassen, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wurde, und das erfasste Bild in dem Bildspeicherabschnitt 13a zu speichern. Danach gelangt das Bearbeiten zu einem Schritt S4.
  • In dem Schritt S4 wird bestimmt, ob das Einstell- bzw. Festlegungssignal für den autonomen Fahrmodus von dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren erhalten wurde oder nicht. Wenn bestimmt wird, dass das Festlegungssignal für den autonomen Fahrmodus bzw. das den autonomen Fahrmodus festlegende Signal erhalten wurde, gelangt das Bearbeiten zu einem Schritt S5. In dem Schritt S5 wird das Fahrerüberwachungsbearbeiten bzw. das den Fahrer überwachende Bearbeiten in dem autonomen Fahrmodus durchgeführt. Beispielsweise wird ein Bearbeiten durchgeführt, um ein Bild des Fahrers während eines autonomen Fahrens unter Verwendung der Fahrerbild-Aufnahmekamera 54 aufzunehmen und das aufgenommene Fahrerbild zu analysieren, um den Zustand des Fahrers zu überwachen. Danach gelangt das Bearbeiten zu einem Schritt S6.
  • In dem Schritt S6 wird bestimmt, ob das Aufhebungs-Verständigungssignal für den autonomen Fahrmodus (Signal für ein Verständigen eines Umschaltens zu dem manuellen Fahrmodus) erhalten wurde oder nicht. Wenn bestimmt wird, dass das Aufhebungs-Verständigungssignal für den autonomen Fahrmodus nicht erhalten wurde (d.h. in dem autonomen Fahrmodus), kehrt das Bearbeiten zu dem Schritt S5 zurück, und es wird das Fahrerüberwachungsbearbeiten in dem autonomen Fahrmodus fortgesetzt. Andererseits gelangt, wenn in dem Schritt S6 bestimmt wird, dass das Aufhebungs-Verständigungssignal für den autonomen Fahrmodus erhalten wurde, das Bearbeiten zu einem Schritt S7.
  • In dem Schritt S7 wird ein Bearbeiten durchgeführt, um zu bestimmen, ob der Fahrer, dessen Bild erhalten wurde, das Lenkrad 52 ergreift oder nicht, basierend auf dem Fahrerbild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wurde. Danach gelangt das Bearbeiten zu einem Schritt S8. Die Details des Greifbestimmungs-Bearbeitens in dem Schritt S7 werden später beschrieben werden.
  • In dem Schritt S8 wird bestimmt, ob das Aufhebungssignal für den autonomen Fahrmodus erhalten wurde oder nicht. Wenn bestimmt wird, dass das Aufhebungssignal für den autonomen Fahrmodus erhalten wurde, gelangt das Bearbeiten zu einem Schritt S9. In dem Schritt S9 wird ein Fahrerüberwachungsbearbeiten in dem manuellen Fahrmodus durchgeführt. Beispielsweise wird ein Bearbeiten durchgeführt, um ein Bild des Fahrers während eines manuellen Fahrens unter Verwendung der Fahrerbild-Aufnahmekamera 54 aufzunehmen und das aufgenommene Fahrerbild zu analysieren, um den Zustand des Fahrers zu überwachen. Dann gelangt das Bearbeiten zu einem Schritt S10.
  • In dem Schritt S10 wird bestimmt, ob ein AUS Signal von dem Startschalter 38 erhalten wurde oder nicht. Wenn bestimmt wird, dass das AUS Signal erhalten wurde, dann endet das Bearbeiten. Andererseits kehrt, wenn bestimmt wird, dass das AUS Signal nicht erhalten wurde, das Bearbeiten zu dem Schritt S3 zurück.
  • Wenn in dem Schritt S4 bestimmt wird, dass das Festlegungssignal für den autonomen Fahrmodus nicht erhalten wurde, gelangt das Bearbeiten zu einem Schritt S11, und es wird das Fahrer-Überwachungsbearbeiten in dem manuellen Fahrmodus durchgeführt.
  • Wenn in dem Schritt S8 bestimmt wird, dass das Aufhebungssignal für den autonomen Fahrmodus nicht erhalten wurde, gelangt das Bearbeiten zu einem Schritt S12. In dem Schritt S12 wird bestimmt, ob ein Signal, welches eine Vervollständigung einer zwangsweisen Vermeidung einer Gefahr durch ein autonomes Fahren anzeigt, erhalten wurde oder nicht. Wenn bestimmt wird, dass das Signal, welches eine Vervollständigung bzw. einen Abschluss einer zwangsweisen Vermeidung einer Gefahr anzeigt, erhalten wurde, dann endet das Bearbeiten. Andererseits kehrt, wenn bestimmt wird, dass das Signal, welches eine Vervollständigung einer zwangsweisen Vermeidung einer Gefahr anzeigt, nicht erhalten: wurde, das Bearbeiten zu dem Schritt S8 zurück.
  • 5 ist ein Flussdiagramm, welches einen Greifbestimmungs-Bearbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit 12 in dem Fahrerüberwachungsapparat 10 gemäß der Ausführungsform (1) durchgeführt wird. Es ist festzuhalten bzw. anzumerken, dass dieser Bearbeitungsvorgang ein Bearbeiten entsprechend dem Schritt S7 in 4 anzeigt und ausgeführt wird, wenn ein Aufhebungssignal für den autonomen Fahrmodus in dem Schritt S6 detektiert bzw. festgestellt wird.
  • Wenn das Aufhebungssignal für den autonomen Fahrmodus in dem Schritt S6 in 4 detektiert wird, gelangt das Bearbeiten zu einem Schritt S21 in dem Greif-Bestimmungsbearbeiten.
  • In dem Schritt S21 wird das Fahrerbild, welches in dem Bildspeicherabschnitt 13a gespeichert ist, ausgelesen und es gelangt das Bearbeiten zu einem Schritt S22. Das Fahrerbild, welches aus dem Bildspeicherabschnitt 13a ausgelesen wird, ist beispielsweise das Fahrerbild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird und in dem Bildspeicherabschnitt 13a gespeichert wird, nachdem das Aufhebungs-Verständigungssignal für den autonomen Fahrmodus erhalten wurde. In dieser Beschreibung ist das Fahrerbild ein Bild, welches durch ein Aufnehmen eines Bilds eines Blick- bzw. Gesichtsfelds erhalten wird, welches wenigstens einen Abschnitt von jeder Schulter bis zu einem Oberarm des Fahrers und einen Abschnitt (z.B. eine im Wesentlichen obere Hälfte) des Lenkrads 52 beinhaltet.
  • In dem Schritt S22 startet ein Bildbearbeiten für das gelesene Fahrerbild und es wird ein Be- bzw. Verarbeiten durchgeführt, um das Lenkrad 52 in dem Fahrerbild zu detektieren. Dann gelangt das Bearbeiten zu einem Schritt S23. Beispielsweise werden Ränder bzw. Kanten (Konturen) des Lenkrads durch ein Bildbearbeiten, wie beispielsweise eine Rand- bzw. Kantendetektion extrahiert.
  • In dem Schritt S23 wird bestimmt, ob das Lenkrad 52 ergriffen ist oder nicht. Beispielsweise werden Formen, welche die oben extrahierten Kanten des Lenkrads 52 schneiden bzw. kreuzen, extrahiert, es werden die Längen der Kanten der schneidenden bzw. kreuzenden Form, der Abstand dazwischen und dgl. detektiert und es wird basierend auf der Form der Kanten bestimmt, ob die schneidenden bzw. kreuzenden Formen die Hände einer Person anzeigen oder nicht. Ein Zustand, wo das Lenkrad 52 ergriffen ist bzw. wird, beinhaltet auch einen Zustand, wo die Hände das Lenkrad 52 berühren, zusätzlich zu einem Zustand, wo die Hände das Lenkrad 52 ergreifen.
  • Wenn in dem Schritt S23 bestimmt wird, dass das Lenkrad 52 ergriffen ist, gelangt das Bearbeiten zu einem Schritt S24. In dem Schritt S24 wird bestimmt, ob die greifenden bzw. Greifpositionen auf dem Lenkrad 52 entsprechend sind oder nicht. Die Fälle, wo die Greifpositionen auf dem Lenkrad 52 entsprechend bzw. geeignet sind, beinhalten beispielsweise einen Fall, wo zwei Greifpositionen auf einem Lenkradabschnitt detektiert werden, welcher von bzw. aus dem Fahrerbild extrahiert bzw. entnommen wird, wobei sie jedoch nicht darauf beschränkt sind. Es kann auch ein Bearbeiten in dem Schritt S24 weggelassen werden.
  • Wenn in dem Schritt S24 bestimmt wird, dass die Greifpositionen auf dem Lenkrad 52 geeignet sind, gelangt das Bearbeiten zu einem Schritt S25. In dem Schritt S25 wird ein Bearbeiten durchgeführt, um die Position einer Schulter und eines Arms des Fahrers in dem Fahrerbild zu detektieren. Beispielsweise werden die Ränder bzw. Kanten (Konturen) der Schulter und des Arms des Fahrers, d.h. eine Kante von wenigstens einer der linken oder rechten Schulter bis zu einem Oberarm und eine Kante des entsprechenden Unterarms durch ein Bildbearbeiten, wie beispielsweise eine Kantendetektion detektiert, und es wird ein Bearbeiten durchgeführt, um die Richtung und den Winkel von jeder der detektierten Kanten abzuschätzen bzw. zu beurteilen.
  • In dem nächsten Schritt S26 wird bestimmt, ob wenigstens eine der linken oder rechten Schulter, des Oberarms und des Unterarms des Fahrers (von einer Schulter bis zu einer Hand des Fahrers) detektiert wurden oder nicht. Wenn bestimmt wird, dass diese Teile detektiert wurden, gelangt das Bearbeiten zu einem Schritt S27. In dem Schritt S27 wird basierend auf dem Bildbearbeitungsresultat bestimmt, ob die oben detektierte Schulter, der Oberarm und der Unterarm durchgehend bzw. übereinstimmend mit jeglicher bzw. irgendeiner Greifposition (Handposition) auf dem Lenkrad 52 sind.
  • Wenn in dem Schritt S27 bestimmt wird, dass diese Teile zusammenhängend bzw. übereinstimmend mit einer Greifposition sind, gelangt das Bearbeiten zu einem Schritt S28. In dem Schritt S28 wird ein Bearbeiten durchgeführt, um an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ein Signal auszugeben, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben. Danach endet dieser Bearbeitungsvorgang und es gelangt das Bearbeiten zu dem Schritt S8 in 4.
  • Andererseits gelangt, wenn in dem Schritt S26 bestimmt wird, dass eine beliebige Schulter, ein Oberarm und ein Unterarm des Fahrers nicht detektiert wurden, d.h. wenigstens die linke oder rechte Schulter bis zu einem Oberarm des Fahrers nicht detektiert wurde, das Bearbeiten zu einem Schritt S29. In dem Schritt S29 wird ein Bearbeiten durchgeführt, um die Greifpositionen auf dem Lenkrad 52 und die Position der Schulter und des Oberarms des Fahrers in die Greifbestimmungs-Tabelle zu substituieren, welche aus dem Greifbestimmungsverfahren-Speicherabschnitt 13d ausgelesen wird, und den Zustand des Lenkrads 52 abzuschätzen bzw. zu beurteilen, welches durch den Fahrer ergriffen ist bzw. wird. Danach gelangt das Bearbeiten zu einem Schritt S30. In dem Schritt S30 wird bestimmt, ob der Fahrer das Lenkrad 52 ergreift oder nicht. Wenn bestimmt wird, dass der Fahrer das Lenkrad 52 ergreift, gelangt das Bearbeiten zu dem Schritt S28.
  • Andererseits gelangt, wenn in dem Schritt S23 bestimmt wird, dass das Lenkrad 52 nicht ergriffen ist, wenn in dem Schritt S24 bestimmt wird, dass die Greifposition auf dem Lenkrad 52 nicht geeignet bzw. entsprechend ist, z.B. es nur eine Greifposition gibt, wenn in dem Schritt S27 bestimmt wird, dass die Schulter, der Oberarm und der Unterarm des Fahrers nicht durchgehend bzw. übereinstimmend mit einer jeglichen Greifposition auf dem Lenkrad 52 sind, oder wenn in dem Schritt S30 bestimmt wird, dass der Fahrer das Lenkrad 52 nicht ergreift, das Bearbeiten zu einem Schritt S31.
  • In dem Schritt S31 wird bestimmt, ob eine Warnung, um den Fahrer zu veranlassen, das Lenkrad 52 in einer geeigneten bzw. entsprechenden Position zu ergreifen, bereits ausgegeben wurde. Wenn bestimmt wird, dass die Warnung bereits ausgegeben wurde, gelangt das Bearbeiten zu einem Schritt S32. In dem Schritt S32 wird ein Bearbeiten durchgeführt, um ein Anweisungssignal für eine zwangsweise Vermeidung einer Gefahr an den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren auszugeben. Danach endet dieses Bearbeiten und das Bearbeiten gelangt bzw. schreitet fort zu dem Schritt S8 in 4.
  • Andererseits gelangt, wenn in dem Schritt S31 bestimmt wird, dass die Warnung nicht gegeben wurde (keine Warnung ausgegeben wurde), das Bearbeiten zu einem Schritt S33. In dem Schritt S33 wird ein Signal, um den Warnapparat 37 zu veranlassen, ein Warnbearbeiten auszuführen, um den Fahrer zu veranlassen, das Lenkrad 52 in einer geeigneten Position zu ergreifen, ausgegeben, und danach kehrt das Bearbeiten zu dem Schritt S21 zurück.
  • Mit dem Fahrerüberwachungsapparat 10 gemäß der Ausführungsform (1), welcher oben beschrieben ist, wird, wenn der autonome Fahrmodus, in welchem eine autonome Fahrt durch den Regel- bzw. Steuerapparat 20 für ein autonomes Fahren geregelt bzw. gesteuert wird, zu dem manuellen Fahrmodus umgeschaltet wird, in welchem der Fahrer das Fahrzeug lenkt bzw. steuert, das Fahrerbild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird, bearbeitet, um die Greifpositionen auf dem Lenkrad 52 und die Position einer Schulter und eines Arms des Fahrers zu detektieren. Dann wird, ob das Lenkrad 52 durch die Hand des Fahrers ergriffen wird oder nicht, basierend auf der Beziehung zwischen den detektierten Greifpositionen auf dem Lenkrad 52 und der Position der Schulter und des Arms des Fahrers bestimmt. Demgemäß kann eine klare Unterscheidung von einem Zustand gemacht werden, wo ein Mitfahrer verschieden von dem Fahrer das Lenkrad 52 ergreift, und es kann genau detektiert bzw. festgestellt werden, ob der ursprüngliche bzw. tatsächliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad 52 ergreift oder nicht.
  • Wenn keine Greifposition auf dem Lenkrad 52 durch den Greifpositions-Detektionsabschnitt bzw. den die Greifposition detektierenden Abschnitt 12d detektiert wird, oder wenn die Greifpositionen nicht entsprechend sind, wird ein Warnbearbeiten, um den Fahrer zu veranlassen, das Lenkrad 52 in einer geeigneten Position zu ergreifen (z.B. einer Position, in welcher der Fahrer das Lenkrad an zwei oberen Positionen ergreift), ausgeführt. Demgemäß kann der Fahrer veranlasst werden, Lenkradbetätigungen in einer geeigneten bzw. entsprechenden Position zu übernehmen.
  • Wenn basierend auf der Beziehung zwischen den Greifpositionen auf dem Lenkrad 52 und der Position der Schultern und Arme des Fahrers bestimmt wird, dass das Lenkrad 52 durch die Hand des Fahrers ergriffen wird, wird ein Signal ausgegeben, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben. Demgemäß kann der autonome Fahrmodus zu dem manuellen Fahrmodus in einem Zustand umgeschaltet werden, wo der Fahrer Lenkradbetätigungen übernommen hat, und es kann die Sicherheit des Fahrzeugs zu der Zeit dieses Umschaltens sichergestellt werden.
  • Wenn bestimmt wird, dass das Lenkrad 52 nicht durch die Hand des Fahrers ergriffen ist bzw. wird, wird ein Signal ausgegeben, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus nicht zu erlauben. Demgemäß kann ein Umschalten zu dem manuellen Fahrmodus in einem Zustand, wo der Fahrer ein Betätigen des Lenkrads 52 nicht übernommen hat, verhindert werden.
  • 6 ist ein Blockdiagramm, welches eine Konfiguration von wesentlichen Teilen eines autonomen Fahrersystems 1A zeigt, welches einen Fahrerüberwachungsapparat 10A gemäß einer Ausführungsform (2) beinhaltet. Es ist festzuhalten bzw. anzumerken, dass Strukturen, welche dieselbe Funktion wie diejenigen der wesentlichen Teile des autonomen Fahrersystems 1 aufweisen, welches in 1 gezeigt ist, dieselben Bezugszeichen zugeordnet sind und Beschreibungen davon hier weggelassen sind bzw. werden.
  • Der Fahrerüberwachungsapparat 10A gemäß der Ausführungsform (2) unterscheidet sich signifikant von dem Fahrerüberwachungsapparat 10 gemäß der Ausführungsform (1) dahingehend, dass ein Kontaktsignal-Erfassungsabschnitt 12h für ein Erfassen bzw. Erhalten eines Signals von einem Kontakt-Detektionssensor (einen Kontakt detektierenden Abschnitt bzw. Kontakt-Detektionsabschnitt) 55, welcher in dem Lenkrad 52 vorgesehen ist, weiters vorgesehen ist und ein Be- bzw. Verarbeiten unter Verwendung des Signals, welches von dem Kontakt-Detektionssensor 55 erhalten bzw. erfasst wird, ausgeführt wird.
  • Der Kontakt-Detektionssensor 55, welcher in dem Lenkrad 52 vorgesehen ist, ist ein Sensor, welcher fähig ist, Hände (insbesondere Teile, wie beispielsweise Handflächen und Finger) zu detektieren, welche sich in Kontakt mit dem Lenkrad 52 befinden. Beispielsweise kann der Kontakt-Detektionssensor 55 ein Kapazitätssensor, ein Drucksensor oder dgl. sein, wobei er jedoch nicht darauf beschränkt bzw. begrenzt ist.
  • Der Kapazitätssensor ist ein Sensor, welcher eine Änderung in der Kapazität detektiert, welche zwischen einem Elektrodenabschnitt, welcher in dem Lenkrad 52 vorgesehen ist, und einer Hand auftritt, um einen Kontakt mit dem Lenkrad 52 zu detektieren.
  • Der Drucksensor ist ein Sensor, welcher einen Druck, welcher aufgebracht bzw. angewandt wird, wenn das Lenkrad 52 ergriffen ist, basierend auf einer Änderung in dem Kontaktbereich bzw. der Kontaktfläche (Wert eines Widerstands) zwischen einem Elektrodenabschnitt, welcher in dem Lenkrad 52 vorgesehen ist, und einem detektierenden bzw. Detektionsabschnitt detektiert, um einen Kontakt mit dem Lenkrad 52 zu detektieren. Eine Mehrzahl von Kontakt-Detektionssensoren 55 kann auch in einem Umfangsabschnitt oder in einem Speichenabschnitt des Lenkrads 52 vorgesehen sein. Ein Signal, welches durch den Kontakt-Detektionssensor 55 detektiert wird, wird an den Fahrerüberwachungsapparat 10A ausgegeben.
  • 7 ist ein Blockdiagramm, welches eine Hardware-Konfiguration des Fahrerüberwachungsapparats 10A gemäß der Ausführungsform (2) zeigt. Es ist festzuhalten, dass Strukturen, welche dieselben Funktionen wie diejenigen der wesentlichen Teile der Hardware-Konfiguration des Fahrerüberwachungsapparats 10 aufweisen, welcher in 2 gezeigt ist, dieselben Bezugszeichen zugeordnet sind bzw. werden und Beschreibungen davon weggelassen werden.
  • Der Fahrerüberwachungsapparat 10A ist konfiguriert, um das Eingabe/Ausgabe Interface (I/F) 11, eine Regel- bzw. Steuereinheit 12A und eine Speichereinheit 13A zu beinhalten.
  • Das Eingabe-Ausgabe I/F 11 ist mit der Fahrerbild-Aufnahmekamera 54, dem Kontakt-Detektionssensor 55, dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren, dem Warnapparat 37, dem Startschalter 38 usw. verbunden und ist konfiguriert, um Schaltungen bzw. Schaltkreise, Verbinder und dgl. für ein Austauschen von Signalen mit diesen externen Vorrichtungen zu beinhalten.
  • Die Regel- bzw. Steuereinheit 12A ist konfiguriert, um den Bilderfassungsabschnitt 12a, den Kontaktsignal-Erfassungsabschnitt 12h, den Fahrmodus-Bestimmungsabschnitt 12b, einen Bestimmungs-Bearbeitungsabschnitt 12i und den Signalausgabeabschnitt 12g zu beinhalten. Die Regel- bzw. Steuereinheit 12A ist konfiguriert, um einen oder mehrere Hardware-Prozessor(en), wie beispielsweise eine CPU und eine GPU zu beinhalten.
  • Die Speichereinheit 13A ist konfiguriert, um den Bildspeicherabschnitt 13a, einen Positionsdetektionsverfahrens-Speicherabschnitt 13e und einen Greifbestimmungsverfahrens-Speicherabschnitt 13f zu beinhalten. Die Speichereinheit 13A ist konfiguriert, um eine oder mehrere Speichervorrichtung(en) für ein Speichern von Daten, unter Verwendung von Halbleitervorrichtungen, wie beispielsweise einen ROM, einen RAM, einen SSD, eine HDD, einen Flash-Speicher und andere nicht-flüchtige Speicher und flüchtige Speicher zu beinhalten.
  • Ein Fahrerbild (ein Bild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird), welches durch den Bilderfassungsabschnitt 12a erhalten bzw. erfasst wird, wird in dem Bildspeicherabschnitt 13a gespeichert.
  • Ein Positions-Detektionsprogramm für ein Detektieren der Position einer Schulter und eines Arms des Fahrers, welches durch einen eine Position detektierenden Abschnitt bzw. Positions-Detektionsabschnitt 12k in der Regel- bzw. Steuereinheit 12A auszuführen ist, Daten, welche für ein Ausführen dieses Programms erforderlich sind, und dgl. sind bzw. werden in dem Positions-Detektionsverfahrens-Speicherabschnitt 13e gespeichert.
  • Ein Greifbestimmungs-Programm, welches durch einen ein Ergreifen bestimmenden Abschnitt bzw. Greif-Bestimmungsabschnitt 12m in der Regel- bzw. Steuereinheit 12A auszuführen ist, Daten, welche für ein Ausführen dieses Programms erforderlich sind, und dgl. werden in dem Greif-Bestimmungsverfahren-Speicherabschnitt 13f gespeichert. Beispielsweise kann eine Greif-Bestimmungstabelle, welche einen Übereinstimmungszusammenhang zwischen den greifenden Positionen auf dem Lenkrad 52 und den Positionen (Orientierungen und Winkel) einer Schulter und eines Arms des Fahrers anzeigt, auch gespeichert sein bzw. werden.
  • Die Regel- bzw. Steuereinheit 12A ist konfiguriert, um mit der Speichereinheit 13A zusammenzuwirken, um ein Be- bzw. Verarbeiten für ein Speichern von verschiedenen Stücken bzw. Elementen von Daten in der Speichereinheit 13A durchzuführen und, Daten und Programme, welche in der Speichereinheit 13A gespeichert sind, auszulesen und diese Programme auszuführen.
  • Der Kontaktsignal-Erfassungsabschnitt bzw. der das Kontaktsignal erfassende Abschnitt 12h führt ein Be- bzw. Verarbeiten durch, um ein Kontaktsignal von dem Kontakt-Detektionssensor 55 zu erhalten bzw. zu erfassen, wenn ein Verständigungssignal einer Aufhebung des autonomen Fahrmodus (ein Signal für ein Verständigen eines Umschaltens von dem autonomen Fahrmodus zu dem manuellen Fahrmodus) durch den Fahrmodus-Bestimmungsabschnitt 12b detektiert wird, und sendet das erfasste bzw. erhaltene Kontaktsignal zu einem eine Greifposition detektierenden Abschnitt bzw. Greifpositions-Detektionsabschnitt 12j.
  • Der eine Bestimmung bearbeitende Abschnitt bzw. Bestimmungs-Bearbeitungsabschnitt 12i beinhaltet den die Greifposition detektierenden Abschnitt bzw. Greifpositions-Detektionsabschnitt 12j, den die Position detektierenden Abschnitt bzw. Positions-Detektionsabschnitt 12k und den ein Ergreifen bestimmenden Abschnitt bzw. Greif-Bestimmungsabschnitt 12m, und ein Be- bzw. Verarbeiten dieser Abschnitte wird ausgeführt, wenn das Aufhebungs-Verständigungssignal des autonomen Fahrmodus durch den Fahrmodus-Bestimmungsabschnitt 12b detektiert bzw. festgestellt wird.
  • Wenn das Verständigungssignal für eine Aufhebung des autonomen Fahrmodus detektiert wird, erhält der Greifpositions-Detektionsabschnitt 12j von dem Kontaktsignal-Erfassungsabschnitt 12h das Kontaktsignal, welches durch den Kontakt-Detektionssensor 55 detektiert wird, und führt ein Verarbeiten durch, um zu detektieren, ob das Lenkrad 52 ergriffen ist oder nicht, und auch um Greifpositionen auf dem Lenkrad 52 basierend auf dem Kontaktsignal zu detektieren.
  • Nachfolgend auf das Bearbeiten in dem Greifpositions-Detektionsabschnitt 12j bearbeitet der Positions-Detektionsabschnitt 12k das Fahrerbild und führt ein Be- bzw. Verarbeiten durch, um die Position einer Schulter und eines Arms des Fahrers zu detektieren.
  • In dem obigen Bearbeiten des Fahrerbilds wird beispielsweise ein Bearbeiten durchgeführt, um die Ränder bzw. Kanten (Konturen bzw. Außenlinien) einer Schulter und eines Arms des Fahrers, d.h. die Ränder bzw. Kanten einer Schulter bis zu einem Oberarm und die Kanten eines Unterarms, welche in dem Bild enthalten sind, durch ein Bildbearbeiten, wie beispielsweise eine Rand- bzw. Kantendetektion zu detektieren, und die Richtung und den Winkel (einen Winkel relativ zu der vertikalen Richtung) von jeder der detektierten Kanten abzuschätzen. Die Position einer Schulter und eines Arms des Fahrers beinhaltet entweder die Richtung (Orientierung) oder den Winkel von wenigstens einem des linken oder rechten Oberarms und Unterarms.
  • Nachfolgend auf das Be- bzw. Verarbeiten in dem Positions-Detektionsabschnitt 12k führt der Greif-Bestimmungsabschnitt 12m ein Bearbeiten durch, um zu bestimmen, ob der Fahrer, dessen Bild aufgenommen wurde, das Lenkrad 52 ergreift oder nicht, basierend auf den Greifpositionen auf dem Lenkrad 52, welche durch den Greifpositions-Detektionsabschnitt 12j detektiert wurden, und der Position der Schulter und des Arms des Fahrers, welche durch den Positions-Detektionsabschnitt 12k detektiert wurde.
  • Beispielsweise wird eine Greif-Bestimmungstabelle ausgelesen, welche in dem Greif-Bestimmungsverfahrens-Speicherabschnitt 13f gespeichert ist und eine Beziehung bzw. einen Zusammenhang zwischen den Greifpositionen auf dem Lenkrad 52 und der Position (Orientierungen und Winkel) der Schultern und Arme des Fahrers anzeigt, und, ob ergreifende bzw. Greif-Bedingungen erfüllt sind oder nicht, wird durch ein Substituieren der detektierten Greifpositionen auf dem Lenkrad 52 und der detektierten Position der Schulter und des Arms des Fahrers in die Greif-Bestimmungstabelle bestimmt.
  • 8 ist ein Flussdiagramm, welches einen Greifbestimmungs-Bearbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit 12A in dem Fahrerüberwachungsapparat 10A gemäß der Ausführungsform (2) durchgeführt wird. Dieser Bearbeitungsvorgang zeigt ein Be- bzw. Verarbeiten entsprechend dem Schritt S7 in 4 an und wird ausgeführt, wenn eine Verständigung einer Aufhebung des autonomen Fahrmodus in dem Schritt S6 detektiert wird. Es ist festzuhalten, dass Bearbeitungsvorgängen, deren Inhalt derselbe wie diejenigen in dem Greifbestimmungs-Bearbeitungsvorgang ist, welcher in 5 gezeigt ist, dieselben Bezugszeichen zugeordnet sind bzw. werden und Beschreibungen davon weggelassen werden.
  • Wenn das Verständigungssignal einer Aufhebung des autonomen Fahrmodus in dem Schritt S6 in 4 detektiert wird, gelangt das Bearbeiten zu einem Schritt S41 in dem Greif-Bestimmungsbearbeiten. In dem Schritt S41 wird das Fahrerbild, welches in dem Bildspeicherabschnitt 13a gespeichert ist, ausgelesen, und es gelangt das Bearbeiten zu einem Schritt S42. Das Fahrerbild, welches aus dem Bildspeicherabschnitt 13a ausgelesen wird, ist beispielsweise das Fahrerbild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird und in dem Bildspeicherabschnitt 13a gespeichert ist bzw. wird, nachdem das Verständigungssignal für eine Aufhebung des autonomen Fahrmodus erhalten wurde. Es ist festzuhalten, dass das Fahrerbild ein Bild ist, welches durch ein Aufnehmen eines Bilds eines Blick- bzw. Gesichtsfelds erhalten wird, welches wenigstens das Gesicht und einen Abschnitt einer Schulter und eines Arms des Fahrers beinhaltet. Das Lenkrad 52 kann in dem Fahrerbild erscheinen oder kann nicht erscheinen.
  • In dem Schritt S42 wird ein Bearbeiten durchgeführt, um das Kontaktsignal von dem Kontakt-Detektionssensor 55 zu erhalten, und das Bearbeiten gelangt zu einem Schritt S43. In dem Schritt S43 wird bestimmt, ob das Kontaktsignal erhalten wurde oder nicht (d.h. ob das Lenkrad 52 ergriffen ist oder nicht). Wenn bestimmt wird, dass das Kontaktsignal erhalten wurde (d.h. das Lenkrad 52 ergriffen ist), gelangt das Bearbeiten zu einem Schritt S44.
  • In dem Schritt S44 wird bestimmt, ob die Anzahl von Positionen, an welchen das Kontaktsignal detektiert wurde, zwei ist. Wenn bestimmt wird, dass das Kontaktsignal an zwei Positionen detektiert wird, gelangt das Bearbeiten zu einem Schritt S45. In dem Schritt S45 wird ein Bearbeiten durchgeführt, um die Position einer Schulter und eines Oberarms des Fahrers in dem Fahrerbild zu detektieren.
  • Beispielsweise werden die Ränder bzw. Kanten (Konturen) einer Schulter und eines Arms des Fahrers, d.h. Ränder bzw. Kanten von wenigstens einer der linken oder rechten Schulter bis zu einem Oberarm durch ein Bildbearbeiten, wie beispielsweise eine Kantendetektion detektiert, und es wird ein Bearbeiten durchgeführt, um die Richtung und den Winkel von jeder der detektierten Kanten zu detektieren. Danach gelangt das Bearbeiten zu einem Schritt S46.
  • In dem Schritt S46 wird ein Bearbeiten durchgeführt, um die Greifpositionen an dem Lenkrad 52 und die Position der Schulter und des Oberarms des Fahrers in die Greifbestimmungs-Tabelle zu substituieren bzw. einzusetzen, welche aus dem Greif-Bestimmungsverfahrens-Speicherabschnitt 13f ausgelesen wird, und führt eine Bestimmung betreffend einen durch beide Hände ergriffenen Zustand des Lenkrads 52 durch, welches durch den Fahrer ergriffen ist bzw. wird. Danach gelangt das Bearbeiten zu einem Schritt S47.
  • In dem Schritt S47 wird bestimmt, ob der Fahrer das Lenkrad 52 mit beiden Händen ergreift oder nicht. Wenn bestimmt wird, dass der Fahrer das Lenkrad 52 mit beiden Händen ergreift, gelangt das Bearbeiten zu einem Schritt S28, und danach endet das Greif-Bestimmungsbearbeiten.
  • Andererseits gelangt, wenn in dem Schritt S44 bestimmt wird, dass die Anzahl von Positionen, an welchen das Kontaktsignal detektiert wurde, nicht zwei ist, d.h. eins ist, das Bearbeiten zu einem Schritt S48. In dem Schritt S48 wird ein Bearbeiten durchgeführt, um die Position einer Schulter und eines Oberarms des Fahrers in dem Fahrerbild zu detektieren. Danach gelangt das Bearbeiten zu einem Schritt S49.
  • In dem Schritt S49 wird ein Bearbeiten durchgeführt, um die Greifposition auf dem Lenkrad 52 und die Position der Schulter und des Oberarms des Fahrers in die Greif-Bestimmungstabelle zu substituieren, welche aus dem Greif-Bestimmungsverfahren-Speicherabschnitt 13f ausgelesen wird, und eine Bestimmung betreffend einen mit einer Hand ergriffenen Zustand des Lenkrads 52 durchzuführen, welches durch den Fahrer ergriffen ist. Danach gelangt das Bearbeiten zu einem Schritt S50.
  • In dem Schritt S50 wird bestimmt, ob der Fahrer das Lenkrad 52 mit einer Hand ergreift oder nicht. Wenn bestimmt wird, dass der Fahrer das Lenkrad 52 mit einer Hand ergreift, gelangt das Bearbeiten zu dem Schritt S28, und danach endet das Greif-Bestimmungsbearbeiten.
  • Andererseits gelangt, wenn in dem Schritt S43 bestimmt wird, dass das Kontaktsignal nicht erhalten wurde, oder wenn in dem Schritt S47 bestimmt wird, dass der Fahrer das Lenkrad nicht mit beiden Händen ergreift, oder wenn in dem Schritt S50 bestimmt wird, dass der Fahrer das Lenkrad nicht mit einer Hand ergreift, das Bearbeiten zu den Schritten S31 bis S33.
  • Mit bzw. bei dem Fahrerüberwachungsapparat 10A gemäß der Ausführungsform (2) wird, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, eine Greifposition auf dem Lenkrad 52 basierend auf dem Kontaktsignal detektiert, welches von dem Kontakt-Detektionssensor 55 erhalten bzw. erfasst wird, und es wird bestimmt, ob das Lenkrad 52 mit beiden Händen oder einer Hand des Fahrers ergriffen ist bzw. wird, basierend auf der detektierten Greifposition auf dem Lenkrad 52 und der Position der Schulter und des Arms des Fahrers, welche durch ein Bearbeiten des Fahrerbilds detektiert wird.
  • Demgemäß ist es, selbst wenn das Lenkrad 52 nicht in dem Fahrerbild erscheint, möglich, von einem Zustand zu unterscheiden, wo ein Passagier bzw. Mitfahrer verschieden von dem Fahrer das Lenkrad 52 ergreift, und genau zu detektieren, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad 52 mit beiden Händen oder einer Hand ergreift.
  • Es ist festzuhalten, dass in dem oben beschriebenen Fahrerüberwachungsapparat 10A eine Greifposition auf dem Lenkrad 52 basierend auf dem Kontaktsignal detektiert wird, welches von dem Kontakt-Detektionssensor 55 erhalten bzw. erfasst wird. Jedoch kann in dem Fall, wo ein Abschnitt (im Wesentlichen eine obere Hälfte) des Lenkrads 52 auch in dem Fahrerbild erscheint, wenn eine Greifposition auf dem Lenkrad 52 detektiert wird, die Greifposition, welche basierend auf dem Kontaktsignal detektiert wird, welches von dem Kontakt-Detektionssensor 55 erhalten wird, mit einer Greifposition verglichen werden, welche durch ein Bearbeiten des Fahrerbilds detektiert wird, um die Greifposition auf dem Lenkrad zu detektieren.
  • 9 ist ein Blockdiagramm, welches eine Hardware-Konfiguration eines Fahrerüberwachungsapparats 10B gemäß einer Ausführungsform (3) zeigt. Es ist festzuhalten, dass Strukturen, welche dieselben Funktionen wie diejenigen der wesentlichen Teile der Hardware-Konfiguration des Fahrerüberwachungsapparats 10 aufweisen, welche in 2 gezeigt ist, dieselben Bezugszeichen zugeordnet werden und Beschreibungen davon weggelassen werden. Da die Konfiguration von wesentlichen Teilen eines autonomen Fahrsystems 1B, welches den Fahrerüberwachungsapparat 10B gemäß der Ausführungsform (3) beinhaltet, im Wesentlichen dieselbe wie diejenige des autonomen Fahrsystems 1 ist, welches in 1 gezeigt ist, werden Strukturen, welche dieselben Funktionen aufweisen, dieselben Bezugszeichen zugeordnet und es werden Beschreibungen davon weggelassen.
  • Der Fahrerüberwachungsapparat 10B gemäß der Ausführungsform (3) unterscheidet sich wesentlich von dem Fahrerüberwachungsapparat 10 gemäß der Ausführungsform (1) dahingehend, dass ein Be- bzw. Verarbeiten ausgeführt wird, um zu bestimmen, ob ein Fahrer, welcher in dem Fahrerbild erscheint, das Lenkrad 52 ergreift oder nicht, unter Verwendung eines Klassifizierers, welcher durch ein Trainieren einer lernenden bzw. Lernvorrichtung unter Verwendung als Trainingsdaten von Fahrerbildern, in welchen der Fahrer das Lenkrad 52 ergreift, und von Fahrerbildern erzeugt wird, in welchen der Fahrer das Lenkrad 52 nicht ergreift.
  • Der Fahrerüberwachungsapparat 10B gemäß der Ausführungsform (3) ist konfiguriert, um das Eingabe/Ausgabe Interface (I/F) 11, eine Regel- bzw. Steuereinheit 12B und eine Speichereinheit 13B zu beinhalten.
  • Das Eingabe/Ausgabe I/F 11 ist mit der Fahrerbild-Aufnahmekamera 54, dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren, dem Warnapparat bzw. -gerät 37, dem Startschalter 38 usw. verbunden und ist konfiguriert, um Schaltungen bzw. Schaltkreise, Verbinder und dgl. für ein Austauschen von Signalen mit diesen externen Vorrichtungen zu beinhalten.
  • Die Regel- bzw. Steuereinheit 12B ist konfiguriert, um den Bilderfassungsabschnitt 12a, den Fahrmodus-Bestimmungsabschnitt 12b, einen Bestimmungs-Bearbeitungsabschnitt 12n und den Signalausgabeabschnitt 12g zu beinhalten. Die Regel- bzw. Steuereinheit 12B ist konfiguriert, um einen oder mehrere Hardware-Prozessor(en), wie beispielsweise eine CPU und eine GPU zu beinhalten.
  • Die Speichereinheit 13B ist konfiguriert, um den Bildspeicherabschnitt 13a und einen Klassifizierer-Speicherabschnitt 13g zu beinhalten, und ist konfiguriert, um eine oder mehrere Speichervorrichtung(en) für ein Speichern von Daten unter Verwendung von Halbleitervorrichtungen, wie beispielsweise ein ROM, ein RAM, ein SSD, ein HDD, einen Flash-Speicher, andere nicht-flüchtige Speicher und flüchtige Speicher zu beinhalten.
  • Ein Fahrerbild (ein Bild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird), welches durch den Bilderfassungsabschnitt 12a erfasst bzw. erhalten wird, ist bzw. wird in dem Bildspeicherabschnitt 13a gespeichert.
  • Ein trainierter Klassifizierer für eine Greifbestimmung ist in dem Klassifizierer-Speicherabschnitt 13g gespeichert. Der trainierte Klassifizierer ist ein lernendes bzw. Lernmodell, welches als ein Resultat eines später beschriebenen Lernapparats 60 erzeugt wird, welcher vorab ein Lernbearbeiten bzw. -verarbeiten unter Verwendung als Trainingsdaten von Fahrerbildern, in welchen der Fahrer das Lenkrad 52 ergreift, und von Fahrerbildern durchführt, in welchen der Fahrer das Lenkrad 52 nicht ergreift, und ist bzw. wird beispielsweise durch ein neurales Netzwerk aufgebaut bzw. dargestellt.
  • Das neurale Netzwerk kann ein hierarchisches neurales Netzwerk sein oder kann auch ein faltendes neurales Netzwerk (Convolutional Neural Network) sein. Die Anzahl von trainierten Klassifizierern, welche in dem Klassifizierer-Speicherabschnitt 13g zu speichern sind, kann eins sein oder kann auch zwei oder mehr sein. Eine Mehrzahl von trainierten Klassifizierern, welche Attributen bzw. Merkmalen (männlich, weiblich, Körperbau bzw. Konstitution etc.) des Fahrers entsprechen, welcher in den Fahrerbildern erscheint, kann auch gespeichert sein bzw. werden.
  • Der trainierte Klassifizierer wird durch ein neurales Netzwerk dargestellt bzw. aufgebaut, mit welchem ein Signal durch eine Mehrzahl von Neuronen (welche auch Einheiten genannt werden) be- bzw. verarbeitet wird, welche durch eine Mehrzahl von Layern bzw. Lagen unterteilt sind, welche einen Eingangs- bzw. Eingabelayer, verborgene Layer (zwischenliegende Layer) und einen Ausgangs- bzw. Ausgabelayer beinhalten, und es wird ein Klassifikationsresultat von dem Ausgabelayer ausgegeben.
  • Der Eingabelayer ist ein Layer für ein Erhalten von Information, welche an das neurale Netzwerk zu geben ist. Beispielsweise beinhalten die Eingabelayer Einheiten, deren Anzahl der Anzahl von Pixeln bzw. Bildpunkten in einem Fahrerbild entspricht, und Information betreffend jeden Bildpunkt in einem Fahrerbild wird zu einem entsprechenden Neuron eingegeben.
  • Neuronen in den zwischenliegenden Layern führen ein Be- bzw. Verarbeiten durch, um einen Wert auszugeben, welcher durch ein Bearbeiten, unter Verwendung einer Transferfunktion (z.B. Stufenfunktion, Sigmoid-Funktion, etc.), eines Werts erhalten wird, welcher durch ein Addieren einer Mehrzahl von Eingabe- bzw. Eingangswerten, während Gewichte bzw. Gewichtungen damit integriert werden, und weiters ein Subtrahieren eines Schwellwerts von dem resultierenden Wert erhalten wird, und Merkmale eines Fahrerbilds zu extrahieren, welches zu dem Eingabelayer eingegeben wird. In seichteren bzw. flacheren Layern der zwischenliegenden Layer sind bzw. werden kleine bzw. feine Merkmale (Linien etc.) eines Fahrers in dem Fahrerbild erkannt. In tieferen Layern (weiter auf der Ausgabeseite) werden kleine Merkmale kombiniert und große Merkmale (Merkmale in einem breiteren bzw. weiteren Bereich) des Fahrers werden erkannt.
  • Neuronen in dem Ausgabelayer geben das Resultat einer Berechnung aus, welche durch das neurale Netzwerk durchgeführt wird. Beispielsweise ist der Ausgabelayer durch zwei Neuronen aufgebaut und gibt das Resultat eines Klassifizierens (Identifizierens) aus, ob ein Zustand, wo das Lenkrad ergriffen ist, und ein Zustand, wo das Lenkrad nicht ergriffen ist, zutreffen.
  • Die Regel- bzw. Steuereinheit 12B arbeitet mit der Speichereinheit 13B zusammen, um ein Bearbeiten auszuführen, um verschiedene Datenstücke bzw. -elemente in der Speichereinheit 13B zu speichern, und die Daten, den Klassifizierer und dgl., welche in der Speichereinheit 13B gespeichert sind, auszulesen und ein Greif-Bestimmungsbearbeiten unter Verwendung des Klassifizierers auszuführen.
  • Wenn das Verständigungssignal für eine Aufhebung eines autonomen Fahrmodus durch den Fahrmodus-Bestimmungsabschnitt 12b detektiert wird, liest der Bestimmungs-Bearbeitungsabschnitt 12n den trainierten Klassifizierer aus dem Klassifizierer-Speicherabschnitt 13g aus und liest auch das Fahrerbild aus dem Bildspeicherabschnitt 13a aus. Der Bestimmungs-Bearbeitungsabschnitt 12n gibt dann Pixel- bzw. Bildpunktdaten (Pixelwerte) des Fahrerbilds an den Eingabelayer des trainierten Klassifizierers ein, führt ein Berechnungsbearbeiten der zwischenliegenden Layer in dem neuralen Netzwerk durch und führt ein Bearbeiten durch, um aus dem Ausgabelayer das Resultat eines Klassifizierens (Identifizierens) auszugeben, ob sich der Fahrer in einem Zustand eines Ergreifens des Lenkrads oder einem Zustand eines Nicht-Ergreifens des Lenkrads befindet.
  • 10 ist ein Blockdiagramm, welches eine Hardware-Konfiguration des Lernapparats 60 für ein Erzeugen des trainierten Klassifizierers zeigt, welcher in dem Fahrerüberwachungsapparat 10B zu speichern ist. Der Lernapparat 60 wird durch einen Computerapparat aufgebaut bzw. dargestellt, welcher ein Eingabe/Ausgabe Interface (I/F) 61, eine lernende bzw. Lern-Regel- bzw. -Steuereinheit 62 und eine lernende bzw. Lern-Speichereinheit 63 beinhaltet.
  • Das Eingabe/Ausgabe I/F 61 ist mit einer lernenden Fahrerbild-Aufnahmekamera 64, einem Eingangs- bzw. Eingabeabschnitt 65, einem Anzeigeabschnitt 66, einem externen Speicherabschnitt 67 usw. verbunden und ist konfiguriert, um Schaltungen bzw. Schaltkreise, Verbinder und dgl. für ein Austauschen von Signalen mit diesen externen Vorrichtungen zu beinhalten.
  • Die Lern-Fahrerbild-Aufnahmekamera 64 ist beispielsweise eine Kamera, mit welcher ein Fahrsimulatorapparat bzw. -gerät ausgerüstet ist, und ist ein Apparat für ein Aufnehmen eines Bilds eines Fahrers, welcher in einem Fahrersitz in dem Fahrsimulatorapparat sitzt. Das Blick- bzw. Gesichtsfeld, welches durch die Lern-Fahrerbild-Aufnahmekamera 64 aufgenommen wird, ist eingestellt bzw. festgelegt, um dasselbe wie das Blick- bzw. Gesichtsfeld der Fahrerbild-Aufnahmekamera 54 zu sein, welche in dem Fahrzeug montiert ist. Der Eingangs- bzw. Eingabeabschnitt 65 wird durch eine Eingabevorrichtung, wie beispielsweise eine Tastatur dargestellt. Der Anzeigeabschnitt 66 wird durch eine Anzeigevorrichtung, wie beispielsweise eine Flüssigkristall-Anzeige dargestellt bzw. aufgebaut. Der externe Speicherabschnitt 67 ist eine externe Speichervorrichtung und wird durch ein HDD, ein SSD, einen Flash-Speicher oder dgl. aufgebaut.
  • Die Lern-Regel- bzw. -Steuereinheit 62 ist konfiguriert, um einen lernenden bzw. Lernbild-Erfassungsabschnitt 62a, einen Greifinformations-Erfassungsabschnitt 62b, einen Lern-Bearbeitungsabschnitt 62c und einen Datenausgabeabschnitt 62e zu beinhalten, und ist konfiguriert, um einen oder mehrere Hardware-Prozessor(en), wie beispielsweise eine CPU und eine GPU zu beinhalten.
  • Die Lern-Speichereinheit 63 ist konfiguriert, um einen Lerndatensatz-Speicherabschnitt 63a, einen Speicherabschnitt 63b eines nicht trainierten Klassifizierers und einen Speicherabschnitt 63c eines trainierten Klassifizierers zu beinhalten. Die Lern-Speichereinheit 63 ist konfiguriert, um eine oder mehrere Speichervorrichtung(en) für ein Speichern von Daten unter Verwendung von Halbleitervorrichtungen, wie beispielsweise ein ROM, ein RAM, ein SSD, ein HDD, einen Flash-Speicher, andere nicht-flüchtige Speicher und flüchtige Speicher zu beinhalten.
  • Die Lern-Regel- bzw. -Steuereinheit 62 ist konfiguriert, um mit der Lern-Speichereinheit 63 zusammenzuwirken, um ein Be- bzw. Verarbeiten durchzuführen, um verschiedene Datenstücke bzw. -elemente (trainierten Klassifizierer etc.) in der Lern-Speichereinheit 63 zu speichern, als auch Daten und Programme (nicht trainierten Klassifizierer etc.) auszulesen, welche in der Lern-Speichereinheit 63 gespeichert sind, und diese Programme auszuführen.
  • Der Lernbild-Erfassungsabschnitt 62a führt beispielsweise ein Bearbeiten durch, um Lern-Fahrerbilder zu erhalten, welche durch die Lern-Fahrerbild-Aufnahmekamera 64 aufgenommen werden, und die erhaltenen Lern-Fahrerbilder in dem Lerndatensatz-Speicherabschnitt 63a zu speichern. Die Lern-Fahrerbilder beinhalten Bilder des Fahrers, welcher das Lenkrad des Fahrersimulatorapparats ergreift, und Bilder von Fahrern, welche das Lenkrad nicht ergreifen.
  • Der Greifinformations-Erfassungsabschnitt 62b führt beispielsweise ein Bearbeiten durch, um Lenkrad-Greifinformation (Daten einer korrekten Antwort für den ergriffenen Zustand) zu erhalten bzw. zu erfassen, welche als Trainingsdaten dient, welche mit jedem Lern-Fahrerbild zu assoziieren bzw. diesem zuzuordnen sind, welches durch den Lernbild-Erfassungsabschnitt 62a erhalten bzw. erfasst wird, und um in dem Lerndatensatz-Speicherabschnitt 63a die erhaltene Lenkrad-Greifinformation im Zusammenhang bzw. Zuordnung mit bzw. zu dem entsprechenden Lern-Fahrerbild zu speichern. Die Lenkrad-Greifinformation beinhaltet Daten einer korrekten Antwort betreffend die Tatsache, ob das Lenkrad ergriffen ist oder nicht. Die Lenkrad-Greifinformation wird durch einen Designer über den Eingabeabschnitt 65 eingegeben.
  • Der Lern-Bearbeitungsabschnitt 62c führt beispielsweise ein Bearbeiten durch, um einen trainierten Klassifizierer zu erzeugen, indem ein lernendes bzw. Lernbearbeiten unter Verwendung eines nicht trainierten Klassifizierers, wie beispielsweise eines nicht trainierten neuralen Netzwerks und eines Lerndatensatzes (Lern-Fahrerbilder und Lenkrad-Greifinformation) durchgeführt wird, und um den erzeugten trainierten Klassifizierer in dem Speicherabschnitt 63c für den trainierten Klassifizierer zu speichern.
  • Der Datenausgabeabschnitt 62e führt beispielsweise ein Bearbeiten durch, um den trainierten Klassifizierer, welcher in dem Speicherabschnitt 63c für den trainierten Klassifizierer gespeichert ist, zu dem externen Speicherabschnitt 67 auszugeben.
  • Der Lerndatensatz-Speicherabschnitt 63a speichert die Lern-Fahrerbilder und die Lenkrad-Greifinformation, welche als die Trainingsdaten (Daten einer korrekten Antwort) hierfür dient, in Assoziation bzw. Beziehung zueinander.
  • Der Speicherabschnitt 63b für den nicht trainierten Klassifizierer speichert Information betreffend den nicht trainierten Klassifizierer, wie beispielsweise ein Programm eines nicht trainierten neuralen Netzwerks.
  • Der Speicherabschnitt 63c für den trainierten Klassifizierer speichert Information betreffend den trainierten Klassifizierer, wie beispielsweise ein Programm eines trainierten neuralen Netzwerks.
  • 11 ist ein Flussdiagramm, welches einen Lern-Bearbeitungsvorgang zeigt, welcher durch eine Lern-Regel- bzw. -Steuereinheit 62 in dem Lernapparat 60 durchgeführt wird.
  • Zuerst wird in einem Schritt S51 ein nicht trainierter Klassifizierer aus dem Speicherabschnitt 63b für einen nicht trainierten Klassifizierer ausgelesen. In dem nächsten Schritt S52 werden Konstante, wie beispielsweise die Gewichte bzw. Gewichtungen, Schwellwerte und dgl. des neuralen Netzwerks, welche den nicht trainierten Klassifizierer darstellen bzw. ausbilden, initialisiert. Dann gelangt das Bearbeiten zu einem Schritt S53.
  • In dem Schritt S53 wird der Lerndatensatz (ein lernendes bzw. Lern-Fahrerbild und eine Lenkrad-Greifinformation) aus dem Lerndatensatz-Speicherabschnitt 63a ausgelesen. In dem nächsten Schritt S54 werden Pixel- bzw. Bildpunktdaten (Bildpunktwerte), welche das gelesene Lern-Fahrerbild darstellen, zu dem Eingabelayer des nicht trainierten neuralen Netzwerks eingegeben. Das Bearbeiten gelangt dann zu einem Schritt S55.
  • In dem Schritt S55 werden Greif-Bestimmungsdaten von dem Ausgabelayer des nicht trainierten neuralen Netzwerks ausgegeben. In dem nächsten Schritt S56 werden die ausgegebenen Greif-Bestimmungsdaten mit der Lenkrad-Greifinformation verglichen, welche als die Trainingsdaten dient. Das Bearbeiten gelangt dann zu einem Schritt S57.
  • In dem Schritt S57 wird bestimmt, ob ein Ausgangs- bzw. Ausgabefehler kleiner als oder gleich wie ein vorgeschriebener Wert ist oder nicht. Wenn bestimmt wird, dass der Ausgabefehler nicht kleiner als oder gleich wie der vorgeschriebene Wert ist, gelangt das Bearbeiten zu einem Schritt S58. In dem Schritt S58 werden Eigenschaften (Gewichtungen, Schwellwerte etc.) der Neuronen in den zwischenliegenden Layern, welche das neurale Netzwerk darstellen, derart eingestellt, dass der Ausgabefehler kleiner als oder gleich wie der vorgeschriebene Wert ist. Danach kehrt das Bearbeiten zu dem Schritt S53 zurück und es wird das Lernbearbeiten fortgesetzt. Eine Back- bzw. Rück-Propagation kann auch in dem Schritt S58 verwendet werden.
  • Andererseits gelangt, wenn in dem Schritt S57 bestimmt wird, dass der Ausgabefehler kleiner als oder gleich wie der vorgeschriebene Wert ist, das Bearbeiten zu einem Schritt S59, es endet das lernende bzw. Lernbearbeiten und es gelangt das Bearbeiten zu einem Schritt S60. In dem Schritt S60 wird das trainierte neurale Netzwerk als ein trainierter Klassifizierer in dem Speicherabschnitt 63c für einen trainierten Klassifizierer gespeichert. Dann endet das Be- bzw. Verarbeiten.
  • Der trainierte Klassifizierer, welcher in dem Speicherabschnitt 63c des trainierten Klassifizierers gespeichert ist, kann zu dem externen Speicherabschnitt 67 durch den Datenausgabeabschnitt 62e ausgegeben werden. Der trainierte Klassifizierer, welcher in dem externen Speicherabschnitt 67 gespeichert ist, wird in dem Klassifizierer-Speicherabschnitt 13g in dem Fahrerüberwachungsapparat 10B gespeichert.
  • 12 ist ein Flussdiagramm, welches einen Greifbestimmungs-Bearbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit 12B in dem Fahrerüberwachungsapparat 10B gemäß der Ausführungsform (3) durchgeführt wird. Es ist festzuhalten, dass dieser Bearbeitungsvorgang ein Bearbeiten entsprechend dem Schritt S7 in 4 anzeigt und ausgeführt wird, wenn eine Verständigung einer Aufhebung des autonomen Fahrmodus in dem Schritt S6 detektiert wird. Es ist festzuhalten bzw. anzumerken, dass Bearbeitungsvorgängen, deren Inhalt derselbe wie von denjenigen in dem Greifbestimmungs-Bearbeitungsvorgang ist, welcher in 5 gezeigt ist, dieselben Bezugszeichen zugeordnet werden und Beschreibungen davon weggelassen werden.
  • Wenn das Verständigungssignal für eine Aufhebung des autonomen Fahrmodus in dem Schritt S6 in 4 detektiert wird, gelangt das Bearbeiten zu einem Schritt S61 in dem Greif-Bestimmungsbearbeiten. In dem Schritt S61 wird das Fahrerbild, welches in dem Bildspeicherabschnitt 13a gespeichert ist, ausgelesen, und dann gelangt das Bearbeiten zu einem Schritt S62. Das Fahrerbild, welches aus dem Bildspeicherabschnitt 13a ausgelesen wird, ist beispielsweise das Fahrerbild, welches durch die Fahrerbild-Aufnahmekamera 54 aufgenommen wird und in dem Bildspeicherabschnitt 13a gespeichert wird, nachdem das Verständigungssignal für eine Aufhebung des autonomen Fahrmodus erhalten wurde.
  • In dem Schritt S62 wird der trainierte Klassifizierer aus dem Klassifizierer-Speicherabschnitt 13g ausgelesen, und dann gelangt das Bearbeiten zu einem Schritt S63. Hier wird angenommen, dass der trainierte Klassifizierer durch ein neurales Netzwerk ausgebildet bzw. dargestellt wird, welches einen Eingabelayer, verborgene Layer (zwischenliegende Layer) und einen Ausgabelayer beinhaltet. In dem Schritt S63 werden Bildpunktwerte des Fahrerbilds zu dem Eingabe- bzw. Eingangslayer des gelesenen trainierten Klassifizierers eingegeben und das Bearbeiten gelangt dann zu einem Schritt S64.
  • In dem Schritt S64 wird ein Berechnungsbearbeiten der zwischenliegenden Layer in dem trainierten Klassifizierer durchgeführt, und danach gelangt das Bearbeiten zu einem Schritt S65.
  • In dem Schritt S65 werden die Greif-Bestimmungsdaten aus dem Ausgabelayer des trainierten Klassifizierers ausgegeben. In dem nächsten Schritt S66 wird bestimmt, ob der Fahrer das Lenkrad 52 ergreift oder nicht, basierend auf den ausgegebenen Greif-Bestimmungsdaten.
  • Wenn in dem Schritt S66 bestimmt wird, dass der Fahrer das Lenkrad 52 ergreift, gelangt das Bearbeiten zu dem Schritt S28, und es wird ein Signal, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben, zu dem Regel- bzw. Steuerapparat 20 für ein autonomes Fahren ausgegeben. Dann endet das Greif-Bestimmungsbearbeiten und es gelangt das Bearbeiten zu dem Schritt S8 in 4.
  • Andererseits gelangt, wenn in dem Schritt S66 bestimmt wird, dass der Fahrer das Lenkrad 52 nicht ergreift, das Bearbeiten zu den Schritten S31 bis S33.
  • In bzw. bei dem Fahrerüberwachungsapparat 10B gemäß der Ausführungsform (3), werden, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus unter der Regelung bzw. Steuerung des Regel- bzw. Steuerapparats 20 für ein autonomes Fahren umzuschalten ist, Fahrerbilddaten zu dem Eingabelayer des trainierten Klassifizierers eingegeben, und es werden Bestimmungsdaten betreffend die Tatsache, ob das Lenkrad 52 durch die Hand des Fahrers ergriffen wird oder nicht, von dem Ausgabelayer ausgegeben.
  • Demgemäß kann eine Unterscheidung von einem Zustand gemacht werden, wo ein Passagier bzw. Mitfahrer verschieden von dem Fahrer das Lenkrad 52 ergreift, indem der trainierte Klassifizierer in bzw. bei dem Bearbeiten in dem Bestimmungs-Bearbeitungsabschnitt 12n verwendet wird. Somit kann genau detektiert werden, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad 52 ergreift oder nicht.
  • 13 ist ein Blockdiagramm, welches eine Hardware-Konfiguration eines Fahrerüberwachungsapparats 10C gemäß einer Ausführungsform (4) zeigt. Da die Konfiguration von wesentlichen Teilen eines autonomen Fahrsystems 1C, welches den Fahrerüberwachungsapparat 10C gemäß der Ausführungsform (4) beinhaltet, im Wesentlichen dieselbe wie diejenige des autonomen Fahrsystems 1 ist, welches in 1 gezeigt ist, werden Strukturen, welche dieselben Funktionalitäten aufweisen, dieselben Bezugszeichen verliehen bzw. zugeordnet und Beschreibungen davon werden weggelassen.
  • Der Fahrerüberwachungsapparat 10C gemäß der Ausführungsform (4) ist eine Modifikation des Fahrerüberwachungsapparats 10B gemäß der Ausführungsform (3) und weist eine Konfiguration auf, in welcher ein Erzeugungsabschnitt 12p für einen trainierten Klassifizierer bzw. ein einen trainierten Klassifizierer erzeugender Abschnitt und ein Bestimmungs-Bearbeitungsabschnitt 12r in einer Regel- bzw. Steuereinheit 12C und ein Klassifiziererinformations-Speicherabschnitt 13h in. einer Speichereinheit 13C unterschiedlich sind.
  • Der Fahrerüberwachungsapparat 10C gemäß der Ausführungsform (4) ist konfiguriert, um das Eingabe/Ausgabe Interface (I/F) 11, die Regel- bzw. Steuereinheit 12C und die Speichereinheit 13C zu beinhalten.
  • Die Regel- bzw. Steuereinheit 12C ist konfiguriert, um den Bilderfassungsabschnitt 12a, den Fahrmodus-Bestimmungsabschnitt 12b, den Erzeugungsabschnitt 12p für den trainierten Klassifizierer, den Bestimmungs-Bearbeitungsabschnitt 12r und den Signalausgabeabschnitt 12g zu beinhalten.
  • Die Speichereinheit 13C ist konfiguriert, um den Bildspeicherabschnitt 13a und den Klassifiziererinformations-Speicherabschnitt 13h zu beinhalten.
  • Der Klassifiziererinformations-Speicherabschnitt 13h speichert Definitionsinformation betreffend einen nicht trainierten Klassifizierer, welcher die Anzahl von Layern in dem neuralen Netzwerk, die Anzahl von Neuronen in jedem Layer und eine Transferfunktion (z.B. eine Stufenfunktion, Sigmoid-Funktion etc.) und konstante Daten bzw. Konstantendaten beinhaltet, welche Gewichtungen und Schwellwerte für Neuronen in jedem Layer beinhalten, welche vorab durch ein Lernbearbeiten erhalten werden. Die Definitionsinformation betreffend einen nicht trainierten Klassifizierer kann beispielsweise für einen Klassifizierer sein oder kann für zwei oder mehr Klassifizierer sein. Betreffend die konstanten Daten bzw. Daten von Konstanten kann eine Mehrzahl von Sätzen von konstanten Daten, welche Eigenschaften bzw. Merkmalen (männlich, weiblich, Körperbau etc.) des Fahrers entsprechen, welcher in Fahrerbildern erscheint, auch gespeichert werden.
  • Wenn das Verständigungssignal für eine Aufhebung des autonomen Fahrmodus durch den Fahrmodus-Bestimmungsabschnitt 12b detektiert wird, führt der Erzeugungsabschnitt 12p für den trainierten Klassifizierer ein Bearbeiten durch, um die Definitionsinformation und die konstanten Daten aus dem Klassifiziererinformations-Speicherabschnitt 13h auszulesen, und einen trainierten Klassifizierer durch ein Verwenden der gelesenen Definitionsinformation und von konstanten Daten bzw. Daten von Konstanten zu erzeugen. Der trainierte Klassifizierer ist bzw. wird durch ein neurales Netzwerk dargestellt bzw. aufgebaut und beinhaltet einen Eingabelayer, welchem Fahrerbilddaten, welche aus dem Bildspeicherabschnitt 13a ausgelesen werden, eingegeben werden, und einen Ausgabelayer, welcher Bestimmungsdaten betreffend die Tatsache ausgibt, ob das Lenkrad 52 durch die Hand des Fahrers ergriffen wird oder nicht. Das neurale Netzwerk kann ein hierarchisches neurales Netzwerk sein oder kann ein Convolutional Neural Network (gefaltetes neurales Netzwerk) sein.
  • Der Bestimmungs-Bearbeitungsabschnitt 12r ist konfiguriert, um ein Bearbeiten durchzuführen, um Bildpunktdaten des Fahrerbilds an den Eingabelayer des erzeugten trainierten Klassifizierers einzugeben und aus dem Ausgabelayer die Bestimmungsdaten betreffend die Tatsache auszugeben, ob das Lenkrad 52 durch den Fahrer ergriffen wird oder nicht.
  • Mit dem Fahrerüberwachungsapparat 10C gemäß der Ausführungsform (4), welcher oben beschrieben ist, werden, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, die Definitionsinformation und konstanten Daten des nicht trainierten Klassifizierers, welche in dem Klassifiziererinformations-Speicherabschnitt 13h gespeichert sind, ausgelesen, es wird ein trainierter Klassifizierer erzeugt und es werden Fahrerbilddaten zu dem Eingabelayer des erzeugten trainierten Klassifizierers eingegeben. Derart werden Bestimmungsdaten betreffend die Tatsache, ob das Lenkrad 52 durch die Hand des Fahrers ergriffen wird oder nicht, von dem Ausgabelayer ausgegeben.
  • Demgemäß kann eine Unterscheidung von einem Zustand gemacht werden, wo ein Mitfahrer verschieden von dem Fahrer das Lenkrad 52 ergreift, indem der trainierte Klassifizierer verwendet wird, welcher durch den Erzeugungsabschnitt 12p für den trainierten Klassifizierer erzeugt wird. Somit kann genau detektiert werden, ob der ursprüngliche Fahrer, welcher in dem Fahrersitz sitzt, das Lenkrad 52 ergreift oder nicht.
  • (Anmerkung 1)
  • Fahrerüberwachungsapparat, welcher einen Fahrer überwacht, welcher in einem Fahrersitz in einem Fahrzeug sitzt, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen ist, wobei der Apparat beinhaltet:
    • einen Speicher, welcher einen Bildspeicherabschnitt für ein Speichern eines Fahrerbilds beinhaltet, welches durch einen Bildaufnahmeabschnitt für ein Aufnehmen eines Bilds des Fahrers aufgenommen wird; und
    • wenigstens einen Hardware-Prozessor, welcher mit dem Speicher verbunden ist,
    • wobei, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, der wenigstens eine Hardware-Prozessor
    • das Fahrerbild erhält, welches durch den Bildaufnahmeabschnitt aufgenommen wird, und bewirkt, dass der Bildspeicherabschnitt das erhaltene bzw. erfasste Fahrerbild speichert,
    • das Fahrerbild aus dem Bildspeicherabschnitt ausliest,
    • das gelesene Fahrerbild bearbeitet, um zu bestimmen, ob ein Lenkrad des Fahrzeugs durch eine Hand des Fahrers ergriffen ist oder nicht, und
    • ein vorbestimmtes Signal ausgibt, welches auf einem Resultat der Bestimmung basiert.
  • (Anmerkung 2)
  • Fahrerüberwachungsverfahren für ein Überwachen eines Fahrers eines Fahrzeugs, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen wird, durch ein Verwenden eines Apparats, welcher einen Speicher, welcher einen Bildspeicherabschnitt für ein Speichern eines Fahrerbilds beinhaltet, welches durch einen Bildaufnahmeabschnitt für ein Aufnehmen eines Bilds des Fahrers aufgenommen wird, welcher in einem Fahrersitz sitzt, und wenigstens einen Hardware-Prozessor beinhaltet, welcher mit dem Speicher verbunden wird, wobei das Verfahren beinhaltet:
    • ein Erhalten bzw. Erfassen des Fahrerbilds, welches durch den Bildaufnahmeabschnitt aufgenommen wird, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, durch den wenigstens einen Hardware-Prozessor;
    • ein Bewirken, dass der Bildspeicherabschnitt das erfasste Fahrerbild speichert, durch den wenigstens einen Hardware-Prozessor;
    • ein Auslesen des Fahrerbilds aus dem Bildspeicherabschnitt, durch den wenigstens einen Hardware-Prozessor;
    • ein Bearbeiten des gelesenen Fahrerbilds und ein Bestimmen, ob ein Lenkrad des Fahrzeugs durch eine Hand des Fahrers ergriffen wird oder nicht, durch den wenigstens einen Hardware-Prozessor; und
    • ein Ausgeben eines vorbestimmten Signals, welches auf einem Resultat der Bestimmung basiert, durch den wenigstens einen Hardware-Prozessor.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2016203660 [0009]

Claims (9)

  1. Fahrerüberwachungsapparat, welcher einen Fahrer überwacht, welcher in einem Fahrersitz in einem Fahrzeug sitzt, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen ist, wobei der Apparat umfasst: einen Bilderfassungsabschnitt, welcher konfiguriert ist, ein Fahrerbild zu erhalten bzw. zu erfassen, welches durch einen Bildaufnahmeabschnitt für ein Aufnehmen eines Bilds des Fahrers aufgenommen wird; einen Bildspeicherabschnitt, welcher konfiguriert ist, um das Fahrerbild zu speichern, welches durch den Bilderfassungsabschnitt erfasst wird; einen Bestimmungs-Bearbeitungsabschnitt, welcher konfiguriert ist, um, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, das Fahrerbild zu bearbeiten, welches aus dem Bildspeicherabschnitt ausgelesen wird, um zu bestimmen, ob ein Lenkrad des Fahrzeugs durch eine Hand des Fahrers ergriffen ist oder nicht; und einen Signalausgabeabschnitt, welcher konfiguriert ist, um ein vorbestimmtes Signal auszugeben, welches auf einem Resultat der Bestimmung basiert, welche durch den Bestimmungs-Bearbeitungsabschnitt durchgeführt wird.
  2. Fahrerüberwachungsapparat nach Anspruch 1, wobei das Fahrerbild ein Bild ist, welches durch ein Aufnehmen eines Bilds eines Blickfelds erhalten wird, welches wenigstens einen Abschnitt einer Schulter bis zu einem Oberarm des Fahrers und einen Abschnitt des Lenkrads beinhaltet, und der Bestimmungs-Bearbeitungsabschnitt umfasst: einen Greifpositions-Detektionsabschnitt, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, um eine Greifposition auf dem Lenkrad zu detektieren; einen Positions-Detektionsabschnitt, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, um eine Position einer Schulter und eines Arms des Fahrers zu detektieren; und einen Greif-Bestimmungsabschnitt, welcher konfiguriert ist, um zu bestimmen, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, basierend auf der Greifposition, welche durch den Greifpositions-Detektionsabschnitt detektiert wird, und der Position der Schulter und des Arms des Fahrers, welche durch den Positions-Detektionsabschnitt detektiert wird.
  3. Fahrerüberwachungsapparat nach Anspruch 1, wobei das Fahrerbild ein Bild ist, welches durch ein Aufnehmen eines Bilds eines Blickfelds erhalten wird, welches wenigstens einen Abschnitt einer Schulter bis zu einem Oberarm des Fahrers beinhaltet, der Fahrerüberwachungsapparat weiters einen Kontaktsignal-Erfassungsabschnitt umfasst, welcher konfiguriert ist, um ein Signal von einem Kontakt-Detektionsabschnitt zu erhalten, welcher in dem Lenkrad vorgesehen ist und einen Kontakt mit einer Hand detektiert, und der Bestimmungs-Bearbeitungsabschnitt umfasst: einen Greifpositions-Detektionsabschnitt, welcher konfiguriert ist, um eine Greifposition auf dem Lenkrad basierend auf dem Kontaktsignal zu detektieren, welches durch den Kontaktsignal-Erfassungsabschnitt erfasst wird; einen Positions-Detektionsabschnitt, welcher konfiguriert ist, um das Fahrerbild zu bearbeiten, um eine Position einer Schulter und eines Arms des Fahrers zu detektieren; und einen Greif-Bestimmungsabschnitt, welcher konfiguriert ist, um zu bestimmen, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, basierend auf der Greifposition, welche durch den Greifpositions-Detektionsabschnitt detektiert wird, und der Position der Schulter und des Arms des Fahrers, welche durch den Positions-Detektionsabschnitt detektiert wird.
  4. Fahrerüberwachungsapparat nach Anspruch 2 oder 3, wobei, wenn die Greifposition nicht durch den Greifpositions-Detektionsabschnitt detektiert wird, der Signalausgabeabschnitt ein Signal ausgibt, um zu bewirken, dass ein Warnabschnitt, welcher in dem Fahrzeug vorgesehen ist, eine Warnungsbearbeitung ausführt, um den Fahrer zu veranlassen, das Lenkrad zu ergreifen.
  5. Fahrerüberwachungsapparat nach Anspruch 1, weiters umfassend: einen Klassifizierer-Speicherabschnitt, welcher konfiguriert ist, um einen trainierten Klassifizierer zu speichern, welcher durch ein vorangehendes Durchführen eines Lernbearbeitens durch ein Verwenden als Trainirigsdaten von Bildern des Fahrers, welcher das Lenkrad ergreift, und von Bildern des Fahrers erzeugt wird, welcher nicht das Lenkrad ergreift, wobei der trainierte Klassifizierer einen Eingabelayer, welchem Daten des Fahrerbilds, welches aus dem Bildspeicherabschnitt ausgelesen wird, eingegeben werden, und einen Ausgabelayer beinhaltet, welcher Bestimmungsdaten ausgibt, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, und wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, der Bestimmungs-Bearbeitungsabschnitt ein Bearbeiten durchführt, um die Daten des Fahrerbilds zu dem Eingabelayer des trainierten Klassifizierers einzugeben, welche aus dem Klassifizierer-Speicherabschnitt ausgelesen werden, und aus dem Ausgabelayer die Bestimmungsdaten auszugeben, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht.
  6. Fahrerüberwachungsapparat nach Anspruch 1, weiters umfassend: einen Klassifiziererinformations-Speicherabschnitt, welcher konfiguriert ist, um Definitionsinformation betreffend einen nicht trainierten Klassifizierer, beinhaltend die Anzahl von Layern in einem neuralen Netzwerk, die Anzahl von Neuronen in jedem Layer, und eine Transferfunktion und Daten von Konstanten, beinhaltend eine Gewichtung und einen Schwellwert für Neuronen in jedem Layer zu speichern, welche vorab durch ein Lernbearbeiten erhalten wurden; und einen Erzeugungsabschnitt eines trainierten Klassifizierers, welcher konfiguriert ist, um die Definitionsinformation und die Daten der Konstanten aus dem Klassifiziererinformations-Speicherabschnitt auszulesen, um einen trainierten Klassifizierer zu erzeugen, wobei der trainierte Klassifizierer einen Eingabelayer, welchem Daten des Fahrerbilds, welches aus dem Bildspeicherabschnitt ausgelesen wird, eingegeben werden, und einen Ausgabelayer beinhaltet, welcher Bestimmungsdaten ausgibt, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht, und wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist, der Bestimmungs-Bearbeitungsabschnitt ein Bearbeiten durchführt, um die Daten des Fahrerbilds zu dem Eingabelayer des trainierten Klassifizierers einzugeben, welcher durch den Erzeugungsabschnitt des trainierten Klassifizierers erzeugt wird, und aus dem Ausgabelayer die Bestimmungsdaten auszugeben, ob das Lenkrad durch die Hand des Fahrers ergriffen ist oder nicht.
  7. Fahrerüberwachungsapparat nach einem der Ansprüche 1 bis 6, wobei, wenn durch den Bestimmungs-Bearbeitungsabschnitt bestimmt wird, dass das Lenkrad durch die Hand des Fahrers ergriffen ist, der Signalausgabeabschnitt ein Signal ausgibt, um ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben.
  8. Fahrerüberwachungsapparat nach einem der Ansprüche 1 bis 6, wobei, wenn durch den Bestimmungs-Bearbeitungsabschnitt bestimmt wird, dass das Lenkrad nicht durch die Hand des Fahrers ergriffen ist, der Signalausgabeabschnitt ein Signal ausgibt, um nicht .ein Umschalten von dem autonomen Fahrmodus zu dem manuellen Fahrmodus zu erlauben.
  9. Fahrerüberwachungsverfahren für ein Überwachen eines Fahrers, welcher in einem Fahrersitz in einem Fahrzeug sitzt, welches mit einem autonomen Fahrmodus und einem manuellen Fahrmodus versehen wird, durch ein Verwenden eines Apparats, beinhaltend einen Speicherabschnitt und einen Hardware-Prozessor, welcher mit dem Speicherabschnitt verbunden wird, wobei der Speicherabschnitt einen Bildspeicherabschnitt beinhaltet, welcher konfiguriert wird, um ein Fahrerbild zu speichern, welches durch einen Bildaufnahmeabschnitt für ein Aufnehmen eines Bilds des Fahrers aufgenommen wird, wobei das Verfahren umfasst: ein Erhalten bzw. Erfassen des Fahrerbilds, welches durch den Bildaufnahmeabschnitt aufgenommen wird, durch den Hardware-Prozessor, wenn der autonome Fahrmodus zu dem manuellen Fahrmodus umzuschalten ist; ein Bewirken, dass der Bildspeicherabschnitt das erfasste Fahrerbild speichert, durch den Hardware-Prozessor; ein Auslesen des Fahrerbilds aus dem Bildspeicherabschnitt, durch den Hardware-Prozessor; ein Bearbeiten des gelesenen Fahrerbilds, um zu bestimmen, ob ein Lenkrad des Fahrzeugs durch eine Hand des Fahrers ergriffen wird oder nicht, durch den Hardware-Prozessor; und ein Ausgeben eines vorbestimmten Signals, welches auf einem Resultat der Bestimmung basiert, durch den Hardware-Prozessor.
DE102018002963.9A 2017-05-09 2018-04-11 Fahrerüberwachungsapparat und fahrerüberwachungsverfahren Active DE102018002963B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-092844 2017-05-09
JP2017092844A JP7005933B2 (ja) 2017-05-09 2017-05-09 運転者監視装置、及び運転者監視方法

Publications (2)

Publication Number Publication Date
DE102018002963A1 true DE102018002963A1 (de) 2018-11-15
DE102018002963B4 DE102018002963B4 (de) 2022-03-17

Family

ID=63962664

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018002963.9A Active DE102018002963B4 (de) 2017-05-09 2018-04-11 Fahrerüberwachungsapparat und fahrerüberwachungsverfahren

Country Status (4)

Country Link
US (1) US20180326992A1 (de)
JP (1) JP7005933B2 (de)
CN (1) CN108860154B (de)
DE (1) DE102018002963B4 (de)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6752756B2 (ja) * 2017-05-31 2020-09-09 株式会社東海理化電機製作所 運転者把持検出装置
JP6495971B2 (ja) * 2017-06-02 2019-04-03 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6950346B2 (ja) * 2017-08-10 2021-10-13 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
US10635104B2 (en) * 2018-08-21 2020-04-28 International Business Machines Corporation Intelligent transitioning between autonomous and manual driving modes of a vehicle
KR20200075933A (ko) * 2018-12-12 2020-06-29 현대자동차주식회사 스티어링휠의 핸즈온오프 감지시스템 및 방법
US11345362B2 (en) * 2018-12-31 2022-05-31 Robert Bosch Gmbh Adaptive warnings and emergency braking for distracted drivers
US10471969B1 (en) * 2019-01-07 2019-11-12 GM Global Technology Operations LLC System and method to restrict vehicle operations in response to driver impairment
US11010668B2 (en) * 2019-01-31 2021-05-18 StradVision, Inc. Method and device for attention-driven resource allocation by using reinforcement learning and V2X communication to thereby achieve safety of autonomous driving
US10713948B1 (en) * 2019-01-31 2020-07-14 StradVision, Inc. Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection
JP6667692B1 (ja) * 2019-02-19 2020-03-18 三菱ロジスネクスト株式会社 荷役システムおよび制御方法
JP6653033B1 (ja) * 2019-02-19 2020-02-26 三菱ロジスネクスト株式会社 荷役システムおよび制御方法
EP3719697B1 (de) * 2019-04-04 2023-10-18 Aptiv Technologies Limited Verfahren und vorrichtung zur bestimmung, ob eine hand mit einem manuellen steuerelement eines fahrzeugs kooperiert
CN111845757A (zh) * 2019-04-30 2020-10-30 通用汽车环球科技运作有限责任公司 分心驾驶消除系统
CN112034829B (zh) * 2019-05-15 2024-07-19 广州汽车集团股份有限公司 一种端到端自动驾驶方法及其系统、车辆
KR20200135630A (ko) * 2019-05-23 2020-12-03 현대자동차주식회사 자율 주행 차량의 제어장치 및 그 방법
CN110341713A (zh) * 2019-07-12 2019-10-18 东南（福建）汽车工业有限公司 一种基于摄像头的驾驶员手握方向盘监测系统和方法
JP7147715B2 (ja) * 2019-08-07 2022-10-05 トヨタ自動車株式会社 運転支援装置および運転支援方法
US11077863B2 (en) * 2019-08-14 2021-08-03 Waymo Llc Secondary disengage alert for autonomous vehicles
US11254286B2 (en) 2019-09-17 2022-02-22 GM Global Technology Operations LLC System and method to disable automated driving mode based on vehicle operation context
JP7125926B2 (ja) * 2019-09-17 2022-08-25 本田技研工業株式会社 車両制御システム
US11608088B2 (en) * 2019-10-14 2023-03-21 Continental Automotive Systems, Inc. Optics based detection of hands on-off and hand gesture based function selection for human driver
JP6979091B2 (ja) * 2020-01-29 2021-12-08 本田技研工業株式会社 車両制御装置、車両、車両制御方法及びプログラム
WO2022029907A1 (ja) * 2020-08-05 2022-02-10 三菱電機株式会社 通知装置および通知方法
AT523727B1 (de) * 2020-08-18 2021-11-15 Emotion3D Gmbh Computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法
CN113246998B (zh) * 2020-12-14 2022-12-09 北京小马慧行科技有限公司 车辆控制人员行为信息的采集方法、装置及系统
KR20220089520A (ko) * 2020-12-21 2022-06-28 현대자동차주식회사 운전자 상태 판단 장치 및 방법
US20220203996A1 (en) * 2020-12-31 2022-06-30 Cipia Vision Ltd. Systems and methods to limit operating a mobile phone while driving
US11654922B2 (en) * 2021-08-09 2023-05-23 Ford Global Technologies, Llc Driver attention and hand placement systems and methods
JPWO2023058155A1 (de) * 2021-10-06 2023-04-13
CN114056340A (zh) * 2021-10-28 2022-02-18 北京罗克维尔斯科技有限公司 车辆及其控制方法、控制装置、控制设备和存储介质
KR102632533B1 (ko) * 2021-11-26 2024-02-02 한국자동차연구원 영상 기반 운전 자세 가이드와 경고를 제공하는 시스템 및 그 방법
US11981354B2 (en) * 2022-04-01 2024-05-14 Ford Global Technologies, Llc Systems and methods for mitigating spoofing of vehicle features
CN118254821A (zh) * 2022-12-28 2024-06-28 比亚迪股份有限公司 车辆控制方法、自动驾驶控制器、转向控制器及车辆

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006121512A2 (en) * 2005-05-06 2006-11-16 Jerome Arnold Power Sleep alert device
JP2009075648A (ja) * 2007-09-18 2009-04-09 Aisin Aw Co Ltd 運転補助装置、運転補助方法及び運転補助プログラム
JP4420100B2 (ja) * 2007-10-22 2010-02-24 株式会社デンソー 身体部位検出装置
JP2010195144A (ja) * 2009-02-24 2010-09-09 Toyota Motor Corp 車両運転支援装置
JP4900460B2 (ja) * 2009-12-14 2012-03-21 株式会社デンソー 操舵装置用車輪把持検出装置、プログラム
JP5018926B2 (ja) * 2010-04-19 2012-09-05 株式会社デンソー 運転補助装置、及びプログラム
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US20150009010A1 (en) 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
DE102013019141A1 (de) 2013-11-15 2015-05-21 Audi Ag Fahrmoduswechsel beim Fahrerassistenzsystem
GB2525840B (en) 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
DE102014118958A1 (de) 2014-12-18 2016-06-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs beim Übergang von einem autonomen zu einem manuellen Fahrmodus, Fahrerassistenzsystem sowie Kraftfahrzeug
KR101659034B1 (ko) * 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
JP6422058B2 (ja) 2015-04-15 2018-11-14 本田技研工業株式会社 把持検出装置
JP2016203718A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 車両の制御装置
JP6558735B2 (ja) * 2015-04-21 2019-08-14 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP6552316B2 (ja) * 2015-07-29 2019-07-31 修一 田山 車輌の自動運転システム
KR20170036428A (ko) 2015-09-24 2017-04-03 삼성전자주식회사 웨어러블 디바이스를 이용한 운전자 모니터링 방법 및 장치
JP2017068424A (ja) * 2015-09-29 2017-04-06 富士通株式会社 姿勢計測装置及び姿勢計測方法
JP6540469B2 (ja) 2015-11-16 2019-07-10 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US10261513B2 (en) * 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
JP6686869B2 (ja) * 2016-12-22 2020-04-22 株式会社デンソー 運転交代制御装置、及び運転交代制御方法
US10308257B2 (en) * 2017-05-01 2019-06-04 Hitachi, Ltd. Monitoring respiration of a vehicle operator
US10545498B2 (en) * 2017-07-21 2020-01-28 Ford Global Technologies, Llc Vehicle steering control

Also Published As

Publication number Publication date
DE102018002963B4 (de) 2022-03-17
JP2018190217A (ja) 2018-11-29
CN108860154B (zh) 2021-05-14
JP7005933B2 (ja) 2022-01-24
CN108860154A (zh) 2018-11-23
US20180326992A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
DE102018002963B4 (de) Fahrerüberwachungsapparat und fahrerüberwachungsverfahren
DE102018002962B4 (de) Fahrerüberwachungsapparat undfahrerüberwachungsverfahren
DE102018111778B4 (de) Verfahren, Vorrichtung und System zur Steuerung eines Fahrzeugs, das eine Kreuzung passiert.
DE112015002934B4 (de) Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
DE112016002612B4 (de) Fahrzeugsteuervorrichtung, Fahrzeugsteuerverfahren und Fahrzeugsteuerprogramm
DE102018005542A1 (de) Fahrerzustandserkennungsvorrichtung, fahrerzustandserkennungssystem und fahrerzustandserkennungsverfahren
DE102020106262A1 (de) Vorrichtung und Verfahren zum Steuern eines autonomen Fahrzeugs
DE102019205223A1 (de) Einfädelverhaltenssysteme und Verfahren zum Einfädeln von Fahrzeugen
DE102018005490A1 (de) Fahrerzustands-erkennungsapparat, fahrerzustands-erkennungssystem und fahrerzustands-erkennungsverfahren
DE112018001106T5 (de) Fahrassistenzverfahren, Fahrassistenzvorrichtung und dieses Verfahren verwendendes Fahrassistenzsystem
DE102018132525A1 (de) Verfahren und Vorrichtung zur Bewertung einer Fahrzeugfahrfläche
DE102019205228A1 (de) Einfädelverhaltenssysteme und Verfahren für Fahrzeuge auf einer Hauptspur
DE102018005526A1 (de) Fahrerzustandserkennungsvorrichtung, Fahrerzustandserkennungssystem und Fahrerzustandserkennungsverfahren
DE112018000443T5 (de) Fahrzeugsteuervorrichtung und Fahrzeugsteuerverfahren
DE102018120786A1 (de) Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs
DE112019001046T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiler körper
DE112019001620T5 (de) Fahrassistenzsystem, Fahrassistenzvorrichtung und Fahrassistenzverfahren
DE112016007376T5 (de) Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
DE102018105163A1 (de) System zum automatisierten Fahren
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
DE102018127605A1 (de) Informationsverarbeitungsvorrichtung, fahrerüberwachungssystem, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE112019001659T5 (de) Steuervorrichtung, steuerverfahren und programm
DE112017008079T5 (de) Anzeigesystem, anzeigeverfahren und programm
DE112018007967T5 (de) Fahrzeugsteuervorrichtung, automatisiertes fahrzeugfahrtentwicklungssystem, fahrzeugsteuerverfahren und programm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final