DE102018005490A1

DE102018005490A1 - Fahrerzustands-erkennungsapparat, fahrerzustands-erkennungssystem und fahrerzustands-erkennungsverfahren

Info

Publication number: DE102018005490A1
Application number: DE102018005490.0A
Authority: DE
Inventors: Tomohiro YABUUCHI; Tomoyoshi Aizawa; Tadashi Hyuga; Hatsumi AOI; Kazuyoshi OKAJI; Hiroshi Sugahara; Michie Uno; Koji Takizawa
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2017-08-10
Filing date: 2018-07-11
Publication date: 2019-02-14
Also published as: CN109383525A; US20190047588A1; JP6950346B2; JP2019034574A

Abstract

Es wird ein Fahrerzustands-Erkennungsapparat zur Verfügung gestellt, welcher genau eine Haltung eines Fahrers erkennen kann, um dem Fahrer zu ermöglichen, rasch eine Fahrbetätigung, insbesondere eine Betätigung eines Lenkrads selbst während eines autonomen Fahrens zu übernehmen. Ein Fahrerzustands-Erkennungsapparat 20, welcher einen Zustand eines Fahrers eines Fahrzeugs erkennt, welches mit einem autonomen Fahrsystem 1 versehen ist, beinhaltet eine Zustandserkennungsdaten-Erfassungseinheit 22a, welche Zustandserkennungsdaten eines Oberkörpers eines Fahrers erfasst, eine Schulterdetektionseinheit 22b, welche Schultern des Fahrers unter Verwendung der Zustandserkennungsdaten detektiert, welche durch die Zustandserkennungsdaten-Erfassungseinheit 22a erfasst wurden, und eine Bereitschafts-Bestimmungseinheit 22c, welche basierend auf Detektionsinformation von der Schulterdetektionseinheit 22b bestimmt, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs während eines autonomen Fahrens zu halten.

Description

BEZUGNAHME AUF ZUGEHÖRIGE ANMELDUNGEN
Diese Anmeldung beansprucht eine Priorität der Japanischen Patentanmeldung Nr. 2017-155259 , eingereicht am 10. August 2017, deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist.
GEBIET
Die vorliegende Erfindung bezieht sich auf einen Fahrerzustands-Erkennungsapparat, auf ein Fahrerzustands-Erkennungssystem und auf ein Fahrerzustands-Erkennungsverfahren, und genauer auf einen Fahrerzustands-Erkennungsapparat, auf ein Fahrerzustands-Erkennungssystem und auf ein Fahrerzustands-Erkennungsverfahren, welche einen Zustand eines Fahrers eines Fahrzeugs erkennen, welches autonom fahren kann.
HINTERGRUND
In jüngsten Jahren wurde eine Entwicklung von Technologien für ein autonomes Fahren für Fahrzeuge aktiv verfolgt. Es ist für einen Fahrer eines Fahrzeugs, in welchem ein autonomes Fahrsystem installiert ist, erforderlich, das autonome Fahrsystem bzw. System für ein autonomes Fahren selbst während eines autonomen Fahrens zu überwachen, so dass, wenn beispielsweise eine Abnormalität oder ein Fehler bzw. Versagen in dem autonomen Fahrsystem auftritt, das autonome Fahrsystem das Betriebslimit erreicht oder die autonome Fahrsteuerung bzw. Steuerung bzw. Regelung eines autonomen Fahrens endet, der Fahrer sanft den Fahrbetrieb bzw. die Fahrbetätigung übernehmen kann.
Beispielsweise ist in der folgenden JP 4333797 eine Technologie geoffenbart, um eine Schläfrigkeitsinformation, wie beispielsweise die Sichtlinie des Fahrers und der Grad einer Öffnung der Augenlider aus einem Bild des Fahrers zu detektieren, welches durch eine Kamera aufgenommen wird, welche in dem Fahrzeug installiert ist, einen aktuellen bzw. tatsächlichen Grad einer Konzentration unter Verwendung der Schläfrigkeitsinformation zu berechnen und die Fahrgeschwindigkeit, welche durch eine Regelung bzw. Steuerung eines automatischen Fahrens geregelt bzw. gesteuert wird, in einem Fall zu reduzieren, wo der tatsächliche Grad einer Konzentration geringer als ein erforderlicher Grad einer Konzentration ist, wie beispielswiese in einem Fall, wo die Konzentration des Fahrers aufgrund einer Schläfrigkeit abnimmt.
Wie dies oben beschrieben ist, kann, wenn der Fahrer aufgrund einer Schläfrigkeit während eines autonomen Fahrens döst bzw. schläfrig wird, der Fahrer nicht verantwortungsvoll das autonome Fahrsystem überwachen. Als Zustände, in welchen der Fahrer nicht verantwortlich bzw. verantwortungsvoll das autonome Fahrsystem überwachen kann, sind verschiedene Zustände verschieden von dem oben erwähnten dösenden bzw. schläfrigen Zustand denkbar. Andererseits ist es für ein Bestimmen, ob der Fahrer verantwortungsvoll das autonome Fahrsystem überwacht, auch wichtig zu erkennen, ob der Fahrer eine Stellung bzw. Haltung einnimmt oder nicht, in welcher er oder sie fähig ist, unmittelbar den Fahrvorgang bzw. die Fahrbetätigung selbst während eines autonomen Fahrens zu übernehmen. Jedoch gibt es in dem Überwachungsverfahren unter Verwendung der Schläfrigkeitsinformation des Fahrers, welches in JP 4333797 geoffenbart ist, ein Problem dahingehend, dass die Haltung bzw. Lage des Fahrers nicht geeignet bzw. entsprechend erkannt werden kann.
JP 4333797 ist ein Beispiel zum Stand der Technik.
ZUSAMMENFASSUNG
Die vorliegende Erfindung wurde im Hinblick auf die oben erwähnten Umstände bzw. Gegebenheiten gemacht und es ist ein Ziel bzw. Gegenstand davon, einen Fahrerzustands-Erkennungsapparat, ein Fahrerzustands-Erkennungssystem und ein Fahrerzustands-Erkennungsverfahren zur Verfügung zu stellen, welche genau eine Haltung bzw. Stellung eines Fahrers erkennen können, um zu ermöglichen, dass der Fahrer rasch eine Fahrbetätigung, insbesondere eine Betätigung eines Lenkrads selbst während eines autonomen Fahrens übernehmen kann.
Um den oben erwähnten Gegenstand zu erzielen, ist ein Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung ein Fahrerzustands-Erkennungsapparat für ein Erkennen eines Zustands eines Fahrers in einem Fahrzeug, welches mit einem autonomen Fahrsystem versehen ist, wobei der Fahrerzustands-Erkennungsapparat beinhaltet:

eine Zustandserkennungsdaten-Erfassungseinheit, welche konfiguriert ist, um Zustandserkennungsdaten eines Oberkörpers des Fahrers zu erfassen;
eine Schulterdetektionseinheit, welche konfiguriert ist, um eine Schulter des Fahrers unter Verwendung der Zustandserkennungsdaten zu detektieren, welche durch die Zustandserkennungsdaten-Erfassungseinheit erfasst bzw. erhalten wurden; und
eine Bereitschafts-Bestimmungseinheit, welche konfiguriert ist, um basierend auf Detektionsinformation von der Schulterdetektionseinheit zu bestimmen, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar ein Lenkrad des Fahrzeugs während eines autonomen Fahrens zu halten.

In dem Fall, wo der Fahrer dazu übergeht, das Lenkrad des Fahrzeugs in einer geeigneten Stellung bzw. Haltung zu halten, werden die Schultern des Fahrers und das Lenkrad im Wesentlichen zueinander gerichtet sein. Demgemäß ist es möglich zu bestimmen, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, indem der Zustand der Schultern des Fahrers erkannt wird.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat werden die Schultern des Fahrers aus den Zustandserkennungsdaten des Oberkörpers des Fahrers detektiert bzw. festgestellt, und es wird, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad während eines autonomen Fahrens zu halten, basierend auf der Detektionsinformation der Schultern bestimmt, wodurch ermöglicht wird, dass das Bearbeiten bis zu der und beinhaltend die obige Bestimmung effizient durchgeführt wird. Darüber hinaus kann genau erkannt werden, ob der Fahrer eine Haltung einnimmt, welche dem Fahrer ermöglicht, prompt bzw. rasch die Betätigung des Lenkrads selbst während eines autonomen Fahrens zu übernehmen, und es ist möglich, geeignet bzw. entsprechend eine Unterstützung derart zur Verfügung zu stellen, dass eine Übernahme eines manuellen Fahrens von einem autonomen Fahren, insbesondere eine Übernahme der Betätigung des Lenkrads rasch und sanft selbst in Fällen durchgeführt werden kann, wo ein Fehler bzw. Versagen in dem autonomen Fahrsystem während eines autonomen Fahrens auftritt.
Die Zustandserkennungsdaten, welche durch die Zustandserkennungsdaten-Erfassungseinheit erfasst bzw. erhalten werden, können Bilddaten des Fahrers sein, welche durch eine Kamera aufgenommen bzw. erfasst werden, welche in dem Fahrzeug vorgesehen ist, oder können Detektionsdaten des Fahrers sein, welche durch einen Sensor detektiert werden, welcher in dem Fahrzeug installiert ist. Durch ein Erfassen von Bilddaten von der Kamera oder von Detektionsdaten von dem Sensor als die Zustandserkennungsdaten ist es möglich, Zustände, wie beispielsweise die Position und Haltung bzw. Lage der Schultern des Fahrers aus den Zustandserkennungsdaten zu detektieren bzw. festzustellen.
Auch kann in dem Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung der Zustand fähig zu sein, unmittelbar das Lenkrad zu halten, basierend auf einer vorbestimmten normalen Fahrhaltung bestimmt werden.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat wird der Zustand fähig zu sein, unmittelbar das Lenkrad zu halten, basierend auf einer vorbestimmten normalen Fahrhaltung bestimmt, wodurch ermöglicht wird, dass die Last bzw. Belastung des Be- bzw. Verarbeitens einer Bestimmung, welches durch die Bereitschafts-Bestimmungseinheit durchgeführt wird, reduziert wird und eine genaue Bestimmung durchgeführt bzw. gemacht wird.
Zusätzlich kann in dem Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung die Bereitschafts-Bestimmungseinheit eine Abstands- bzw. Distanzbeurteilungseinheit beinhalten, welche konfiguriert ist, um einen Abstand zwischen der Schulter des Fahrers und dem Lenkrad des Fahrzeugs basierend auf der Detektionsinformation von der Schulterdetektionseinheit abzuschätzen bzw. zu beurteilen, und kann basierend auf dem Abstand, welcher durch die Abstandsbeurteilungseinheit beurteilt wird, bestimmen, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat wird der Abstand bzw. die Distanz zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs basierend auf der Detektionsinformation abgeschätzt bzw. beurteilt, welche von der Schulterdetektionseinheit zur Verfügung gestellt wird, und es wird basierend auf dem beurteilten bzw. abgeschätzten Abstand bestimmt, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten. Obwohl die Länge eines menschlichen Arms in Abhängigkeit von dem Geschlecht, der Größe und dgl. variiert, sind individuelle Unterschiede von dem Mittelwert nicht so groß. Demgemäß ist es durch ein Bestimmen, ob der Abstand zwischen den Schultern des Fahrers und dem Lenkrad innerhalb eines gegebenen Bereichs ist bzw. liegt, welcher individuelle Unterschiede in der Länge des menschlichen Arms und eine geeignete Haltung für ein Halten des Lenkrads berücksichtigt, beispielsweise möglich, präzise zu bestimmen, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten.
Auch können in dem Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung die Zustandserkennungsdaten Bilddaten des Oberkörpers des Fahrers beinhalten, welche durch eine Kamera aufgenommen werden, welche in dem Fahrzeug vorgesehen ist, und es kann die Abstandsbeurteilungseinheit die Beurteilung durch ein Berechnen des Abstands basierend auf einem Prinzip einer Triangulation durchführen, wobei Information verwendet wird, welche eine Position der Schulter des Fahrers in dem Bild, welches durch die Schulterdetektionseinheit detektiert wird, und eine Spezifikation und eine Position und Orientierung der Kamera beinhaltet.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat kann der Abstand zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs genau durch eine Berechnung basierend auf dem Prinzip einer Triangulation abgeschätzt bzw. beurteilt werden, wodurch ermöglicht wird, dass die Bestimmungsgenauigkeit durch die Bereitschafts-Bestimmungseinheit erhöht wird.
Auch kann in dem Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung in einem Fall, wo ein Ursprung bzw. Ausgangspunkt, welcher auf dem Lenkrad des Fahrzeugs vorgesehen ist, an einem Scheitel eines rechten Winkels eines rechtwinkeligen Dreiecks ist bzw. liegt, dessen Hypotenuse ein Liniensegment ist, welches die Kamera und die Schulter des Fahrers verbindet, die Spezifikation der Kamera Information betreffend einen Blickwinkel α und eine Pixelanzahl Width in einer Breitenrichtung der Kamera beinhaltet, die Position und Orientierung der Kamera Information betreffend einen Festlegungswinkel θ der Kamera und einen Abstand D1 von der Kamera zu dem Ursprung beinhaltet, und die Position der Schulter des Fahrers in dem Bild als X gegeben ist, die Abstandsbeurteilungseinheit einen Winkel φ, welcher durch ein Liniensegment, welches den Ursprung und die Schulter des Fahrers verbindet, und das Liniensegment gebildet ist, welches die Kamera und die Schulter des Fahrers verbindet, mit einer Gleichung 1 berechnen: φ=<de-rn>θ</de-rn>+α/2-α×X/Width, und kann die Beurteilung durchführen, indem ein Abstand D zwischen der Schulter des Fahrers und dem Lenkrad des Fahrzeugs mit einer Gleichung 2 berechnet wird: D=D1/tanφ.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat kann der Abstand zwischen der Schulter des Fahrers und dem Lenkrad des Fahrzeugs genau durch ein einfaches Bearbeiten einer Berechnung bzw. Berechnungsverarbeiten abgeschätzt bzw. beurteilt werden, und es kann die Belastung bzw. Last betreffend das Bearbeiten einer Bestimmung durch die Bereitschafts-Bestimmungseinheit reduziert werden.
Zusätzlich kann in dem Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung die Bereitschafts-Bestimmungseinheit eine Position der Schulter des Fahrers basierend auf der Detektionsinformation von der Schulterdetektionseinheit beurteilen und kann basierend auf der beurteilten Position der Schulter des Fahrers bestimmen, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten.
Gemäß dem oben erwähnten Fahrerzustands-Erkennungsapparat wird die Position der Schultern des Fahrers unter Verwendung der Detektionsinformation von der Schulterdetektionseinheit beurteilt, und es wird basierend auf der beurteilten Position der Schultern des Fahrers bestimmt, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten. In dem Fall, wo der Fahrer dazu übergeht bzw. sich anschickt, das Lenkrad des Fahrzeugs in einer geeigneten Stellung bzw. Haltung zu halten, wird sich der Fahrer in dem Zustand befinden, in welchem der Fahrer im Wesentlichen zu dem Lenkrad gerichtet ist. Somit sind in dem Zustand fähig zu sein, unmittelbar das Lenkrad zu halten, individuelle Unterschiede in der Position der Schultern des Fahrers nicht so groß. Daher ist es durch ein Beurteilen der Position der Schultern des Fahrers und ein Bestimmen, ob die beurteilte Position der Schultern eine vorbestimmte Bedingung erfüllt, indem beispielsweise bestimmt wird, ob die Schultern des Fahrers innerhalb einer gewissen Region in einem Bereich bzw. einer Region detektiert wurden, welche(r) durch die Zustandserkennungsdaten erkannt wurden, möglich, präzise zu bestimmen, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten.
Auch kann der Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung weiters eine Verständigungs-Bearbeitungseinheit beinhalten, welche konfiguriert ist, um ein Verarbeiten einer Verständigung bzw. Benachrichtigung für ein Auffordern des Fahrers durchzuführen, eine Haltung bzw. Lage zu korrigieren, wenn die Bereitschafts-Bestimmungseinheit bestimmt, dass sich der Fahrer nicht in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat wird, wenn bestimmt wird, dass sich der Fahrer nicht in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten, ein Be- bzw. Verarbeiten einer Verständigung für ein Veranlassen bzw. Auffordern des Fahrers durchgeführt, seine oder ihre Haltung bzw. Stellung zu korrigieren. Auf diese Weise ist es möglich, rasch den Fahrer zu veranlassen, seine oder ihre Haltung derart zu korrigieren, dass der Fahrer eine Haltung beibehält, welche dem Fahrer ermöglicht, unmittelbar das Lenkrad selbst während eines autonomen Fahrens zu halten.
Auch kann der Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung weiters eine Informations-Erfassungseinheit beinhalten, welche konfiguriert ist, um Information, welche während eines autonomen Fahrens entsteht, von dem autonomen Fahrsystem zu erfassen bzw. zu erhalten, und es kann die die Verständigung bearbeitende Einheit bzw. Verständigungs-Bearbeitungseinheit das Bearbeiten der Verständigung für ein Auffordern des Fahrers, die Haltung zu korrigieren, gemäß der Information durchführen, welche während eines autonomen Fahrens auftritt bzw. entsteht, welche durch die Informationserfassungseinheit erfasst wird.
Gemäß dem oben erwähnten Fahrerzustands-Erkennungsapparat wird das Bearbeiten einer Verständigung bzw. Verständigungsbearbeiten für ein Veranlassen bzw. Auffordern des Fahrers, seine oder ihre Haltung zu korrigieren, gemäß der Information durchgeführt, welche während eines autonomen Fahrens auftritt bzw. entsteht, welche durch die Informationserfassungseinheit erfasst bzw. erhalten wird. Auf diese Weise ist es nicht erforderlich, in nicht notwendiger Weise verschiedene Verständigungen für den Fahrer gemäß der Situation des autonomen Fahrsystems durchzuführen, wodurch ermöglicht wird, dass Leistung und ein Bearbeiten, welches für eine Verständigung erforderlich ist, reduziert werden.
Zusätzlich kann in dem Fahrerzustands-Erkennungsapparat gemäß der vorliegenden Erfindung die Information, welche während eines autonomen Fahrens auftritt, wenigstens eine einer überwachenden Information von Umgebungen des Fahrzeugs und einer Übernahme-Aufforderungsinformation beinhalten, ein manuelles Fahren von einem autonomen Fahren zu übernehmen.
Gemäß dem obigen Fahrerzustands-Erkennungsapparat kann, wenn die überwachende bzw. Überwachungsinformation der Umgebungen des Fahrzeugs in der Information enthalten ist, welche während eines autonomen Fahrens auftritt bzw. entsteht, eine Verständigung für ein Auffordern des Fahrers, seine oder ihre Haltung zu korrigieren, gemäß der Überwachungsinformation der Umgebungen des Fahrzeugs durchgeführt werden. Auch kann, wenn die Übernahme-Aufforderungsinformation für ein Übernehmen eines manuellen Fahrens von einem autonomen Fahren in der Information enthalten ist, welche während eines autonomen Fahrens entsteht, eine Verständigung für ein Auffordern bzw. Veranlassen des Fahrers, seine oder ihre Haltung zu korrigieren, gemäß der Übernahme-Aufforderungsinformation für ein Übernehmen eines manuellen Fahrens von einem autonomen Fahren durchgeführt werden.
Ein Fahrerzustands-Erkennungssystem gemäß der vorliegenden Erfindung kann irgendeinen(s) der obigen Fahrerzustands-Erkennungsapparate bzw. -geräte und eine Zustandserkennungseinheit beinhalten, welche konfiguriert bzw. aufgebaut ist, um die Zustandserkennungsdaten an den Fahrerzustands-Erkennungsapparat auszugeben.
Gemäß dem obigen Fahrerzustands-Erkennungssystem ist bzw. wird das System durch den Fahrerzustands-Erkennungsapparat und eine Zustandserkennungseinheit konfiguriert bzw. aufgebaut, welche konfiguriert ist, um die Zustandserkennungsdaten an den Fahrerzustands-Erkennungsapparat auszugeben. In dieser Konfiguration ist es möglich, ein System zu konstruieren, welches fähig ist, geeignet bzw. entsprechend zu erkennen, ob der Fahrer eine Haltung bzw. Stellung einnimmt, in welcher der Fahrer rasch die Betätigung des Lenkrads selbst während eines autonomen Fahrens übernehmen kann, und fähig ist, geeignet bzw. entsprechend eine Unterstützung derart zur Verfügung zu stellen, dass eine Übernahme eines manuellen Fahrens von einem autonomen Fahren rasch und sanft selbst in Fällen durchgeführt werden kann, wo ein Fehler bzw. Versagen in dem autonomen Fahrsystem während eines autonomen Fahrens auftritt. Es ist festzuhalten bzw. anzumerken, dass die Zustandserkennungseinheit eine Kamera, welche Bilddaten des Fahrers erfasst bzw. erhält, welche durch die Zustandserkennungsdaten-Erfassungseinheit erfasst werden, ein Sensor, welcher Detektionsdaten des Fahrers detektiert, welche durch die Zustandserkennungsdaten-Erfassungseinheit erfasst bzw. erhalten werden, oder eine Kombination davon sein kann.
Auch ist ein Fahrerzustands-Erkennungsverfahren gemäß der vorliegenden Erfindung ein Fahrerzustands-Erkennungsverfahren für ein Erkennen eines Zustands eines Fahrers eines Fahrzeugs, welches mit einem autonomen Fahrsystem versehen ist, wobei das Fahrerzustands-Erkennungsverfahren beinhaltet:

einen Schritt eines Erfassens von Zustandserkennungsdaten eines Oberkörpers des Fahrers von einer Zustandserkennungseinheit, welche konfiguriert wird, um einen Zustand des Fahrers zu erkennen;
einen Schritt eines Speicherns der erfassten bzw. erhaltenen Zustandserkennungsdaten in einer Zustandserkennungsdaten-Speichereinheit;
einen Schritt eines Auslesens der Zustandserkennungsdaten aus der Zustandserkennungsdaten-Speichereinheit;
einen Schritt eines Detektierens einer Schulter des Fahrers unter Verwendung der gelesenen Zustandserkennungsdaten; und
einen Schritt eines Bestimmens, basierend auf Detektionsinformation der detektierten Schulter des Fahrers, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar ein Lenkrad des Fahrzeugs während eines autonomen Fahrens zu halten.

Gemäß dem oben erwähnten Fahrerzustands-Erkennungsverfahren werden die Schultern des Fahrers aus den Zustandserkennungsdaten des Oberkörpers des Fahrers detektiert bzw. festgestellt, und es wird basierend auf der Detektionsinformation der Schultern bestimmt, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad während eines autonomen Fahrens zu halten, wodurch ermöglicht wird, dass das Bearbeiten bis zu der und beinhaltend die obige Bestimmung effizient durchgeführt wird. Darüber hinaus kann genau erkannt werden, ob der Fahrer eine Haltung einnimmt, welche dem Fahrer ermöglicht, rasch die Betätigung des Lenkrads selbst während eines autonomen Fahrens zu übernehmen, und es ist auch möglich, geeignet bzw. entsprechend eine Unterstützung derart zur Verfügung zu stellen, dass eine Übernahme eines manuellen Fahrens von einem autonomen Fahren, insbesondere eine Übernahme der Betätigung des Lenkrads rasch und sanft selbst in Fällen durchgeführt werden kann, wo ein Fehler in dem autonomen Fahrsystem während eines autonomen Fahrens auftritt.
Figurenliste

1 ist ein Blockdiagramm, welches ein Beispiel einer Konfiguration eines relevanten Abschnitts eines autonomen Fahrsystems zeigt, welches einen Fahrerzustands-Erkennungsapparat gemäß einer Ausführungsform 1 der vorliegenden Erfindung beinhaltet.
2 ist eine Seitenansicht, welche eine Region einer Nähe eines Fahrersitzes eines Fahrzeugs zeigt, in welchem ein Fahrerzustands-Erkennungssystem gemäß der Ausführungsform 1 installiert ist.
3 ist ein Blockdiagramm, welches ein Beispiel einer Hardware-Konfiguration des Fahrerzustands-Erkennungsapparats gemäß der Ausführungsform 1 zeigt.
4A und 4B sind Diagramme, welche ein Beispiel eines Abstandsbeurteilungs-Bearbeitungsverfahrens zeigen, welches durch eine Regel- bzw. Steuereinheit in dem Fahrerzustands-Erkennungsapparat gemäß der Ausführungsform 1 durchgeführt wird.
4A ist eine Draufsicht auf das Innere des Fahrzeugs.
4B ist ein Diagramm, welches ein Beispiel von aufgenommenen Bilddaten zeigt.
5 ist ein Flussdiagramm, welches einen Be- bzw. Verarbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit in dem Fahrerzustands-Erkennungsapparat gemäß der Ausführungsform 1 durchgeführt wird.
6 ist ein Blockdiagramm, welches ein Beispiel einer Hardware-Konfiguration eines Fahrerzustands-Erkennungsapparats gemäß einer Ausführungsform 2 zeigt.
7 ist ein Diagramm, welches ein Beispiel von Schulterposition-Bestimmungsregionsdaten illustriert, welche in einer Speichereinheit des Fahrerzustands-Erkennungsapparats gemäß der Ausführungsform 2 gespeichert sind.
8 ist ein Flussdiagramm, welches einen Bearbeitungsvorgang zeigt, welcher durch eine Regel- bzw. Steuereinheit in dem Fahrerzustands-Erkennungsapparat gemäß der Ausführungsform 2 durchgeführt wird.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsformen eines Fahrerzustands-Erkennungsapparats, eines Fahrerzustands-Erkennungssystems und eines Fahrerzustands-Erkennungsverfahrens gemäß der vorliegenden Erfindung basierend auf den Zeichnungen beschrieben werden. Es ist festzuhalten bzw. anzumerken, dass die folgenden Ausführungsformen bevorzugte spezifische Beispiele der vorliegenden Erfindung sind und verschiedene technische Beschränkungen angewandt werden, wobei jedoch der Rahmen bzw. Geltungsbereich der vorliegenden Erfindung nicht auf diese Ausführungsformen beschränkt bzw. begrenzt ist, außer es ist dies besonders in der nachfolgenden Beschreibung angegeben.
1 ist ein Blockdiagramm, welches ein Beispiel einer Konfiguration eines relevanten Abschnitts eines autonomen Fahrsystems 1 zeigt, welches einen Fahrerzustands-Erkennungsapparat 20 gemäß einer Ausführungsform 1 enthält.
Das autonome Fahrsystem bzw. System für ein autonomes Fahren ist konfiguriert bzw. aufgebaut, um einen Fahrerzustands-Erkennungsapparat 20, eine Zustands-Erkennungseinheit 30, ein Navigationsgerät 40, einen Regel- bzw. Steuerapparat 50 für ein autonomes Fahren, einen Umgebungs-Überwachungssensor 60, eine Audio-Ausgabeeinheit 61 und eine Anzeigeeinheit 62 zu beinhalten, und diese Einheiten sind über eine Busleitung 70 verbunden.
Das autonome Fahrsystem 1 beinhaltet einen autonomen Fahrmodus bzw. Modus eines autonomen Fahrens, in welchem das System, als der Agent, autonom wenigstens ein Teil einer Fahrregelung bzw. -steuerung, beinhaltend eine Beschleunigung, ein Lenken und Bremsen eines Fahrzeugs durchführt, und einen manuellen Fahrmodus bzw. Modus eines manuellen Fahrens, in welchem ein Fahrer Fahrvorgänge bzw. -betätigungen durchführt, und das System ist derart konfiguriert, dass zwischen diesen Moden bzw. Arten umgeschaltet werden kann.
In dem autonomen Fahrmodus wird in der vorliegenden Erfindung ein Modus betrachtet bzw. ins Auge gefasst, in welchem das autonome Fahrsystem 1 autonom alles einer Beschleunigung, eines Lenkens und Bremsens durchführt und der Fahrer Anforderungen handhabt bzw. diese meistert, wenn sie von dem autonomen Fahrsystem 1 erhalten werden (Automatisierungsniveau gleich einem sogenannten Level bzw. Niveau 3 oder größer), wobei jedoch die Anwendung der vorliegenden Erfindung nicht auf dieses Automatisierungsniveau beschränkt bzw. begrenzt ist. Auch beinhalten Zeiten, zu welchen das autonome Fahrsystem 1 eine Übernahme eines manuellen Fahrens während eines autonomen Fahrens anfordert, beispielsweise eine Zeit des Auftretens einer Systemabnormalität oder eines Systemfehlers, eine Zeit eines funktionellen Limits des Systems und eine Zeit des Endes einer autonomen Fahrzone.
Der Fahrerzustands-Erkennungsapparat 20 ist ein Apparat bzw. Gerät für ein Erkennen eines Zustands eines Fahrers eines Fahrzeugs, welches das autonome Fahrsystem 1 beinhaltet, und ist ein Apparat für ein Bereitstellen einer Unterstützung durch ein Erkennen des Zustands der Schultern des Fahrers und ein Bestimmen, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar das Lenkrad selbst während des autonomen Fahrmodus zu halten, so dass der Fahrer unmittelbar das manuelle Fahren übernehmen kann, insbesondere die Betätigung des Lenkrads übernehmen kann, wenn eine Übernahmeanforderung bzw. -aufforderung für ein Übernehmen eines manuellen Fahrens von dem autonomen Fahrsystem 1 erzeugt bzw. generiert wird.
Der Fahrerzustands-Erkennungsapparat 20 ist konfiguriert bzw. aufgebaut, um ein externes Interface (externes I/F) 21, eine Regel- bzw. Steuereinheit 22 und eine Speichereinheit 26 zu beinhalten. Die Regel- bzw. Steuereinheit 22 ist konfiguriert, um eine zentrale Be- bzw. Verarbeitungseinheit (CPU) 23, einen Direktzugriffsspeicher (RAM) 24 und einen Nur-Lesespeicher (ROM) 25 zu beinhalten.
Die Speichereinheit 26 ist konfiguriert, um einen Speicherapparat zu beinhalten, welcher Daten mit einer Halbleitervorrichtung speichert, wie beispielsweise einen Flash-Speicher, eine Festplatte, ein Solid-State-Laufwerk oder einen anderen nicht-flüchtigen Speicher oder flüchtigen Speicher. Die Speichereinheit 26 speichert ein Programm 27, welches durch den Fahrerzustands-Erkennungsapparat 20 und dgl. auszuführen ist. Es ist festzuhalten bzw. anzumerken, dass ein Teil oder alles des Programms 27 in dem ROM 25 der Regel- bzw. Speichereinheit 22 oder dgl. gespeichert werden kann.
Die Zustands-Erkennungseinheit 30 für ein Erkennen des Zustands des Fahrers ist konfiguriert, um eine Kamera 31 zu beinhalten, welche den Fahrer aufnimmt, welcher in einem Fahrersitz sitzt. Die Kamera 31 ist konfiguriert, um eine Linseneinheit, eine Bildsensoreinheit, eine Lichtbestrahlungseinheit, eine Eingabe/Ausgabe-Einheit und eine Regel- bzw. Steuereinheit für ein Regeln bzw. Steuern dieser Einheiten zu beinhalten, welche nicht gezeigt sind. Die Bildsensoreinheit ist konfiguriert, um einen Bildsensor, wie beispielsweise einen CCD oder CMOS Sensor, Filter und Mikrolinsen zu beinhalten. Die Lichtbestrahlungseinheit beinhaltet ein lichtemittierendes Element, wie beispielsweise eine LED, und kann eine Infrarot LED oder dgl. sein, um fähig zu sein, Bilder des Zustands des Fahrers sowohl bei Tag als auch bei Nacht aufzunehmen bzw. zu erfassen. Die Regel- bzw. Steuereinheit ist konfiguriert, um beispielsweise eine CPU, ein RAM und ein ROM zu enthalten, und kann konfiguriert sein, eine Bildbearbeitungsschaltung zu beinhalten. Die Regel- bzw. Steuereinheit regelt bzw. steuert die Bildsensoreinheit und die Lichtbestrahlungseinheit, um Licht (z.B. Licht im nahen Infrarot, etc.) von der Lichtbestrahlungseinheit abzustrahlen, und führt eine Regelung bzw. Steuerung für ein Aufnehmen bzw. Erfassen eines Bilds von reflektiertem Licht des bestrahlten bzw. abgestrahlten Lichts unter Verwendung der Bildsensoreinheit durch.
2 ist eine Seitenansicht, welche eine Nähe bzw. Nachbarschaft des Fahrersitzes eines Fahrzeugs 2 zeigt, in welchem das Fahrerzustands-Erkennungssystem 10 gemäß der Ausführungsform 1 installiert ist.
Eine Festlegungsposition der Kamera 31 ist nicht besonders beschränkt bzw. begrenzt, solange sie eine Position ist, bei welcher der Oberkörper (wenigstens der Abschnitt des Gesichts und der Schultern) eines Fahrers 4, welcher in einem Fahrersitz 3 sitzt, aufgenommen werden kann. Beispielsweise kann die Festlegungsposition ein Säulenabschnitt eines Lenkrads 5 sein, wie dies in 2 gezeigt ist. Alternativ kann, als eine andere Anordnungs- bzw. Festlegungsposition, die Kamera 31 beispielsweise in einem inneren Abschnitt A eines Lenkrads, in einem Instrumentenbrettabschnitt B, auf einem Armaturenbrett C, an einer Position nahe einem Rückspiegel D, auf einem A Säulen-Abschnitt oder in dem Navigationsgerät 40 installiert sein.
Die Anzahl von Kameras 31 kann eins sein, oder kann auch zwei oder mehr sein. Die Kamera 31 kann getrennt von dem Fahrerzustands-Erkennungsapparat 20 konfiguriert sein (d.h. als ein getrennter Körper konfiguriert sein), oder kann integral bzw. einstückig mit dem Fahrerzustands-Erkennungsapparat 20 konfiguriert bzw. aufgebaut sein (d.h. als ein integrierter Körper konfiguriert sein). Die Art einer Kamera 31 ist nicht besonders beschränkt, und die Kamera 31 kann beispielsweise eine monokulare Kamera, eine monokulare 3D Kamera oder eine Stereokamera sein.
Auch kann als die Zustands-Erkennungseinheit 30 ein Sensor 32, wie beispielsweise ein Flugzeit (Time of Flight, TOF) Sensor oder ein Kinect (registrierte Marke) Sensor unter Verwendung eines TOF Verfahrens mit der oder anstelle der Kamera 31 verwendet werden. Diese unterschiedlichen Typen bzw. Arten von Kameras und Sensoren können in Kombination verwendet werden. Bilddaten, welche durch die Kamera 31 aufgenommen bzw. erfasst werden, und Detektionsdaten, welche durch den Sensor 32 detektiert werden, werden zu dem Fahrerzustands-Erkennungsapparat 20 gesandt. Das Fahrerzustands-Erkennungssystem 10 ist konfiguriert, um den Fahrerzustands-Erkennungsapparat 20 und die Kamera 31 und/oder den Sensor 32 zu beinhalten, welche(r) als die Zustands-Erkennungseinheit 30 dient.
Die monokulare 3D Kamera beinhaltet einen Distanzmessungs-Bildchip als einen Bildsensor und ist konfiguriert, um fähig zu sein, beispielsweise das Vorhandensein/die Abwesenheit, die Größe, die Position und die Haltung bzw. Stellung bzw. Lage eines zu überwachenden Gegenstands zu erkennen.
Auch ist der TOF Sensor oder der Kinect (registrierte Marke) Sensor konfiguriert, um beispielsweise einen lichtemittierenden Abschnitt, welcher einen optischen Puls emittiert bzw. aussendet, einen Lichtdetektionsabschnitt, welcher reflektiertes Licht von dem Zielgegenstand bzw. -objekt des optischen Pulses detektiert, eine Distanzmesseinheit, welche eine Distanzmessung bis zu dem Zielgegenstand durch ein Messen einer Phasendifferenz des reflektierten Lichts durchführt, und eine Distanzbild-Erzeugungseinheit zu beinhalten (welche alle nicht gezeigt sind). Eine LED im nahen Infrarot oder dgl. kann als der lichtemittierende Abschnitt verwendet bzw. eingesetzt werden, und ein CMOS Bildsensor oder dgl. für ein Aufnehmen eines Distanzbilds kann als der Lichtdetektionsabschnitt eingesetzt werden. Wenn der TOF Sensor oder der Kinect (registrierte Marke) Sensor verwendet bzw. eingesetzt wird, ist es möglich, den zu überwachenden Fahrer zu detektieren und die Distanz bzw. den Abstand zu dem Fahrer zu messen.
Der Navigationsapparat bzw. das Navigationsgerät 40, welcher(s) in 1 gezeigt ist, ist ein Gerät, um den Fahrer mit Information, wie beispielsweise eine gegenwärtige Position des Fahrzeugs und eine Fahrtroute von der gegenwärtigen Position zu einem Bestimmungsort bzw. einem Ziel zu versorgen, und ist konfiguriert, um eine Regel- bzw. Steuereinheit, eine Anzeigeeinheit, eine Audio-Ausgabeeinheit, eine Betätigungseinheit, eine Kartendaten-Speichereinheit und dgl. (nicht gezeigt) zu beinhalten. Auch ist das Navigationsgerät 40 konfiguriert, um fähig zu sein, ein Signal von einem GPS Empfänger, einem Gyro-Sensor, einem Fahrzeuggeschwindigkeitssensor und dgl. (nicht gezeigt) zu erhalten.
Basierend auf der Fahrzeugpositionsinformation, welche durch den GPS Empfänger gemessen wird, und der Karteninformation der Kartendaten-Speichereinheit leitet das Navigationsgerät 40 Information ab, wie beispielsweise die Straße oder Fahrspur, auf welcher das eigene Fahrzeug fährt, und zeigt die gegenwärtige Position auf der Anzeigeeinheit an. Zusätzlich berechnet das Navigationsgerät 40 eine Route von der gegenwärtigen Position des Fahrzeugs zu dem Ziel und dgl., zeigt die Routeninformation und dgl. auf der Anzeigeeinheit an und führt eine Audioausgabe eines Routenführers und dgl. von der Audio-Ausgabeeinheit durch.
Auch werden einige Arten an Information, wie beispielswiese eine Fahrzeugpositions-Information, Information betreffend die Straße, auf welcher das Fahrzeug fährt, und Information betreffend eine geplante Fahrtroute, welche durch das Navigationsgerät 40 berechnet werden, an den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ausgegeben. Die Information betreffend die geplante Fahrtroute kann Information betreffend ein Umschalten einer Regelung bzw. Steuerung zwischen einem autonomen Fahren und einem manuellen Fahren, wie beispielsweise Information betreffend Start- und Endpunkte von Zonen eines autonomen Fahrens und Information von Zonen für ein Übernehmen eines manuellen Fahrens von einem autonomen Fahren beinhalten.
Der Regel- bzw. Steuerapparat 50 für autonomes Fahren ist ein Apparat für ein Ausführen von verschiedenen Arten einer Regelung bzw. Steuerung, welche sich auf ein autonomes Fahren des Fahrzeugs bezieht, und ist konfiguriert bzw. aufgebaut durch eine elektronische Regel- bzw. Steuereinheit, welche eine Regel- bzw. Steuereinheit, eine Speichereinheit, eine Eingabe/Ausgabe-Einheit und dgl. (nicht gezeigt) beinhaltet. Der Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ist auch mit einem Lenk-Regel- bzw. -Steuerapparat, einem Versorgungsquellen-Regel- bzw. -Steuerapparat, einem Brems-Regel- bzw. -Steuerapparat, einem Lenksensor, einem Gaspedalsensor, einem Bremspedalsensor und dgl. (nicht gezeigt) verbunden. Diese Regel- bzw. Steuerapparate und Sensoren können in der Konfiguration des autonomen Fahrsystems 1 enthalten sein.
Basierend auf Information, welche von jeder Einheit erhalten wird, welche in dem autonomen Fahrsystem 1 enthalten ist, gibt der Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ein Regel- bzw. Steuersignal für ein Durchführen eines autonomen Fahrens an jeden der Regel- bzw. Steuerapparate aus, führt eine Regelung bzw. Steuerung eines autonomen Fahrens des Fahrzeugs (autonome Lenkregelung bzw. -steuerung, autonome Geschwindigkeitseinstellungsregelung bzw. -steuerung, automatische Bremsregelung bzw. -steuerung und dgl.) durch, und führt auch eine Umschaltregelung bzw. -steuerung für ein Umschalten zwischen einem autonomen Fahrmodus und einem manuellen Fahrmodus durch.
Ein „autonomes Fahren“ bezieht sich darauf, dem Fahrzeug zu erlauben, autonom entlang einer Straße unter einer Regelung bzw. Steuerung zu fahren, welche durch den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren durchgeführt wird, ohne dass der Fahrer in dem Fahrersitz einen Fahrvorgang bzw. eine Fahrbetätigung durchführt. Beispielsweise ist ein Fahrzustand, in welchem dem Fahrzeug erlaubt wird, autonom in Übereinstimmung mit einer vorbestimmten Route zu dem Ziel und einer Fahrtroute zu fahren, welche automatisch basierend auf Umständen außerhalb des Fahrzeugs und einer Karteninformation erzeugt wurde, als ein autonomes Fahren enthalten. Dann kann, wenn eine vorbestimmte Aufhebungsbedingung eines autonomen Fahrens erfüllt wurde, der Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ein autonomes Fahren beenden (aufheben). Beispielsweise kann in dem Fall, wo der Regel- bzw. Steuerapparat 50 für ein autonomes Fahren bestimmt, dass das Fahrzeug, welches autonom fährt, an einem vorbestimmten Endpunkt eines autonomen Fahrens angekommen ist, der Regel- bzw. Steuerapparat 50 für ein autonomes Fahren eine Regelung bzw. Steuerung für ein Beenden eines autonomen Fahrens durchführen. Auch kann, wenn der Fahrer einen Aufhebungsvorgang für ein autonomes Fahren durchführt (beispielsweise eine Betätigung eines Aufhebungsknopfs für ein autonomes Fahren, oder eine Betätigung des Lenkrads, eine Beschleunigung oder ein Bremsen oder dgl., welche(s) durch den Fahrer durchgeführt wird), der Regel- bzw. Steuerapparat 50 für ein autonomes Fahren eine Regelung bzw. Steuerung für ein Beenden eines autonomen Fahrens durchführen. Ein „manuelles Fahren“ bezieht sich auf ein Fahren, in welchem der Fahrer das Fahrzeug als der Agent bzw. Betreiber fährt, welcher den Fahrvorgang bzw. die Fahrbetätigung durchführt.
Der die Umgebung überwachende Sensor bzw. Umgebungs-Überwachungssensor 60 ist ein Sensor, welcher Zielobjekte bzw. -gegenstände detektiert, welche um das Fahrzeug existieren. Die Zielgegenstände können Straßenmarkierungen (wie beispielsweise eine weiße Linie), einen Sicherheitszaun, eine Autobahn-Mitteltrennung oder andere Strukturen beinhalten, welche ein Fahren des Fahrzeugs und dgl. beeinflussen, zusätzlich zu sich bewegenden Objekten bzw. Gegenständen, wie beispielsweise Fahrzeugen, Fahrrädern und Menschen. Der die Umgebung überwachende Sensor 60 beinhaltet wenigstens eine einen vorderen Bereich überwachende Kamera, eine einen rückwärtigen Bereich überwachende Kamera, ein Radar, LIDER (d.h. Light Detection and Ranging oder Laser Imaging Detection and Ranging) und einen Ultraschallsensor. Detektionsdaten des Zielgegenstands, welche durch den die Umgebung überwachenden Sensor 60 detektiert werden, werden an den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren und dgl. ausgegeben. Als die den vorderen Bereich überwachende Kamera und die den rückwärtigen Bereich überwachende Kamera kann eine Stereokamera, eine monokulare Kamera oder dgl. verwendet bzw. eingesetzt werden. Das Radar überträgt Radiowellen, wie beispielsweise Millimeterwellen an die Umgebungen des Fahrzeugs und detektiert beispielsweise Positionen, Richtungen und Abstände der Zielgegenstände durch ein Empfangen von Radio- bzw. Funkwellen, welche durch die Zielgegenstände reflektiert werden, welche in den Umgebungen des Fahrzeugs existieren. LIDER involviert ein Übertragen von Laserlicht an die Umgebungen des Fahrzeugs und ein Detektieren von beispielsweise Positionen, Richtungen und Abständen der Zielgegenstände durch ein Empfangen von Licht, welches durch die Zielgegenstände reflektiert wird, welche in den Umgebungen des Fahrzeugs existieren.
Die Audio-Ausgabeeinheit 61 ist ein Apparat, welcher verschiedene Arten von Verständigungen bzw. Benachrichtigungen basierend auf Instruktionen bzw. Anweisungen, welche von dem Fahrerzustands-Erkennungsapparat 20 zur Verfügung gestellt werden, mit Ton und Stimme ausgibt, und ist konfiguriert bzw. aufgebaut, um einen Lautsprecher und dgl. zu beinhalten.
Die Anzeigeeinheit 62 ist ein Apparat, welcher verschiedene Arten einer Verständigung und Führung basierend auf einer Anweisung, welche von dem Fahrerzustands-Erkennungsapparat 20 zur Verfügung gestellt wird, mit Zeichen bzw. Buchstaben und Graphiken oder durch ein Beleuchten und Blitzen bzw. Blinken einer Lampe oder dgl. anzeigt, und ist konfiguriert, um verschiedene Arten von Anzeigen und Anzeigelampen zu beinhalten.
3 ist ein Blockdiagramm, welches ein Beispiel einer Hardware-Konfiguration des Fahrerzustands-Erkennungsapparats 20 gemäß der Ausführungsform 1 zeigt.
Der Fahrerzustands-Erkennungsapparat 20 ist konfiguriert, um das externe Interface (externe I/F) 21, die Regel- bzw. Steuereinheit 22 und die Speichereinheit 26 zu beinhalten. Das externe I/F 21 ist, zusätzlich zu der Kamera 31, mit jeder Einheit des autonomen Fahrsystems 1, wie beispielsweise dem Regel- bzw. Steuerapparat 50 für autonomes Fahren, dem die Umgebungen überwachenden bzw. Umgebungs-Überwachungssensor 60, der Audio-Ausgabeeinheit 61, der Anzeigeeinheit 62 verbunden, und ist bzw. wird durch eine Interface-Schaltung und einen verbindenden Verbinder für ein Übertragen und ein Empfangen eines Signals zu und von jeder dieser Einheiten aufgebaut.
Die Regel- bzw. Steuereinheit 22 ist konfiguriert, um eine Zustandserkennungsdaten-Erfassungseinheit 22a, eine Schulter-Detektionseinheit 22b und eine Bereitschafts-Bestimmungseinheit 22c zu beinhalten, und kann konfiguriert sein, um weiters eine Verständigungs-Bearbeitungseinheit 22f zu beinhalten. Die Speichereinheit 26 ist konfiguriert, um eine Zustandserkennungsdaten-Speichereinheit 26a, eine Schulterdetektionsverfahrens-Speichereinheit 26b, eine Distanzabschätzungsverfahrens-Speichereinheit 26c und eine Bestimmungsverfahrens-Speichereinheit 26d zu beinhalten.
Die Zustandserkennungsdaten-Speichereinheit 26a speichert Bilddaten der Kamera 31, welche durch die Zustandserkennungsdaten-Erfassungseinheit 22a erfasst bzw. erhalten werden. Auch kann die Zustandserkennungsdaten-Speichereinheit 26a konfiguriert sein, um die Detektionsdaten des Sensors 32 zu speichern.
Die Schulterdetektionsverfahrens-Speichereinheit 26b speichert beispielsweise ein Schulterdetektionsprogramm, welches durch die Schulterdetektionseinheit 22b der Regel- bzw. Steuereinheit 22 ausgeführt wird, und Daten, welche für ein Ausführen des Programms notwendig sind.
Die Distanzabschätzungsverfahrens-Speichereinheit 26c speichert beispielsweise ein Distanzabschätzungs- bzw. -beurteilungsprogramm, welches durch die Distanzabschätzungs- bzw. -beurteilungseinheit 22d der Regel- bzw. Steuereinheit 22 durchgeführt wird, für ein Berechnen und Beurteilen bzw. Abschätzen des Abstands zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs und Daten, welche für ein Ausführen des Programms notwendig sind.
Die Bestimmungsverfahrens-Speichereinheit 26d speichert beispielsweise ein Bestimmungsprogramm, welches durch die Bestimmungseinheit 22e der Regel- bzw. Steuereinheit 22 ausgeführt wird, für ein Bestimmen, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, und Daten, welche für ein Ausführen des Programms notwendig sind. Beispielsweise kann die Bestimmungsverfahrens-Speichereinheit 26d Bereichsdaten der abgeschätzten Abstände speichern für ein Bestimmen, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, unter Bezugnahme auf bzw. relativ zu Distanzen bzw. Abständen, welche durch die Abstandsbeurteilungseinheit 22d beurteilt wurden. Auch kann der Zustand, in welchem der Fahrer unmittelbar das Lenkrad halten kann, basierend auf einer vorbestimmten normalen Fahrhaltung bzw. -stellung bestimmt werden, und diese Arten bzw. Typen von vorbestimmter Information können in der Bestimmungsverfahrens-Speichereinheit 26d gespeichert sein bzw. werden. Es ist anzumerken bzw. festzuhalten, dass die normale Fahrhaltung beispielsweise eine Haltung bzw. Lage beinhaltet, in welcher der Fahrer das Lenkrad mit beiden Händen hält.
Die Regel- bzw. Steuereinheit 22 ist ein Apparat, welcher Funktionen der Zustandserkennungsdaten-Erfassungseinheit 22a, der Schulterdetektionseinheit 22b, der Bereitschafts-Bestimmungseinheit 22c, der Abstandsbeurteilungseinheit 22d, der Bestimmungseinheit 22e und der Benachrichtigungs- bzw. Verständigungs-Bearbeitungseinheit 22f durch ein Durchführen gemeinsam mit der Speichereinheit 26 eines Be- bzw. Verarbeitens für ein Speichern von verschiedenen Daten in der Speichereinheit 26 und durch ein Auslesen von verschiedenen Arten von Daten und Programmen, welche in der Speichereinheit 26 gespeichert sind, und durch ein Bewirken bzw. Veranlassen der CPU 23 realisiert, diese Programme auszuführen.
Die Zustandserkennungsdaten-Erfassungseinheit 22a, welche die Regel- bzw. Steuereinheit 22 darstellt bzw. ausbildet, führt ein Be- bzw. Verarbeiten für ein Erfassen bzw. Erhalten eines Bilds durch, welches durch die Kamera 31 aufgenommen wird, und führt ein Bearbeiten für ein Speichern des erhaltenen bzw. erfassten Bilds in der Zustandserkennungsdaten-Speichereinheit 26a durch. Das Bild des Fahrers kann ein ruhendes Bild sein, oder kann ein bewegtes oder sich bewegendes Bild sein. Beispielsweise können die Bilder des Fahrers bei bzw. in einem vorbestimmten Intervall nach einer Aktivierung des Fahrerzustands-Erkennungsapparats 20 erfasst werden. Auch kann die Zustandserkennungsdaten-Erfassungseinheit 22a konfiguriert sein, die Detektionsdaten des Sensors 32 zu erhalten und die Detektionsdaten in der Zustandserkennungsdaten-Speichereinheit 26a zu speichern.
Die Schulterdetektionseinheit 22b liest die Bilddaten von der Zustandserkennungsdaten-Speichereinheit 26a aus, führt ein vorbestimmtes Bildbearbeiten an den Bilddaten basierend auf dem Programm durch, welches aus der Schulterdetektionsverfahrens-Speichereinheit 26b ausgelesen wurde, und führt ein Bearbeiten für ein Detektieren der Schultern des Fahrers in dem Bild durch.
In dem Be- bzw. Verarbeiten, welches durch die Schulterdetektionseinheit 22b durchgeführt wird, können verschiedene Arten eines Bildbearbeitens für ein Detektieren der Schultern des Fahrers durch ein Be- bzw. Verarbeiten der Bilddaten verwendet bzw. eingesetzt werden. Beispielsweise kann ein Muster-Übereinstimmungsverfahren verwendet werden, welches ein vorhergehendes Speichern von Musterbildern des Fahrers, welcher in dem Fahrersitz sitzt, ein Vergleichen und Zusammenstellen dieser Muster- bzw. Schablonenbilder und des Bilds, welches durch die Kamera 31 erfasst wird, und ein Detektieren der Position der Schultern des Fahrers durch ein Extrahieren bzw. Entnehmen des Fahrers aus dem erfassten Bild involviert. Auch kann ein Hintergrunddifferenzverfahren verwendet werden, welches ein vorhergehendes Speichern eines Hintergrundbilds, in welchem der Fahrer nicht in dem Fahrersitz sitzt, und ein Detektieren der Position der Schultern des Fahrers durch ein Extrahieren des Fahrers aus dem Unterschied bzw. der Differenz zwischen diesem Hintergrundbild und dem Bild involviert, welches durch die Kamera 31 erfasst bzw. aufgenommen wird. Darüber hinaus kann ein semantisches Segmentierungsverfahren verwendet werden, welches ein vorhergehendes Speichern eines Modells eines Bilds des Fahrers, welcher in dem Fahrersitz sitzt, welches durch ein Maschinenlernen durch eine lernende Maschine erhalten wird, ein Markieren der Signifikanz bzw. Bedeutung von jedem Pixel bzw. Bildpunkt in dem Bild, welches durch die Kamera 31 erfasst wird, unter Verwendung des gelernten Modells und ein Detektieren der Schulterpositionen des Fahrers durch ein Erkennen einer Region des Fahrers involviert. Wenn eine monokulare 3D Kamera für die Kamera 31 verwendet wird, kann die Position der Schultern des Fahrers detektiert werden, indem erfasste Information, wie beispielsweise eine detektierte Position von jedem Teil oder einer Haltung des Fahrers verwendet wird, welche durch die monokulare 3D Kamera detektiert wird.
Die Bereitschafts-Bestimmungseinheit 22c beinhaltet die Abstandsbeurteilungseinheit 22d und die Bestimmungseinheit 22e.
Nachfolgend auf das Bearbeiten durch die Schulterdetektionseinheit 22b führt die Abstandsbeurteilungseinheit 22d ein Bearbeiten für ein Abschätzen bzw. Beurteilen des Abstands zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs basierend auf der Detektionsinformation der Schulterdetektionseinheit 22b durch.
Für ein Be- bzw. Verarbeiten der Abstandsbeurteilung, welche durch die Abstandsbeurteilungseinheit 22d durchgeführt wird, kann ein Bearbeiten für ein Beurteilen bzw. Abschätzen des Abstands zwischen dem Lenkrad und den Schultern des Fahrers durch eine Berechnung, welche basierend auf dem Prinzip einer Triangulation durchgeführt wird, verwendet werden, indem Information betreffend die Positionen der Schultern des Fahrers in dem Bild, welche durch die Schulterdetektionseinheit 22b detektiert werden, Information, wie beispielsweise eine Spezifizierung und die Festlegungsposition und Orientierung und dgl. der Kamera 31, Information betreffend den Abstand zwischen der Kamera 31 und dem Lenkrad und dgl. verwendet werden. Durch ein Verwenden des TOF Sensors oder des Kinect (registrierte Marke) Sensors für den bzw. als der Sensor 32 kann ein Bearbeiten für ein Beurteilen der Abstände zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs unter Verwendung von Abstands- bzw. Distanzmessungsdaten oder dgl. durchgeführt werden, welche von dem Sensor 32 erhalten werden.
4A und 4B sind Diagramme, welche ein Beispiel eines Verfahrens für ein Beurteilen des Abstands zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs zeigen, welches durch die Abstandsbeurteilungseinheit 22d durchgeführt wird. 4A ist eine Draufsicht auf das Innere des Fahrzeugs. 4B ist ein Diagramm, welches ein Beispiel von Bilddaten zeigt, welche durch die Kamera erfasst werden.
4A zeigt einen Zustand, in welchem der Fahrer 4 in dem Fahrersitz 3 sitzt. Das Lenkrad 5 ist vor dem Fahrersitz 3 installiert. Die Position des Fahrersitzes 3 kann in der Vorwärts-Rückwärts-Richtung eingestellt werden. Die Kamera 31 ist in dem Säulenabschnitt des Lenkrads 5 installiert und kann den Oberkörper des Fahrers 4, beinhaltend das Gesicht (den Abschnitt von dem Brustkorb aufwärts) erfassen bzw. aufnehmen. Es ist anzumerken, dass die Festlegungsposition und Orientierung der Kamera 31 nicht auf diese Konfiguration beschränkt sind.
In dem in 4A gezeigten Beispiel wird, gesehen von der Seite des Fahrersitzes 3 aus, eine rechte Kante des Lenkrads als ein Ursprung OR gegeben, wird eine linke Kante des Lenkrads 5 als ein Ursprung OL gegeben, wird ein Liniensegment, welches den Ursprung OR und den Ursprung OL verbindet, als L1 gegeben, wird ein Liniensegment, welches durch den Ursprung OR hindurchtritt und orthogonal auf das Liniensegment L1 ist, als L2 gegeben, wird ein Liniensegment, welches durch den Ursprung OL hindurchtritt und orthogonal auf das Liniensegment L1 ist, als L3 gegeben, wird ein Festlegungswinkel <de-rn>θ</de-rn> der Kamera 31 unter Bezugnahme auf das Liniensegment Li als 0° in diesem Fall eingestellt bzw. festgelegt, und werden Abstände zwischen einem Zentrum I der Bilderfassungsoberfläche der Kamera 31 und jedem der Ursprünge OR und OL als D1 gegeben (äquidistant).
Es wird angenommen, dass sich eine rechte Schulter SR des Fahrers 4 auf dem Liniensegment L2 befindet und sich eine linke Schulter SL des Fahrers 4 auf dem Liniensegment L3 befindet. Der Ursprung OR ist der Scheitel des rechten Winkels eines rechtwinkeligen Dreiecks, dessen Hypotenuse ein Liniensegment L4 ist, welches die Kamera 31 und die rechte Schulter SR des Fahrers 4 verbindet. Auf dieselbe Weise ist der Ursprung OL der Scheitel des rechten Winkels eines rechtwinkeligen Dreiecks, dessen Hypotenuse ein Liniensegment L5 ist, welches die Kamera 31 und die linke Schulter SL des Fahrers 4 verbindet.
Auch ist der Blickwinkel der Kamera 31 durch α gezeigt und es ist die Pixelanzahl in einer Breitenrichtung eines Bilds 31 durch Width gezeigt bzw. angegeben. In dem Bild 31a ist die Position der rechten Schulter (Pixelanzahl in der Breitenrichtung) eines Fahrers 4a durch XR gezeigt, und es ist die Position der linken Schulter (Pixelanzahl in der Breitenrichtung) des Fahrers 4a durch XL gezeigt.
Die Schulterdetektionseinheit 22b detektiert die Schulterpositionen XR und XL des Fahrers 4a in dem Bild 31a, welches durch die Kamera 31 erfasst wird. Wenn die Schulterpositionen XR und XL des Fahrers 4a in dem Bild 31a unter Verwendung von bekannter Information detektiert werden können, d.h. unter Verwendung von Information, welche sich auf die Spezifikation der Kamera 31 (Blickwinkel α, Pixelanzahl Width in der Breitenrichtung) und die Position und Orientierung der Kamera 31 (den Winkel <de-rn>θ</de-rn> relativ zu dem Liniensegment L1 und die Abstände D1 von den Ursprüngen OR und OL) bezieht, wird ein Winkel φ_R (ein Winkel, welcher durch das Liniensegment L4 und das Liniensegment L2 gebildet wird) mit einer Gleichung 1 erhalten, welche unten gezeigt ist, und es wird ein Winkel φ_L (ein Winkel, welcher durch das Liniensegment L5 und das Liniensegment L3 gebildet wird) mit einer Gleichung 2 erhalten, welche unten gezeigt ist. Es ist festzuhalten, dass in einem Fall, wo eine Linsenverzerrung oder dgl. der Kamera 31 strikt bzw. genau berücksichtigt wird, eine Kalibrierung unter Verwendung von internen Parametern durchgeführt werden kann. $\begin{matrix} φ_{R} = 90 ° - ((90 ° - θ) - α / 2 + α \times XR/Width) \\ = θ + α / 2 - α \times XR/Width \end{matrix}$
$\begin{matrix} φ_{L} = 90 ° - ((90 ° - θ) - α / 2 + α \times XL/Width) \\ = θ + α / 2 - α \times XL/Width \end{matrix}$
Es ist festzuhalten, dass der Winkel <de-rn>θ</de-rn> relativ zu dem Liniensegment L1 der Kamera 31, welcher in 4A gezeigt ist, 0° ist.
Wenn der Winkel φ_R erhalten werden kann, ist ein Dreieck, welches durch ein Verbinden des Ursprungs OR, des Mittelpunkts bzw. Zentrums I der Bilderfassungsoberfläche, der Position der rechten Schulter SR gebildet wird, ein Dreieck, dessen Scheitel des rechten Winkels der Ursprung OR ist, und derart ist es durch ein Verwenden des Abstands D1 von dem Ursprung OR zu dem Mittelpunkt I der Bilderfassungsoberfläche und des Winkels φ_R, welche bekannt sind, möglich, einen Abstand D_R von der rechten Schulter SR des Fahrers 4 zu dem Ursprung OR (dem Lenkrad 5) durch eine Gleichung 3 abzuschätzen bzw. zu beurteilen, welche unten gezeigt ist.
Auf dieselbe Weise ist, wenn der Winkel φ_L erhalten werden kann, ein Dreieck, welches durch ein Verwenden des Ursprungs OL, des Zentrums I der Bilderfassungsoberfläche, der Position SL der linken Schulter gebildet ist bzw. wird, ein Dreieck, dessen Scheitel des rechten Winkel der Ursprung OL ist, und derart ist es durch ein Verwenden des Abstands D1 von dem Ursprung OL zu dem Zentrum I der Bilderfassungsoberfläche und des Winkels φ_L, welche bekannt sind, möglich, einen Abstand D_L von der linken Schulter SL des Fahrers 4 zu dem Ursprung OL (dem Lenkrad 5) durch eine Gleichung 4 abzuschätzen bzw. zu beurteilen, welche unten gezeigt ist. $D_{R} = D1/tan φ_{R}$
(wobei φ_R=<de-rn>θ</de-rn>+α/2-α×XR/Width)
(unter der Annahme, dass: <de-rn>θ</de-rn>+α/2>α×XR/Width) $D_{L} = D1/tan φ_{L}$
(wobei φ_L=<de-rn>θ</de-rn>+α/2-α×XL/Width)
(unter der Annahme, dass: <de-rn>θ</de-rn>+α/2>α×XL/Width)
Nachfolgend auf das Bearbeiten in der Abstandsbeurteilungseinheit 22d führt die Bestimmungseinheit 22e ein Bearbeiten für ein Bestimmen durch, ob die Abstände, welche durch die Abstandsbeurteilungseinheit 22d (beispielsweise die Abstände D_R und D_L , welche in 4 beschrieben sind) abgeschätzt bzw. beurteilt wurden, innerhalb eines vorbestimmten Bereichs sind bzw. liegen. Der vorbestimmte Bereich ist bzw. wird unter Berücksichtigung des Abstands eingestellt bzw. festgelegt, bei welchem der Fahrer unmittelbar das Lenkrad halten kann. Auch kann der Abstand, bei welchem der Fahrer unmittelbar das Lenkrad halten kann, basierend auf der vorbestimmten normalen Fahrhaltung festgelegt werden.
Wenn durch die Bereitschafts-Bestimmungseinheit 22c bestimmt wird, dass sich der Fahrer nicht in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, führt die Verständigungs-Bearbeitungseinheit 22f ein Be- bzw. Verarbeiten für eine Verständigung durch, um den Fahrer zu veranlassen bzw. aufzufordern, seine oder ihre Lage bzw. Haltung zu korrigieren. Beispielsweise führt die eine Verständigung bzw. Benachrichtigung bearbeitende Einheit bzw. Verständigungs-Bearbeitungseinheit 22f ein Bearbeiten durch, um die Audioausgabeeinheit 61 und die Anzeigeeinheit 62 zu veranlassen, ein Bearbeiten einer Audioausgabe und ein Bearbeiten einer Anzeigenausgabe durchzuführen, um den Fahrer zu veranlassen, eine Haltung einzunehmen, in welcher der Fahrer unmittelbar das Lenkrad halten kann. Auch kann die Verständigungs-Bearbeitungseinheit 22f ein Signal, welches verständigt, eher ein autonomes Fahren fortzusetzen, anstelle ein autonomes Fahren aufzuheben, an den Regel -bzw. Steuerapparat 50 für ein autonomes Fahren ausgeben.
5 ist ein Flussdiagramm, welches einen Bearbeitungsvorgang zeigt, welcher durch die Regel- bzw. Steuereinheit 22 in dem Fahrerzustands-Erkennungsapparat 20 gemäß der Ausführungsform 1 durchgeführt wird. Hier wird eine Beschreibung unter der Annahme gegeben, dass das autonome Fahrsystem 1 auf den autonomen Fahrmodus eingestellt ist, d.h., dass sich das Fahrzeug in einem Zustand eines Fahrens unter einer Regelung bzw. Steuerung für ein autonomes Fahren befindet. Die Bearbeitungsvorgänge werden wiederholt während der Periode durchgeführt, in welcher der autonome Fahrmodus festgelegt bzw. eingestellt ist.
Zuerst wird in einem Schritt S1 ein Bearbeiten eines Erhaltens von Bilddaten des Fahrers durchgeführt, welche durch die Kamera 31 erfasst bzw. aufgenommen werden. Bilddaten können von der Kamera 31 jeweils mit einem Rahmen bzw. Bild zu einer Zeit erhalten werden, oder es können mehrere Rahmen bzw. Bilder oder Rahmen über eine gewisse Zeitperiode gemeinsam erhalten werden. In dem folgenden Schritt S2 wird ein Be- bzw. Verarbeiten für ein Speichern der erhaltenen Bilddaten in der Zustandserkennungsdaten-Speichereinheit 26a durchgeführt, und dann gelangt bzw. bewegt sich das Bearbeiten zu einem Schritt S3.
In dem Schritt S3 werden die Bilddaten, welche in der Zustandserkennungsdaten-Speichereinheit 26a gespeichert sind bzw. werden, ausgelesen, und dann bewegt sich das Bearbeiten zu einem Schritt S4. Die Bilddaten können jeweils einzeln bzw. als ein Rahmen zu einer Zeit von der Zustandserkennungsdaten-Speichereinheit 26 erhalten werden, oder es können mehrere Rahmen oder Rahmen über eine gewisse Zeitperiode gemeinsam erhalten werden. In dem Schritt S4 wird ein Bearbeiten für ein Detektieren der Schultern des Fahrers aus den gemeinsamen Bilddaten, beispielsweise ein Bearbeiten für ein Detektieren der Position der Schultern oder der Schulterregion des Fahrers in dem Bild durchgeführt, und dann bewegt sich das Bearbeiten zu einem Schritt S5.
In dem Bearbeiten für ein Detektieren der Schultern des Fahrers aus den Bilddaten, welches in dem Schritt S4 durchgeführt wird, kann irgendeines des Muster-Abstimmungsverfahrens, des Hintergrund-Differenzverfahrens oder des Verfahrens einer semantischen Segmentation, welche oben erwähnt wurden, verwendet werden. Oder es wird in dem Fall, wo eine monokulare 3D Kamera in der Kamera 31 enthalten ist, Information, wie beispielsweise die detektierte Position von jedem Teil oder eine Haltung des Fahrers, welche durch die monokulare 3D Kamera detektiert wird, erhalten, und dann kann die Position der Schultern des Fahrers unter Verwendung der erhaltenen Information detektiert werden.
Wenn das Muster-Abstimmungsverfahren verwendet wird, wird zuerst ein Muster- bzw. Schablonenbild, welches in der Schulterdetektionsverfahrens-Speichereinheit 26b gespeichert ist, d.h. ein oder mehrere Musterbild(er), welche(s) die Schulterabschnitte des Fahrers beinhaltet (beinhalten), ausgelesen. Als nächstes unterliegt das Bild, welches aus der Zustandserkennungsdaten-Speichereinheit 26a ausgelesen wurde, einem Bearbeiten für ein Berechnen des Grads einer Ähnlichkeit des Bilds von Abschnitten bzw. Bereichen, welche mit dem Musterbild überlappen, und für ein Detektieren einer Fläche bzw. eines Bereichs, wo der Grad einer Ähnlichkeit des berechneten Bilds einer bestimmten Ähnlichkeitsbedingung genügt, während das Musterbild bewegt wird. Dann wird, wenn eine Fläche, welche die gewisse bzw. bestimmte Ähnlichkeitsbedingung bzw. Bedingung einer bestimmten Ähnlichkeit erfüllt, detektiert wird, bestimmt, dass sich die Schultern in dieser Region befinden, und es wird das Detektionsresultat ausgegeben.
Auch wird, wenn das Hintergrund-Differenzverfahren verwendet wird, zuerst das Hintergrundbild, welches in der Schulterdetektionsverfahrens-Speichereinheit 26b gespeichert ist, d.h. das Bild, in welchem der Fahrer nicht in dem Fahrersitz sitzt, ausgelesen. Als nächstes wird eine Differenz in Pixel- bzw. Bildpunktwerten (Hintergrunddifferenz) für jedes Pixel zwischen dem Bild, welches aus der Zustandserkennungsdaten-Speichereinheit 26a ausgelesen wurde, und dem Hintergrundbild berechnet. Dann wird aus dem Resultat der Hintergrund-Differenzberechnung ein Bearbeiten für ein Extrahieren des Fahrers durchgeführt. Beispielsweise wird der Fahrer durch ein Binarisieren des Bilds unter Verwendung eines Schwellwert-Bearbeitens extrahiert, wird darüber hinaus die Position der Schultern aus einer charakteristisch geformten Region (beispielsweise einem Ω-förmigen Abschnitt oder einem sanft S-förmigen Abschnitt) von dem Kopf des Fahrers zu den Schultern und Armen detektiert, und wird das Detektionsresultat ausgegeben.
Wenn das Verfahren einer semantischen Segmentation verwendet wird, wird zuerst ein gelerntes Modell für eine Schulterdetektion, welches in der Schulterdetektionsverfahrens-Speichereinheit 26b gespeichert ist, ausgelesen. Für bzw. als das gelernte Modell kann ein Modell, welches durch ein Maschinenlernen erhalten wird, indem beispielsweise eine große Anzahl von Bildern verwendet wird, in welchen der Oberkörper des Fahrers, welcher in dem Fahrersitz sitzt (beispielsweise ein Datensatz, in welchem mehrere Klassen des Fahrersitzes, des Lenkrads, eines Sicherheitsgurts und des Torsos, Kopfs und der Arme des Fahrers markiert sind) erfasst wird, verwendet bzw. eingesetzt werden. Als nächstes wird das Bild, welches aus der Zustandserkennungsdaten-Speichereinheit 26a ausgelesen wurde, dem gelernten Modell eingegeben. Danach wird ein Merkmalsausmaß bzw. eine Merkmalsgröße aus dem Bild extrahiert und es wird ein Markieren bzw. Kennzeichnen durchgeführt, um den Gegenstand oder Abschnitt zu identifizieren, zu welchem jedes Pixel in diesem Bild gehört. Dann wird die Region des Fahrers segmentiert (unterteilt), um den Fahrer zu extrahieren, und es wird darüber hinaus die Position der Schultern des Fahrers (beispielsweise die Grenze zwischen dem Torso bzw. Rumpf und den Armen) basierend auf dem Resultat eines Kennzeichnens jedes Abschnitts des Fahrers detektiert, und es wird das Detektionsresultat ausgegeben.
In dem Schritt S5 wird bestimmt, ob die Schultern des Fahrers detektiert wurden. In diesem Fall kann bestimmt werden, ob die Schultern des Fahrers kontinuierlich für eine gewisse Zeitperiode detektiert wurden. In dem Schritt S5 bewegt sich in einem Fall, wo bestimmt wird, dass die Schultern des Fahrers nicht detektiert wurden, das Bearbeiten zu einem Schritt S8. Der Fall, wo die Schultern des Fahrers nicht detektiert wurden, beinhaltet Fälle, wo beispielsweise die Schultern des Fahrers nicht erfasst wurden, da sich der Fahrer nicht in dem Fahrersitz befand oder der Fahrer eine ungeeignete Stellung bzw. Haltung angenommen hat, oder Fälle, wo der Zustand, in welchem der Fahrer nicht detektiert wurde, für eine bestimmte Zeitperiode aufgrund eines gewissen Hindernisses zwischen dem Fahrer und der Kamera bestanden hat.
Andererseits bewegt sich in dem Schritt S5 in einem Fall, wo bestimmt wurde, dass die Schultern des Fahrers detektiert wurden, das Bearbeiten zu einem Schritt S6. In dem Schritt S6 wird ein Bearbeiten für ein Abschätzen bzw. Beurteilen des Abstands zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs durchgeführt, und dann bewegt sich das Bearbeiten zu einem Schritt S7.
In dem Abstandsbeurteilungs-Bearbeiten in dem Schritt S6 kann beispielsweise das Bearbeitungsverfahren verwendet werden, welches in 4 beschrieben ist, d.h. das Bearbeiten für ein Abschätzen bzw. Beurteilen durch ein Berechnen des Abstands von dem Lenkrad zu den Schultern des Fahrers, wie beispielsweise des Abstands von der rechten Kante des Lenkrads zu der rechten Schulter des Fahrers und des Abstands von der linken Kante des Lenkrads zu der linken Schulter des Fahrers basierend auf dem Prinzip einer Triangulation durchgeführt wird, indem die Positionsinformation von Schultern des Fahrers in dem Bild, welches in dem Schritt S5 detektiert wurde, die Spezifikation und die Festlegungsposition und Orientierungsinformation der Kamera 31, die Information des Abstands zwischen der Position der Kamera 31 und jedem Abschnitt des Lenkrads und dgl. verwendet werden. Auch können, wenn der oben erwähnte TOF Sensor oder Kinect (registrierte Marke) Sensor für den Sensor 32 verwendet wird, die Daten des Abstands zu dem Fahrer, welche durch den Sensor 32 detektiert werden, erhalten werden, und es kann der Abstand zwischen den Schultern des Fahrers und dem Lenkrad des Fahrzeugs durch ein Verwenden der Abstands- bzw. Distanzdaten abgeschätzt bzw. beurteilt werden.
In dem Schritt S7 wird bestimmt, ob sich der Abstand, welcher in dem Schritt S6 abgeschätzt wurde, in dem vorbestimmten Bereich befindet. Der vorbestimmte Bereich kann auf einen durchschnittlichen Bereich, wie beispielsweise einen Bereich von etwa 40 cm bis 70 cm eingestellt bzw. festgelegt werden, in welchem der Fahrer unmittelbar das Lenkrad halten kann, wobei das Geschlecht, ein Unterschied in einem Körpertyp, eine normale Fahrhaltung und dgl. des Fahrers berücksichtigt werden, wobei er jedoch nicht auf diesen Bereich beschränkt bzw. begrenzt ist.
Auch kann als der vorbestimmte Bereich ein Abstandsbereich, welcher vorab in dem Fahrerzustands-Erkennungsapparat 20 durch den Fahrer registriert wurde, verwendet werden. Auch wird eine Sitzoberflächenposition des Fahrersitzes zu der Zeit des manuellen Fahrmodus detektiert, und es kann ein Abstandsbereich, welcher basierend auf der Sitzoberflächenposition festgelegt wurde, verwendet werden. Zusätzlich kann ein Distanzbereich, welcher basierend auf dem Abstand zwischen den Schultern des Fahrers und dem Lenkrad festgelegt wurde, welcher unter Verwendung des Bilds, welches durch die Kamera 31 erfasst wurde, zu der Zeit des manuellen Fahrmodus berechnet wurde, verwendet werden.
In dem Schritt S7 endet, wenn bestimmt wird, dass der abgeschätzte Abstand innerhalb des vorbestimmten Bereichs liegt, d.h. wenn bestimmt wird, dass sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, danach das Bearbeiten. Es ist festzuhalten bzw. anzumerken, dass in einer anderen Ausführungsform ein Verständigungsbearbeiten für ein Verständigen des Fahrers, dass der Fahrer eine geeignete Haltung bzw. Stellung einnimmt, durchgeführt werden kann, indem beispielsweise eine Benachrichtigungs- bzw. Verständigungslampe für eine geeignete Haltung in der Anzeigeeinheit 62 zur Verfügung gestellt wird und eine Verständigungslampe für eine geeignete Haltung eingeschaltet wird, oder indem ein Signal für ein Verständigen des Fahrers, dass der Fahrer eine geeignete Haltung einnimmt, d.h., dass der Fahrer eine geeignete Haltung für ein Fortsetzen eines autonomen Fahrens einnimmt, an den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ausgegeben wird.
Andererseits bewegt sich in dem Schritt S7, wenn bestimmt wird, dass der beurteilte Abstand nicht innerhalb des vorbestimmten Bereichs ist bzw. liegt, das Bearbeiten zu dem Schritt S8. Der Fall, wo der beurteilte Abstand nicht innerhalb des vorbestimmten Bereichs liegt, ist ein Fall, wo der Abstand zwischen dem Lenkrad und den Schultern zu nahe oder zu entfernt ist, d.h. ein Fall, wo sich der Fahrer in einem Zustand befindet, in welchem der Fahrer nicht unmittelbar das Lenkrad in einer geeigneten Haltung halten kann. Eine geeignete Haltung ist beispielsweise eine Haltung, in welcher der Fahrer das Lenkrad mit beiden Händen halten kann.
In dem Schritt S8 wird ein Verständigungsbearbeiten durchgeführt, um den Fahrer aufzufordern bzw. zu veranlassen, seine oder ihre Haltung zu korrigieren. Als ein Verständigungsbearbeiten kann ein Bearbeiten eines Ausgebens eines vorbestimmten Audiosignals von der Audio-Ausgabeeinheit 61 durchgeführt werden, oder es kann ein Bearbeiten eines Anzeigens einer vorbestimmten Anzeige auf der Anzeigeeinheit 62 durchgeführt werden. Das Verständigungsbearbeiten ist ein Bearbeiten, um den Fahrer zu erinnern, eine Haltung einzunehmen, welche dem Fahrer ermöglicht, unmittelbar das Lenkrad zu ergreifen, wenn ein Fehler bzw. Versagen oder dgl. in dem autonomen Fahrsystem 1 auftritt. Auch kann in dem Schritt 8 ein Signal für ein Verständigen, ein autonomes Fahren weiterzuführen bzw. fortzusetzen anstelle ein autonomes Fahren aufzuheben, an den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ausgegeben werden.
Das Fahrerzustands-Erkennungssystem 10 gemäß der oben erwähnten Ausführungsform 1 ist konfiguriert, um den Fahrerzustands-Erkennungsapparat 20 und die Kamera 31 und/oder den Sensor 32 der Zustandserkennungseinheit 30 zu beinhalten. Auch werden gemäß dem Fahrerzustands-Erkennungsapparat 20 die Schultern des Fahrers durch die Schulterdetektionseinheit 22b aus den Bilddaten detektiert, welche durch die Kamera 31 erfasst werden, es wird der Abstand zwischen den Schultern und dem Lenkrad des Fahrzeugs durch die Abstandsbeurteilungseinheit 22d basierend auf der Detektionsinformation abgeschätzt bzw. beurteilt, es wird durch die Bestimmungseinheit 22e bestimmt, ob der abgeschätzte Abstand innerhalb des vorbestimmten Bereichs ist bzw. liegt, in welchem der Fahrer unmittelbar das Lenkrad des Fahrzeugs halten kann, und es kann derart das Bearbeiten bis zu der bzw. für die Bestimmung effizient bzw. wirksam durchgeführt werden.
Darüber hinaus kann genau erkannt werden, ob der Fahrer eine Haltung einnimmt, in welcher der Fahrer fähig ist, prompt bzw. rasch die Betätigung des Lenkrads selbst während eines autonomen Fahrens zu übernehmen, und es ist auch möglich, geeignet eine Unterstützung derart zur Verfügung zu stellen, dass eine Übernahme eines manuellen Fahrens von einem autonomen Fahren, insbesondere eine Übernahme der Betätigung des Lenkrads rasch und sanft bzw. glatt durchgeführt werden kann, selbst wenn ein Fehler bzw. Versagen oder dgl. in dem autonomen Fahrsystem 1 während eines autonomen Fahrens auftritt.
Zusätzlich wird gemäß dem Fahrerzustands-Erkennungsapparat 20, wenn durch die Bereitschafts-Bestimmungseinheit 22c bestimmt wird, dass sich der Fahrer nicht in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten, ein Verständigungsbearbeiten, um den Fahrer aufzufordern, seine oder ihre Haltung bzw. Lage zu korrigieren, durch die Verständigungs-Bearbeitungseinheit 22f durchgeführt. Auf diese Weise ist es möglich, rasch den Fahrer zu veranlassen bzw. aufzufordern, seine oder ihre Lage derart zu korrigieren, dass der Fahrer eine Lage bzw. Haltung beibehält, welche dem Fahrer ermöglicht, unmittelbar das Lenkrad selbst während eines autonomen Fahrens zu halten.
6 ist ein Blockdiagramm, welches ein Beispiel einer Hardware-Konfiguration eines Fahrerzustands-Erkennungsapparats 20A gemäß einer Ausführungsform 2 zeigt. Es ist festzuhalten, dass aufbauenden bzw. Bauteil-Komponenten, welche dieselben Funktionen wie diejenigen des Fahrerzustands-Erkennungsapparats 20 aufweisen, welcher in 3 gezeigt ist, dieselben Bezugszeichen zugeordnet sind bzw. werden und Beschreibungen davon hier weggelassen werden.
Die Konfiguration, in welcher sich ein Fahrerzustands-Erkennungsapparat 20A gemäß der Ausführungsform 2 von dem Fahrerzustands-Erkennungsapparat 20 gemäß der Ausführungsform 1 unterscheidet, ist ein Bearbeiten, welches durch eine Bereitschafts-Bestimmungseinheit 22g einer Regel- bzw. Steuereinheit 22A ausgeführt wird, und ein Bearbeiten, welches durch eine Verständigungs-Bearbeitungseinheit 22j ausgeführt wird.
Die Regel- bzw. Steuereinheit 22A ist konfiguriert, um die Zustandserkennungsdaten-Erfassungseinheit 22a, die Schulter-Detektionseinheit 22b, die Bereitschafts-Bestimmungseinheit 22g, eine Informations-Erfassungseinheit 22i und die Verständigungs-Bearbeitungseinheit 22j zu beinhalten. Eine Speichereinheit 26A ist konfiguriert, um die Zustandserkennungsdaten-Speichereinheit 26a, die Schulterdetektionsverfahrens-Speichereinheit 26b und eine Bestimmungsverfahrens-Speichereinheit 26e zu beinhalten.
Die Zustandserkennungsdaten-Speichereinheit 26a speichert Bilddaten der Kamera 31, welche durch die Zustandserkennungsdaten-Erfassungseinheit 22a erhalten werden. Die Schulterdetektionsverfahrens-Speichereinheit 26b speichert beispielsweise ein Schulterdetektionsprogramm, welches durch die Schulterdetektionseinheit 22b der Regel- bzw. Steuereinheit 22A ausgeführt wird, und Daten, welche für ein Ausführen des Programms notwendig sind.
Die Bestimmungsverfahrens-Speichereinheit 26e speichert beispielsweise ein Bestimmungsprogramm, welches durch eine Schulterpositions-Bestimmungseinheit 22h der Regel- bzw. Steuereinheit 22A ausgeführt wird, für ein Bestimmen, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, und Daten, welche für ein Ausführen des Programms notwendig sind. Beispielsweise werden Schulterpositions-Bestimmungsregionsdaten für ein Bestimmen, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, und dgl. gespeichert.
7 ist ein Blockdiagramm, welches ein Beispiel der Schulterpositions-Bestimmungsregionsdaten illustriert, welche in der Bestimmungsverfahrens-Speichereinheit 26e gespeichert sind.
In dem Fall, wo der Fahrer sich anschickt, das Lenkrad des Fahrzeugs mit einer geeigneten Haltung zu halten, wird der Fahrer im Wesentlichen zu dem Lenkrad gerichtet sein. Somit werden in dem Zustand fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten, die Schultern des Fahrers 4a in dem Bild 31a in einer gewissen Region in dem Bild positioniert sein. Die gewisse Region in dem Bild wird als eine Schulterpositions-Bestimmungsregion 31b eingestellt bzw. festgelegt. Die Schulterpositions-Bestimmungsregion 31b kann basierend auf einer vorbestimmten normalen Fahrhaltung bestimmt werden. Eine Konfiguration wird angewandt bzw. angenommen, in welcher bestimmt werden kann, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten, in Abhängigkeit davon, ob die Position der Schultern des Fahrers 4a in dem Bild, welches durch die Schulterdetektionseinheit 22b detektiert wird, innerhalb der Schulterpositions-Bestimmungsregion 31b angeordnet ist.
Die Schulterpositions-Bestimmungsregion 31b kann eine Region sein, welche vorab basierend auf den Positionen der Schultern von Fahrern von verschiedenem Geschlecht und verschiedenen Körpertypen in mehreren Bildern festgelegt wird, welche in dem Zustand erfasst wurden, in welchem die Fahrer das Lenkrad halten. Auch kann eine Konfiguration angewandt werden, in welcher die Position der Schultern eines Fahrers aus einem Bild des Fahrers detektiert wird, welches während des manuellen Fahrmodus erfasst bzw. aufgenommen wurde, und die Schulterpositions-Bestimmungsregion 31b für jeden Fahrer basierend auf der detektierten Position der Schultern eingestellt bzw. festgelegt wird. Auch kann die Schulterpositions-Bestimmungsregion 31b durch zwei Regionen einer Region einer rechten Schulter und einer Region einer linken Schulter konfiguriert bzw. aufgebaut werden. Es ist festzuhalten, dass es bevorzugt ist, eine Kamera mit fixiertem Fokus als die Kamera 31 zu verwenden.
Die Zustandserkennungsdaten-Erfassungseinheit 22a, welche die Regel- bzw. Steuereinheit 22A aufbaut, führt ein Bearbeiten für ein Erhalten der Bilddaten des Fahrers durch, welche durch die Kamera 31 erfasst wurden, und führt ein Bearbeiten für ein Speichern der erhaltenen Bilddaten in der Zustandserkennungsdaten-Speichereinheit 26a durch.
Die Schulterdetektionseinheit 22b liest die Bilddaten aus der Zustandserkennungsdaten-Speichereinheit 26a aus, führt ein Bildbearbeiten betreffend die Bilddaten basierend auf dem Programm durch, welches aus der Schulterdetektionsverfahrens-Speichereinheit 26b ausgelesen wurde, und führt ein Bearbeiten für ein Detektieren der Schultern des Fahrers in dem Bild durch. Beispielsweise ist es durch das Bildbearbeiten möglich, Ränder bzw. Kanten von dem Kopf des Fahrers zu den Schultern und Armen zu extrahieren, und einen Abschnitt des Schulterabschnitts, welcher eine charakteristische Form bzw. Gestalt, wie beispielsweise eine Ω Form oder eine sanfte S Form aufweist, als die Schulter zu detektieren.
Die Bereitschafts-Bestimmungseinheit 22g beinhaltet die Schulterpositions-Bestimmungseinheit 22h. Nachfolgend auf das Bearbeiten durch die Schulterdetektionseinheit 22b führt die Schulterpositions-Bestimmungseinheit 22h basierend auf der Detektionsinformation der Schulterdetektionseinheit 22b und den Schulterpositions-Bestimmungsregionsdaten, welche aus der Bestimmungsverfahrens-Speichereinheit 26e ausgelesen wurden, ein Bearbeiten für ein Bestimmen durch, ob die Position der Schultern des Fahrers in dem Bild innerhalb der Schulterpositions-Bestimmungsregion angeordnet ist. Durch das Bestimmungsbearbeiten wird bestimmt, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten.
Die Informations-Erfassungseinheit 22i erhält bzw. erfasst Information, welche während eines autonomen Fahrens von den Einheiten des autonomen Fahrsystems 1 entsteht. Die Information, welche während eines autonomen Fahrens entsteht bzw. hervorgeht, beinhaltet wenigstens eine von Fahrzeugumgebungs-Überwachungsinformation, welche durch den Umgebungs-Überwachungssensor 60 detektiert wird, und Übernahmeaufforderungs-Information für ein Übernehmen eines manuellen Fahrens von einem autonomen Fahren, welche von dem Regel- bzw. Steuerapparat 50 für ein autonomes Fahren gesandt wird. Die Fahrzeugumgebungs-Überwachungsinformation kann beispielsweise Information sein, welche verständigt, dass sich dem Fahrzeug rasch ein anderes Fahrzeug annähert, oder kann Information sein, welche anzeigt, dass das Fahrzeug auf einer Straße fahren wird, wo das funktionelle Limit des Systems vorstellbar bzw. erwartbar ist, wie beispielsweise eine enge Straße mit scharfen Kurven. Auch kann die Übernahmeaufforderungs-Information für ein Übernehmen eines manuellen Fahrens von einem autonomen Fahren beispielsweise Information sein, welche anzeigt, dass das Fahrzeug in eine Übernahmezone eingetreten ist, in welcher ein manuelles Fahren von einem autonomen Fahren zu übernehmen ist, oder kann Information sein, welche verständigt, dass eine Abnormalität bzw. Anomalie oder ein Versagen bzw. Fehler in einem Teil des autonomen Fahrsystems 1 aufgetreten ist.
Wenn durch die Bereitschafts-Bestimmungseinheit 22g bestimmt wird, dass sich der Fahrer nicht in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, führt die Verständigungs-Bearbeitungseinheit 22j ein Verständigungsbearbeiten durch, um den Fahrer zu veranlassen bzw. aufzufordern, seine oder ihre Haltung gemäß der Information zu korrigieren, welche während eines autonomen Fahrens auftritt, welche durch die Informations-Erfassungseinheit 22i erhalten wurde. Beispielsweise führt die Verständigungs-Bearbeitungseinheit 22j ein Bearbeiten durch, um die Audio-Ausgabeeinheit 61 und die Anzeigeeinheit 62 zu veranlassen, ein Bearbeiten einer Ausgabe einer Audiomitteilung und ein Bearbeiten einer Ausgabe einer Anzeige durchzuführen, um den Fahrer aufzufordern, eine Haltung einzunehmen, welche dem Fahrer ermöglicht, unmittelbar das Lenkrad zu halten. Es ist festzuhalten, dass in einer anderen Ausführungsform eine Konfiguration angewandt werden kann, in welcher anstelle der Informations-Erfassungseinheit 22i und der Verständigungs-Bearbeitungseinheit 22j die Verständigungs-Bearbeitungseinheit 22f, welche in der obigen Ausführungsform 1 beschrieben ist, in der Regel- bzw. Steuereinheit 22A vorgesehen ist. Auch kann die Verständigungs-Bearbeitungseinheit 22j ein Signal, welches verständigt, ein autonomes Fahren eher fortzuführen, als ein autonomes Fahren aufzuheben, an den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ausgeben.
8 ist ein Flussdiagramm, welches einen Bearbeitungsvorgang zeigt, welcher durch eine Regel- bzw. Steuereinheit 22A in dem Fahrerzustands-Erkennungsapparat 20A gemäß der Ausführungsform 2 durchgeführt wird. Bearbeitungsvorgängen, welche denselben Inhalt wie diejenigen des Flussdiagramms aufweisen, welches in 5 gezeigt ist, werden dieselben Bezugszeichen zugeordnet.
Zuerst wird in einem Schritt S1 ein Bearbeiten eines Erhaltens von Bilddaten des Fahrers, welche durch die Kamera 31 erfasst wurden, durchgeführt, und dann bewegt sich das Bearbeiten zu einem Schritt S2, wo ein Bearbeiten für ein Speichern der erhaltenen Bilddaten in der Zustandserkennungsdaten-Speichereinheit 26a durchgeführt wird. In dem nachfolgenden Schritt S3 werden die Bilddaten, welche in der Zustandserkennungsdaten-Speichereinheit 26a gespeichert sind, ausgelesen und dann bewegt sich das Bearbeiten zu einem Schritt S4.
In dem Schritt S4 wird ein Bearbeiten für ein Detektieren der Schultern des Fahrers aus den gelesenen Bilddaten durchgeführt, und dann bewegt sich das Bearbeiten zu einem Schritt S5. In dem Bearbeiten für ein Detektieren der Schultern des Fahrers aus den Bilddaten, welches in dem Schritt S4 ausgeführt wird, kann irgendeines des Musterabstimmungs-Verfahrens, des Hintergrunddifferenz-Verfahrens und des Verfahrens einer semantischen Segmentation, welche oben erwähnt wurden, verwendet werden. Zusätzlich wird in dem Fall, wo eine monokulare 3D Kamera in der Kamera 31 enthalten ist, Information, wie beispielsweise die detektierte Position von jedem Teil oder einer Haltung des Fahrers, welche durch die monokulare 3D Kamera detektiert wird, erhalten, und dann kann die Position der Schultern des Fahrers unter Verwendung der erhaltenen Information detektiert werden.
In dem Schritt S5 wird bestimmt, ob die Schultern des Fahrers detektiert wurden. In diesem Fall kann bestimmt werden, ob die Schultern des Fahrers kontinuierlich für eine gewisse Zeitperiode detektiert wurden. In dem Schritt S5 bewegt sich, wenn bestimmt wird, dass die Schultern des Fahrers nicht detektiert wurden, das Bearbeiten zu einem Schritt S15, in welchem ein Verständigungsbearbeiten auf hohem Niveau durchgeführt wird, während, wenn bestimmt wird, dass die Schultern des Fahrers detektiert wurden, sich das Bearbeiten zu einem Schritt S11 bewegt.
In dem Schritt S11 werden die Schulterpositions-Bestimmungsregionsdaten und dgl. aus der Bestimmungsverfahrens-Speichereinheit 26e ausgelesen und es wird bestimmt, ob sich die Schulterpositionen des Fahrers in dem Bild, welches in dem Schritt S5 detektiert wurde, innerhalb der Schulterpositions-Bestimmungsregion 31b befinden.
In dem Schritt S11 endet, wenn bestimmt wird, dass die Position der Schultern des Fahrers in dem Bild innerhalb der Schulterpositions-Bestimmungsregion 31b ist bzw. liegt, d.h. wenn bestimmt wird, dass sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad zu halten, danach das Be- bzw. Verarbeiten. Es ist festzuhalten bzw. anzumerken, dass in einer anderen Ausführungsform ein Verständigungsbearbeiten für ein Verständigen eines Fahrers, dass der Fahrer eine geeignete Haltung einnimmt, durchgeführt werden kann, indem beispielsweise eine Verständigungslampe einer geeigneten Haltung in der Anzeigeeinheit 62 vorgesehen bzw. zur Verfügung gestellt wird und eine Verständigungslampe einer geeigneten Haltung eingeschaltet wird, oder indem ein Signal für ein Verständigen des Fahrers, dass der Fahrer eine geeignete Haltung einnimmt, d.h., dass der Fahrer eine geeignete Haltung einnimmt, um ein autonomes Fahren fortzusetzen, an den Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ausgegeben wird.
Andererseits bewegt sich in dem Schritt S11, wenn bestimmt wird, dass die Position der Schultern des Fahrers in dem Bild nicht innerhalb der Schulterpositions-Bestimmungsregion 31b liegt, das Bearbeiten zu einem Schritt S12. Information wird von dem autonomen Fahrsystem 1 in dem Schritt S12 erhalten, und dann bewegt sich das Bearbeiten zu einem Schritt S13. Die Information beinhaltet die Fahrzeugumgebungs-Überwachungsinformation, welche durch den Umgebungs-Überwachungssensor 60 detektiert wurde, und die Übernahmeaufforderungs-Information für ein Übernehmen eines manuellen Fahrens von einem autonomen Fahren, welche von dem Regel- bzw. Steuerapparat 50 für ein autonomes Fahren ausgegeben wird. Die Übernahmeaufforderungs-Information beinhaltet beispielsweise ein Signal eines Auftretens einer Systemabnormalität (Versagens), ein Signal einer funktionellen Grenze des Systems oder ein Eintrittssignal, welches einen Eintritt in eine Übernahmezone anzeigt.
In dem Schritt S13 wird, basierend auf der Fahrzeugumgebungs-Überwachungsinformation, welche von dem die Umgebung überwachenden bzw. Umgebungs-Überwachungssensor 60 erhalten wurde, bestimmt, ob sich die Umgebungen des Fahrzeugs in einem sicheren Zustand befinden. In dem Schritt S13 bewegt sich, wenn bestimmt wird, dass sich die Umgebungen des Fahrzeugs nicht in einem sicheren Zustand befinden, wie beispielsweise wenn bestimmt wird, dass Information, welche anzeigt, dass ein anderes Fahrzeug, eine Person oder ein anderes Hindernis in einem gewissen Bereich der Umgebungen des Fahrzeugs (jegliche von vorwärts, lateral bzw. seitlich und rückwärts) detektiert wird, Information, welche verständigt, dass sich ein anderes Fahrzeug rasch annähert, oder Information, welche anzeigt, dass das Fahrzeug auf einer Straße fahren wird, wo das funktionelle Limit des Systems erwartbar ist, wie beispielsweise einer engen Straße mit scharfen Kurven, erhalten wurde, dann das Bearbeiten zu dem Verständigungsbearbeiten auf hohem Niveau in dem Schritt S15. In dem Schritt S15 wird das Verständigungsbearbeiten auf hohem Niveau durchgeführt, um den Fahrer zu veranlassen, rasch eine Haltung einzunehmen, welche dem Fahrer ermöglicht, unmittelbar das Lenkrad zu halten, und dann endet das Bearbeiten. In dem Verständigungsbearbeiten auf hohem Niveau bzw. Bearbeiten einer Hochniveau-Verständigung ist es bevorzugt, dass eine Verständigung bzw. Benachrichtigung durchgeführt wird, in welcher eine Anzeige und Audioausgabe kombiniert sind bzw. werden. Eine Verständigung verschieden von einer Anzeige oder einer Audioausgabe, wie beispielsweise ein Anwenden von Vibrationen an dem Fahrersitz oder dgl. kann hinzugefügt werden. Auch kann in dem Schritt S15 ein Signal für ein Verständigen, das autonome Fahren fortzusetzen anstelle das autonome Fahren aufzuheben, an den Regel- bzw. Steuerapparat 50 für ein autonomes fahren ausgegeben werden.
Andererseits bewegt sich in dem Schritt S13, wenn bestimmt wird, dass sich die Umgebungen des Fahrzeugs in einem sicheren Zustand befinden, der Prozess zu einem Schritt S14. In dem Schritt S14 wird bestimmt, ob eine Übernahmeaufforderungs-Information für ein Übernehmen eines manuellen Fahrens von dem Regel- bzw. Steuerapparat 50 für ein autonomes Fahren erhalten wurde, d.h. es wird bestimmt, ob eine Übernahmeaufforderung vorliegt.
In dem Schritt S14 bewegt sich, wenn bestimmt wird, dass keine Übernahmeaufforderung vorliegt, das Bearbeiten zu einem Verständigungsbearbeiten auf niedrigem Niveau in einem Schritt S16. In dem Schritt S16 wird das Verständigungsbearbeiten auf niedrigem Niveau derart durchgeführt, dass der Fahrer die Haltung einnimmt, welche dem Fahrer ermöglicht, das Lenkrad zu halten, und dann endet das Bearbeiten. In dem Verständigungsbearbeiten auf niedrigem Niveau ist es bevorzugt, sanft den Fahrer zu verständigen, wie beispielsweise eine Verständigung lediglich durch eine Anzeige, um eine Harmonie zwischen dem autonomen Fahren und dem Fahrer zu erzielen.
Andererseits bewegt sich in dem Schritt S14, wenn bestimmt wird, dass es eine Übernahmeaufforderung gibt, der Prozess zu einem Schritt S17. In dem Schritt S17 wird eine Übernahmeverständigung durch eine Audioausgabe oder eine Anzeige derart durchgeführt, dass der Fahrer unmittelbar das Lenkrad hält und das Fahren übernimmt, und dann endet das Bearbeiten.
In dem Fahrerzustands-Erkennungsapparat 20A gemäß der obigen Ausführungsform 2 werden die Schultern des Fahrers durch die Schulterdetektionseinheit 22b aus den Bilddaten detektiert, welche durch die Kamera 31 erfasst werden, es wird bestimmt, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad während eines autonomen Fahrens zu halten, indem bestimmt wird, ob die Position der Schultern des Fahrers in dem Bild innerhalb der Schulterpositions-Bestimmungsregion 31b ist bzw. liegt, und derart kann ein Bearbeiten bis zu der Bestimmung effizient ausgeführt werden.
Darüber hinaus kann genau erkannt werden, ob der Fahrer eine Haltung bzw. Stellung einnimmt, um rasch die Betätigung des Lenkrads selbst während eines autonomen Fahrens zu übernehmen, und es ist auch möglich, geeignet bzw. entsprechend eine Unterstützung derart zur Verfügung zu stellen, dass eine Übernahme eines manuellen Fahrens von einem autonomen Fahren rasch und sanft selbst in Fällen durchgeführt wird, wo beispielsweise ein Fehler bzw. Versagen in dem autonomen Fahrsystem 1 während eines autonomen Fahrens auftritt.
Auch führt, gemäß dem Fahrerzustands-Erkennungsapparat 20A, die Verständigungs-Bearbeitungseinheit 22j ein Verständigungsbearbeiten für ein Veranlassen bzw. Auffordern des Fahrers, seine oder ihre Haltung zu korrigieren, gemäß der Information durch, welche während eines autonomen Fahrens auftritt bzw. entsteht, welche durch die Informations-Erfassungseinheit 22i erhalten bzw. erfasst wird. Beispielsweise kann, wenn die Fahrzeugumgebungs-Überwachungsinformation, welche anzeigt, dass sich die Umgebungen des Fahrzeugs nicht in einem sicheren Zustand befinden, erhalten wird, das Niveau des Verständigungsbearbeitens, welches durch die Verständigungs-Bearbeitungseinheit 22j durchgeführt wird, angehoben werden, um stärker den Fahrer durch die Hochniveau-Verständigung zu alarmieren, eine Haltung einzunehmen, in welcher der Fahrer unmittelbar die Betätigung des Lenkrads übernehmen kann. Auch ist es, wenn die Umgebungen des Fahrzeugs sicher sind und es keine Übernahmeaufforderung gibt, möglich, den Fahrer sanft durch die Verständigung auf niedrigem Niveau aufzufordern, seine oder ihre Haltung zu ändern. Andererseits ist es, wenn es eine Übernahmeaufforderung gibt, möglich, den Fahrer zu verständigen, eine Haltung für eine Übernahme einzunehmen. Auf diese Weise ist es nicht erforderlich, in nicht notwendigerweise verschiedene Verständigungen für bzw. an den Fahrer gemäß der Situation des autonomen Fahrsystems 1 durchzuführen, und es können derart eine Leistung und ein Bearbeiten, welche für die Verständigung erforderlich sind, reduziert werden.
Auch kann zu der Zeit eines Auftretens eines Fehlers bzw. Versagens oder eines Betätigungslimits des Systems, oder zu der Zeit einer Aufforderung für eine Übernahme eines manuellen Fahrens die Zeitperiode, bis der Fahrer das Lenkrad hält und eine Übernahme der Fahrbetätigung abgeschlossen ist, verkürzt werden, und es ist derart möglich, eine geeignete Verständigung, welche sanft zu dem Fahrer ist, gemäß dem Zustand des autonomen Fahrsystems 1 herzustellen bzw. durchzuführen.
Es ist anzumerken bzw. festzuhalten, dass in dem obigen Fahrerzustands-Erkennungsapparat 20 gemäß der Ausführungsform 1 die Informations-Erfassungseinheit 22i und die Verständigungs-Bearbeitungseinheit 22j anstelle der Verständigungs-Bearbeitungseinheit 22f vorgesehen sein können, und dass anstelle des Schritts S8, welcher in 5 gezeigt ist, ein ähnliches Bearbeiten gemäß den Schritten S12 bis s17, welche in 8 gezeigt sind, d.h. ein Verständigungsbearbeiten für ein Veranlassen des Fahrers, seine oder ihre Haltung zu korrigieren, gemäß Information durchgeführt werden kann, welche während eines autonomen Fahrens auftritt bzw. entsteht, welche durch die Informations-Erfassungseinheit 22i erhalten bzw. erfasst wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017155259 [0001]
JP 4333797 [0004, 0005, 0006]

Claims

Fahrerzustands-Erkennungsapparat für ein Erkennen eines Zustands eines Fahrers eines Fahrzeugs, welches mit einem autonomen Fahrsystem versehen ist, umfassend: eine Zustandserkennungsdaten-Erfassungseinheit, welche konfiguriert ist, um Zustandserkennungsdaten eines Oberkörpers des Fahrers zu erfassen; eine Schulterdetektionseinheit, welche konfiguriert ist, um eine Schulter des Fahrers unter Verwendung der Zustandserkennungsdaten zu detektieren, welche durch die Zustandserkennungsdaten-Erfassungseinheit erfasst bzw. erhalten wurden; und eine Bereitschafts-Bestimmungseinheit, welche konfiguriert ist, um basierend auf Detektionsinformation von der Schulterdetektionseinheit zu bestimmen, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar ein Lenkrad des Fahrzeugs während eines autonomen Fahrens zu halten.
Fahrerzustands-Erkennungsapparat nach Anspruch 1, wobei der Zustand fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten, basierend auf einer vorbestimmten normalen Fahrhaltung bestimmt wird.
Fahrerzustands-Erkennungsapparat nach Anspruch 1 oder 2, wobei die Bereitschafts-Bestimmungseinheit beinhaltet: eine Abstandsbeurteilungseinheit, welche konfiguriert ist, um einen Abstand zwischen der Schulter des Fahrers und dem Lenkrad des Fahrzeugs basierend auf der Detektionsinformation von der Schulterdetektionseinheit abzuschätzen bzw. zu beurteilen, und die Bereitschafts-Bestimmungseinheit basierend auf dem Abstand, welcher durch die Abstandsbeurteilungseinheit beurteilt wird, bestimmt, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten.
Fahrerzustands-Erkennungsapparat nach Anspruch 3, wobei die Zustandserkennungsdaten Bilddaten des Oberkörpers des Fahrers beinhalten, welche durch eine Kamera aufgenommen werden, welche in dem Fahrzeug vorgesehen ist, und die Abstandsbeurteilungseinheit die Beurteilung durch ein Berechnen des Abstands basierend auf einem Prinzip einer Triangulation durchführt, wobei Information verwendet wird, welche eine Position der Schulter des Fahrers in dem Bild, welches durch die Schulterdetektionseinheit detektiert wird, und eine Spezifikation und eine Position und Orientierung der Kamera beinhaltet.
Fahrerzustands-Erkennungsapparat nach Anspruch 4, wobei in einem Fall, wo ein Ursprung, welcher auf dem Lenkrad des Fahrzeugs vorgesehen ist, an einem Scheitel eines rechten Winkels eines rechtwinkeligen Dreiecks liegt, dessen Hypotenuse ein Liniensegment ist, welches die Kamera und die Schulter des Fahrers verbindet, die Spezifikation der Kamera Information betreffend einen Blickwinkel (α) und eine Pixelanzahl (Width) in einer Breitenrichtung der Kamera beinhaltet, die Position und Orientierung der Kamera Information betreffend einen Festlegungswinkel (<de-rn>θ</de-rn>) der Kamera und einen Abstand (D1) von der Kamera zu dem Ursprung beinhaltet, und die Position der Schulter des Fahrers in dem Bild als X gegeben ist, die Abstandsbeurteilungseinheit einen Winkel (φ), welcher durch ein Liniensegment, welches den Ursprung und die Schulter des Fahrers verbindet, und das Liniensegment gebildet ist, welches die Kamera und die Schulter des Fahrers verbindet, mit einer Gleichung 1 berechnet: φ=<de-rn>θ</de-rn>+α/2-α×X/Width, und die Beurteilung durchführt, indem ein Abstand (D) zwischen der Schulter des Fahrers und dem Lenkrad des Fahrzeugs mit einer Gleichung 2 berechnet wird: D=D1/tanφ.
Fahrerzustands-Erkennungsapparat nach einem der vorangehenden Ansprüche, wobei die Bereitschafts-Bestimmungseinheit eine Position der Schulter des Fahrers basierend auf der Detektionsinformation von der Schulterdetektionseinheit beurteilt und basierend auf der beurteilten Position der Schulter des Fahrers bestimmt, ob sich der Fahrer in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten.
Fahrerzustands-Erkennungsapparat nach einem der vorangehenden Ansprüche, weiters umfassend: eine Verständigungs-Bearbeitungseinheit, welche konfiguriert ist, um ein Verarbeiten einer Verständigung für ein Auffordern des Fahrers durchzuführen, eine Haltung bzw. Lage zu korrigieren, wenn die Bereitschafts-Bestimmungseinheit bestimmt, dass sich der Fahrer nicht in dem Zustand befindet fähig zu sein, unmittelbar das Lenkrad des Fahrzeugs zu halten.
Fahrerzustands-Erkennungsapparat nach Anspruch 7, weiters umfassend: eine Informations-Erfassungseinheit, welche konfiguriert ist, um Information, welche während eines autonomen Fahrens entsteht, von dem autonomen Fahrsystem zu erfassen bzw. zu erhalten, wobei die Verständigungs-Bearbeitungseinheit das Bearbeiten der Verständigung für ein Auffordern des Fahrers, die Haltung zu korrigieren, gemäß der Information durchführt, welche während eines autonomen Fahrens auftritt bzw. entsteht, welche durch die Informations-Erfassungseinheit erfasst wird; wobei die Information, welche während eines autonomen Fahrens entsteht, vorzugsweise wenigstens eine einer überwachenden Information von Umgebungen des Fahrzeugs und einer Übernahme-Aufforderungsinformation beinhaltet, ein manuelles Fahren von einem autonomen Fahren zu übernehmen.
Fahrerzustands-Erkennungssystem, umfassend: den Fahrerzustands-Erkennungsapparat nach einem der vorangehenden Ansprüche; und eine Zustandserkennungseinheit, welche konfiguriert ist, um die Zustandserkennungsdaten an den Fahrerzustands-Erkennungsapparat auszugeben.
Fahrerzustands-Erkennungsverfahren für ein Erkennen eines Zustands eines Fahrers eines Fahrzeugs, welches mit einem autonomen Fahrsystem versehen ist, umfassend: einen Schritt eines Erfassens von Zustandserkennungsdaten eines Oberkörpers des Fahrers von einer Zustandserkennungseinheit, welche konfiguriert wird, um einen Zustand des Fahrers zu erkennen; einen Schritt eines Speicherns der erfassten bzw. erhaltenen Zustandserkennungsdaten in einer Zustandserkennungsdaten-Speichereinheit; einen Schritt eines Auslesens der Zustandserkennungsdaten aus der Zustandserkennungsdaten-Speichereinheit; einen Schritt eines Detektierens einer Schulter des Fahrers unter Verwendung der gelesenen Zustandserkennungsdaten; und einen Schritt eines Bestimmens, basierend auf Detektionsinformation der detektierten Schulter des Fahrers, ob sich der Fahrer in einem Zustand befindet fähig zu sein, unmittelbar ein Lenkrad des Fahrzeugs während eines autonomen Fahrens zu halten.