DE102022131599A1

DE102022131599A1 - Fahrerüberwachungsvorrichtung, Computerprogramm für Fahrerüberwachung und Fahrerüberwachungsverfahren

Info

Publication number: DE102022131599A1
Application number: DE102022131599.1A
Authority: DE
Inventors: Kenichiroh Hara
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-01-18
Filing date: 2022-11-29
Publication date: 2023-07-20
Also published as: JP7509157B2; JP2023104608A; US11999233B2; US20230226909A1; CN116469084A

Abstract

Die Erfindung stellt eine Fahrerüberwachungsvorrichtung bereit, welche unter Verwendung eines Sitzsensors in einem anderen Sitz als einem Fahrersitz unmittelbar und schnell bestimmen kann, ob ein Fahrer auf dem Fahrersitz sitzt, wenn auf der Grundlage eines in der Nähe des Fahrersitzes aufgenommenen Bildes bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat. Die Fahrerüberwachungsvorrichtung erlangt eine Anzahl von Passagieren, welche ein Fahrzeug in Anspruch nehmen, wenn das Fahrzeug eine Fahrt begonnen hat, bestimmt auf der Grundlage eines Bildes in der Nähe des Fahrersitzes des Fahrzeugs, welches von einer Bildgebungseinheit aufgenommen wurde, ob ein Fahrer auf einem Fahrersitz sitzt oder nicht, und wenn bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat, bestimmt, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die von einem in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordneten Sitzsensor erfasst wird, mit der Anzahl von Passagieren übereinstimmt, und bestimmt, dass der Fahrer auf dem Fahrersitz Platz genommen hat, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.

Description

Gebiet
Die vorliegende Erfindung betrifft eine Fahrerüberwachungsvorrichtung, ein Computerprogramm für eine Fahrerüberwachung und ein Fahrerüberwachungsverfahren.
Hintergrund
Autonome Steuerungssysteme für Fahrzeuge überwachen den Grad einer Fahrerbeteiligung am Fahren unter Verwendung von Sensoren und dergleichen (siehe beispielsweise die WO 2017 / 158 726 A1 ). Der für einen Fahrer erforderliche Beteiligungsgrad am Fahren wird sich in Abhängigkeit des Levels der autonomen Steuerung unterscheiden.
Ein autonomes Steuerungssystem überwacht den Fahrer und bestimmt, ob der Fahrer in dem Grad bzw. Ausmaß zum Fahren beiträgt, welcher/welches für den Level der autonomen Steuerung erforderlich ist. Beispiele für Einrichtungen, welche für eine solche Überwachung eingesetzt werden, umfassen einen Sitzsensor für den Fahrersitz, einen Gurtschlosssensor, welcher erfasst, ob der Fahrer den Sicherheitsgurt des Fahrersitzes angelegt bzw. befestigt hat, und eine Überwachungskamera, welche ein Bild aufnimmt, um den Zustand des Fahrers zu überwachen.
Bei einem autonomen Steuerungssystem für ein Fahrzeug, welches auf Level 3 der autonomen Steuerung gesteuert wird, ist es wünschenswert, dass dieses einen Zustand erfassen kann, in dem der Fahrer den Sicherheitsgurt des Fahrersitzes angelegt hat und der Fahrer in der Lage ist, einen Fahrvorgang zu übernehmen. Bei einem autonomen Steuerungssystem für ein Fahrzeug, welches auf Level 3 der autonomen Steuerung gesteuert wird, ist es daher vorzuziehen, dass dieses einen Fahrersitz-Gurtschlosssensor, einen Fahrersitz-Sitzsensor und eine Überwachungskamera aufweist.
Kurzfassung
Für die Herstellung eines Fahrzeugs, welches auf Level 3 der autonomen Steuerung gesteuert werden soll, aus einem Fahrzeug, welches auf Level 2 der autonomen Steuerung oder niedriger gesteuert werden kann, ist es unter Kostengesichtspunkten vorteilhaft, Teile, wie Sensoren, zu verwenden, die bereits im Fahrzeug montiert sind. Ein Gurtschlosssensor, ein Sitzsensor an einem anderen Sitz als dem Fahrersitz und eine Überwachungskamera sind auch in Fahrzeugen mit Level 2 der autonomen Steuerung oder niedriger montiert.
Für das Fahren eines Fahrzeugs, welches auf Level 2 der autonomen Steuerung oder niedriger gesteuert werden kann, wird jedoch festgestellt, dass der Fahrer in der Lage ist, das Fahrzeug zu bedienen, wenn dieser auf dem Fahrersitz sitzt, und da daher angenommen wird, dass der Fahrer auf dem Fahrersitz sitzt, ist kein Sitzsensor auf dem Fahrersitz montiert.
Es ist möglich, zu bestimmen, ob der Fahrer auf dem Fahrersitz sitzt oder nicht, indem durch die Überwachungskamera ein Bild in der Nähe des Fahrersitzes aufgenommen und die vorbestimmte Position des Fahrers in dem Bild identifiziert wird. Wenn beispielsweise das Gesicht des Fahrers in einem Bild identifiziert wurde, kann bestimmt werden, dass der Fahrer auf dem Fahrersitz sitzt. Ist das Gesicht des auf dem Fahrersitz sitzenden Fahrers jedoch zur Seite gerichtet, kann das Gesicht des Fahrers im Bild nicht identifiziert werden. Da der auf dem Fahrersitz sitzende Fahrer auch dann in die Richtung der Vorderseite gewandt sein kann, wenn das Gesicht des Fahrers auf dem Bild nicht identifiziert wurde, war es erforderlich, die Beurteilung nach einer gewissen Zeitspanne vorzunehmen, bis das Gesicht des Fahrers auf dem Bild identifiziert wurde. Die Verwendung des Bildes als die Grundlage für die Bestimmung, ob der Fahrer sitzt oder nicht, erforderte daher eine gewisse Zeitspanne, was problematisch war.
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Fahrerüberwachungsvorrichtung bereitzustellen, welche schneller bestimmen kann, ob der Fahrer auf dem Fahrersitz sitzt oder nicht, indem direkt ein Sitzsensor in einem anderen Sitz als dem Fahrersitz verwendet wird, wenn auf der Grundlage eines in der Nähe des Fahrersitzes aufgenommenen Bildes bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt.
Gemäß einer Ausführungsform stellt die Erfindung eine Fahrerüberwachungsvorrichtung bereit. Die Fahrerüberwachungsvorrichtung besitzt eine Erlangungseinheit, welche eine Anzahl von Passagieren erlangt, die ein Fahrzeug in Anspruch nehmen, wenn das Fahrzeug eine Fahrt begonnen hat, eine erste Bewertungseinheit, welche basierend auf einem von einer Bildgebungseinheit aufgenommenen Bild in der Nähe eines Fahrersitzes des Fahrzeugs bestimmt, ob ein Fahrer auf dem Fahrersitz sitzt, und eine zweite Bewertungseinheit, welche in Fällen, in denen durch die erste Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat, bestimmt, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die durch einen Sitzsensor erfasst wird, welcher in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordnet ist, mit der Anzahl von Passagieren übereinstimmt, und bestimmt, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.
Diese Fahrerüberwachungsvorrichtung besitzt vorzugsweise außerdem eine Steuerungseinheit, welche dem Fahrer über eine Benachrichtigungseinheit anzeigt, sich auf den Fahrersitz zu setzen, wenn durch die zweite Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt.
Diese Fahrerüberwachungsvorrichtung besitzt vorzugsweise außerdem eine dritte Bewertungseinheit, welche basierend auf mehreren Bildern, welche durch die Bildgebungseinheit aufgenommen werden, bestimmt, ob der Fahrer auf dem Fahrersitz sitzt oder nicht, während einer vorbestimmten Zeit nach einer Bewertung durch die zweite Bewertungseinheit, wenn durch die zweite Bewertungseinheit bestimmt wurde, dass der Fahrer auf dem Fahrersitz sitzt.
Die Fahrerüberwachungsvorrichtung besitzt vorzugsweise außerdem eine Steuerungseinheit, welche dem Fahrer über die Benachrichtigungseinheit anzeigt, sich auf den Fahrersitz zu setzen, wenn durch die dritte Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt.
Die Fahrerüberwachungsvorrichtung besitzt vorzugsweise außerdem eine Steuerungseinheit, welche dem Fahrer über eine Benachrichtigungseinheit anzeigt, sich auf den Fahrersitz zu setzen, wenn die Anzahl von Personen, die Platz genommen haben, nicht mit der Anzahl von Passagieren übereinstimmt, und die Anzahl von Personen, die Platz genommen haben, außerdem nicht um eins geringer ist als die Anzahl von Passagieren.
Die Fahrerüberwachungsvorrichtung besitzt vorzugsweise außerdem eine vierte Bewertungseinheit, welche die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren vergleicht, und falls die Anzahl von Personen, die Platz genommen haben, größer ist als der Wert der Anzahl von Passagieren weniger 1, den Wert, welcher durch Addieren von 1 zu der Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Passagieren erhalten wird, als die Anzahl von Objekten berechnet, die auf anderen Sitzen als dem Fahrersitz platziert sind, wenn durch die erste Bewertungseinheit bestimmt wurde, dass der Fahrer auf dem Fahrersitz sitzt, und wobei die zweite Bewertungseinheit bestimmt, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Objekten mit der Anzahl von Passagieren übereinstimmt, oder bestimmt, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Objekten, um eins geringer ist als die Anzahl von Passagieren, nachdem die Anzahl von Objekten durch die vierte Bewertungseinheit berechnet wurde, in Fällen, in denen durch die erste Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat.
Gemäß einer weiteren Ausführungsform ist ein Computerprogramm für eine Fahrerüberwachung bereitgestellt. Das Computerprogramm für eine Fahrerüberwachung veranlasst einen Prozessor, einen Prozess auszuführen, wobei der Prozess ein Erlangen einer Anzahl von Passagieren, welche ein Fahrzeug in Anspruch nehmen, wenn das Fahrzeug eine Fahrt begonnen hat, ein Bestimmen, ob ein Fahrer auf einem Fahrersitz sitzt oder nicht, basierend auf einem von einer Bildgebungseinheit aufgenommenen Bild in der Nähe des Fahrersitzes des Fahrzeugs, und in Fällen, in denen bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt, ein Bestimmen, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die durch einen Sitzsensor erfasst wird, welcher in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordnet ist, mit der Anzahl von Passagieren übereinstimmt, oder ein Bestimmen, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren, aufweist.
Gemäß einer noch weiteren Ausführungsform der Erfindung ist ein Fahrerüberwachungsverfahren bereitgestellt. Das Fahrerüberwachungsverfahren wird von einer Fahrerüberwachungsvorrichtung ausgeführt, und das Verfahren umfasst ein Erlangen einer Anzahl von Passagieren, welche ein Fahrzeug in Anspruch nehmen bzw. belegen, wenn das Fahrzeug eine Fahrt begonnen hat, ein Bestimmen, ob ein Fahrer auf einem Fahrersitz sitzt oder nicht, basierend auf einem von einer Bildgebungseinheit aufgenommenen Bild in der Nähe des Fahrersitzes des Fahrzeugs, und in Fällen, in denen bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt, ein Bestimmen, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die durch einen Sitzsensor erfasst wird, welcher in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordnet ist, mit der Anzahl von Passagieren übereinstimmt, oder ein Bestimmen, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.
Die Fahrerüberwachungsvorrichtung der Erfindung kann unter Verwendung eines Sitzsensors in einem anderen Sitz als dem Fahrersitz rasch bestimmen, ob der Fahrer auf dem Fahrersitz sitzt, wenn basierend auf einem in der Nähe des Fahrersitzes aufgenommenen Bild bestimmt wurde, dass der Fahrer nicht sitzt.
Die Aufgabe und Vorteile der Erfindung werden durch die in den Ansprüchen besonders hervorgehobenen Elemente und Kombinationen verwirklicht und erreicht. Es ist verständlich, dass sowohl die vorangehende allgemeine Beschreibung als auch die folgende detaillierte Beschreibung beispielhaft und erläuternd sind und die beanspruchte Erfindung nicht beschränken.
Figurenliste

1A ist eine Abbildung, welche einen Betrieb der Fahrerüberwachungsvorrichtung der Ausführungsform im Überblick darstellt und ein Fahrzeug zeigt.
1B ist eine Abbildung, welche einen Betrieb der Fahrerüberwachungsvorrichtung der Ausführungsform im Überblick darstellt, wobei eine Überwachungskamera ein Bild des Fahrers aufnimmt.
2A ist eine Abbildung, welche ein Beispiel (1) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
2B ist eine Abbildung, welche ein Beispiel (2) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
2C ist eine Abbildung, welche ein Beispiel (3) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
3 ist eine allgemeine schematische Abbildung eines Fahrzeugs, in dem ein Überwachungssystem mit einer Fahrerüberwachungsvorrichtung der Ausführungsform montiert ist.
4 ist ein Beispiel eines Betriebsablaufdiagramms für eine Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung der Ausführungsform.
5A ist eine Abbildung, welche ein Beispiel (4) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
5B ist eine Abbildung, welche ein Beispiel (5) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
6 ist ein Betriebsablaufdiagramm als modifiziertes Beispiel 1 für eine Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung der Ausführungsform.
7 ist ein Betriebsablaufdiagramm als modifiziertes Beispiel 2 für eine Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung der Ausführungsform.
8A ist eine Abbildung, welche ein Beispiel (6) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
8B ist eine Abbildung, welche ein Beispiel (7) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.
8C ist eine Abbildung, welche ein Beispiel (8) für einen Sitz und einen Fahrerzustand in einem Fahrgastraum zeigt.

Beschreibung von Ausführungsformen
Die 1A und 1B sind Abbildungen, welche einen Betrieb der Fahrerüberwachungsvorrichtung 11 der Ausführungsform im Überblick darstellen, wobei 1A das Fahrzeug 10 zeigt und 1B die Überwachungskamera 2 zeigt, welche ein Bild von dem Fahrer 30 aufnimmt. Die 2A bis 2C sind Abbildungen, welche ein Beispiel für einen Sitz und einen Zustand des Fahrers 30 in einem Fahrgastraum 10A zeigen.
Wie in 1A gezeigt, weist das Fahrzeug 10 eine Fahrerüberwachungsvorrichtung 11 auf. Wie in 1B gezeigt, ist die Überwachungskamera 2, welche ein Bild von dem Fahrer 30 aufnehmen kann, der auf dem Fahrersitz 40 Platz genommen hat, in dem Fahrgastraum 10A an der Lenksäule 50 angeordnet. Das Fahrzeug 10 kann ein autonomes Fahrzeug sein.
Wie in den 2A bis 2C gezeigt, sind in dem Fahrgastraum 10A des Fahrzeugs 10 der Fahrersitz 40, auf welchem der Fahrer 30 sitzt, ein Beifahrersitz 41 und Rücksitze 42, 43 angeordnet. In den Sitzen 41 bis 43 sind, mit Ausnahme des Fahrersitzes, jeweils Sitzsensoren 3a bis 3c angeordnet. Die Sitzsensoren 3a bis 3c erfassen ein Sitzen von Passagieren, wobei jeder ein Sitzsignal an die Fahrerüberwachungsvorrichtung 11 ausgibt, welches anzeigt, dass sich ein Passagier gesetzt bzw. Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann die Anzahl von Personen, die Platz genommen haben, basierend auf dem von den Sitzsensoren 3a bis 3c eingegebenen Sitzsignal schnell erlangen. Vorzugsweise ist in jedem Sitz außerdem ein Gurtschlosssensor (nicht dargestellt) angeordnet, welcher erfasst, ob der Passagier den Sicherheitsgurt angelegt bzw. befestigt hat.
Die Fahrerüberwachungsvorrichtung 11 erlangt die Anzahl von Passagieren, welche die Anzahl von Insassen in dem Fahrzeug 10 angibt, wenn das Fahrzeug 10 mit einer Fahrt beginnt. Die Fahrerüberwachungsvorrichtung 11 erlangt beispielsweise die Anzahl von Passagieren, welche durch den Fahrer über eine Nutzerschnittstelle 4 (siehe 3) eingegeben wird. In dem in den 2A bis 2C gezeigten Beispiel beträgt die Anzahl von Passagieren eins, was dem Fahrer alleine entspricht.
Die Fahrerüberwachungsvorrichtung 11 bestimmt auf der Grundlage eines Überwachungsbildes, welches von der Überwachungskamera 2 aufgenommen wird, wenn das Fahrzeug 10 mit einer Fahrt beginnt, ob der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann durch Bestimmen unter Verwendung eines Identifikationsmechanismus, wie eines neuronalen Netzwerks (CNN), dahingehend, ob das Gesicht des Fahrers in dem Überwachungsbild erscheint oder nicht, schnell bestimmen, ob der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat.
In dem in 2A gezeigten Beispiel hat der Fahrer 30 auf dem Fahrersitz 40 Platz genommen und ist der Vorderseite des Fahrzeugs 10 zugewandt. Das Gesicht des Fahrers 30, welches mit Bezug auf die Überwachungskamera 2 nach vorne gerichtet ist, erscheint in dem Überwachungsbild. Die Fahrerüberwachungsvorrichtung 11 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat.
In dem in 2B gezeigten Beispiel hat der Fahrer 30 auf dem Rücksitz 42 Platz genommen. Das Gesicht des Fahrers 30 erscheint in dem Überwachungsbild nicht in einer identifizierbaren Art und Weise. Die Fahrerüberwachungsvorrichtung 11 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat. Wenn die Fahrerüberwachungsvorrichtung 11 basierend auf dem Überwachungsbild bestimmt hat, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat, bestimmt diese weiter auf der Grundlage der Erfassungsergebnisse der Sitzsensoren 3a bis 3c, ob der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat.
Die Fahrerüberwachungsvorrichtung 11 erlangt auf der Grundlage der von den Sitzsensoren 3a bis 3c ausgegebenen Sitzsignalen die Anzahl von Personen, die Platz genommen haben, welche die Anzahl von Personen, die Platz genommen haben, darstellt, welche von den Sitzsensoren 3a bis 3c erfasst wird, die für die jeweiligen anderen Sitze 41 bis 43 als den Fahrersitz des Fahrzeugs 10 angeordnet sind. Die Fahrerüberwachungsvorrichtung 11 vergleicht die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren.
In dem in 2B gezeigten Beispiel beträgt die Anzahl von Personen, die Platz genommen haben, 1, und die Anzahl von Passagieren beträgt 1. Da die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren übereinstimmt, bestimmt die Fahrerüberwachungsvorrichtung 11, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
In dem in 2C gezeigten Beispiel hat der Fahrer 30 auf dem Fahrersitz 40 Platz genommen, ist jedoch dem Beifahrersitz 41 zugewandt, anstatt der Vorderseite des Fahrzeugs 10 zugewandt zu sein. Das Überwachungsbild zeigt das Gesicht des Fahrers 30 nicht, welches mit Bezug auf die Überwachungskamera 2 nach vorne gerichtet ist. Die Fahrerüberwachungsvorrichtung 11 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
In diesem in 2C gezeigten Beispiel beträgt die Anzahl von Personen, die Platz genommen haben, jedoch null, und die Anzahl von Passagieren beträgt 1. Die Fahrerüberwachungsvorrichtung 11 bestimmt, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.
Wie vorstehend erwähnt, kann die Fahrerüberwachungsvorrichtung 11 dieser Ausführungsform unter Verwendung der Sitzsensoren 3a bis 3c in den anderen Sitzen als dem Fahrersitz unmittelbar und schnell bestimmen, ob der Fahrer 40 auf dem Fahrersitz 40 sitzt, wenn basierend auf einem in der Nähe des Fahrersitzes aufgenommenen Bild bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat.
3 ist eine allgemeine schematische Abbildung eines Fahrzeugs 10, in dem ein Überwachungssystem 1 montiert ist, welches eine Fahrerüberwachungsvorrichtung 11 der Ausführungsform umfasst. Das Überwachungssystem 1 weist eine Überwachungskamera 2, Sitzsensoren 3a, 3b, 3c, eine Nutzerschnittstelle (UI) 4 und eine Fahrerüberwachungsvorrichtung 11 usw. auf.
Die Überwachungskamera 2, die Sitzsensoren 3a, 3b, 3c, die UI 4 und die Fahrerüberwachungsvorrichtung 11 sind über ein fahrzeuginternes Netzwerk 12, welches dem Controller-Area-Network-Standard entspricht, in einer kommunizierbaren Art und Weise verbunden.
Die Überwachungskamera 2 ist in dem Fahrgastraum 10A in einer Art und Weise angeordnet, welche es dieser ermöglicht, Überwachungsbilder einschließlich des Gesichtes des das Fahrzeug 10 fahrenden Fahrers aufzunehmen. Die Überwachungskamera 2 entspricht einem Beispiel einer Bildgebungseinheit. Das Überwachungsbild zeigt den Zustand in der Nähe des Fahrersitzes. Die Überwachungskamera 2 ist beispielsweise an der Lenksäule 50 angeordnet, wie in 1B gezeigt. Die Überwachungskamera 2 kann außerdem an dem Lenkrad, einem Raumspiegel, einem Armaturenbrett oder einer Armaturen- bzw. Instrumentenhaube in dem Fahrgastraum angeordnet sein.
Die Überwachungskamera 2 nimmt zu Überwachungsbild-Fotografierzeiten beispielsweise mit einem vorbestimmten Zyklus Überwachungsbilder einschließlich des Gesichtes des Fahrers auf. Die Überwachungskamera 2 besitzt einen 2D-Detektor, welcher aus einem Array fotoelektrischer Wandlerelemente mit Infrarotempfindlichkeit, wie z. B. einem CCD oder C-MOS, aufgebaut ist, und ein bildgebendes optisches System, welches ein Bild des fotografierten Bereichs auf dem 2D-Detektor bildet. Der vorbestimmte Zyklus kann beispielsweise 0,1 bis 0,5 Sekunden betragen. Die Überwachungskamera 2 besitzt vorzugsweise neben dem 2D-Detektor eine Beleuchtungsvorrichtung. Bei der Beleuchtungsvorrichtung handelt es sich um eine LED (lichtemittierende Diode), und diese kann beispielsweise aus zwei Nahinfrarot-LEDs bestehen, die sich auf beiden Seiten des bildgebenden optischen Systems befinden. Die Beleuchtung des Fahrers mit Nahinfrarotlicht ermöglicht es, das Gesicht des Fahrers abzubilden, ohne dass es für den Fahrer unangenehm ist, selbst bei Zeiten geringer Beleuchtungsstärke, wie z. B. nachts. Ein Bandpassfilter, welcher Licht anderer Wellenlängenkomponenten als Nahinfrarot entfernt, ist in dem bildgebenden optischen System eingebaut, und ein Cut-Filter für sichtbares Licht, welcher anderes Licht als das von einer Nahinfrarot-LED abgestrahlte Nahinfrarotlicht entfernt, kann außerdem an der Vorderseite der Beleuchtungsvorrichtung bereitgestellt sein.
Die Sitzsensoren 3a, 3b, 3c sind in den anderen Sitzen als dem Fahrersitz 40 des Fahrzeugs 10 angeordnet. Der Sitzsensor 3a ist in dem Beifahrersitz 41 angeordnet, der Sitzsensor 3b ist in dem rechten Rücksitz 42 angeordnet und der Sitzsensor 3c ist in dem linken Rücksitz 43 angeordnet. Die Sitzsensoren 3a bis 3c erfassen ein Sitzen von Passagieren und geben ein Sitzsignal an die Fahrerüberwachungsvorrichtung 11 aus, welches anzeigt, dass diese Platz genommen haben. Die Sitzsensoren 3a bis 3c geben vorzugsweise kontinuierlich die Sitzsignale an die Fahrerüberwachungsvorrichtung 11 aus, während ein Sitzen der Passagiere erfasst wird. Die Sitzsensoren 3a bis 3c können beispielsweise Drucksensoren einsetzen. Ein Drucksensor gibt ein Sitzsignal aus, wenn dieser einen Druck auf oder über einem vorbestimmten Referenzdruck erfasst, und dieser gibt das Sitzsignal nicht aus, wenn ein Druck kleiner als der Referenzdruck erfasst wurde.
Die UI 4 entspricht einem Beispiel der Benachrichtigungseinheit. Die UI 4 wird von der Fahrerüberwachungsvorrichtung 11 gesteuert und meldet bzw. zeigt dem Fahrer eine Sitzbenachrichtigung an, welche von dem Fahrer fordert, in einer Art und Weise auf dem Fahrersitz Platz zu nehmen, so dass dieser von der Überwachungskamera 2 abgebildet werden kann. Die UI 4 weist eine Anzeigevorrichtung 4a, wie beispielsweise eine Flüssigkristallanzeige oder ein Touch-Panel, zur Anzeige der Sitzbenachrichtigung auf. Die auf der Anzeigevorrichtung 4a angezeigten Informationen sind vorzugsweise auch für die Passagiere sichtbar, welche auf den Rücksitzen 42, 43 des Fahrgastraum 10A Platz genommen haben. Die UI 4 kann außerdem eine akustische Ausgabevorrichtung (nicht dargestellt) aufweisen, um den Fahrer über die Sitzbenachrichtigung zu benachrichtigen. Die UI 4 besitzt außerdem beispielsweise ein Touch-Panel oder eine Betätigungstaste als eine Eingabevorrichtung zum Eingeben von Betriebsinformationen bei dem Fahrzeug 10 von dem Fahrer. Die Betriebsinformationen können beispielsweise der Anzahl von Passagieren entsprechen. Die UI 4 gibt die eingegebenen Betriebsinformationen über das fahrzeuginterne Netzwerk 12 an die Fahrerüberwachungsvorrichtung 11 aus.
Die Fahrerüberwachungsvorrichtung 11 führt eine Erlangungsverarbeitung, eine Bewertungsverarbeitung und eine Steuerungsverarbeitung aus. Zu diesem Zweck weist die Fahrerüberwachungsvorrichtung 11 eine Kommunikationsschnittstelle (IF) 21, einen Speicher 22 und einen Prozessor 23 auf. Die Kommunikationsschnittstelle 21, der Speicher 22 und der Prozessor 23 sind über Signaldrähte 24 verbunden. Die Kommunikationsschnittstelle 21 besitzt eine Schnittstellenschaltung, um die Fahrerüberwachungsvorrichtung 11 mit dem fahrzeuginternen Netzwerk 12 zu verbinden.
Der Speicher 22 entspricht einem Beispiel für eine Speichereinheit und besitzt beispielsweise einen volatilen Halbleiterspeicher und einen nicht-volatilen Halbleiterspeicher. Der Speicher 22 speichert ein Anwendungs-Computerprogramm und verschiedene Daten, welche für eine von dem Prozessor 23 ausgeführte Informationsverarbeitung zu verwenden sind. Der Speicher 22 speichert außerdem Überwachungsbilder, welche von der Überwachungskamera 2 eingegeben werden, in Zusammenhang mit den Überwachungsbildgebungszeiten.
Alle oder einige der Funktionen der Fahrerüberwachungsvorrichtung 11 entsprechen beispielsweise Funktionsmodulen, welche von einem Computerprogramm gesteuert werden, das auf dem Prozessor 23 läuft. Der Prozessor 23 weist eine Erlangungseinheit 230, eine Bewertungseinheit 231 und eine Steuerungseinheit 232 auf. Die Bewertungseinheit 231 entspricht einem Beispiel für die erste Bewertungseinheit, die zweite Bewertungseinheit, die dritte Bewertungseinheit und die vierte Bewertungseinheit. Alternativ können die Funktionsmodule des Prozessors 23 einer spezialisierten Berechnungsschaltung in dem Prozessor 23 entsprechen. Der Prozessor 23 weist eine oder mehrere CPUs (zentrale Verarbeitungseinheiten) und deren Peripherieschaltungen auf. Der Prozessor 23 kann außerdem andere Berechnungsschaltungen, wie eine logische Betriebseinheit, eine numerische Berechnungseinheit oder eine grafische Verarbeitungseinheit, aufweisen. Die Fahrerüberwachungsvorrichtung 11 entspricht beispielsweise einer elektronischen Steuerungseinheit (ECU). Die Fahrerüberwachungsvorrichtung 11 schätzt auf der Grundlage des Überwachungsbildes den Grad bzw. das Ausmaß ab, in welchem der Fahrer zu dem Fahren beiträgt. Der Betrieb der Fahrerüberwachungsvorrichtung 11 wird nachstehend im Detail beschrieben.
4 ist ein Beispiel für ein Betriebsablaufdiagramm für eine Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung 11 dieser Ausführungsform. Nachstehend wird die Fahrerüberwachungsverarbeitung durch das Überwachungssystem 1 unter Bezugnahme auf 4 beschrieben.
Zunächst erlangt die Erlangungseinheit 230 die Anzahl von Passagieren, welche die Anzahl von Insassen in dem Fahrzeug 10 anzeigt, wenn das Fahrzeug 10 mit einer Fahrt beginnt (Schritt S101). Die Fahrerüberwachungsvorrichtung 11 erlangt beispielsweise die Anzahl von Passagieren, welche von dem Fahrer 30 über die UI 4 eingegeben wird. Wenn basierend auf dem von der Überwachungskamera 2 aufgenommenen Überwachungsbild bestimmt wurde, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat, kann die Erlangungseinheit 230 die Anzahl von Passagieren auch erlangen, indem 1 zu der unter Verwendung der Sitzsensoren 3a bis 3c erfassten Anzahl von Personen, die Platz genommen haben, addiert wird. Die Erlangungseinheit 230 kann die Anzahl von Passagieren auch als die Anzahl von Personen, die Platz genommen haben, plus 1 erlangen, nachdem dem Fahrer 30 eine Benachrichtigung angezeigt wurde, welche den Fahrer auffordert, auf dem Fahrersitz 40 Platz zu nehmen. In diesem Fall umfasst die Anzahl von Passagieren die Anzahl von Gegenständen (Objekten), welche auf den Sitz geladen sind, dies beeinflusst die Fahrerüberwachungsverarbeitung jedoch nicht, solange der geladenen Gegenstand auf dem Sitz verbleibt.
Die Zeit, zu welcher das Fahrzeug 10 mit einer Fahrt beginnt, entspricht beispielsweise einem Punkt bevor das Fahrzeug 10 mit einer Fahrt auf der Navigationsroute beginnt, oder einem Punkt, wenn ein Passagier das Fahrzeug 10 bestiegen hat. Der Punkt, wenn die Erlangungseinheit 230 die Anzahl von Passagieren erlangt hat, kann auch dem Zeitpunkt entsprechen, wenn das Fahrzeug 10 mit der Fahrt beginnt.
Die Bewertungseinheit 231 führt Schritt S102 bis Schritt S111 zu jeder Zeit aus, wenn ein Überwachungsbild eingegeben wird.
Die Bewertungseinheit 231 gibt ein Überwachungsbild von der Überwachungskamera 2 ein (Schritt S102). Die Überwachungskamera 2 gibt zu jeder Zeit, wenn ein Überwachungsbild aufgenommen wird, das Überwachungsbild und die Überwachungsbildgebungszeit, zu welcher das Überwachungsbild aufgenommen wurde, über das fahrzeuginterne Netzwerk 12 zu der Fahrerüberwachungsvorrichtung 11 aus. Die Bewertungseinheit 231 speichert das Überwachungsbild in dem Speicher 22 in Zusammenhang mit der Überwachungsbildgebungszeit.
Die Bewertungseinheit 231 bestimmt dann auf der Grundlage des Überwachungsbildes, ob das Gesicht des Fahrers 30 erfasst wurde (Schritt S103). Die Bewertungseinheit 231 besitzt einen Aufbau mit einem Klassifikator, welcher gelernt hat, menschliche Gesichter durch die Eingabe eines Überwachungsbildes zu erfassen. Der Klassifikator gibt ein Überwachungsbild ein und erfasst ein Gesicht in dem Überwachungsbild, während die Zuverlässigkeit des erfassten Gesichts ausgegeben wird. Die Zuverlässigkeit ist beispielsweise als ein numerischer Wert von 0,0 bis 1,0 dargestellt. Die Bewertungseinheit 231 bestimmt, dass das Gesicht des Fahrers 30 erfasst wurde, falls die Zuverlässigkeit zumindest einer vorbestimmten Referenz-Zuverlässigkeit (wie beispielsweise 0,7) entspricht. Andererseits bestimmt die Bewertungseinheit 231, dass das Gesicht des Fahrers 30 nicht erfasst wurde, falls die Zuverlässigkeit geringer ist als die vorbestimmte Referenz-Zuverlässigkeit.
Wenn das Gesicht des Fahrers 30 erfasst wurde (Schritt S103 - Ja), bestimmt die Bewertungseinheit 231, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S104). Die Bewertungseinheit 231 kann auch bestimmen, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat, wenn ein vorbestimmter anderer Körperteil des Fahrers 30 erfasst wurde.
Die Bewertungseinheit 231 bestimmt dann, ob das Fahrzeug 10 den Zielort erreicht hat oder nicht (Schritt S110). Falls das Fahrzeug 10 den Zielort noch nicht erreicht hat, kehrt die Verarbeitung zu Schritt S102 zurück. Falls das Fahrzeug 10 den Zielort erreicht hat, ist die Abfolge von Verarbeitungsschritten abgeschlossen. Die Bewertungseinheit 231 kann beispielsweise auf der Grundlage einer Eingabe der aktuellen Position des Fahrzeugs 10 und dem Zielort der Navigationsroute von einer Navigationsvorrichtung (nicht dargestellt) bestimmen, ob das Fahrzeug 10 den Zielort erreicht hat oder nicht.
Falls das Gesicht des Fahrers 30 nicht erfasst wird, bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat (Schritt S105).
Die Bewertungseinheit 231 erlangt dann die Anzahl von Personen, die Platz genommen haben (Schritt S106). Die Bewertungseinheit 231 erlangt die Anzahl von Personen, die Platz genommen haben, auf der Grundlage von Sitzsignalen, welche von den Sitzsensoren 3a bis 3c eingegeben werden, die für jeden anderen Sitz als den Fahrersitz 40 in dem Fahrzeug 10 angeordnet sind.
Die Bewertungseinheit 231 vergleicht dann die Anzahl von Personen, die Platz genommen haben, und die Anzahl von Passagieren, und bestimmt, ob die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren übereinstimmt oder nicht (Schritt S107).
Falls die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren übereinstimmt (Schritt S107 - Ja), bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat (Schritt S108). In diesem Fall kann sich der Fahrer 30 zu einem anderen Sitz als dem Fahrersitz 40 bewegt haben.
Die Steuerungseinheit 232 zeigt dem Fahrer 30 dann über die UI 4 eine Sitzbenachrichtigung an bzw. meldet selbige, welche den Fahrer auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, dass dieser durch die Überwachungskamera 2 abgebildet werden kann (Schritt S109). Die Sitzbenachrichtigung wird beispielsweise auf der Anzeigevorrichtung 4a angezeigt. Die Sitzbenachrichtigung kann dem Fahrer auch mittels einer Stimme übermittelt werden. Die Sitzbenachrichtigung kann dem Fahrer zusätzlich zur Anzeige auf der Anzeigevorrichtung 4a auch mittels einer Stimme übermittelt werden.
Die Bewertungseinheit 231 bestimmt dann, ob das Fahrzeug 10 den Zielort erreicht hat oder nicht (Schritt S110). Falls das Fahrzeug 10 den Zielort noch nicht erreicht hat, kehrt die Verarbeitung zu Schritt S102 zurück. Falls das Fahrzeug 10 den Zielort erreicht hat, ist die Abfolge von Verarbeitungsschritten abgeschlossen.
Wenn die Anzahl von Personen, die Platz genommen haben, nicht mit der Anzahl von Passagieren übereinstimmt (Schritt S107 - Nein), bestimmt die Bewertungseinheit 231, ob die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren (Schritt S111).
Falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren (Schritt S111 - Ja), bestimmt die Bewertungseinheit 231, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S112). Da die Anzahl von Personen, die Platz genommen haben, nahelegt, dass der Fahrer 30 nicht auf einem anderen Sitz als dem Fahrersitz Platz genommen hat, wird geschätzt, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Der Grund dafür, warum das Gesicht des Fahrers 30 in dem Überwachungsbild nicht erfasst wurde, kann darin liegen, dass das Gesicht des Fahrers 30 nicht zur Vorderseite des Fahrzeugs 10 gerichtet war.
Die Bewertungseinheit 231 bestimmt dann, ob das Fahrzeug 10 den Zielort erreicht hat oder nicht (Schritt S110). Falls das Fahrzeug 10 den Zielort noch nicht erreicht hat, kehrt die Verarbeitung zu Schritt S102 zurück. Falls das Fahrzeug 10 den Zielort erreicht hat, ist die Abfolge von Verarbeitungsschritten abgeschlossen.
Falls die Anzahl von Personen, die Platz genommen haben, andererseits nicht um eins geringer ist als die Anzahl von Passagieren (Schritt S111 - Nein), bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat (Schritt S108). Der Zustand in dem Fahrgastraum 10A kann sein, dass ein geladener Gegenstand, welcher nicht in der Anzahl von Passagieren umfasst ist, auf einem anderen Sitz als dem Fahrersitz platziert ist.
Die Steuerungseinheit 232 zeigt dem Fahrer 30 über die UI 4 dann eine Sitzbenachrichtigung an, welche den Fahrer auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, so dass dieser durch die Überwachungskamera 2 abgebildet bzw. aufgenommen werden kann (Schritt S109).
Die Bewertungseinheit 231 bestimmt dann, ob das Fahrzeug 10 den Zielort erreicht hat oder nicht (Schritt S110). Falls das Fahrzeug 10 den Zielort noch nicht erreicht hat, kehrt die Verarbeitung zu Schritt S102 zurück. Falls das Fahrzeug 10 den Zielort erreicht hat, ist die Abfolge von Verarbeitungsschritten abgeschlossen.
Ein spezifisches Beispiel für die Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung 11 wird nun unter Bezugnahme auf die 2A bis 2C, 5A und 5B erläutert.
In dem in 2A gezeigten Beispiel beträgt die Anzahl von Passagieren 1 und der Fahrer 30 hat auf dem Fahrersitz 40 Platz genommen und ist der Vorderseite des Fahrzeugs 10 zugewandt. Das Gesicht des nach vorne gerichteten Fahrers 30 mit Bezug auf die Überwachungskamera 2 erscheint in dem Überwachungsbild. Falls das Gesicht des Fahrers 30 in eine Richtung innerhalb eines vorbestimmten Bereichs mit Bezug auf die optische Achse der Überwachungskamera 2 weist, wird die Bewertungseinheit 231 dann in der Lage sein, das Gesicht in dem Überwachungsbild (hochgenau) zu erfassen. Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat.
In dem in 2B gezeigten Beispiel beträgt die Anzahl von Passagieren 1 und der Fahrer 30 hat auf dem Rücksitz 42 Platz genommen. Während einer Fahrt des Fahrzeugs auf Level 3 einer autonomen Steuerung ist nicht gefordert, dass sich der Fahrer 30 stets in einem Zustand befindet, welcher eine Bedienung des Fahrzeugs 10 ermöglicht, und daher kann sich der Fahrer 30 hin zu Rücksitzen 42, 43 bewegen, wo ein breiterer Raum vorhanden ist. Das Gesicht des Fahrers 30 erscheint in dem Überwachungsbild (mit niedriger Zuverlässigkeit) nicht in einer erfassbaren Art und Weise. Die Fahrerüberwachungsvorrichtung 11 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat. Ein Sitzsignal wird von dem Sitzsensor 3b bei der Bewertungseinheit 231 eingegeben, welcher sich auf dem Rücksitz 42 befindet. Die Anzahl von Personen, die Platz genommen haben, beträgt 1, und die Anzahl von Passagieren beträgt 1. Da die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren übereinstimmt, bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Wenn sich der Fahrer 30, dem die Sitzbenachrichtigung übermittelt wurde, von dem Rücksitz 42 hin zu dem Fahrersitz 40 bewegt und auf dem Fahrersitz 40 in Richtung der Vorderseite des Fahrzeugs 10 sitzt, bestimmt die Fahrerüberwachungsvorrichtung 11 auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann somit das Ausmaß der Beteiligung des Fahrers 30 am Fahren erhöhen.
In dem in 2C gezeigten Beispiel beträgt die Anzahl von Passagieren 1 und der Fahrer 30 hat auf dem Fahrersitz 40 Platz genommen, dieser ist jedoch dem Beifahrersitz 41 zugewandt, anstelle der Vorderseite des Fahrzeugs 10 zugewandt zu sein. Der Fahrer kann den Sitz auch in einer geneigten Position anordnen, um eine entspannte Stellung einzunehmen. Das Überwachungsbild zeigt nicht das Gesicht des Fahrers 30, welches mit Bezug auf die Überwachungskamera 2 nach vorne gerichtet ist. Da das Gesicht des Fahrers 30 in eine Richtung außerhalb des vorbestimmten Bereichs mit Bezug auf die optische Achse der Überwachungskamera 2 gerichtet ist, erscheint das Gesicht des Fahrers 30 in dem Überwachungsbild nicht in einer erfassbaren Art und Weise (mit niedriger Zuverlässigkeit). Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Da auf den anderen Sitzen als dem Fahrersitz niemand sitzt, wird bei der Bewertungseinheit 231 kein Sitzsignal eingegeben. Die Anzahl von Personen, die Platz genommen haben, beträgt null, und die Anzahl von Passagieren beträgt 1. Da die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren, bestimmt die Fahrerüberwachungsvorrichtung 11, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Steuerungseinheit 232 zeigt dem Fahrer 30 dann eine Sitzbenachrichtigung an, welche den Fahrer auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, so dass dieser durch die Überwachungskamera 2 abgebildet werden kann.
Wenn der Fahrer 30, dem die Sitzbenachrichtigung übermittelt wurde, so sitzt, dass dieser der Vorderseite des Fahrzeugs 10 zugewandt ist, bestimmt die Bewertungseinheit 231 auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann somit das Ausmaß einer Beteiligung des Fahrers 30 am Fahren erhöhen.
In dem in 5A gezeigten Beispiel beträgt die Anzahl von Passagieren 1 und der Fahrer 30 hat auf dem Fahrersitz 40 Platz genommen, ist jedoch einem auf dem Beifahrersitz 41 platzierten geladenen Gegenstand zugewandt, anstelle der Vorderseite des Fahrzeugs 10 zugewandt zu sein. Da das Gesicht des Fahrers 30 in eine Richtung außerhalb des vorbestimmten Bereichs mit Bezug auf die optische Achse der Überwachungskamera 2 weist, erscheint das Gesicht des Fahrers 30 in dem Überwachungsbild nicht in einer erfassbaren Art und Weise (mit niedriger Zuverlässigkeit). Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Darüber hinaus werden Sitzsignale von dem auf dem Beifahrersitz 41 angeordneten Sitzsensor 3a und dem auf dem Rücksitz 43 angeordneten Sitzsensor 3c bei der Bewertungseinheit 231 eingegeben, da der Gegenstand 31 auf dem Beifahrersitz 41 platziert ist und der Gegenstand 32 auf dem Rücksitz 43 platziert ist. Die Anzahl von Personen, die Platz genommen haben, beträgt 2, und die Anzahl von Passagieren beträgt 1. Da die Anzahl von Personen, die Platz genommen haben, nicht mit der Anzahl von Passagieren übereinstimmt, und die Anzahl von Personen, die Platz genommen haben, nicht um eins geringer ist als die Anzahl von Passagieren, bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat. Die Steuerungseinheit 232 meldet bzw. zeigt dem Fahrer 30 dann eine Sitzbenachrichtigung an, welche den Fahrer auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, so dass dieser von der Überwachungskamera 2 abgebildet werden kann.
Wenn der Fahrer 30, welchem die Sitzbenachrichtigung übermittelt wurde, so sitzt, dass dieser der Vorderseite des Fahrzeugs 10 zugewandt ist, bestimmt die Bewertungseinheit 231 auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann somit das Ausmaß einer Beteiligung des Fahrers 30 am Fahren erhöhen.
In dem in 5B gezeigten Beispiel beträgt die Anzahl von Passagieren 1 und der Fahrer 30 hat auf dem Rücksitz 42 Platz genommen. Das Gesicht des Fahrers 30 erscheint in dem Überwachungsbild nicht in einer erfassbaren Art und Weise. Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Darüber hinaus werden bei der Bewertungseinheit 231 Sitzsignale von dem auf dem Beifahrersitz 41 angeordneten Sitzsensor 3a und dem auf dem Rücksitz 42 angeordneten Sitzsensor 3b eingegeben, da der Fahrer 30 auf dem Rücksitz 42 Platz genommen hat und der Gegenstand 31 auf dem Beifahrersitz 41 platziert ist. Die Anzahl von Personen, die Platz genommen haben, beträgt 2, und die Anzahl von Passagieren beträgt 1. Da die Anzahl von Personen, die Platz genommen haben, nicht mit der Anzahl von Passagieren übereinstimmt und die Anzahl von Personen, die Platz genommen haben, nicht um eins geringer ist als die Anzahl von Passagieren, bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat. Die Steuerungseinheit 232 zeigt dem Fahrer 30 dann eine Sitzbenachrichtigung an, welche den Fahrer auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, so dass dieser von der Überwachungskamera 2 abgebildet werden kann.
Wenn sich der Fahrer 30, dem die Sitzbenachrichtigung übermittelt wurde, von dem Rücksitz 42 hin zu dem Fahrersitz 40 bewegt und auf dem Fahrersitz 40 der Vorderseite des Fahrzeugs 10 zugewandt Platz nimmt, bestimmt die Bewertungseinheit 231 auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann somit das Ausmaß einer Beteiligung des Fahrers 30 am Fahren erhöhen.
Wie vorstehend erwähnt, kann die Fahrerüberwachungsvorrichtung dieser Ausführungsform unter Verwendung der Sitzsensoren in den anderen Sitzen als dem Fahrersitz unmittelbar und schnell bestimmen, ob der Fahrer auf dem Fahrersitz Platz genommen hat oder nicht, wenn basierend auf einem in der Nähe des Fahrersitzes aufgenommenen Bild bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat.
Das modifizierte Beispiel 1 und das modifizierte Beispiel 2 der Fahrerüberwachungsvorrichtung 11 dieser Ausführungsform werden nun unter Bezugnahme auf die Abbildungen beschrieben. 6 ist ein Betriebsablaufdiagramm als modifiziertes Beispiel 1 für eine Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung der Ausführungsform.
In diesem modifizierten Beispiel wird die in 6 gezeigte Sitzüberwachungsverarbeitung (Verarbeitung A) zwischen Schritt S112 und Schritt S110 des in 4 gezeigten Betriebsablaufdiagramms ausgeführt.
Zunächst gibt die Bewertungseinheit 231, nachdem bestimmt wurde, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S112), ein Überwachungsbild von der Überwachungskamera 2 ein (Schritt S201). Die Verarbeitung von 4 wird während der Sitzüberwachungsverarbeitung dieses modifizierten Beispiels nicht ausgeführt.
Die Bewertungseinheit 231 bestimmt dann auf der Grundlage des Überwachungsbildes, ob der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S202).
Falls der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S202 - Ja), schreitet die Verarbeitung zu Schritt S110 voran.
Falls der Fahrer 30 auf dem Fahrersitz 40 nicht Platz genommen hat (Schritt S202 - Nein), zeigt die Steuerungseinheit 232 dem Fahrer 30 über die UI 4 eine Sitzbenachrichtigung an, welche den Fahrer auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, so dass dieser durch die Überwachungskamera 2 abgebildet werden kann (Schritt S203).
Die Bewertungseinheit 231 bestimmt dann, ob eine vorbestimmte Referenzzeit verstrichen ist (Schritt S204), nachdem bestimmt wurde, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S112).
Falls die vorbestimmte Referenzzeit verstrichen ist, schreitet die Verarbeitung zu Schritt S110 voran. Falls die vorbestimmte Referenzzeit nicht verstrichen ist, kehrt die Verarbeitung zu Schritt S201 zurück.
Der Grund dafür, warum der Fahrer 30 bei Schritt S105 nicht auf dem Fahrersitz 40 Platz genommen hat, kann darin liegen, dass das Gesicht des Fahrers 30 nicht zur Vorderseite des Fahrzeugs 10 gewandt bzw. gerichtet ist. Für dieses modifizierte Beispiel wird dem Fahrer 30 daher lediglich dann eine Sitzbenachrichtigung übermittelt, falls das Gesicht des Fahrers 30 für eine vorbestimmte Referenzzeit kontinuierlich in einem nicht der Vorderseite des Fahrzeugs 10 zugewandten Zustand verbleibt, nachdem bestimmt wurde, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S112). Wenn der Fahrer 30, dem die Sitzbenachrichtigung übermittelt wurde, sich dann zur Vorderseite des Fahrzeugs 10 wendet und auf dem Fahrersitz 40 sitzt, bestimmt die Fahrerüberwachungsvorrichtung 11 auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann somit das Ausmaß einer Beteiligung des Fahrers 30 am Fahren erhöhen.
7 ist ein Betriebsablaufdiagramm als modifiziertes Beispiel 2 für eine Fahrerüberwachungsverarbeitung durch die Fahrerüberwachungsvorrichtung 11 der Ausführungsform.
In diesem modifizierten Beispiel wird zwischen Schritt S104 und Schritt S110 des in 4 gezeigten Betriebsablaufdiagramms eine in 7 gezeigte Objektzahl-Bewertungsverarbeitung (Verarbeitung B) ausgeführt.
Nachdem bestimmt wurde, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S104), erlangt die Bewertungseinheit 231 die Anzahl von Personen, die Platz genommen haben (Schritt S301).
Die Bewertungseinheit 231 vergleicht dann die Anzahl von Personen, die Platz genommen haben, welche die Anzahl von Personen, die Platz genommen haben, die durch Sitzsensoren 3a bis 3c erfasst wird, darstellt, mit der Anzahl von Passagieren, und bestimmt, ob die Anzahl von Personen, die Platz genommen haben, um eins größer ist als der Wert der Anzahl von Passagieren weniger 1 (Schritt S302).
Falls die Anzahl von Personen, die Platz genommen haben, größer ist als der Wert der Anzahl von Passagieren weniger 1 (Schritt S302 - Ja), berechnet die Bewertungseinheit 231 den Wert von 1 zuzüglich der Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Passagieren als die Anzahl von Objekten, welche auf anderen Sitzen als dem Fahrersitz platziert sind (Schritt S303), und die Verarbeitung schreitet zu Schritt S110 voran.
Falls die Anzahl von Personen, die Platz genommen haben, nicht größer ist als der Wert der Anzahl von Passagieren weniger 1 (Schritt S302 - Nein), schreitet die Verarbeitung direkt zu Schritt S110 voran.
Falls bei der in 4 gezeigten Verarbeitung bestimmt wurde, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat (Schritt S105), nachdem die Anzahl von Objekten berechnet wurde (Schritt S302), vergleicht die Bewertungseinheit 231 in Schritt S107 die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren, und falls der Wert der Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Objekten mit der Anzahl von Passagieren übereinstimmt, wird dann bestimmt, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat. Falls bei der in 4 gezeigten Verarbeitung bestimmt wurde, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat (Schritt S105), nachdem die Anzahl von Objekten berechnet wurde (Schritt S302), bestimmt die Bewertungseinheit 231, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat, falls die Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Objekten in Schritt S111 um eins weniger ist als die Anzahl von Passagieren.
Nun wird die Verarbeitung durch die Fahrerüberwachungsvorrichtung 11 in diesem modifizierten Beispiel unter Bezugnahme auf 8 erläutert.
Bei der in 4 gezeigten Fahrerüberwachungsverarbeitung beträgt die Anzahl von Passagieren zunächst 1 und der Fahrer 30 hat auf dem Fahrersitz 40 Platz genommen und ist der Vorderseite des Fahrzeugs 10 zugewandt, wie in 8A dargestellt. Ein Gegenstand 31 wurde auf dem Beifahrersitz 41 platziert. Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat (Schritt S104).
Bei der in 7 gezeigten Objektzahl-Bewertungsverarbeitung wird dann ein Sitzsignal von dem in dem Beifahrersitz 41 angeordneten Sitzsensor 3a bei der Bewertungseinheit 231 eingegeben. Die Anzahl von Personen, die Platz genommen haben, beträgt 1, und die Anzahl von Passagieren beträgt 1. Da die Anzahl (1) von Personen, die Platz genommen haben, größer ist als der Wert der Anzahl (1) von Passagieren weniger 1 (0), berechnet die Bewertungseinheit 231 den Wert von 1 zuzüglich der Anzahl (1) von Personen, die Platz genommen haben, weniger die Anzahl (1) von Passagieren (=1) als die Anzahl von Objekten, welche auf anderen Sitzen als dem Fahrersitz platziert sind.
Die in 4 gezeigte Fahrerüberwachungsverarbeitung nach der Berechnung der Anzahl von Objekten wird nun unter Bezugnahme auf 8B und 8C erläutert.
In dem in 8B gezeigten Beispiel hat der Fahrer 30 auf dem Fahrersitz 40 Platz genommen, ist jedoch dem auf dem Beifahrersitz 41 platzierten Gegenstand 31 zugewandt, anstelle der Vorderseite des Fahrzeugs 10 zugewandt zu sein. Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Bei der Bewertungseinheit 231 wird ein Sitzsignal von dem bei dem Beifahrersitz 41 angeordneten Sitzsensor 3a eingegeben. Da der Wert der Anzahl (1) von Personen, die Platz genommen haben, weniger die Anzahl (1) von Objekten (=0) um eins geringer ist als die Anzahl (1) von Passagieren, bestimmt die Bewertungseinheit 231, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat.
In dem in 8C gezeigten Beispiel hat der Fahrer 30 auf dem Rücksitz 42 Platz genommen. Die Bewertungseinheit 231 bestimmt auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Bei der Bewertungseinheit 231 werden von dem auf dem Beifahrersitz 41 angeordneten Sitzsensor 3a und dem auf dem Rücksitz 42 angeordneten Sitzsensor 3b Sitzsignale eingegeben. Da der Wert der Anzahl (2) von Personen, die Platz genommen haben, weniger die Anzahl (1) von Objekten (=1) mit der Anzahl (1) von Passagieren übereinstimmt, bestimmt die Bewertungseinheit 231, dass der Fahrer 30 nicht auf dem Fahrersitz 40 Platz genommen hat.
Bei den in 8B und 8C gezeigten Beispielen zeigt die Steuerungseinheit 232 dem Fahrer 30 eine Sitzbenachrichtigung an, welche den Fahrer 30 auffordert, in einer Art und Weise auf dem Fahrersitz 40 Platz zu nehmen, so dass dieser von der Überwachungskamera 2 abgebildet werden kann.
Wenn der Fahrer 30, dem die Sitzbenachrichtigung übermittelt wurde, der Vorderseite des Fahrzeugs 10 zugewandt auf dem Fahrersitz 40 sitzt, bestimmt die Bewertungseinheit 231 anschließend auf der Grundlage des Überwachungsbildes, dass der Fahrer 30 auf dem Fahrersitz 40 Platz genommen hat. Die Fahrerüberwachungsvorrichtung 11 kann somit das Ausmaß einer Beteiligung des Fahrers 30 am Fahren erhöhen.
Nach dem Start einer Fahrt des Fahrzeugs 10 ist es möglich, dass ein Gegenstand auf einem anderen Sitz als dem Fahrersitz platziert werden kann. In diesem modifizierten Beispiel wird die Anzahl von Objekten, wie geladenen Gegenständen, welche auf einem anderen Sitz als dem Fahrersitz platziert sind, gegen die Anzahl von Personen, die Platz genommen haben, kalibriert, und daher kann der Fahrer genauer überwacht werden, auch wenn ein geladener Gegenstand auf einem anderen Sitz als dem Fahrersitz platziert wurde.
Die Fahrerüberwachungsvorrichtung, das Computerprogramm für eine Fahrerüberwachung und das Fahrerüberwachungsverfahren gemäß den in der vorliegenden Offenbarung beschriebenen Ausführungsformen können geeignete Modifikationen, welche nach wie vor in den Grundgedanken der Erfindung fallen, umfassen. Darüber hinaus ist der technische Schutzumfang der Erfindung nicht auf diese Ausführungsformen beschränkt und umfasst die Erfindung und deren Äquivalente, wie in den Ansprüchen dargelegt.
Wenn beispielsweise bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat, kann die Bewertungseinheit einen Klassifikator verwenden, welcher gelernt hat, menschliche Hände, Arme oder Rümpfe zu identifizieren, um das Vorhandensein des Körpers des Fahrers in einem von der Überwachungskamera aufgenommenen Bild zu prüfen und zu bestimmen, ob der Fahrer in einem Zustand mit dem in der geneigten Position angeordneten Sitz auf dem Fahrersitz Platz genommen hat. Wenn bestimmt wurde, dass der Fahrer in einem Zustand mit dem in der geneigten Position angeordneten Sitz auf dem Fahrersitz Platz genommen hat, kann die Steuerungseinheit dem Fahrer eine Sitzbenachrichtigung über die Benachrichtigungseinheit übermitteln.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017158726 A1 [0002]

Claims

Fahrerüberwachungsvorrichtung, aufweisend: eine Erlangungseinheit, welche eine Anzahl von Passagieren erlangt, die ein Fahrzeug in Anspruch nehmen, wenn das Fahrzeug eine Fahrt begonnen hat; eine erste Bewertungseinheit, welche basierend auf einem von einer Bildgebungseinheit aufgenommenen Bild in der Nähe eines Fahrersitzes des Fahrzeugs bestimmt, ob ein Fahrer auf dem Fahrersitz sitzt oder nicht; und eine zweite Bewertungseinheit, welche in Fällen, in denen durch die erste Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat, bestimmt, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die durch einen Sitzsensor erfasst wird, welcher in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordnet ist, mit der Anzahl von Passagieren übereinstimmt, und bestimmt, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.
Fahrerüberwachungsvorrichtung nach Anspruch 1, ferner mit einer Steuerungseinheit, welche dem Fahrer über eine Benachrichtigungseinheit anzeigt, sich auf den Fahrersitz zu setzen, wenn durch die zweite Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt.
Fahrerüberwachungsvorrichtung nach Anspruch 1, ferner mit einer dritten Bewertungseinheit, welche basierend auf mehreren Bildern, welche durch die Bildgebungseinheit aufgenommen werden, bestimmt, ob der Fahrer auf dem Fahrersitz sitzt oder nicht, während einer vorbestimmten Zeit nach einer Bewertung durch die zweite Bewertungseinheit, wenn durch die zweite Bewertungseinheit bestimmt wurde, dass der Fahrer auf dem Fahrersitz sitzt.
Fahrerüberwachungsvorrichtung nach Anspruch 3, ferner mit einer Steuerungseinheit, welche dem Fahrer über eine Benachrichtigungseinheit anzeigt, sich auf den Fahrersitz zu setzen, wenn durch die dritte Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt.
Fahrerüberwachungsvorrichtung nach Anspruch 1, ferner mit einer Steuerungseinheit, welche dem Fahrer über eine Benachrichtigungseinheit anzeigt, sich auf den Fahrersitz zu setzen, wenn die Anzahl von Personen, die Platz genommen haben, nicht mit der Anzahl von Passagieren übereinstimmt, und die Anzahl von Personen, die Platz genommen haben, außerdem nicht um eins geringer ist als die Anzahl von Passagieren.
Fahrerüberwachungsvorrichtung nach einem der Ansprüche 1 bis 5, ferner mit einer vierten Bewertungseinheit, welche die Anzahl von Personen, die Platz genommen haben, mit der Anzahl von Passagieren vergleicht, und falls die Anzahl von Personen, die Platz genommen haben, größer ist als der Wert der Anzahl von Passagieren weniger 1, den Wert, welcher durch Addieren von 1 zu der Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Passagieren erhalten wird, als die Anzahl von Objekten berechnet, die auf anderen Sitzen als dem Fahrersitz platziert sind, wenn durch die erste Bewertungseinheit bestimmt wurde, dass der Fahrer auf dem Fahrersitz sitzt, und wobei die zweite Bewertungseinheit bestimmt, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Objekten mit der Anzahl von Passagieren übereinstimmt, oder bestimmt, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, weniger die Anzahl von Objekten, um eins geringer ist als die Anzahl von Passagieren, nachdem die Anzahl von Objekten durch die vierte Bewertungseinheit berechnet wurde, in Fällen, in denen durch die erste Bewertungseinheit bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz Platz genommen hat.
Computerprogramm für eine Fahrerüberwachung, welches einen Prozessor veranlasst, einen Prozess auszuführen, wobei der Prozess aufweist: Erlangen einer Anzahl von Passagieren, welche ein Fahrzeug in Anspruch nehmen, wenn das Fahrzeug eine Fahrt begonnen hat; Bestimmen, ob ein Fahrer auf einem Fahrersitz sitzt oder nicht, basierend auf einem von einer Bildgebungseinheit aufgenommenen Bild in der Nähe des Fahrersitzes des Fahrzeugs; und in Fällen, in denen bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt, Bestimmen, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die durch einen Sitzsensor erfasst wird, der in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordnet ist, mit der Anzahl von Passagieren übereinstimmt, oder Bestimmen, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.
Fahrerüberwachungsverfahren, welches von einer Fahrerüberwachungsvorrichtung ausgeführt wird, wobei das Verfahren aufweist: Erlangen einer Anzahl von Passagieren, welche ein Fahrzeug in Anspruch nehmen, wenn das Fahrzeug eine Fahrt begonnen hat; Bestimmen, ob ein Fahrer auf einem Fahrersitz sitzt oder nicht, basierend auf einem von einer Bildgebungseinheit aufgenommenen Bild in der Nähe des Fahrersitzes des Fahrzeugs; und in Fällen, in denen bestimmt wurde, dass der Fahrer nicht auf dem Fahrersitz sitzt, Bestimmen, dass der Fahrer nicht auf dem Fahrersitz sitzt, falls eine Anzahl von Personen, die Platz genommen haben, welche eine Anzahl von sitzenden Personen darstellt, die durch einen Sitzsensor erfasst wird, der in jedem anderen Sitz als dem Fahrersitz des Fahrzeugs angeordnet ist, mit der Anzahl von Passagieren übereinstimmt, oder Bestimmen, dass der Fahrer auf dem Fahrersitz sitzt, falls die Anzahl von Personen, die Platz genommen haben, um eins geringer ist als die Anzahl von Passagieren.