DE102021100895A1 - Fahrzeuginsassenüberwachungsvorrichtung - Google Patents

Fahrzeuginsassenüberwachungsvorrichtung Download PDF

Info

Publication number
DE102021100895A1
DE102021100895A1 DE102021100895.6A DE102021100895A DE102021100895A1 DE 102021100895 A1 DE102021100895 A1 DE 102021100895A1 DE 102021100895 A DE102021100895 A DE 102021100895A DE 102021100895 A1 DE102021100895 A1 DE 102021100895A1
Authority
DE
Germany
Prior art keywords
occupant
vehicle
hand
detection area
ecu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021100895.6A
Other languages
English (en)
Inventor
Ryota Nakamura
Junpei Tokizaki
Masayuki Marubashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of DE102021100895A1 publication Critical patent/DE102021100895A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Abstract

Eine Fahrzeuginsassenüberwachungsvorrichtung enthält eine Bedienungsbestimmungseinheit und eine Ausgabeeinheit. Die Bedienungsbestimmungseinheit ist konfiguriert, um ein Bild zu bearbeiten, das sie von einer Bildaufnahmevorrichtung erhält, die konfiguriert ist, um ein Bild eines Insassen in einem Fahrzeug aufzunehmen. Die Bedienungsbestimmungseinheit ist ferner konfiguriert, um eine kontaktfreie Bedienung durch den Insassen zu bestimmen. Die Ausgabeeinheit ist konfiguriert, um ein Steuersignal auszugeben, das vorab der kontaktfreien Bedienung zugeordnet ist, die vom Insassen gegeben wird und die durch die Bedienungsbestimmungseinheit bestimmt wird.

Description

  • HINTERGRUND
  • Technisches Gebiet
  • Die Erfindung betrifft eine Fahrzeuginsassenüberwachungsvorrichtung.
  • Verwandte Technik
  • Einige Fahrzeuge, einschließlich Automobile, sind mit einer Insassenüberwachungsvorrichtung versehen, um zu überwachen, ob ein Insasse zur Seite blickt oder schläfrig ist (japanische ungeprüfte Patentanmeldung Veröffentlichung Nr. 2019-131104). Die Insassenüberwachungsvorrichtung erkennt den Insassen im Fahrzeug und überwacht zum Beispiel, ob der Insasse zur Seite blickt oder schläfrig ist.
  • ZUSAMMENFASSUNG
  • Ein Aspekt der Erfindung gibt eine Fahrzeuginsassenüberwachungsvorrichtung an, die eine Bedienungsbestimmungseinheit und eine Ausgabeeinheit enthält. Die Bedienungsbestimmungseinheit ist konfiguriert, um ein Bild zu bearbeiten, das von einer Bildaufnahmevorrichtung erhalten wird, die konfiguriert ist, um ein Bild eines Insassen im Fahrzeug aufzunehmen. Die Bedienungsbestimmungseinheit ist ferner konfiguriert, um eine kontaktfreie Bedienung durch den Insassen zu bestimmen. Die Ausgabeeinheit ist konfiguriert, um ein Steuersignal auszugeben, das vorab der kontaktfreien Bedienung zugeordnet ist, die durch den Insassen erzeugt wird und die durch die Bedienungsbestimmungseinheit bestimmt wird.
  • Figurenliste
  • Die beigefügten Zeichnungen sind enthalten, um für ein weiteres Verständnis der Erfindung zu sorgen und sind in diese Beschreibung eingebaut und stellen einen Teil von dieser dar. Die Zeichnungen illustrieren Ausführungsbeispiele und dienen zusammen mit der Beschreibung dazu, die Prinzipien der Erfindung zu erläutern.
    • 1A und 1B sind Erläuterungsdiagramme eines Insassenüberwachungszustands in einem Fahrzeug, auf das ein Ausführungsbeispiel der Erfindung angewendet wird.
    • 2 ist ein Erläuterungsdiagramm eines Fahrzeugsteuersystems, das in dem Fahrzeug in den 1A und 1B vorgesehen ist.
    • 3 ist ein Flussdiagramm eines Beispiels eines Hauptprozesses, der von einer Insassenüberwachungs-ECU in 2 für eine kontaktfreie Bedienung durchgeführt werden soll.
    • 4 ist ein Flussdiagramm eines Beispiels eines detaillierten Prozesses eines Handzeichendetektionsprozesses in Schritt ST9 in 3.
    • 5A und 5B sind Erläuterungsdiagramme eines Papierförmiges-Handzeichen-Detektionsbereichs und eines Steinförmiges-Handzeichen-Detektionsbereichs gemäß dem Ausführungsbeispiel.
    • 6 ist ein Erläuterungsdiagramm eines Beispiels des Formbestimmungsprozesses für ein Handzeichen.
    • 7A und 7B sind Erläuterungsdiagramme eines Papierförmiges-Handzeichen-Detektionsbereichs und eines Steinförmiges-Handzeichen-Detektionsbereichs gemäß einem Modifikationsbeispiel des Ausführungsbeispiels.
  • DETAILLIERTE BESCHREIBUNG
  • Von Fahrzeugen, einschließlich Automobilen, ist gefordert worden, potenziell für Sicherheitszwecke andere Maßnahmen zu verbessern, zusätzlich zu Maßnahmen gegen ein solches Ergebnis, dass ein Insasse zur Seite blickt oder schläfrig ist. Zum Beispiel könnte ein Insasse einen Bedienungsknopf in einem Fahrzeug betätigen, um eine im Fahrzeug vorgesehene Klimaanlage zu betätigen. Es ist nicht erwünscht, dass sich für eine solche Bedienung, wie oben beschrieben, die Aufmerksamkeit des Insassen während der Fahrt des Fahrzeugs auf die Bedienung konzentriert. Um zum Beispiel die Klimaanlage zu bedienen, ist erwünscht, dass diese Bedienung leichter gemacht wird, um zu verhindern, dass Fahrbedienungen für das Fahrzeug beeinträchtigt werden.
  • Es gab Bedarf nach Fahrzeugen, die automatisch gefahren werden. In einem Fahrzeug ist bei automatischer Fahrt ein Insasse davon befreit, Fahrbedienungen selbst durchzuführen. Der Insasse kann daher in einem entspannten Zustand frei sitzen, anders als in einer zum Fahren erforderlichen Fahrposition. Auch in einem solchen Sitzzustand war es erwünscht, die Bedienung einer Vorrichtung wie etwa einer in dem Fahrzeug vorgesehenen Klimaanlage möglich zu machen.
  • Es ist wünschenswert, es in dem oben beschriebenen Fahrzeug leichter zu machen, eine Vorrichtung wie etwa die in dem Fahrzeug vorgesehene Klimaanlage zu bedienen.
  • Im Folgenden werden einige Ausführungen der Erfindung unter Bezug auf die beigefügten Zeichnungen beschrieben. Übrigens ist die folgende Beschreibung auf illustrative Beispiele der Erfindung gerichtet und soll nicht so verstanden werden, dass sie die Erfindung einschränkt. Faktoren, einschließlich ohne Einschränkung, numerischer Werte, Formen, Materialien, Komponenten, Positionen der Komponenten und wie die Komponenten miteinander gekoppelt sind, sind nur illustrativ und sollen nicht so verstanden werden, dass sie die Erfindung einschränken. Ferner sind in den vorliegenden Ausführungsbeispielen Elemente, die nicht im allgemeinsten unabhängigen Anspruch der Erfindung genannt sind, optional und können nach Bedarf vorgesehen werden. Die Zeichnungen sind schematisch und brauchen nicht maßstabsgetreu zu sein. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration haben, mit den gleichen Bezugszahlen bezeichnet, um eine redundante Beschreibung zu vermeiden.
  • 1A und 1B sind Erläuterungsdiagramme eines Insassenüberwachungszustands in einem Fahrzeug 1, auf das ein Ausführungsbeispiel der Erfindung angewendet wird.
  • 1A ist eine Draufsicht des Fahrzeugs 1. 1 B ist ein schematisches Erläuterungsdiagramm, wenn man einen vertikalen Querschnitt einer Kabine 3 des Fahrzeugs 1 von vorne her betrachtet.
  • Das Fahrzeug 1 kann zum Beispiel ein Automobil sein. Spezifische, aber nicht einschränkende Beispiele von Fahrzeugen, in denen eine Person fährt, können, zusätzlich zum Fahrzeug 1, große Fahrzeuge, Motorräder, Personenmobile, Fahrräder, Schienenfahrzeuge, Luftfahrzeuge und Schiffe beinhalten.
  • Das Fahrzeug 1 in den 1A und 1B kann zum Beispiel eine Fahrzeugkarosserie 2, mehrere Sitze 4, ein Armaturenbrett 5 und ein Lenkrad 6 enthalten. Die mehreren Sitze 4 können links und rechts in der Kabine 3 der Fahrzeugkarosserie 2 vorgesehen und angeordnet sein. Das Armaturenbrett 5 kann vor den mehreren Sitzen 4 angeordnet sein. Das Lenkrad 6 kann von dem Armaturenbrett 5 nach hinten vorstehen.
  • Auf den in der Kabine 3 vorgesehenen Sitzen 4 können Insassen sitzen. Einer der Insassen kann als Fahrer dienen. Der Fahrer kann auf einem der Sitze 4 in einer Fahrposition sitzen. In der Fahrposition kann der Fahrer mit beiden linken und rechten Händen das Lenkrad 6 halten, das vor dem einen der Sitze 4 angeordnet ist. Das Fahrzeug 1 kann die Antriebskraft eines nicht dargestellten Verbrennungsmotors, eines nicht dargestellten Elektromotors oder beide verwenden. Das Fahrzeug 1 kann Bedienungen des einen Insassen folgen, so dass es fährt. Falls bei der automatischen Fahrt zum Beispiel ein Ziel gesetzt ist, kann das Fahrzeug 1 automatisch auf einer Route zu dem Ziel fahren.
  • In einigen Ausführungen kann sich „links“ auf die linke Seite des als Fahrer dienenden Insassen beziehen und kann sich „rechts“ auf die rechte Seite des als Fahrer dienenden Insassen beziehen.
  • 2 ist ein Erläuterungsdiagramm eines Fahrzeugsteuersystems 10, das in dem Fahrzeug 1 der 1 A und 1B vorgesehen ist.
  • 2 zeigt repräsentativ elektronische Steuereinheiten (ECUs), die jeweils in mehreren Steuergeräten eingebaut sind, die in dem Fahrzeugsteuersystem 10 im Fahrzeug 1 enthalten sind. Die Steuergeräte können jeweils, zusätzlich zu den Steuer-ECUs, zum Beispiel Aufzeichnungselemente, Eingabe- und Ausgabeanschlüsse, Zeitmesselemente und interne Busse enthalten. Die Aufzeichnungselemente können konfiguriert sein, um Steuerprogramme und Daten aufzuzeichnen. Die Eingabe- und Ausgabeanschlüsse können mit zu steuernden Zielen oder Zustandsdetektoren für die zu steuernden Ziele gekoppelt sein. Die Zeitmesselemente können konfiguriert sein, um eine Zeit und eine Zeitspanne zu messen. Die internen Busse können mit den oben beschriebenen Komponenten gekoppelt sein.
  • In einem spezifischen, aber nicht einschränkenden Beispiel können die in 2 dargestellten Steuer-ECUs eine Antriebs-ECU 11, eine Lenk-ECU 12, eine Brems-ECU 13, eine Automatische-Fahrassistenz-ECU 14, eine Fahrbedienungs-ECU 15, eine Detektions-ECU 16, eine Externe-Kommunikations-ECU 17, eine Benutzerschnittstellen (UI)-Bedienungs-ECU 18, eine Insassenüberwachungs-ECU 19 einer Insassenüberwachungsvorrichtung 60 sowie eine Klimaanlagen-ECU 20 einer Klimaanlage 50 sein. Das Fahrzeugsteuersystem 10 in dem Fahrzeug 1 kann auch eine andere nicht dargestellte Steuer-ECU enthalten.
  • Die mehreren Steuer-ECUs können mit einem Fahrzeugnetzwerk 26 wie etwa einem Controller Area Network (CAN) oder einem Local Interconnect Network (LIN) gekoppelt sein, das in dem Fahrzeug 1 verwendet wird. Das Fahrzeugnetzwerk 26 kann mehrere Buskabel 27 und ein zentrales Gateway (CGW) 28 enthalten. Die mehreren Steuer-ECUs können durch die mehreren Buskabel 27 miteinander verbunden werden. Das zentrale Gateway (CGW) 28 kann als Vermittler dienen, mit dem die mehreren Buskabel 27 verbunden sind. Identifikationen (IDs) können den mehreren Steuer-ECUs zugeordnet sein. Die IDs können sich voneinander unterscheiden. Die IDs können jeweils als Identifikationsinformation dienen. Die Steuer-ECUs können jeweils Meldedaten, grundliegend periodisch, zu anderen Steuer-ECUs ausgeben. Die Meldedaten können eine ID für eine der Steuer-ECUs und eine andere ID für eine andere der Steuer-ECUs haben. Die eine der Steuer-ECUs kann eine Ausgabequelle repräsentieren. Eine andere der Steuer-ECUs kann ein Ausgabeziel repräsentieren. Jede der anderen Steuer-ECUs kann die Buskabel 27 überwachen. Falls eine ID, die ein Ausgabeziel repräsentiert, der ID einer anderen der Steuer-ECUs entspricht, kann zum Beispiel die eine der Steuer-ECUs Meldedaten erfassen. Die eine der Steuer-ECUs kann dann auf der Basis der Meldedaten Prozesse ausführen. Das zentrale Gateway 28 kann die mehreren Buskabel 27 überwachen, welche jeweils gekoppelt sind. Falls eine der Steuer-ECUs mit einem der Buskabel 27 gekoppelt ist, eine andere der Steuer-ECUs mit einem anderen der Buskabel 27 gekoppelt ist, die eine der Steuer-ECUs eine Ausgabequelle repräsentiert und das zentrale Gateway 28 die andere der Steuer-ECUs detektiert, kann das zentrale Gateway 28 Meldedaten zu dem einen anderen der Buskabel 27 ausgeben. Während eine der mehreren Steuer-ECUs mit einem der Buskabel 27 gekoppelt ist und eine andere der Steuer-ECUs mit einem anderen der Buskabel 27 gekoppelt ist, kann, durch den oben beschriebenen Vermittlungsprozess durch das zentrale Gateway 28 der Austausch von einzugebenden und auszugebenden Meldedaten zwischen der einen der mehreren Steuer-ECUs und der einen anderen der mehreren Steuer-ECUs erzielt werden.
  • Die externe Kommunikations-ECU 17 kann zum Beispiel drahtlos mit einer Kommunikationsbasisstation 101 und einer Kommunikationsvorrichtung kommunizieren, die sich außerhalb des Fahrzeugs 1 befinden. Die Kommunikationsvorrichtung kann in einem anderen Fahrzeug 110 vorgesehen sein. Die Kommunikationsbasisstation 101 kann zum Beispiel eine Basisstation sein, die zu einem fortschrittlichen Fahrerassistenzsystem (ADAS) -Kommunikationsnetzwerk gehört, oder eine Basisstation, die zu einem Trägerkommunikationsnetzwerk gehört. Die zu dem Trägerkommunikationsnetzwerk gehörende Basisstation kann nicht nur mit der in dem anderen Fahrzeug 110 vorgesehenen Kommunikationsvorrichtung kommunizieren, sondern auch mit einer tragbaren Vorrichtung, die ein Fußgänger besitzt. Die externe Kommunikations-ECU 17 kann, gemäß den Typen ihrer Gegenstücke, in mehrere Abschnitte unterteilt sein. Die mehreren Abschnitte können jeweils direkt mit den Gegenstücken kommunizieren. Die mehreren Abschnitte können in dem Fahrzeug 1 vorgesehen sein. Die Kommunikationsbasisstation 101, die in dem anderen Fahrzeug 110 vorgesehene Kommunikationsvorrichtung und die tragbare Vorrichtung können konfiguriert sein, um zusammen mit einer Servervorrichtung 102 ein Transportsystem 100 zu konfigurieren. Die externe Kommunikations-ECU 17 kann direkt drahtlos mit der Kommunikationsbasisstation 101 oder der in dem anderen Fahrzeug 110 vorgesehenen Kommunikationsvorrichtung kommunizieren. Die externe Kommunikations-ECU 17 kann somit Kommunikationsdaten zu und von der Servervorrichtung 102, dem anderen Fahrzeug 110 oder der tragbaren Vorrichtung senden und empfangen.
  • Die UI-Bedienungs-ECU 18 kann mit einer Benutzerschnittstelle für die Insassen gekoppelt sein. Zum Beispiel kann die UI-Bedienungs-ECU 18 mit einer Anzeigevorrichtung 21 und einer Bedienungsvorrichtung 22 gekoppelt sein. Die Anzeigevorrichtung 21 kann zum Beispiel eine Flüssigkristallvorrichtung oder eine Bildprojektionsvorrichtung sein. Die Bedienungsvorrichtung 22 kann zum Beispiel ein Touch Panel oder eine Tastatur sein. Die Anzeigevorrichtung 21 und die Bedienungsvorrichtung 22 können zum Beispiel am Armaturenbrett 5 angebracht sein. Die UI-Bedienungs-ECU 18 kann Meldedaten vom Fahrzeugnetzwerk 26 erfassen. Die UI-Bedienungs-ECU 18 kann veranlassen, dass die Anzeigevorrichtung 21 auf der Basis der Meldedaten eine Anzeige durchführt. Wenn die Bedienungsvorrichtung 22 eine Bedienungseingabe akzeptiert, kann die UI-Bedienungs-ECU 18 die Bedienungseingabe an das Fahrzeugnetzwerk 26 ausgeben. Die UI-Bedienungs-ECU 18 kann dann auf der Basis der Bedienungseingabe einen Prozess ausführen. Die UI-Bedienungs-ECU 18 kann ein Ergebnis des Prozesses in den Meldedaten enthalten. Die UI-Bedienungs-ECU 18 kann zum Beispiel veranlassen, dass ein Einstellbildschirm für eine andere Vorrichtung, wie etwa die im Fahrzeug 1 vorgesehene Klimaanlage 50, angezeigt wird. Die UI-Bedienungs-ECU 18 kann dann einen Einstellwert, der durch eine Bedienungseingabe gewählt ist, über das Fahrzeugnetzwerk 26 zu der anderen Vorrichtung ausgeben.
  • Die Fahrbedienungs-ECU 15 kann zum Beispiel mit Bedienungselementen gekoppelt sein. Die Bedienungselemente können von dem einem Insassen zur Fahrtsteuerung des Fahrzeugs 1 verwendet werden. Spezifische, aber nicht einschränkende Beispiele der Bedienungselemente können das Lenkrad 6, ein Bremspedal 32, ein Gaspedal 33 und einen Schalthebel 34 beinhalten. Wenn eines der Bedienungselemente bedient wird, kann die Fahrbedienungs-ECU 15 an das Fahrzeugnetzwerk 26 Meldedaten ausgeben. Die Meldedaten können enthalten, ob eine Bedienung vorliegt, sowie einen Betrag der Bedienung. Die Fahrbedienungs-ECU 15 kann einen Prozess in Bezug auf die Bedienung ausführen, die an dem einen der Bedienungselemente vorgenommen wurde. Die Fahrbedienungs-ECU 15 kann dann ein Ergebnis des Prozesses in die Meldedaten einbauen.
  • Falls zum Beispiel das Gaspedal 33 in einer Situation betätigt wird, in dem ein anderer beweglicher Körper oder ein festes Objekt in Fahrtrichtung vor dem Fahrzeug 1 liegt, kann die Fahrbedienungs-ECU 15 bestimmen, dass die Bedienung abnormal ist. Die Fahrbedienungs-ECU 15 kann dann ein Ergebnis der Bestimmung in die Meldedaten einbauen.
  • Die Detektions-ECU 16 kann zum Beispiel mit Detektionselementen gekoppelt sein. Die Detektionselemente können jeweils einen Fahrzustand des Fahrzeugs 1 detektieren. Spezifische, aber nicht einschränkende Beispiele der Detektionselemente können einen Geschwindigkeitssensor 41, einen Beschleunigungssensor 42, eine Außenkamera 43 und einen Handanlegesensor 44 enthalten. Der Geschwindigkeitssensor 41 kann konfiguriert sein, um eine Geschwindigkeit des Fahrzeugs 1 zu detektieren. Der Beschleunigungssensor 42 kann konfiguriert sein, um einen Grad der Beschleunigung des Fahrzeugs 1 zu detektieren. Die Außenkamera 43 kann konfiguriert sein, um ein Bild eines Außenbereichs des Fahrzeugs 1 aufzunehmen. In einer Ausführung kann die Außenkamera 43 zum Beispiel eine Stereokamera sein. Der Handanlegesensor 44 kann konfiguriert sein, um zu detektieren, ob eine Hand oder beide Hände das Lenkrad 6 berühren. Die Detektions-ECU 16 kann Detektionsinformation von jedem der Detektionselemente erfassen. Die Detektions-ECU 16 kann dann an das Fahrzeugnetzwerk 26 Meldedaten einschließlich der Detektionsinformation ausgeben. Die Detektions-ECU 16 kann auf der Basis der Detektionsinformation Prozesse ausführen. Die Detektions-ECU 16 kann dann ein Ergebnis des Prozesses in die Meldedaten einbauen. Falls zum Beispiel der Beschleunigungssensor 42 eine Beschleunigung detektiert und ein Grad der Beschleunigung einen Schwellenwert zur Kollisionsdetektion überschreitet, kann die Detektions-ECU 16 bestimmen, dass eine Kollision detektiert wird. Die Detektions-ECU 16 kann dann ein Ergebnis der Kollisionsdetektion in die Meldedaten einbauen. Die Detektions-ECU 16 kann einen beweglichen Körper auf der Basis des von der Außenkamera 43 aufgenommenen Bilds extrahieren. Der bewegliche Körper kann zum Beispiel ein Fußgänger oder das andere Fahrzeug 110 sein. Der bewegliche Körper kann sich innerhalb eines Bereichs um das Fahrzeug 1 herum befinden. Die Detektions-ECU 16 kann einen Typ und ein Attribut des beweglichen Körpers bestimmen. Die Detektions-ECU 16 kann eine relative Richtung, einen relativen Abstand und eine Bewegungsrichtung des beweglichen Körpers gemäß einer Position, einer Größe und einer Änderung des beweglichen Körpers in dem Bild schätzen. Die Detektions-ECU 16 kann in den Meldedaten Information des beweglichen Körpers enthalten, einschließlich eines Ergebnisses der Schätzung. Die Detektions-ECU 16 kann die Meldedaten dann an das Fahrzeugnetzwerk 26 ausgeben.
  • Die Automatische-Fahrassistenz-ECU 14 kann die Meldedaten von dem Fahrzeugnetzwerk 26 erfassen. Die Automatische-Fahrassistenz-ECU 14 kann dann eine Fahrmethode des Fahrzeugs 1 zwischen automatischer Fahrt und manueller Fahrt umschalten.
  • Die Automatische-Fahrassistenz-ECU 14 kann die Meldedaten von dem Fahrzeugnetzwerk 26 erfassen. Die Automatische-Fahrassistenz-ECU 14 kann dann eine Steuerung zur automatischen Fahrt oder Fahrassistenz des Fahrzeugs 1 ausführen. Die Automatische-Fahrassistenz-ECU 14 kann dann Fahrsteuerdaten erzeugen und an die Antriebs-ECU 11, die Lenk-ECU 12 und die Brems-ECU 13 ausgeben. Die Antriebs-ECU 11, die Lenk-ECU 12 und die Brems-ECU 13 können die Fahrt des Fahrzeugs 1 auf der Basis der eingegebenen Fahrtsteuerdaten steuern.
  • Falls die Automatische-Fahrassistenz-ECU 14 die automatische Fahrt des Fahrzeugs 1 erlaubt, kann die Automatische-Fahrassistenz-ECU 14 Meldedaten von dem Fahrzeugnetzwerk 26 erfassen. Die Automatische-Fahrassistenz-ECU 14 kann dann nach einer Route zu einem Ziel suchen oder diese erfassen. Die Automatische-Fahrassistenz-ECU 14 kann ferner Meldedaten von dem Fahrzeugnetzwerk 26 erfassen. Die Automatische-Fahrassistenz-ECU 14 kann dann bestimmen, ob in oder um das Fahrzeug 1 herum eine abnormale oder gefährliche Situation entsteht. Die Automatische-Fahrassistenz-ECU 14 kann, falls keine abnormale oder gefährliche Situation in oder um das Fahrzeug 1 herum besteht, Fahrsteuerdaten in Bezug auf einen Weg erzeugen, entlang dem sich das Fahrzeug 1 gemäß der Route bewegt. Die Automatische-Fahrassistenz-ECU 14 kann dann die Fahrsteuerdaten als Meldedaten ausgeben. Die Automatische-Fahrassistenz-ECU 14 kann die Fahrt des Fahrzeugs 1 auf der Basis der Positionsinformation des Fahrzeugs 1 steuern. Die Positionsinformation kann zum Beispiel von einem globalen Ortungssystem (GPS) Empfänger empfangen werden. Dem Fahrzeug 1 kann daher erlaubt werden, entlang einer Bewegungsroute zu einem Ziel wie etwa einem Parkplatz zu fahren. Falls in oder um das Fahrzeug 1 herum eine abnormale oder gefährliche Situation entsteht, kann die Automatische-Fahrassistenz-ECU 14 Fahrsteuerdaten erzeugen, die zur Vermeidung der abnormalen oder gefährlichen Situation verwendet werden. Die Automatische-Fahrassistenz-ECU 14 kann dann die Fahrsteuerdaten als Meldedaten ausgeben.
  • Falls die Automatische-Fahrassistenz-ECU 14 die Fahrt des Fahrzeugs 1 unterstützt, kann die Automatische-Fahrassistenz-ECU 14 Meldedaten in Bezug auf eine Bedienungseingabe von der UI-Bedienungs-ECU 18 über das Fahrzeugnetzwerk 26 erfassen. Die Automatische-Fahrassistenz-ECU 14 kann eine Bedienung gemäß der Bedienungseingabe justieren, um Fahrsteuerdaten zu erzeugen. Die Automatische-Fahrassistenz-ECU 14 kann dann die Fahrsteuerdaten als Meldedaten ausgeben. Die Automatische-Fahrassistenz-ECU 14 kann die Fahrt des Fahrzeugs 1 gemäß einer Fahrerbedienung steuern, die von dem einen der Insassen vorgenommen wird. Falls in oder um das Fahrzeug 1 herum eine abnormale oder gefährliche Situation entsteht, kann die Automatische-Fahrassistenz-ECU 14 Fahrsteuerdaten erzeugen, die zur Vermeidung der abnormalen oder gefährlichen Situation verwendet werden. Die Automatische-Fahrassistenz-ECU 14 kann dann die Fahrsteuerdaten als Meldedaten ausgeben.
  • Die Klimaanlagen-ECU 20 kann zum Beispiel mit einem Kompressor 51, einem Verdampfer 52 und einem Gebläse 53 gekoppelt sein. Der Kompressor 51 kann konfiguriert sein, um ein Kältemittel umzuwälzen. Diese Elemente können die Klimaanlage 50 konfigurieren, die in dem Fahrzeug 1 in den 1A und 1B vorgesehen ist. Die Klimaanlagen-ECU 20 kann die Elemente für jeweilige Betätigungen steuern, um der Kabine 3 warme Luft oder kalte Luft zuzuführen. Die Klimaanlagen-ECU 20 kann die Zufuhr von Warmluft oder Kaltluft steuern, um eine eingestellte Temperatur in der Kabine 3 einzuhalten.
  • Die Insassenüberwachungs-ECU 19 kann mit einem Speicher 64, einem Timer 63, einem Mikrofon 62 und einer Innenkamera 61 gekoppelt sein. Diese Komponenten können die Insassenüberwachungsvorrichtung 60 in dem Fahrzeug 1 in den 1A und 1B konfigurieren.
  • Der Timer 63 kann konfiguriert sein, um eine Zeit und eine Zeitspanne zu messen.
  • Das Mikrofon 62 kann konfiguriert sein, um Geräusche in der Kabine 3 aufzunehmen.
  • Die Innenkamera 61 kann als Bildaufnahmevorrichtung gelten. Die Innenkamera 61 kann konfiguriert sein, um ein Bild in der Kabine 3 aufzunehmen. Die Innenkamera 61 kann so vorgesehen sein, dass sie am Armaturenbrett 5 in der Kabine 3 nach hinten weist, wie zum Beispiel in 1A und 1B dargestellt. Die Innenkamera 61 kann ein Bild der Insassen aufnehmen, die auf den Sitzen 4 in der Kabine 3 sitzen. In einem von der Innenkamera 61 in den 1A und 1B aufgenommenen Bild können Oberkörper der mehreren Insassen, die auf den links und rechts angeordneten mehreren Sitzen 4 sitzen, aufgenommen werden.
  • Der Speicher 64 kann konfiguriert sein, um Programme und Daten zu speichern. Die Insassenüberwachungs-ECU 19 kann die Programme ausführen. Die Daten können benutzt werden, wenn jedes der Programme ausgeführt wird.
  • Wenn der eine der Insassen in das Fahrzeug 1 einsteigt und ein nicht dargestellter Startknopf in dem Fahrzeug 1 betätigt wird, um das Fahrzeug 1 in einen fahrbereiten Zustand zu aktivieren, kann die Insassenüberwachungs-ECU 19 jedes der Programme aus dem Speicher 64 lesen und ausführen. Zum Beispiel in Antwort auf die Tatsache, dass das Fahrzeug 1 aktiviert ist und das Fahrzeugnetzwerk 26 kommunikationsbereit ist, kann die Insassenüberwachungs-ECU 19 jedes der Programme aus dem Speicher 64 lesen und ausführen. In diesem Fall kann die Insassenüberwachungs-ECU 19 jedes der Programme aus dem Speicher 64 normal lesen und ausführen, falls sich der eine der Insassen in dem Fahrzeug 1 befindet, unabhängig davon, ob etwaige Insassen dabei sind, in das Fahrzeug 1 einzusteigen oder aus diesem auszusteigen. Die Insassenüberwachungs-ECU 19 kann somit als Steuergerät für die Insassenüberwachungsvorrichtung 60 in dem Fahrzeug 1 dienen. Die Insassenüberwachungs-ECU 19, die als das Steuergerät der Insassenüberwachungsvorrichtung 60 dient, kann die Insassen im Fahrzeug 1 erkennen und identifizieren. Die Insassenüberwachungs-ECU 19 kann die Insassen in dem Fahrzeug 1 überwachen. Die Insassenüberwachungs-ECU 19 kann dann, hauptsächlich auf der Basis eines Bilds eines Kopfs oder eines Bilds der Augen des einen Insassen, bestimmen, ob der eine der Insassen zur Seite blickt oder schläfrig ist. Es ist daher möglich, die Fahrsicherheit des Fahrzeugs 1 zu verbessern.
  • Zusätzlich zu den Maßnahmen gegen ein solches Ereignis, dass der eine der Insassen zur Seite blickt oder schläfrig ist, ist ferner gefordert worden, dass das Fahrzeug 1 zu Sicherheitszwecken potenziell andere Maßnahmen verbessert. Zum Beispiel könnte der eine der Insassen die Bedienungsvorrichtung 22 in dem Fahrzeug 1 bedienen, um zum Beispiel die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 einzustellen. In diesem Fall könnte der eine der Insassen seine Aufmerksamkeit auf die Bedienungsvorrichtung 22 und die Anzeigenvorrichtung 21 konzentrieren. Wenn sich der eine der Insassen auf eine solche Bedienung konzentriert, könnte die Fahrsicherheit des Fahrzeugs 1 beeinträchtigt werden, ähnlich zu einem Fall, in dem einer der Insassen zur Seite blickt oder schläfrig ist. Um zum Beispiel die Klimaanlage 50 zu bedienen, ist es erwünscht, dass die Bedienung leichter gemacht wird, um zu vermeiden, dass Fahrbedienungen für das Fahrzeug 1 beeinträchtigt werden.
  • Es gab Bedarf nach automatischer Fahrt des Fahrzeugs 1. Falls die Automatische-Fahrassistenz-ECU 14 die automatische Fahrt des Fahrzeugs 1 erlaubt, könnte der eine der Insassen davon befreit werden, Fahrbedienungen selbst durchzuführen.
  • In diesem Fall könnte daher der eine der Insassen im entspannten Zustand frei sitzen, anders als in der Fahrposition, in der der eine Insasse in der Lage ist, zum Beispiel das Lenkrad 6 rasch zu bedienen. Falls der eine Insasse in einem Zustand sitzt, der sich von der Fahrposition zum Fahren unterscheidet, könnte eine Hand des einen Insassen die am Armaturenbrett 5 vorgesehene Bedienungsvorrichtung 22 und die Anzeigevorrichtung 21 nicht erreichen. Auch in einem solchen Zustand wie oben beschrieben ist es gewünscht worden, dass es in dem Fahrzeug möglich gemacht wird, Einstellungen zum Beispiel für die im Fahrzeug 1 vorgesehene Klimaanlage 50 vorzunehmen.
  • Wie oben beschrieben, soll es in dem Fahrzeug 1 leichter gemacht werden, eine Vorrichtung wie etwa die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 leichter zu bedienen.
  • Die Insassenüberwachungsvorrichtung 60 kann die Innenkamera 61 enthalten, die konfiguriert ist, um ein Bild der gesamten Oberkörper der Insassen in dem Fahrzeug 1 aufzunehmen.
  • Mit dem Fahrzeug 1 gemäß dem Ausführungsbeispiel ist es daher zum Beispiel möglich, zu veranlassen, dass die Innenkamera 61 ein Bild eines Zeichens aufnimmt, das durch eine Form einer Hand des einen Insassen in dem aufgenommenen Bild bereitgestellt wird, um eine Steuerung gemäß dem Handzeichen zu erzielen. Falls zum Beispiel ein Handzeichen in einer vorbestimmten Form in dem von der Innenkamera 61 aufgenommenen Bild einer Temperatursteuerung zugeordnet ist, die vorab für die Klimaanlage 50 gesetzt ist, ist es der Innenkamera 61 möglich, ein Bild des Handzeichens aufzunehmen. Es wird auch möglich, die Temperatursteuerung für die Klimaanlage 50 auf der Basis des in dem Bild aufgenommenen Handzeichens auszuführen.
  • Indem man eine Bedienung durch eine Hand in der Form eines Handzeichens wie oben beschrieben verfügbar macht, kann der eine Insasse eine kontaktfreie Bedienung vornehmen, um zum Beispiel die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 einzustellen oder zu steuern. Der eine Insasse braucht daher hier die Bedienungsvorrichtung 22 nicht betätigen. Falls eine offene Hand, die hier als papierförmige Hand des einen Insassen bezeichnet wird, der als der Fahrer dient, zwischen den Sitzen 4 präsentiert wird, wie in 1B dargestellt, ist es zum Beispiel möglich, dass die Insassenüberwachungs-ECU 19 an die Klimaanlage 50 ein Steuersignal ausgibt, das dazu benutzt wird, eine vorab mit einer papierförmigen Hand zugeordnete Einstellung oder Steuerung vorzunehmen. Falls eine zur Faust geschlossene Hand, die als steinförmige Hand des einen Insassen bezeichnet wird, zwischen den Sitzen 4 präsentiert wird, ist es zum Beispiel auch möglich, dass die Insassenüberwachungs-ECU 19 an die Klimaanlage 50 ein Steuersignal ausgibt, das dazu benutzt wird, eine der steinförmigen Hand zuvor zugeordnete Einstellung der Steuerung vorzunehmen. Zum Beispiel ist es auch möglich, auf der Basis des der papierförmigen Hand entsprechenden Steuersignals, an der Klimaanlage 50 zum Beispiel eine Einstellungsänderung zum Erhöhen einer Temperatur vorzunehmen, oder, auf der Basis des der steinförmigen Hand entsprechenden Steuersignals, eine Einstellungsänderung zum Absenken der Temperatur vorzunehmen. Hierdurch wird dem einen Insassen möglich, eine kontaktfreie Bedienung durchzuführen, um zum Beispiel die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 einzustellen oder zu steuern.
  • In einer Ausführung kann die Insassenüberwachungs-ECU 19 als „Bedienungsbestimmungseinheit“ dienen.
  • In einer Ausführung kann die Insassenüberwachungs-ECU 19 ferner als „Ausgabeeinheit“ dienen.
  • In einer Ausführung kann die Insassenüberwachungs-ECU 19 noch weiter als „Startbestimmungseinheit“ dienen.
  • In einer Ausführung kann die Insassenüberwachungs-ECU 19 noch weiter als „Zustandsbestimmungseinheit“ dienen.
  • 3 ist ein Flussdiagramm eines Beispiels eines Hauptprozesses für eine kontaktfreie Bedienung. Der Prozess ist von der Insassenüberwachungs-ECU 19 in 2 durchzuführen.
  • Die Insassenüberwachungs-ECU 19 kann eine kontaktfreie Bedienung detektieren, die von dem einen der Insassen durch ein Handzeichen bereitgestellt wird, um den Prozess in 3 wiederholt auszuführen, um zum Beispiel die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 einzustellen oder zu steuern. Falls sich zumindest einer der Insassen in dem Fahrzeug 1 befindet, kann die Insassenüberwachungs-ECU 19 den Prozess in 3 wiederholt ausführen. In dem Prozess in 3 kann die Insassenüberwachungs-ECU 19 bestimmen, ob der eine Insasse ein sicheres Handzeichen gibt, um die kontaktfreie Bedienung durchzuführen.
  • In Schritt ST1 kann die Insassenüberwachungs-ECU 19 Information eines Zustands des Fahrzeugs 1 und Information eines Zustands des zumindest einen Insassen aufnehmen und erfassen. Die Insassenüberwachungs-ECU 19 kann Information in Bezug auf die Fahrt des Fahrzeugs 1 von dem Fahrzeugnetzwerk 26 erfassen, zusätzlich zu dem von der Innenkamera 61 aufgenommenen Bild und der von der Insassenüberwachungs-ECU 19 selbst erhaltenen Bestimmungsinformation, ob der eine Insasse zur Seite blickt oder schläfrig ist.
  • In Schritt ST2 kann die Insassenüberwachungs-ECU 19 eine Fahrzeuggeschwindigkeit des Fahrzeugs 1 auf der Basis der in Schritt ST1 erfassten Information bestimmen. Falls zum Beispiel die Fahrzeuggeschwindigkeit höher als 0 Kilometer pro Stunde ist und niedriger als eine Maximalgeschwindigkeit des Fahrzeugs 1, kann das Fahrzeug 1 als fahrend bezeichnet werden. Die Insassenüberwachungs-ECU 19 kann dann bestimmen, dass die Fahrzeuggeschwindigkeit nicht 0 ist (Schritt ST2: Nein). In diesem Fall kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Falls die Fahrzeuggeschwindigkeit 0 ist (Schritt ST2: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST3 weitergeht.
  • In Schritt ST3 kann die Insassenüberwachungs-ECU 19 einen Lenkwinkel auf der Basis der in Schritt ST1 erfassten Information bestimmen. Eine Richtung, in der das Fahrzeug 1 fährt, kann gemäß einem Lenkwinkel, mit dem das Lenkrad 6 gelenkt wird, von einer Längsrichtung abweichen. Falls eine Höhe des Lenkwinkels gleich oder über einem vorbestimmten spezifischen Winkel liegt (Schritt ST3: Ja), kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Der spezifische Winkel kann zum Beispiel 180 Grad betragen. Falls die Höhe des Lenkwinkels in einen Bereich unterhalb des vorbestimmten spezifischen Winkels fällt (Schritt ST3: Nein), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST4 weitergeht.
  • In Schritt ST4 kann die Insassenüberwachungs-ECU 19 eine Rückwärtsbewegung des Fahrzeugs 1 auf der Basis der in Schritt ST1 erfassten Information bestimmen. Falls sich das Fahrzeug 1 rückwärts bewegt, könnte sich der eine Insasse umdrehen, um eine Szene hinter der Fahrzeugkarosserie 2 zu prüfen. Falls zum Beispiel eine Möglichkeit besteht, dass sich das Fahrzeug 1 rückwärts bewegt, falls etwa der Schaltdrehhebel in einer Rückwärtsposition ist oder das Fahrzeug 1 bei automatischer Fahrt dabei ist, sich rückwärts zu bewegen (Schritt ST4: Ja), kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Falls keine Möglichkeit besteht, dass sich das Fahrzeug 1 rückwärts bewegt (Schritt ST4: Nein), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST5 weitergeht.
  • In Schritt ST5 kann die Insassenüberwachungs-ECU 19 auf der Basis der in Schritt ST1 erfassten Information bestimmen, ob der eine Insasse in einer Richtung, die einer Fortbewegungsrichtung des Fahrzeugs 1 entspricht, nach vorne blickt, und der eine Insasse in einem fahrbereiten Zustand ist. Falls das Gesicht des einen Insassen nicht nach vorne weist, sondern der eine Insasse zum Beispiel zur Seite blickt (Schritt ST5: Nein), kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Falls das Gesicht des einen Insassen nach vorne blickt (Schritt ST5: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST6 weitergeht.
  • In Schritt ST6 kann die Insassenüberwachungs-ECU 19 auf Basis der in Schritt ST1 erfassten Information bestimmen, ob die Augen des einen Insassen in fahrbereitem Zustand sind. Falls sich die Augen des einen Insassen manchmal schließen, zum Beispiel, weil der eine Insasse schläfrig ist (Schritt ST6: Ja), kann man annehmen, dass der eine Insasse nicht in dem fahrbereiten Zustand ist. In diesem Fall kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Falls die Augen des einen Insassen dauerhaft offen sind (Schritt ST6: Nein), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST7 weitergeht.
  • In Schritt ST7 kann die Insassenüberwachungs-ECU 19 auf der Basis der in Schritt ST1 erfassten Information bestimmen, ob ein Zündschalter in einem Aus-Zustand ist. Falls der Zündschalter in dem Aus-Zustand ist (Schritt ST7: Ja), kann die Klimaanlage 50 ihren Betrieb einstellen. Falls der Zündschalter in dem Aus-Zustand ist, kann die Insassenüberwachungs-ECU 19 dann den Prozess beenden. Falls der Zündschalter nicht im Aus-Zustand ist, sondern im Ein-Zustand ist (Schritt ST7: Nein), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST8 weitergeht.
  • In Schritt ST8 kann die Insassenüberwachungs-ECU 19 auf der Basis der in Schritt ST1 erfassten Information bestimmen, ob Blinker, die Abbiegeanzeigeleuchten des Fahrzeugs 1 darstellen, in einem Aus-Zustand sind. Falls das Fahrzeug 1 nach rechts oder links gelenkt wird, oder falls das Fahrzeug 1 aufgrund einer Notsituation plötzlich stoppt, können die Blinker eingeschaltet werden. Falls die Blinker nicht in dem Aus-Zustand sind, sondern in dem Ein-Zustand sind (Schritt ST8: Nein), kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Falls die Blinker in dem Aus-Zustand sind (Schritt ST8: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Schritt zu ST9 weitergeht.
  • In Schritt ST9 kann die Insassenüberwachungs-ECU 19 den Prozess zum Detektieren einer kontaktfreien Bedienung ausführen, die von dem einen Insassen durch ein Handzeichen vorgenommen wird. Danach kann die Insassenüberwachungs-ECU 19 den Prozess beenden.
  • Wie oben beschrieben, kann die Insassenüberwachungs-ECU 19 als Zustandsbestimmungseinheit dienen, um durch den Prozess von Schritt ST2 bis Schritt ST8 einen Zustand des Fahrzeugs 1 und einen Zustand des zumindest einen Insassen zu bestimmen. Falls die Zustände als für kontaktfreie Bedienung geeignet betrachtet werden, kann die Insassenüberwachungs-ECU 19 den Prozess zum Detektieren der kontaktfreien Bedienung in Schritt ST9 ausführen. Die Insassenüberwachungs-ECU 19 kann, als Zustand des Fahrzeugs 1 oder als Zustand des zumindest einen Insassen, eine Geschwindigkeit des Fahrzeugs 1, einen Lenkwinkel des Fahrzeugs 1, einen Rückwärtsbewegungszustand des Fahrzeugs 1, einen fahrbereiten Zustand des Fahrzeugs 1, einen Leuchtzustand der Abbiegeleuchten sowie einen zur manuellen Fahrt bereiten Zustand des einen Insassen alle bestimmen. Falls die Bestimmung möglich ist, dass dem zumindest einem Insassen erlaubt wird, eine kontaktfreie Bedienung durchzuführen, kann die Insassenüberwachungs-ECU 19 den Prozess zum Detektieren einer kontaktfreien Bedienung in Schritt ST9 ausführen. Bedingungen, unter denen der Prozess zum Detektieren einer kontaktfreien Bedienung ausführbar ist, brauchen nicht auf die oben beschriebenen Bedingungen beschränkt zu sein. Zum Beispiel kann der Prozess in Schritt ST8 weggelassen werden.
  • 4 ist ein Flussdiagramm eines Beispiels eines detaillierten Prozesses eines Handzeichendetektionsprozesses in Schritt ST9 in 3.
  • In Schritt ST11 kann die Insassenüberwachungs-ECU 19 als Startbestimmungseinheit dienen, um einen Initialisierungsprozess für den Handzeichendetektionsprozess auszuführen. Die Insassenüberwachungs-ECU 19 kann einen anfänglichen Detektionsbereich 80 setzen. In einer Ausführung kann der anfängliche Detektionsbereich 80 als „Abschnittdetektionsbereich“ dienen. Der anfängliche Detektionsbereich 80 kann dazu benutzt werden, um eine Bedienung durch eine Form einer Hand des einen Insassen zu bestimmen. Wie in den 1A und 1B dargestellt, kann zum Beispiel der anfängliche Detektionsbereich 80 einen Teil eines Aufnahmebereichs der Innenkamera 61 repräsentieren. Dieser kann sich innerhalb eines Bereichs erstrecken, in dem es möglich ist, ein Bild einer Form einer Hand aufzunehmen, falls der eine Insasse als der Fahrer dient und der Fahrer eine seiner Hände vom Lenkrad 6 gelöst hat und die eine Hand seitlich bewegt hat. In den 1A und 1B kann der Fahrer seinen linken Arm leicht strecken, um zu erlauben, dass sich die Hand innerhalb des anfänglichen Detektionsbereich 80 befindet. Alle Finger und der Daumen der linken Hand können geschlossen sein (steinförmige Hand) oder offen (papierförmige Hand). Der anfängliche Detektionsbereich 80 kann relativ breit festgelegt werden, was es möglich macht, sobald wie möglich eine Form einer ausgestreckten Hand des einen Insassen zu detektieren. Wenn man den anfänglichen Detektionsbereich 80 relativ breit festlegt, wird es ferner möglich gemacht, eine Hand innerhalb des anfänglichen Detektionsbereichs 80 zu halten, auch wenn sich die Position der Hand bewegt, als ob die Hand eine Bewegung durchführen würde, zum Beispiel aufgrund einer Bewegung des Fahrzeugs 1, welches fährt. Im Unterschied von 1A und 1B könnte die das Lenkrad 6 haltende Hand des Fahrers sich innerhalb des anfänglichen Detektionsbereichs 80 befinden. Die Insassenüberwachungs-ECU 19 kann einen für den Prozess verwendeten Zähler rücksetzen.
  • In Schritt ST12 kann die Insassenüberwachungs-ECU 19 einen Bildbereichprozess in Bezug auf den anfänglichen Detektionsbereich 80 ausführen. Die Insassenüberwachungs-ECU 19 kann ein dem anfänglichen Detektionsbereich 80 entsprechendes Teilbild aus einem von der Innenkamera 61 zuletzt aufgenommenen Bild ausschneiden, um aus dem Teilbild eine Form einer Hand des einen Insassen zu bestimmen.
  • In Schritt ST13 kann die Insassenüberwachungs-ECU 19 bestimmen, ob eine Hand des einen Insassen in dem Bild als vorbestimmter Abschnitt des einen Insassen aufgenommen wird. Falls eine Form einer Hand des einen Insassen identifiziert wird (Schritt ST13: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST14 weitergeht. Falls es nicht möglich ist, eine Form einer Hand des einen Insassen zu identifizieren (Schritt ST13: Nein), kann die Insassenüberwachungs-ECU 19 veranlassen, dass der Prozess zu Schritt ST12 zurückkehrt.
  • In Schritt ST14 kann die Insassenüberwachungs-ECU 19 bestimmen, ob die detektierte Form der Hand des einen Insassen der papierförmigen Hand entspricht. Falls die Form der Hand des einen Insassen nicht der papierförmigen Hand entspricht (Schritt ST14: Nein), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST15 weitergeht. In Schritt ST15 kann die Insassenüberwachungs-ECU 19 bestimmen, ob die detektierte Form der Hand des einen Insassen der steinförmigen Hand entspricht. Falls die Form der Hand des einen Insassen nicht der steinförmigen Hand entspricht (Schritt ST15: Nein), kann die Insassenüberwachungs-ECU 19 veranlassen, dass der Prozess zu Schritt ST12 zurückkehrt.
  • Wie oben beschrieben, kann die Insassenüberwachungs-ECU 19 als Startbestimmungseinheit dienen, um den Prozess von Schritt ST12 bis Schritt ST15 zu wiederholen, um ein sequenziell aktualisiertes, von der Innenkamera 61 zuletzt aufgenommenes Bild zu bearbeiten. Falls das papierförmige Handzeichen aus einem sequenziell aktualisierten von der Innenkamera 61 zuletzt aufgenommenen Bild detektiert wird (Schritt ST14: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST16 weitergeht. Falls das steinförmige Handzeichen detektiert wird (Schritt ST15: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST22 weitergeht. Merkmalswerte könnten sich zwischen der Form des papierförmigen Handzeichens und der Form des steinförmigen Handzeichens stark voneinander unterscheiden. Somit macht es die Bestimmung der Formen der Hände möglich, die jeweiligen Formen hochgenau zu unterscheiden. In einer Ausführung kann das papierförmige Handzeichen als „erstes Zeichen“ dienen und kann das steinförmige Handzeichen als „zweites Zeichen“ dienen.
  • Von Schritt ST16 zu Schritt ST21 kann die Insassenüberwachungs-ECU 19 als Bedienungsbestimmungseinheit dienen, um eine kontaktfreie Bedienung durch die Form des papierförmigen Handzeichens der Hand zu bestimmen, die dem vorbestimmten Abschnitt des einen Insassen entspricht. Das papierförmige Handzeichen kann vorab einer Temperatureinstellung für die Klimaanlage 50 zugeordnet sein. Die Insassenüberwachungs-ECU 19 kann dann einen Ausgabeprozess zum Erhöhen der Temperatureinstellung ausführen.
  • In Schritt ST16 kann die Insassenüberwachungs-ECU 19 einen Papierförmiges-Handzeichen-Detektionsbereich setzen, der zum Detektieren der kontaktfreien Bedienung durch das papierförmige Handzeichen verwendet wird. Weil die Hand im Zustand des papierförmigen Handzeichens eine größere Abmessung hat, kann der Papierförmiges-Handzeichen-Detektionsbereich einen relativ breiten Bereich belegen, zum Beispiel identisch mit dem anfänglichen Detektionsbereich 80. In diesem Fall kann der Prozess in Schritt ST16 weggelassen werden. In einer Ausführung kann der Papierförmiges-Handzeichen-Detektionsbereich als „erster Bedienungsdetektionsbereich“ dienen.
  • In Schritt ST17 kann die Insassenüberwachungs-ECU 19 den Bildbereichprozess in Bezug auf den Papierförmiges-Handzeichen-Detektionsbereich ausführen. Die Insassenüberwachungs-ECU 19 kann innerhalb des Papierförmiges-Handzeichen-Detektionsbereichs die Hand in der Form des papierförmigen Handzeichens bestimmen.
  • In Schritt ST18 kann die Insassenüberwachungs-ECU 19 bestimmen, ob die Hand in der Form des papierförmigen Handzeichens innerhalb des Papierförmiges-Handzeichen-Detektionsbereichs durch den unmittelbar vorangehenden Bestimmungsprozess in Schritt ST17 kontinuierlich detektiert wird. Falls die Hand in der Form des papierförmigen Handzeichens kontinuierlich detektiert wird (Schritt ST18: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST19 weitergeht. Falls die Hand in Form des papierförmigen Handzeichens durch die unmittelbare vorangehende Bestimmung nicht mehr detektiert wird (Schritt ST18: Nein), kann die Insassenüberwachungs-ECU 19 den Prozess zum Detektieren einer kontaktfreien Bedienung durch die Form des papierförmigen Handzeichens verlassen. Die Insassenüberwachungs-ECU 19 kann dann erlauben, dass der Prozess zu Schritt ST28 weitergeht.
  • In Schritt ST19 kann die Insassenüberwachungs-ECU 19 einen Wert des Zählers inkrementieren, der die Häufigkeit zählt, innerhalb der es möglich ist, die Hand in der Form des papierförmigen Handzeichens kontinuierlich zu detektieren.
  • In Schritt ST20 kann die Insassenüberwachungs-ECU 19 letztendlich bestimmen, ob die kontaktfreie Bedienung durch die Hand in der Form des papierförmigen Handzeichens gegeben wird. Die Insassenüberwachungs-ECU 19 kann aus dem Timer 63 zum Beispiel eine seit der Zeit des Prozesses in Schritt ST16 abgelaufenen Zeit auslesen. Die Insassenüberwachungs-ECU 19 kann dann letztendlich die kontaktfreie Bedienung bestimmen, falls die abgelaufene Zeit zum Beispiel 500 Millisekunden überschreitet (Schritt ST20: Ja). Die nach Durchführung einer letztendlichen Bestimmung abgelaufene Zeit braucht nicht 500 Millisekunden betragen. In diesem Fall kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST21 weitergeht. Falls die abgelaufene Zeit 500 Millisekunden nicht überschreitet (Schritt ST20: Nein), kann die Insassenüberwachungs-ECU 19 veranlassen, dass der Prozess zu Schritt ST17 zurückkehrt. Die Insassenüberwachungs-ECU 19 kann den Prozess von Schritt ST17 bis Schritt ST20 wiederholen, bis die kontaktfreie Bedienung durch das papierförmige Handzeichen letztendlich bestimmt wird.
  • In Schritt ST21 kann die Insassenüberwachungs-ECU 19 ein Steuersignal ausgeben, das dazu benutzt wird, um eine Einstellung oder Steuerung durchzuführen, die vorab der kontaktfreien Bedienung durch die Hand in der Form des papierförmigen Handzeichens zugeordnet ist. Die Insassenüberwachungs-ECU 19 kann an die Klimaanlagen-ECU 20 ein Steuersignal ausgeben. Gemäß dem Steuersignal kann die Klimaanlagen-ECU 20 eine Einstellung durchführen, um zum Beispiel eine eingestellte Temperatur anzuheben. Die Klimaanlagen-ECU 20 kann veranlassen, dass die Klimaanlage 50 ihre Temperatur erhöht. Die Insassenüberwachungs-ECU 19 kann dann erlauben, dass der Prozess zu Schritt ST28 weitergeht.
  • Wie oben beschrieben, kann die Insassenüberwachungs-ECU 19 als Bedienungsbestimmungseinheit dienen, um letztendlich die kontaktfreie Bedienung durch das papierförmige Handzeichen zu bestimmen, falls die Hand in der Form des vorbestimmten papierförmigen Handzeichens in mehreren von der Innenkamera 61 aufeinanderfolgend aufgenommenen Bildern kontinuierlich bestimmt wird. Die Insassenüberwachungs-ECU 19 kann ein Steuersignal ausgeben, das dazu benutzt wird, eine Einstellung oder eine Steuerung durchzuführen, die vorab der kontaktfreien Bedienung durch das papierförmige Handzeichen zugeordnet ist.
  • Von Schritt ST22 bis Schritt ST27 kann die Insassenüberwachungs-ECU 19 als Bedienungsbestimmungseinheit dienen, um die kontaktfreie Bedienung durch die Form des steinförmigen Handzeichens der Hand zu bestimmen, die dem vorbestimmten Abschnitt des einen Insassen entspricht. Das steinförmige Handzeichen kann vorab der Temperatureinstellung für die Klimaanlage 50 zugeordnet sein. Die Insassenüberwachungs-ECU 19 kann dann den Ausgabeprozess zum Verringern der Temperatureinstellung ausführen.
  • In Schritt ST22 kann die Insassenüberwachungs-ECU 19 einen Steinförmiges-Handzeichen-Detektionsbereich setzen, der dazu benutzt wird, die kontaktfreie Bedienung durch das steinförmige Handzeichen zu detektieren. Weil im Zustand des steinförmigen Handzeichens die Hand eine kleinere Größe hat, kann der Steinförmiges-Handzeichen-Detektionsbereich ein relativ schmalerer Bereich sein, der zum Beispiel kleiner als der anfängliche Detektionsbereich 80 ist. Die Größe des Steinförmiges-Handzeichen-Detektionsbereichs kann sich von jenem des Papierförmiges-Handzeichen-Detektionsbereichs unterscheiden. In einer Ausführung kann der Steinförmiges-Handzeichen-Detektionsbereich als „zweiter Bedienungsdetektionsbereich“ dienen.
  • In Schritt ST23 kann die Insassenüberwachungs-ECU 19 den Bildbereichprozess in Bezug auf den Steinförmiges-Handzeichen-Detektionsbereich ausführen. Die Insassenüberwachungs-ECU 19 kann innerhalb des Steinförmiges-Handzeichen-Detektionsbereichs die Hand in der Form des steinförmigen Handzeichens bestimmen.
  • In Schritt ST24 kann die Insassenüberwachungs-ECU 19 bestimmen, ob die Hand in der Form des steinförmigen Handzeichens durch den unmittelbar vorangehenden Bestimmungsprozess in Schritt ST23 innerhalb des Steinförmiges-Handzeichen-Detektionsbereichs kontinuierlich detektiert wird. Falls die Hand in der Form des steinförmigen Handzeichens kontinuierlich detektiert wird (Schritt ST24: Ja), kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST25 weitergeht. Falls die Hand in der Form des steinförmigen Handzeichens durch die unmittelbar vorangehende Bestimmung nicht mehr detektiert wird (Schritt ST24: Nein), kann die Insassenüberwachungs-ECU 19 den Prozess zum Detektieren einer kontaktfreien Bedienung durch die Form des steinförmigen Handzeichens verlassen. Die Insassenüberwachungs-ECU 19 kann dann erlauben, dass der Prozess zu Schritt ST28 weitergeht.
  • In Schritt ST25 kann die Insassenüberwachungs-ECU 19 einen Wert des Zählers inkrementieren, der die Häufigkeit zählt, innerhalb der es möglich ist, eine Hand in der Form des steinförmigen Handzeichens kontinuierlich zu detektieren.
  • In Schritt ST26 kann die Insassenüberwachungs-ECU 19 letztendlich bestimmen, ob die kontaktfreie Bedienung durch die Hand in der Form des steinförmigen Handzeichens gegeben wird. Die Insassenüberwachungs-ECU 19 kann von dem Timer 63 zum Beispiel eine seit der Zeit des Prozesses in Schritt ST22 abgelaufene Zeit auslesen. Die Insassenüberwachungs-ECU 19 kann dann letztendlich die kontaktfreie Bedienung bestimmen, falls die abgelaufene Zeit zum Beispiel 500 Millisekunden überschreitet (Schritt ST26: Ja). Die nach einer letztendlichen Bestimmung abgelaufene Zeit braucht nicht 500 Millisekunden betragen. In diesem Fall kann die Insassenüberwachungs-ECU 19 erlauben, dass der Prozess zu Schritt ST27 weitergeht. Falls die abgelaufene Zeit 500 Millisekunden nicht überschreitet (Schritt ST26: Nein), kann die Insassenüberwachungs-ECU 19 veranlassen, dass der Prozess zu Schritt ST23 zurückkehrt. Die Insassenüberwachungs-ECU 19 kann den Prozess von Schritt ST23 bis Schritt ST26 wiederholen, bis die kontaktfreie Bedienung durch das steinförmige Handzeichen letztendlich bestimmt wird.
  • In Schritt ST27 kann die Insassenüberwachungs-ECU 19 ein Steuersignal ausgeben, das dazu benutzt wird, eine Einstellung oder eine Steuerung durchzuführen, die vorab der kontaktfreien Bedienung durch die Hand in der Form des steinförmigen Handzeichens zugeordnet ist. Die Insassenüberwachungs-ECU 19 kann an die Klimaanlagen-ECU 20 ein Steuersignal ausgeben. Gemäß dem Steuersignal kann die Klimaanlagen-ECU 20 eine Einstellung durchführen, um zum Beispiel die eingestellte Temperatur zu verringern. Die Klimaanlagen-ECU 20 kann veranlassen, dass die Klimaanlage 50 ihre Temperatur absenkt. Die Insassenüberwachungs-ECU 19 kann dann erlauben, dass der Prozess zu Schritt ST28 weitergeht.
  • Wie oben beschrieben, kann die Insassenüberwachungs-ECU 19 als Bedienungseinheit dienen, um letztendlich die kontaktfreie Bedienung durch das steinförmige Handzeichen bestimmen, falls die Hand in der Form des vorbestimmten steinförmigen Handzeichens in mehreren von der Innenkamera 61 aufeinanderfolgend aufgenommenen Bildern kontinuierlich bestimmt wird. Die Insassenüberwachungs-ECU 19 kann ein Steuersignal ausgeben, das dazu benutzt wird, eine Einstellung oder eine Steuerung durchzuführen, die der kontaktfreien Bedienung durch das steinförmige Handzeichen vorab zugeordnet ist.
  • Der Prozess von Schritt ST28 bis Schritt ST29 kann eine Nachbearbeitung repräsentieren, die durchgeführt werden soll, falls eine Steuerung basierend auf der Bestimmung einer Form einer Hand erfolgreich endet oder verlassen wird.
  • In Schritt ST28 kann die Insassenüberwachungs-ECU 19 den Bildbereichsprozess in Bezug auf den Zeichendetektionsbereich ausführen, der bereits gesetzt ist. Die Insassenüberwachungs-ECU 19 kann ein dem anfänglichen Detektionsbereich 80 entsprechendes Teilbild aus einem der Innenkamera 61 zuletzt aufgenommenen Bild ausschneiden, um aus dem Teilbild eine Form einer Hand des einen Insassen zu bestimmen.
  • In Schritt ST29 kann die Insassenüberwachungs-ECU 19 bestimmen, ob eine Hand des einen Insassen in einem Bild als vorbestimmter Abschnitt des einen Insassen aufgenommen wird. Falls eine Form einer Hand des einen Insassen identifiziert wird (Schritt ST29: Nein), kann die Insassenüberwachungs-ECU 19 veranlassen, dass der Prozess zu Schritt ST28 zurückkehrt. Die Insassenüberwachungs-ECU 19 kann den Prozess von Schritt ST28 bis Schritt ST29 wiederholen. Falls es nicht möglich ist, eine Form einer Hand des einen Insassen zu identifizieren (Schritt ST29: Ja), kann die Insassenüberwachungs-ECU 19 den Prozess beenden. Die Insassenüberwachungs-ECU 19 kann veranlassen, dass der Prozess zum Prozess in 3 zurückkehrt, um den Prozess für eine kontaktfreie Bedienung zu beenden.
  • Die oben beschriebene Prüfung, dass eine Identifizierung einer Form einer Hand des einen Insassen nicht möglich ist, kann verhindern, dass die Insassenüberwachungs-ECU 19 den Prozess in den 3 und 4 das nächste Mal kontinuierlich ausführt, auch wenn der eine Insasse die Absicht hat, die Bedienung kontinuierlich durchzuführen. Der eine Insasse braucht nicht in der Lage zu sein, die Bedienung kontinuierlich durchzuführen. Die Insassenüberwachungs-ECU 19 kann den Prozess in 3 und 4 wiederholen, nachdem die Insassenüberwachungs-ECU 19 keine Hand bestimmt hat. Die Insassenüberwachungs-ECU 19 kann als die Bedienungsbestimmungseinheit dienen, um eine nächste kontaktfreie Bedienung zu bestimmen, die von dem einen Insassen zu geben ist, nachdem die Handform nach der letztendlichen Bestimmung nicht mehr detektiert wird.
  • Die 5A und 5B sind Erläuterungsdiagramme des Papierförmiges-Handzeichen-Detektionsbereichs und des Steinförmiges-Handzeichen-Detektionsbereichs gemäß dem Ausführungsbeispiel.
  • Wie in 5A in den schraffierten Rahmen dargestellt, kann der Papierförmiges-Handzeichen-Detektionsbereich 81 in eine rechteckige Fläche gesetzt werden, die sich von einem linken Abschnitt des Lenkrads 6 nach links erstreckt.
  • Wie in den schraffierten Rahmen in 5B dargestellt, kann der Papierförmiges-Handzeichen-Detektionsbereich 81 mit der rechteckigen Fläche in vier Teile unterteilt werden. Ein Steinförmiges-Handzeichen-Detektionsbereich 82 kann in eine Fläche gelegt werden, die eine Form hat, die durch Ausschließen eines unteren linken Teils der vier Teilflächen des rechteckigen Papierförmiges-Handzeichen-Detektionsbereichs 81 erfasst wird.
  • In diesem Fall kann der Steinförmiges-Handzeichen-Detektionsbereich 82 eine um eine Fläche des unteren linken Teils kleinere Fläche haben als der Papierförmiges-Handzeichen-Detektionsbereich 81.
  • Das oben beschriebene Festlegen unterschiedlicher Bereiche als der Papierförmiges-Handzeichen-Detektionsbereich 81 und der Steinförmiges-Handzeichen-Detektionsbereich 82 macht es möglich, innerhalb des breiteren Bereichs das papierförmige Handzeichen erfolgreich zu bestimmen, dessen Fläche größer ist als die des steinförmigen Handzeichens.
  • Falls ein Kopf eines anderen Insassen, der sich auf einem vorderen Beifahrersitz als ein anderer der Sitze 4 sitzt, aufgrund von Wanken der Fahrzeugkarosserie 2, zur Mitte der Fahrzeugkarosserie 2 hin seitlich bewegt, könnte der Kopf in den Bereich des unteren linken Teils des Papierförmiges-Handzeichen-Detektionsbereichs 81 eintreten, der die größere rechteckige Fläche hat. Daher könnte der Kopf in einem Bild aufgenommen werden. Falls sich, wie oben beschrieben, der andere Insasse setzt und sich der Kopf des anderen Insassen seitlich bewegt, könnte der Kopf innerhalb des Zeichendetektionsbereichs als runder Umriss bestimmt werden, der dem steinförmigen Handzeichen ähnlich ist. Falls sich der andere Insasse setzt, könnte sich der Kopf des anderen Insassen seitlich bewegen und könnte der Kopf in den Bereich des unteren linken Teils eintreten, der sich nächst dem vorderen Beifahrersitz befindet, wie oben beschrieben. Die Fläche des unteren linken Teils könnte daher aus dem Steinförmiges-Handzeichen-Detektionsbereich 82 ausgeschlossen werden. Hierdurch lässt sich verhindern, dass der Kopf des anderen Insassen, wie oben beschrieben, irrtümlich als das steinförmige Handzeichen bestimmt wird.
  • Das Setzen unterschiedlicher Zeichendetektionsbereiche jeweils für das papierförmige Handzeichen und das steinförmige Handzeichen macht es möglich, die Genauigkeit bei den jeweiligen Bestimmungen zu verbessern.
  • Der Steinförmiges-Handzeichen-Detektionsbereich 82 kann von der Fläche her insgesamt kleiner gemacht werden als der Papierförmiges-Handzeichen-Detektionsbereich 81.
  • 6 ist ein Erläuterungsdiagramm eines Beispiels des Formbestimmungsprozesses für ein Handzeichen.
  • Der in 6 dargestellte rechteckige Papierförmiges-Handzeichen-Detektionsbereich 81 kann in die vier Teile unterteilt werden. Die vier Teile können ein oberes rechtes Teil, ein oberes linkes Teil, ein unteres rechtes Teil und das untere linke Teil sein. Das obere rechte Teil kann als ein Ausschnittbild 91 bezeichnet werden. Das obere linke Teil kann als Ausschnittbild 92 bezeichnet werden. Das untere rechte Bild kann als Ausschnittbild 93 bezeichnet werden. Das untere linke Teil kann als Ausschnittbild 94 bezeichnet werden.
  • Falls der Papierförmiges-Handzeichen-Detektionsbereich 81 und der Steinförmiges-Handzeichen-Detektionsbereich 82 voneinander unterschiedlich festgelegt sind, wie in den 5A und 5B dargestellt, kann die Insassenüberwachungs-ECU 19 zum Beispiel den in 6 dargestellten Prozess ausführen, um eine Form einer Hand zu bestimmen, die jedem der Bereiche entspricht.
  • Die Insassenüberwachungs-ECU 19 kann zuerst jeweils das obere rechte Teil, das als das Ausschnittbild 91 bezeichnet wird, das obere linke Teil, das als das Ausschnittbild 92 bezeichnet wird, das untere rechte Teil, das als Ausschnittbild 93 bezeichnet wird, und das untere linke Teil, das als das Ausschnittbild 94 bezeichnet wird, differenzieren. Wie in 6 dargestellt, kann somit ein differenziertes Bild des oberen rechten Teils, ein differenziertes Bild des oberen linken Teils, ein differenziertes Bild des unteren rechten Teils und ein differenziertes Bild des unteren linken Teils erfasst werden. Die differenzierten Bilder können jeweils Randkomponenten enthalten, die einer Umrissform einer Hand entsprechen.
  • Dann kann die Insassenüberwachungs-ECU 19 sequenziell das differenzierte Bild des oberen rechten Teils, das differenzierte Bild des oberen linken Teils, das differenzierte Bild des unteren rechten Teils und das differenzierte Bild des unteren linken Teils abtasten, um eine Umrissform einer Hand in der Form der vorbestimmten steinförmigen Hand oder der vorbestimmten papierförmigen Hand zu bestimmen. Das differenzierte Bild des unteren linken Teils in 6 kann eine Umrissform 95 einer Hand in der Form des papierförmigen Handzeichens enthalten. In diesem Fall kann die Insassenüberwachungs-ECU 19 erlauben, dass das untere linke Teil als das Ausschnittbild 94 bezeichnet wird, um es dem Prozess in Schritt ST17 zu unterziehen. Es ist daher möglich, die Umrissform 95 der Hand in der Form des papierförmigen Handzeichens zu bestimmen.
  • In dem hier beschriebenen Prozess kann die Insassenüberwachungs-ECU 19 eine Form einer Hand in der Form eines Handzeichens durch einen Histogramm-von orientiertem-Gradienten (HOG) Prozess bestimmen. Die Insassenüberwachungs-ECU 19 kann auch einen anderen Typ von Bildverarbeitung verwenden, wie etwa ein Bestimmungsverfahren, das zum Beispiel auf tiefem Lernen mittels künstlicher Intelligenz (AI) beruht, um zu bestimmen, ob dort eine Hand ist, und falls vorhanden, eine Form der Hand.
  • Bei der Bestimmung einer Umrissform einer Hand in der Form der papierförmigen Hand in Schritt ST17 kann die Insassenüberwachungs-ECU 19 den Prozess wie oben beschrieben an allen Ausschnittbildern des oberen rechten Teils, das als Ausschnittbild 91 bezeichnet wird, des oberen linken Teils, das als Ausschnittbild 92 bezeichnet wird, des unteren rechten Teils, das als das Ausschnittbild 93 bezeichnet wird, und des unteren linken Teils, das als das Ausschnittbild 94 bezeichnet wird, wiederholen. Bei der Bestimmung einer Umrissform einer Hand in der Form einer steinförmigen Hand in Schritt ST23 braucht die Insassenüberwachungs-ECU 19 den oben beschriebenen Prozess nur an dem oberen rechten Teil, das als das Ausschnittbild 91 bezeichnet wird, dem oberen linken Teil, das als das Ausschnittbild 92 bezeichnet wird, und dem unteren rechten Teil, das als das Ausschnittbild 93 bezeichnet wird, wiederholen.
  • In dem oben beschriebenen Ausführungsbeispiel wird ein von der Innenkamera 61, die zur Aufnahme eines Bilds eines Insassen in dem Fahrzeug 1 konfiguriert ist, aufgenommenes Bild bearbeitet, um eine kontaktfreie Bedienung durch den Insassen zu bestimmen. Bei einer Bestimmung einer kontaktfreien Bedienung durch den Insassen wird ein Steuersignal ausgegeben, das vorab der kontaktfreien Bedienung durch den Insassen zugeordnet ist. Der Insasse wird daher nicht dazu gezwungen, sich auf ein Bedienungselement für die Bedienung zu konzentrieren, anders als in der existierenden Technik. Dem Insassen wird jedoch erlaubt, verschiedene Vorrichtungsarten in dem Fahrzeug 1 kontaktfrei zu bedienen.
  • In dem Ausführungsbeispiel kann eine kontaktfreie Bedienung durch einen Insassen letztendlich in einem Fall bestimmt werden, in dem eine vorbestimmte Handform kontinuierlich in mehreren von der Innenkamera 61 aufgenommenen Bildern bestimmt wird. Es wird daher möglich, einen Zustand eines Handzeichens genau zu bestimmen, indem eine Hand eines Insassen in einem vorbestimmten Zustand gehalten wird. Auch wenn sich eine Hand momentan bewegt, lässt sich verhindern, dass die Bewegung der Hand als Handzeichen bestimmt wird. Bei der Bestimmung einer Bewegung einer Hand selbst kann das Spezifizieren einer normalerweise möglichen Bewegung als Bestimmungsziel zu einer hohen Möglichkeit irrtümlicher Bestimmungen führen. Um solche irrtümlichen Bestimmungen zu vermeiden, ist es erforderlich, dass eine spezielle Bewegung, die normalerweise nicht zu sehen ist, als Bestimmungsziel spezifiziert wird. Das Bereitstellen einer solchen speziellen Bewegung, wie oben beschrieben, für jede Bedienung, kann für einen Insassen mühsam sein, der das Fahrzeug 1 bedient oder handhabt.
  • In dem Ausführungsbeispiel braucht ein von der Innenkamera 61 aufgenommenes Bild nicht so bearbeitet werden wie es ist, sondern es kann eine kontaktfreie Bedienung durch einen Insassen in Bezug auf einen Bedienungsdetektionsbereich bestimmt werden, der als Teil des Bildaufnahmebereichs dient. Es ist daher möglich, eine Belastungsminderung eines Prozesses zu erzielen, der fortdauert, bis ein Bestimmungsergebnis für eine kontaktfreie Bedienung durch einen Insassen erfasst wird, im Vergleich zu einem Fall, in dem ein von der Innenkamera 61 aufgenommenes Bild bearbeitet wird wie es ist. Wenn in der Ausführung zum Beispiel ein Insasse eine Hand innerhalb des Papierförmiges-Handzeichen-Detektionsbereich 81 kontaktfrei öffnet, kann die Form als papierförmiges Handzeichen bestimmt werden. Wenn der Insasse innerhalb des Steinförmiges-Handzeichen-Detektionsbereichs 82 eine Hand kontaktfrei schließt, kann die Form als steinförmiges Handzeichen bestimmt werden. Der Papierförmiges-Handzeichen-Detektionsbereich 81 und der Steinförmiges-Handzeichen-Detektionsbereich 82 können voneinander unterschiedliche Flächen haben. Im Ergebnis kann ein Unterschied einfach einen Merkmalswert einer Hand, die ein Bestimmungsziel ist, zwischen der papierförmigen Hand und der steinförmigen Hand vergrößern. Es wird auch möglich, eine Hand, die ein Stimmungssubjekt ist, aus jedem der geeigneten Detektionsbereiche gemäß einem Zustand der Hand zu bestimmen. Wenn in einem spezifischen, aber nicht einschränkenden Beispiel der Steinförmiges-Handzeichen-Detektionsbereich 82, der zur Bestimmung des steinförmigen Handzeichens verwendet wird, von der Fläche her kleiner gemacht wird als der Papierförmiges-Handzeichen-Detektionsbereich 81, der zur Bestimmung des papierförmigen Handzeichens verwendet wird, lässt sich vermeiden, dass auch dann, wenn ein Kopf eines anderen sitzenden Insassen in den Papierförmiges-Handzeichen-Detektionsbereich 81, der zur Bestimmung des papierförmigen Handzeichens dient, eintritt, dass der Kopf irrtümlich als das steinförmige Handzeichen bestimmt wird. Es ist auch möglich, das papierförmige Handzeichen innerhalb einer größeren Fläche geeignet zu bestimmen.
  • Wenn man Bedienungen durch solche Handzeichen wie oben beschrieben möglich macht, erlaubt dies, dass ein Insasse in einem in der Fahrposition sitzenden Zustand seine Hand präsentiert, um eine Vorrichtung wie etwa die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 zu bedienen. Der Insasse ist daher nicht dazu gezwungen, seine Aufmerksamkeit auf eine Bedienung einer Vorrichtung wie etwa die im Fahrzeug vorgesehene Klimaanlage 50 zu konzentrieren, sondern ist leicht in der Lage, eine Bedienung mit der präsentierten Hand vorzunehmen, was es möglich macht, eine Vorrichtung, wie etwa die in dem Fahrzeug 1 vorgesehene Klimaanlage 50, leicht zu bedienen. Mit einer derart leichten Bedienung, die Fahrbedienungen des Fahrzeugs 1 nicht beeinträchtigt, ist es möglich, eine Vorrichtung wie etwa die in dem Fahrzeug 1 vorgesehene Klimaanlage 50 zu bedienen. Mit dem Ausführungsbeispiel ist es möglich, den Betrieb der Innenkamera 61 der Insassenüberwachungsvorrichtung 60 zu nutzen, die es Insassen erlaubt, Vorrichtungen mit verbessertem Komfort zu nutzen.
  • In dem Ausführungsbeispiel braucht eine kontaktfreie Bedienung durch einen Insassen nicht direkt bestimmt zu werden. Der anfängliche Detektionsbereich 80 kann jedoch festgelegt werden. Der anfängliche Detektionsbereich 80 kann als Teil des Bildaufnahmebereichs der Innenkamera 61 dienen. Das heißt, der anfängliche Detektionsbereich 80 kann einen Bereich repräsentieren, aus dem ein vorbestimmter Abschnitt des Insassen in einem Bild wahrscheinlich aufgenommen wird. Es kann vorab bestimmt werden, ob ein vorbestimmter Abschnitt des Insassen in einem dem anfänglichen Detektionsbereich 80 entsprechenden Bild aufgenommen wird. Falls bestimmt wird, dass ein vorbestimmter Abschnitt in dem dem anfänglichen Detektionsbereich 80 entsprechenden Bild aufgenommen wird, kann eine kontaktfreie Bedienung durch den Insassen bestimmt werden. Es ist daher nicht erforderlich, immer zu überwachen, ob durch einen von mehreren Typen von Handzeichen eine kontaktfreie Bedienung gegeben wird. Falls ein vorbestimmter Abschnitt eines Insassen in einem Bild aufgenommen wird, ist es auch möglich, auf der Basis des aufgenommenen Bilds eine kontaktfreie Bedienung durch eine der mehreren Typen von Handzeichen zu bestimmen. In diesem Fall ist es auch möglich, nur die kontaktfreie Bedienung durch den bestimmten Typ des Handzeichens zu bestimmen.
  • Wie oben beschrieben, macht es das Ausführungsbeispiel möglich, jeweils mit einem höheren Sicherheitsgrad mehrere Zeichentypen, die jeweils durch einen vorbestimmten Abschnitt wie etwa einer Hand eines Insassen gegeben werden, voneinander zu unterscheiden und zu bestimmen. Das Ausführungsbeispiel macht es somit möglich, die Bestimmungsgenauigkeit eines Zeichens zu erhöhen, um irrtümliche Bestimmungen zu vermeiden.
  • In dem Ausführungsbeispiel kann ein Zustand des Fahrzeugs 1 oder ein Zustand eines Insassen vorab bestimmt werden, um eine kontaktfreie Bedienung durch den Insassen zu bestimmen. Spezifische, aber nicht einschränkende Beispiele zur Bestimmung enthalten eine Geschwindigkeit des Fahrzeugs 1, einen Lenkwinkel des Fahrzeugs 1, einen Rückwärtsbewegungszustand des Fahrzeugs 1, einen fahrbereiten Zustand des Fahrzeugs 1, einen Leuchtzustand der Abbiegeleuchten, und einen zur manuellen Fahrt bereiten Zustand eines Insassen. Falls der bestimmte Zustand ein solcher Zustand ist, der dem Insassen eine kontaktfreie Bedienung erlaubt, kann eine kontaktfreie Bedienung durch den Insassen bestimmt werden. Es wird daher möglich, eine kontaktfreie Bedienung durch den Insassen zu bestimmen, während zum Beispiel die sichere Fahrt des Fahrzeugs 1 gewährleistet wird.
  • Falls der oben beschriebene Startprozess nicht durchgeführt wird und eine kontaktfreie Bedienung durch einen Insassen immer bestimmt werden soll, um eine aktuelle kontaktfreie Bedienung mit einem höheren Sicherheitsgrad und höherer Empfindlichkeit geeignet zu bestimmen, könnte hingegen eine kontaktfreie Bedienung irrtümlich auch zu einer Zeit bestimmt werden, zu der ein Insasse nicht die Absicht hat, tatsächlich eine kontaktfreie Bedienung durchzuführen. In dem Ausführungsbeispiel können Ausschlussbedingungen gesetzt werden. Unter den Ausschlussbedingungen braucht eine unbeabsichtigte kontaktfreie Bedienung wie oben beschrieben nicht bestimmt zu werden. Dies macht es möglich, sowohl Komfort als auch Sicherheit zu erzielen.
  • In dem Ausführungsbeispiel kann, nachdem bestimmt worden ist, dass eine Handform nicht länger detektiert wird, bei der letztendlichen Bestimmung einer kontaktfreien Bedienung durch einen Insassen, der Prozess enden. Mit diesem Merkmal kann ein Insasse davon abgehalten werden, kontinuierlich eine solche leicht durchzuführende kontaktfreie Bedienung durchzuführen. Obwohl eine kontaktfreie Bedienung leicht durchführbar ist, besteht die Tendenz, dass eine solche kontinuierliche kontaktfreie Bedienung einen Insassen dazu veranlasst, sich auf die kontaktfreie Bedienung zu konzentrieren. Hierdurch lässt sich vermeiden, dass ein solches Ereignis wie oben beschrieben auftritt.
  • Obwohl im vorstehenden als Beispiel unter Bezug auf die beigefügten Zeichnungen einige Ausführungsbeispiele der Erfindungen beschrieben worden sind, ist die Erfindung keineswegs auf die oben beschriebenen Ausführungen beschränkt. Es soll sich verstehen, dass von Fachkundigen Modifikationen und Veränderungen vorgenommen werden können, ohne vom Umfang abzuweichen, der durch die beigefügten Ansprüche definiert ist. Die Erfindung soll solche Modifikationen und Veränderungen beinhalten, insofern sie in den Umfang der beigefügten Ansprüche oder deren Äquivalente fallen.
  • In dem oben beschriebenen Ausführungsbeispiel, wie in den 5A und 5B dargestellt, können zum Beispiel sowohl der Papierförmiges-Handzeichen-Detektionsbereich 81 als auch der Steinförmiges-Handzeichen-Detektionsbereich 82 beide so gesetzt werden, dass sie sich von dem linken Seitenabschnitt des Lenkrads 6 nach links erstrecken.
  • Zum Beispiel können der Papierförmiges-Handzeichen-Detektionsbereich 81 und der Steinförmiges-Handzeichen-Detektionsbereich 82 beide so gesetzt werden, dass sie partiell den linken Seitenabschnitt des Lenkrads 6 enthalten.
  • Die 7A und 7B sind Erläuterungsdiagramme des Papierförmiges-Handzeichen-Detektionsbereichs 81 und des Steinförmiges-Handzeichen-Detektionsbereichs 82 gemäß einem Modifikationsbeispiel des Ausführungsbeispiels.
  • Wie in 7A in schraffierten Rahmen dargestellt, kann der Papierförmiges-Handzeichen-Detektionsbereich 81 so festgelegt werden, dass er den linken Seitenabschnitt des Lenkrads 6 teilweise enthält.
  • In diesem Fall kann der Steinförmiges-Handzeichen-Detektionsbereich 82, wie in 7B in den schraffierten Rahmen dargestellt, innerhalb einer Fläche liegen, deren Form durch Ausschluss des unteren rechten Teils, das als das Ausschnittbild 93 bezeichnet wird, von dem rechteckigen Papierförmiges-Handzeichen-Detektionsbereich 81 erfasst wird. Der Steinförmiges-Handzeichen-Detektionsbereich 82 kann in einen Bereich gelegt werden, der durch Ausschluss eines Bereichs erfasst wird, aus dem eine Hand eines Insassen, die das als Bedienungselement dienende Lenkrad 6 bedient, möglicherweise in einem Bild aufgenommen wird.
  • Hierdurch lässt sich verhindern, dass die Insassenüberwachungs-ECU 19 irrtümlich die linke Hand, die das als das Bedienungselement dienende Lenkrad 6 bedient, als Hand in der Form des steinförmigen Handzeichens bestimmt wird. Falls der Steinförmiges-Handzeichen-Detektionsbereich 82, der zur Bestimmung des steinförmigen Handzeichens verwendet wird, auf einen Bereich gesetzt wird, der durch Ausschluss des Bereichs, von dem eine Hand eines Insassen, die ein Bedienungselement wie etwa das Lenkrad 6 bedient, möglicherweise in einem Bild aufgenommen wird, von dem Papierförmiges-Handzeichen-Detektionsbereich 81, der zur Bestimmung des papierförmigen Handzeichens verwendet wird, erfasst wird, lässt sich verhindern, dass eine Hand eines Insassen, die ein Bedienungselement wie etwa das Lenkrad 6 bedient, irrtümlich als das steinförmige Handzeichen bestimmt wird.
  • Ferner kann die Links-Rechts-Breite des Papierförmiges-Handzeichen-Detektionsbereichs 81 und des Steinförmiges-Handzeichen-Detektionsbereichs 82 in den 7A und 7B jeweils von dem Papierförmiges-Handzeichen-Detektionsbereich 81 und dem Steinförmiges-Handzeichen-Detektionsbereich 82 in den 5A und 5B verkürzt werden. Auch wenn der andere Insasse auf dem vorderen Beifahrersitz sitzt, der den einen der Sitze 4 repräsentiert, und die Hand des einen anderen Insassen sich zur Mitte der Fahrzeugkarosserie 2 hin seitlich bewegt, weil die Fahrzeugkarosserie 2 wankt, würde der Kopf in diesem Fall weniger wahrscheinlich in den Bereich des linken unteren Teils des Steinförmiges-Handzeichen-Detektionsbereichs 82 eintreten. Der Kopf würde daher weniger wahrscheinlich in einem Bild aufgenommen werden.
  • Die in 2 dargestellte Insassenüberwachungs-ECU 19 ist durch eine Schaltung implementierbar, die zumindest eine integrierte Halbleiterschaltung enthält, wie zumindest einen Prozessor (z. B. eine zentrale Prozesseinheit (CPU)), zumindest eine anwenderspezifische integrierte Schaltung (ASIC) und/oder zumindest ein feldprogrammierbares Gate Array (FPGA). Zumindest ein Prozessor ist durch Lesen von Anweisungen von zumindest einem maschinenlesbaren nicht-flüchtigen berührbarem Medium konfigurierbar, alle oder einen Teil der Funktionen der Insassenüberwachungs-ECU 19 durchzuführen. Ein solches Medium kann zahlreiche Formen einnehmen, einschließlich, aber nicht beschränkt auf einen beliebigen Typ von magnetischem Medium, wie etwa eine Festplatte, einen beliebigen Typ von optischem Medium, wie etwa CD und DVD, einen beliebigen Typ von Halbleiterspeicher (d. h. Halbleiterschaltung) wie etwa einen flüchtigen Speicher und einen nicht-flüchtigen Speicher. Der flüchtige Speicher kann ein DRAM und ein SRAM enthalten, und der nicht-flüchtige Speicher kann ein ROM und ein NVRAM enthalten. Die ASIC ist eine integrierte Schaltung (IC), die kundenspezifiziert ist, um alle oder einen Teil der Funktionen der in 2 dargestellten Insassenüberwachungs-ECU 19 durchzuführen, und das FPGA ist eine integrierte Schaltung, die ausgestaltet ist, um nach der Herstellung zur Durchführung der Funktionen konfiguriert zu werden.
  • Eine Fahrzeuginsassenüberwachungsvorrichtung enthält eine Bedienungsbestimmungseinheit und eine Ausgabeeinheit. Die Bedienungsbestimmungseinheit ist konfiguriert, um ein Bild zu bearbeiten, das sie von einer Bildaufnahmevorrichtung erhält, die konfiguriert ist, um ein Bild eines Insassen in einem Fahrzeug aufzunehmen. Die Bedienungsbestimmungseinheit ist ferner konfiguriert, um eine kontaktfreie Bedienung durch den Insassen zu bestimmen. Die Ausgabeeinheit ist konfiguriert, um ein Steuersignal auszugeben, das vorab der kontaktfreien Bedienung zugeordnet ist, die vom Insassen gegeben wird und die durch die Bedienungsbestimmungseinheit bestimmt wird.

Claims (11)

  1. Fahrzeuginsassenüberwachungsvorrichtung, welche aufweist: eine Bedienungsbestimmungseinheit, die konfiguriert ist, um ein Bild zu bearbeiten, das von einer Bildaufnahmevorrichtung erhalten wird, die konfiguriert ist, um ein Bild eines Insassen in einem Fahrzeug aufzunehmen, um eine kontaktfreie Bedienung durch den Insassen zu bestimmen; und eine Ausgabeeinheit, die konfiguriert ist, um ein Steuersignal auszugeben, das vorab der kontaktfreien Bedienung durch den Insassen zugeordnet ist, wobei die kontaktfreie Bedienung durch die Bedienungsbestimmungseinheit bestimmt wird.
  2. Fahrzeuginsassenüberwachungsvorrichtung nach Anspruch 1, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um eine kontaktfreie Bedienung durch den Insassen in Bezug auf einen Bedienungsdetektionsbereich zu bestimmen, der als Teil eines Bildaufnahmebereichs der Bildaufnahmevorrichtung dient, und ein erster Bedienungsdetektionsbereich, der vorgesehen ist, um eine erste kontaktfreie Bedienung durch den Insassen zu bestimmen, und ein zweiter Bedienungsdetektionsbereich, der vorgesehen ist, um eine zweite kontaktfreie Bedienung durch den Insassen zu bestimmen, voneinander unterschiedlich sind.
  3. Fahrzeuginsassenüberwachungsvorrichtung nach Anspruch 2, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um, als die erste kontaktfreie Bedienung durch den Insassen, ein erstes Zeichen zu bestimmen, das einen Zustand angibt, in dem eine Hand des Insassen offen ist, und um, als die zweite kontaktfreie Bedienung durch den Insassen, ein zweites Zeichen zu bestimmen, das einen Zustand angibt, in dem die Hand des Insassen geschlossen ist.
  4. Fahrzeuginsassenüberwachungsvorrichtung nach Anspruch 3, wobei der zweite Bedienungsdetektionsbereich, der zur Bestimmung des zweiten Zeichens vorgesehen ist, kleiner ist als der erste Bedienungsdetektionsbereich, der zur Bestimmung des ersten Zeichens vorgesehen ist.
  5. Fahrzeuginsassenüberwachungsvorrichtung nach Anspruch 3 oder 4, wobei der zweite Bedienungsdetektionsbereich, der zur Bestimmung des zweiten Zeichens vorgesehen ist, einen Bereich repräsentiert, der erfasst wird, indem von dem ersten Bedienungsdetektionsbereich, der zur Bestimmung des ersten Zeichens vorgesehen ist, ein Bereich, in den ein Kopf eines sitzenden anderen Insassen eintreten könnte, ausgeschlossen wird.
  6. Fahrzeuginsassenüberwachungsvorrichtung nach einem der Ansprüche 3 bis 5, wobei der zweite Bedienungsdetektionsbereich, der zur Bestimmung des zweiten Zeichens vorgesehen ist, einen Bereich repräsentiert, der erfasst wird, indem von dem ersten Bedienungsdetektionsbereich, der zur Bestimmung des ersten Zeichens vorgesehen ist, ein Bereich, von dem eine Hand des Insassen ein Bedienungselement bedient, möglicherweise in einem Bild aufgenommen wird, ausgeschlossen wird.
  7. Fahrzeuginsassenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um letztendlich eine kontaktfreie Bedienung durch den Insassen in einem Fall zu bestimmen, in dem eine vorbestimmte Handform in mehreren von der Bildaufnahmevorrichtung aufgenommenen Bildern kontinuierlich bestimmt wird.
  8. Fahrzeuginsassenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 7, die ferner aufweist: eine Startbestimmungseinheit, die konfiguriert ist, um zu bestimmen, ob ein vorbestimmter Abschnitt des Insassen in einem Bild aufgenommen wird, das einem Abschnittdetektionsbereich entspricht, der als Teil eines Bildaufnahmebereichs der Bildaufnahmevorrichtung dient, wobei der Abschnittdetektionsbereich einen Bereich repräsentiert, von dem der vorbestimmte Abschnitt des Insassen in einem Bild wahrscheinlich aufgenommen wird, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um in einem Fall, in dem die Startbestimmungseinheit bestimmt, dass der vorbestimmte Abschnitt in dem Bild aufgenommen wird, das dem Abschnittdetektionsbereich entspricht, eine kontaktfreie Bedienung durch den Insassen durch den vorbestimmten Abschnitt zu bestimmen.
  9. Fahrzeuginsassenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 8, die ferner aufweist: eine Zustandbestimmungseinheit, die konfiguriert ist, um als Zustand des Fahrzeugs oder als Zustand des Insassen zumindest einen von einer Geschwindigkeit des Fahrzeugs, einem Lenkwinkel des Fahrzeugs, einem Rückwärtsbewegungszustand des Fahrzeugs, einem fahrbereiten Zustand des Fahrzeugs, einem Leuchtzustand einer Abbiegeleuchte und/oder einem zur manuellen Fahrt bereiten Zustand des Insassen zu bestimmen, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um in einem Fall, in dem die Zustandbestimmungseinheit bestimmt, dass dem Insassen die Durchführung einer kontaktfreien Bedienung erlaubt wird, eine kontaktfreie Bedienung durch den Insassen zu bestimmen.
  10. Fahrzeuginsassenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 9, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um letztendlich eine kontaktfreie Bedienung durch den Insassen in einem Fall zu bestimmen, in dem eine ein vorbestimmtes Zeichen bildende Handform in mehreren von der Bildaufnahmevorrichtung aufgenommenen Bildern kontinuierlich bestimmt wird, und die Ausgabeeinheit konfiguriert ist, um bei der letztendlichen Bestimmung durch die Bedienungsbestimmungseinheit ein Steuersignal auszugeben, das vorab der kontinuierlich bestimmten Handform, die das vorbestimmte Zeichen bildet, zugeordnet ist.
  11. Fahrzeuginsassenüberwachungsvorrichtung nach Anspruch 10, wobei die Bedienungsbestimmungseinheit konfiguriert ist, um eine nächste kontaktfreie Bedienung durch den Insassen zu bestimmen, nachdem die Handform nach der letztendlichen Bestimmung nicht länger detektiert wird.
DE102021100895.6A 2020-02-28 2021-01-18 Fahrzeuginsassenüberwachungsvorrichtung Pending DE102021100895A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-033492 2020-02-28
JP2020033492A JP2021133877A (ja) 2020-02-28 2020-02-28 車両の乗員監視装置

Publications (1)

Publication Number Publication Date
DE102021100895A1 true DE102021100895A1 (de) 2021-09-02

Family

ID=77270904

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021100895.6A Pending DE102021100895A1 (de) 2020-02-28 2021-01-18 Fahrzeuginsassenüberwachungsvorrichtung

Country Status (4)

Country Link
US (1) US20210271910A1 (de)
JP (1) JP2021133877A (de)
CN (1) CN113408330A (de)
DE (1) DE102021100895A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214451A1 (ja) * 2022-05-02 2023-11-09 ディープインサイト株式会社 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5030580B2 (ja) * 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
CN102194122A (zh) * 2010-03-05 2011-09-21 索尼公司 对图像进行分类的方法和设备
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
KR101490908B1 (ko) * 2012-12-05 2015-02-06 현대자동차 주식회사 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
JP2015199383A (ja) * 2014-04-04 2015-11-12 株式会社デンソー ジェスチャ入力装置
DE102014226553A1 (de) * 2014-12-19 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
JP6310439B2 (ja) * 2015-11-06 2018-04-11 本田技研工業株式会社 接触判定処理装置
JP2017211884A (ja) * 2016-05-26 2017-11-30 トヨタ紡織株式会社 動き検出システム
JP2018055614A (ja) * 2016-09-30 2018-04-05 島根県 ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP6819539B2 (ja) * 2017-10-20 2021-01-27 株式会社デンソー ジェスチャ入力装置
JP2019131104A (ja) * 2018-02-01 2019-08-08 株式会社Ｓｕｂａｒｕ 車両の乗員監視装置
CN110045825B (zh) * 2018-03-27 2022-05-13 杭州凌感科技有限公司 用于车辆交互控制的手势识别系统

Also Published As

Publication number Publication date
JP2021133877A (ja) 2021-09-13
US20210271910A1 (en) 2021-09-02
CN113408330A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
DE102007023141B4 (de) Verfahren zur Einstellung und/oder Nachstellung wenigstens eines Komfort-und/oder Sicherheitssystems in einem Kraftfahrzeug sowie Kraftfahrzeug
DE112017006456B4 (de) Steuervorrichtung zum automatischen Fahren
DE102019135891A1 (de) Fahrzeuginsassen-überwachungseinrichtung und verkehrssystem
DE102017122797A1 (de) Weckalarm für fahrzeug mit einem autonomen modus
DE102017102763A1 (de) Fahrzeugsitzvorrichtung
DE102018217828A1 (de) Verfahren und Vorrichtung zur Anpassung eines Fahrverhaltens eines teil-, hoch- oder vollautomatisierten Fahrzeugs
DE102014011264A1 (de) Verfahren zur Berechnung einer Rückholzeit
DE112011105430T5 (de) Fahrzeug-Notfallevakuierungsvorrichtung
DE102016206126A1 (de) Verfahren und Vorrichtung zum Überwachen oder Regeln einer Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug und System für eine Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug
DE102014118113A1 (de) Fahrzeugsteuerung
DE102014205391A1 (de) Vorrichtung zur Vorhersage von Fahrzustandsübergängen
DE112017007258T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
DE112017007082T5 (de) Betriebsschaltunterstützungsvorrichtung und betriebsschaltunterstützungsverfahren
DE102018102372A1 (de) Bereitstellen einer Benachrichtigung an einen Insassen, der einen Fahrzeugsitz nutzt
DE112017007267T5 (de) Konzentrationsgradbestimmungsvorrichtung, Konzentrationsgradbestimmungsverfahren, und Programm zur Konzentrationsgradbestimmung
DE102019216534A1 (de) Unbemanntes autonomes fahrzeug und verfahren zum steuern desselben
EP3409551A1 (de) Verfahren und vorrichtung zur unterstützung eines in einem fahrzeug befindlichen fahrzeuginsassen
WO2021023468A1 (de) Vorrichtung und verfahren zur steuerung eines beifahrersitzes in einem fahrzeug
DE102021100895A1 (de) Fahrzeuginsassenüberwachungsvorrichtung
DE112017007248T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
DE102019132635A1 (de) Verfahren zur Erkennung eines Zustands zumindest eines Insassen eines Fahrzeugs sowie Fahrzeug
DE102018106533A1 (de) Steuerung von Seitenspiegeln in autonomen Fahrzeugen
DE102018106739A1 (de) Steuerung von Seitenspiegeln in autonomen Fahrzeugen
WO2018149768A1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
DE102020125659A1 (de) Fahrzeugfahrassistenzsystem

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: SONNENBERG HARRISON PARTNERSCHAFT MBB PATENT- , DE