DE102022103604A1 - Bordeigene überwachungseinrichtung für ein fahrzeug - Google Patents

Bordeigene überwachungseinrichtung für ein fahrzeug Download PDF

Info

Publication number
DE102022103604A1
DE102022103604A1 DE102022103604.9A DE102022103604A DE102022103604A1 DE 102022103604 A1 DE102022103604 A1 DE 102022103604A1 DE 102022103604 A DE102022103604 A DE 102022103604A DE 102022103604 A1 DE102022103604 A1 DE 102022103604A1
Authority
DE
Germany
Prior art keywords
imaging
vehicle
image
occupant
imaging element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022103604.9A
Other languages
English (en)
Inventor
Ryota Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of DE102022103604A1 publication Critical patent/DE102022103604A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/76—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for spotlighting, e.g. reading lamps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

Eine bordeigene Überwachungseinrichtung (15) für ein Fahrzeug (1) weist ein erstes Abbildungselement (31), ein zweites Abbildungselement (32) und eine Steuerung (37) auf. Das erste Abbildungselement (31) ist dazu ausgebildet, einen ersten Abbildungsvorgang zum Aufnehmen eines ersten Bilds von einem oder mehreren Insassen in einem Fahrgastraum (3) des Fahrzeugs (1) auszuführen. Das zweite Abbildungselement (32) ist dazu ausgebildet, ein zweites Bild von dem einen oder den mehreren Insassen aufzunehmen. Die Steuerung (37) ist dazu ausgebildet, einen Überwachungsprozess an dem ersten Bild und dem zweiten Bild auszuführen. Das erste Abbildungselement (31) und das zweite Abbildungselement (32) sind in Fahrzeugbreitenrichtung des Fahrzeugs (1) in einem zentralen Bereich des Fahrzeugs (1) derart angeordnet, dass sie in der Fahrzeugbreitenrichtung nebeneinander angeordnet sind, so dass sich zumindest ein Teil eines Abbildungsbereichs des ersten Abbildungselements (31) und zumindest ein Teil eines Abbildungsbereichs des zweiten Abbildungselements (32) überlappen.

Description

  • HINTERGRUND
  • 1. Technisches Gebiet
  • Die Erfindung bezieht sich auf eine bordeigene Überwachungseinrichtung für ein Fahrzeug.
  • 2. Einschlägiger Stand der Technik
  • Ein Fahrzeug ist mit einer Fahrzeuginsassen-Überwachungseinrichtung zum Überwachen eines Fahrers des Fahrzeugs ausgestattet.
  • Die ungeprüfte japanische Patentanmeldungs-Veröffentlichung JP 2018-88 647 A offenbart eine Fahrzeuginsassen-Überwachungseinrichtung für ein Fahrzeug, die zur Überwachung eines Fahrers ein Bild unter Fokussierung auf die Augen des Fahrers aufnimmt.
  • Die ungeprüfte japanische Patentanmeldungs-Veröffentlichung JP 2020-50 078 A offenbart eine Fahrzeuginsassen-Überwachungseinrichtung für ein Fahrzeug, die beim Aufnehmen eines Bilds von dem Kopf eines Insassen während einer Kollision intensives Licht auf den Kopf des Insassen abstrahlt.
  • KURZBESCHREIBUNG
  • Gemäß einem Aspekt der Erfindung wird eine bordeigene Überwachungseinrichtung für ein Fahrzeug angegeben. Die bordeigene Überwachungseinrichtung weist ein erstes Abbildungselement, ein zweites Abbildungselement und eine Steuerung auf. Das erste Abbildungselement ist zum Ausführen eines ersten Abbildungsvorgangs ausgebildet, um ein erstes Bild von einem oder mehreren Insassen in einem Fahrgastraum des Fahrzeugs aufzunehmen. Das zweite Abbildungselement ist zum Aufnehmen eines zweiten Bilds von dem einen oder den mehreren Insassen ausgebildet. Die Steuerung ist dazu ausgebildet, einen Überwachungsprozess an dem ersten Bild und dem zweiten Bild auszuführen.
  • Das erste Abbildungselement und das zweite Abbildungselement sind in Fahrzeugbreitenrichtung des Fahrzeugs in einem zentralen Bereich des Fahrzeugs derart angeordnet, dass sie in Fahrzeugbreitenrichtung nebeneinander angeordnet sind, so dass sich zumindest ein Teil eines Abbildungsbereichs des ersten Abbildungselements und zumindest ein Teil eines Abbildungsbereichs des zweiten Abbildungselements überlappen.
  • Figurenliste
  • Die Begleitzeichnungen sind beigefügt, um ein besseres Verständnis der Erfindung zu vermitteln, und bilden einen integralen Bestandteil der vorliegenden Beschreibung. Die Zeichnungen veranschaulichen exemplarische Ausführungsformen und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der Erfindung. In den Zeichnungen zeigen:
    • 1 ein Diagramm zur Erläuterung eines Kraftfahrzeugs gemäß einer Ausführungsform der Erfindung;
    • 2 ein Diagramm zur Erläuterung einer Steuervorrichtung des in 1 dargestellten Kraftfahrzeugs;
    • 3 ein Diagramm zur Erläuterung von exemplarischen Überwachungsarten für eine Fahrzeuginsassen-Überwachungseinrichtung des Kraftfahrzeugs, wie es in 2 dargestellt ist;
    • 4 ein Diagramm zur Erläuterung der in 3 dargestellten Fahrzeuginsassen-Überwachungseinrichtung;
    • 5 ein Diagramm zur Erläuterung der Art und Weise, in der eine Flüssigkristallvorrichtung mit einem Anzeigebedienfeld, wie es in 4 dargestellt ist, angeordnet ist;
    • 6 ein Diagramm zur Erläuterung der Art und Weise, in der ein erstes Kameramodul und ein zweites Kameramodul, wie diese in 4 dargestellt sind, angeordnet sind;
    • 7 Zeitablaufdiagramme eines grundlegenden Bildaufnahme- und Lichtemissionsvorgangs des ersten Kameramoduls und des zweiten Kameramoduls, wie diese in 4 dargestellt sind;
    • 8 Zeitablaufdiagramme eines Bildaufnahme- und Lichtemissionsvorgangs des ersten Kameramoduls und des zweiten Kameramoduls, wie diese in 4 dargestellt sind, gemäß der Ausführungsform;
    • 9 ein Ablaufdiagramm eines Hauptsteuerungsvorgangs, der von einer Überwachungssteuerung ausgeführt wird, wie es in 4 dargestellt ist, und
    • 10 ein Ablaufdiagramm eines Überwachungssteuerungsvorgangs für eine Vielzahl von Insassen, der von der in 4 dargestellten Überwachungssteuerung ausgeführt wird.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Bei der Überwachung von Insassen in einem Fahrzeug soll eine weitere Überwachungsfunktion implementiert werden. Beispielsweise wird beim automatisierten Fahren oder bei der erweiterten Fahrassistenz der Zustand eines Insassen, wie z.B. eines Fahrers, in zuverlässigerer Weise überwacht, um festzustellen, ob der Insasse in einem für das Fahren oder die Bewegung geeigneten Zustand verbleibt.
  • Es ist wünschenswert, eine neue Überwachungsfunktion für den Zustand von Fahrzeuginsassen einschließlich eines Fahrers in einem Fahrzeug zu implementieren.
  • Im Folgenden wird eine Ausführungsform der Erfindung unter Bezugnahme auf die Begleitzeichnungen ausführlich beschrieben. Es sei erwähnt, dass die nachfolgende Beschreibung auf der Erläuterung dienende Beispiele der Erfindung gerichtet ist und nicht als die Erfindung einschränkend zu verstehen ist. Solche Faktoren, wie z.B., jedoch nicht ausschließlich, numerische Werte, Formgebungen, Materialien, Komponenten, Positionen der Komponenten sowie die Art und Weise, in der die Komponenten miteinander gekoppelt sind, dienen lediglich der Erläuterung und sind nicht als die Erfindung einschränkend zu verstehen.
  • Ferner sind Elemente in der nachfolgenden exemplarischen Ausführungsform, die nicht in einem übergeordneten unabhängigen Anspruch der Erfindung genannt sind, optional und können nach Bedarf vorgesehen werden. Die Zeichnungen sind schematischer Art und nicht maßstabsgetreu dargestellt. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente mit im Wesentlichen der gleichen Funktion und Konfiguration mit den gleichen Bezugszeichen bezeichnet, um jegliche Redundanz in der Beschreibung zu vermeiden.
  • 1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 gemäß einer Ausführungsform der Erfindung.
  • Bei dem Kraftfahrzeug 1 handelt es sich um ein Beispiel für ein Fahrzeug. Das Fahrzeug 1 kann derart ausgebildet sein, dass ein Verbrennungsmotor als Energiequelle für den Fahrvorgang, in einer Batterie gespeicherte elektrische Energie als Energiequelle für den Fahrvorgang oder eine Kombination davon verwendet wird.
  • Ferner kann das Fahrzeug 1 dazu ausgebildet sein, einen Fahrvorgang gemäß einer Fahrbetätigung durch einen Fahrer, einen Fahrvorgang durch autonomes Fahren oder Fahrassistenz oder einen Fahrvorgang unter Umschaltung zwischen diesen auszuführen.
  • Beispiele für ein solches Fahrzeug beinhalten ein Kraftfahrzeug 1, ein Fahrzeug für persönliche Mobilität, ein motorisiertes Zweirad-Fahrzeug, ein motorisiertes Dreirad-Fahrzeug, einen Bus, einen Lastkraftwagen, ein Flugzeug sowie ein Schienenfahrzeug.
  • Das in 1 dargestellte Kraftfahrzeug 1 besitzt eine Karosserie 2 mit einem Fahrgastraum 3, der zur Beförderung einer Vielzahl von Insassen einschließlich des Fahrers in der Lage ist. Der Fahrgastraum 3 besitzt mehrere Vordersitze 4, auf denen mehrere Insassen, wie z.B. der Fahrer, in unabhängiger Weise sitzen können, sowie einen langen Rücksitz 4, auf dem mehrere Insassen nebeneinander sitzen können. Während der Fahrt wird von den Insassen, wie z.B. dem Fahrer, verlangt, korrekt auf den Sitzen 4 zu sitzen sowie eine Sicherheitseinrichtung, wie z.B. einen Sicherheitsgurt, anzulegen.
  • Der Fahrgastraum 3 weist ein Armaturenbrett 5 in einem vorderen Bereich desselben vor den mehreren Vordersitzen 4 auf. Das Armaturenbrett 5 erstreckt sich in Fahrzeugbreitenrichtung der Karosserie 2.
  • 2 zeigt ein Diagramm zur Erläuterung einer Steuervorrichtung 10 des in 1 dargestellten Fahrzeugs 1.
  • Die in 2 dargestellte Steuervorrichtung 10 besitzt einen Türöffnungs-/Türschließsensor 11, einen Fahrzeuggeschwindigkeitssensor 12, einen Parksensor 13, eine Lautsprechereinrichtung 14, eine Fahrzeuginsassen-Überwachungseinrichtung 15, eine Positionseinstelleinrichtung 16, eine Fahrassistenzeinrichtung 17, eine Kommunikationseinrichtung 18 für externe Kommunikation, eine Insassenschutzeinrichtung 19, eine Klimaanlageneinrichtung 20 und ein bordeigenes Netzwerk 21, mit dem die vorstehend beschriebenen Komponenten verbunden sind.
  • Das bordeigene Netzwerk 21 kann ein drahtgebundenes Kommunikationsnetzwerk sein, wie z.B. ein Controller Area Network (CAN) oder ein Local Interconnect Network (LIN) für das Fahrzeug 1. Bei dem bordeigenen Netzwerk 21 kann es sich um ein Kommunikationsnetzwerk wie ein Local Area Network (LAN) oder eine Kombination aus diesen Netzwerken handeln. Ein Teil des bordeigenen Netzwerks 21 kann ein drahtloses Kommunikationsnetzwerk aufweisen.
  • Der Türöffnungs-/Türschließsensor 11 erfasst das Öffnen und Schließen einer Tür des Fahrzeugs 1.
  • Der Fahrzeuggeschwindigkeitssensor 12 erfasst die Geschwindigkeit des fahrenden Fahrzeugs 1. Der Fahrzeuggeschwindigkeitssensor 12 kann einen gestoppten Zustand des Fahrzeugs 1 erfassen.
  • Der Parksensor 13 erfasst bzw. erkennt einen Parkzustand, in dem das Fahrzeug 1 in der Stoppposition gehalten bleibt. Der Parksensor 13 kann beispielsweise den Parkzustand auf der Grundlage davon erfassen, dass ein Wählhebel (nicht dargestellt) in die Parkposition geschoben wird oder ein Parkhebel (nicht dargestellt) in die Bremsposition geschoben wird.
  • Wenn beispielsweise der Türöffnungs-/Schließsensor 11 das Öffnen oder Schließen einer Tür erfasst, führt die Fahrzeuginsassen-Überwachungseinrichtung 15 einen Prozess zur Erkennung eines Insassen in dem Fahrgastraum 3 aus und überwacht dann den Zustand des Insassen. Wenn eine Vielzahl von Insassen erkannt wird, kann die Fahrzeuginsassen-Überwachungseinrichtung 15 die Vielzahl der Insassen individuell überwachen.
  • Die Fahrzeuginsassen-Überwachungseinrichtung 15 kann Information über jeden erkannten Insassen sowie Information auf der Basis der Überwachung über das bordeigene Netzwerk 21 an die Komponenten der Steuervorrichtung 10 ausgeben.
  • Wenn sich ein Insasse, wie z.B. der Fahrer, in einem vorbestimmten Zustand befindet, kann die Fahrzeuginsassen-Überwachungseinrichtung 15 einen solchen Steuerungsvorgang, wie etwa das Ausgeben einer Warnung ausführen, um die Aufmerksamkeit des Insassen zu wecken, oder sie kann einen Steuerungsvorgang zum Verhindern oder Reduzieren eines Schadens ausführen. Zu diesem Zeitpunkt kann die Fahrzeuginsassen-Überwachungseinrichtung 15 Steuerungsinformation oder dergleichen über das bordeigene Netzwerk 21 an die Komponenten der Steuervorrichtung 10 ausgeben.
  • Die Lautsprechereinrichtung 14 gibt Sprachmitteilungen, einen Warnton oder dergleichen aus. Die Lautsprechereinrichtung 14 kann eine Warnung an den Fahrer oder einen beliebigen anderen Insassen unter der Steuerung der Fahrzeuginsassen-Überwachungseinrichtung 15 ausgeben.
  • Die Positionseinstelleinrichtung 16 stellt beispielsweise die horizontalen und vertikalen Positionen der Sitze 4, den Rückenlehnenwinkel der Sitze 4, die horizontalen und vertikalen Positionen eines Lenkrads 7 (siehe 4 und dergleichen, wie dies nachfolgend beschrieben ist), den Winkel des Lenkrads 7, die horizontalen und vertikalen Positionen verschiedener Pedale sowie die Winkel der verschiedenen Pedale ein. Die Positionseinstelleinrichtung 16 ändert eine Sitzposition auf der Basis der Insasseninformation, die von der Fahrzeuginsassen-Überwachungseinrichtung 15 ausgegeben wird.
  • Die Fahrassistenzeinrichtung 17 führt einen Steuerungsvorgang zum Unterstützen des Fahrers beim Fahren des Fahrzeugs während eines manuellen Fahrvorgangs aus oder steuert den Fahrvorgang des Fahrzeugs 1 während eines autonomen Fahrvorgangs. Die Fahrassistenzeinrichtung 17 steuert die Beschleunigung, die Verlangsamung, das Stoppen und das Lenken des Fahrzeugs 1. Die Fahrassistenzeinrichtung 17 kann eine Fahrunterstützung für den Fahrer auf der Basis der von der Fahrzeuginsassen-Überwachungseinrichtung 15 ausgegebenen Fahrerinformation ausführen.
  • Die Kommunikationseinrichtung 18 für externe Kommunikation baut beispielsweise einen drahtlosen Kommunikationsweg mit einer Basisstation in einem öffentlichen drahtlosen Kommunikationsnetz, einer Basisstation in einem kommerziellen drahtlosen Kommunikationsnetz oder einer Basisstation für erweiterte Verkehrsinformationen auf und führt eine Datenkommunikation unter Verwendung des aufgebauten drahtlosen Kommunikationswegs durch.
  • Zum Beispiel kann die Kommunikationseinrichtung 18 für externe Kommunikation eine Zweiwege-Datenkommunikation mit einer Servereinrichtung oder dergleichen ausführen, die autonomes Fahren unterstützt. Die Kommunikationseinrichtung 18 für externe Kommunikation kann Information über die Insassen, einschließlich des Fahrers, die von der Fahrzeuginsassen-Überwachungseinrichtung 15 ausgegeben wird, beispielsweise als Notfall-Assistenzinformation zu der Servereinrichtung übermitteln.
  • In Reaktion auf die Erfassung oder Vorhersage einer Kollision des Fahrzeugs 1 führt die Insassenschutzeinrichtung 19 einen Steuerungsvorgang zum Schutz der Insassen aus. Die Insassenschutzeinrichtung 19 schützt die auf den Sitzen 4 sitzenden Insassen beispielsweise, indem sie Airbags (nicht dargestellt) aufbläst oder die Sicherheitsgurte strafft. Die Insassenschutzeinrichtung 19 kann die Insassen in Abhängigkeit von der von der Fahrzeuginsassen-Überwachungseinrichtung 15 ausgegebenen Insasseninformation schützen.
  • Die Klimaanlageneinrichtung 20 regelt die Temperatur und die Sauerstoffkonzentration in dem Fahrgastraum 3. Beispielsweise führt die Klimaanlageneinrichtung 20 dem Fahrgastraum 3 gekühlte oder erwärmte Luft zu, um die Temperatur in dem Fahrgastraum 3 auf eine bestimmte Temperatur einzustellen. Die Klimaanlageneinrichtung 20 kann die Aufbereitung der Luft in Abhängigkeit von der von der Fahrzeuginsassen-Überwachungseinrichtung 15 ausgegebenen Insasseninformation ausführen.
  • Der Steuerungsvorgang auf der Basis der Insasseninformation, die von der vorstehend beschriebenen Fahrzeuginsassen-Überwachungseinrichtung 15 ausgegeben wird, ermöglicht es den Insassen, sich beispielsweise unter ihren entsprechenden Einstellungen wohlzufühlen. Der Fahrer kann sich zum Beispiel auf den Fahrvorgang des Fahrzeugs 1 konzentrieren.
  • 3 zeigt ein Diagramm zur Erläuterung von exemplarischen Überwachungsarten für die Fahrzeuginsassen-Überwachungseinrichtung 15 des Fahrzeugs 1, wie diese in 2 dargestellt ist.
  • 3 veranschaulicht Überwachungsarten, wie z.B. Unaufmerksamkeit, Müdigkeit, Sitzhaltung, Notfall, Anlegen eines Sicherheitsgurts und Vorhandensein eines Kindersitzes.
  • Die Fahrzeuginsassen-Überwachungseinrichtung 15 kann eine der vorstehend beschriebenen Überwachungsarten steuern. Bei einigen Ausführungsformen kann die Fahrzeuginsassen-Überwachungseinrichtung 15 als bordeigene Überwachungseinrichtung zum Steuern einer Vielzahl von Überwachungsarten unter den vorstehend genannten Überwachungsarten oder aller Überwachungsarten dienen.
  • Unter den vorstehend beschriebenen Überwachungsarten kann es sich bei Unaufmerksamkeit, Müdigkeit und Notfall beispielsweise um Ereignisse handeln, auf die der Fahrer überwacht werden soll.
  • Bei der Sitzhaltung, dem Notfall und dem Anlegen eines Sicherheitsgurts kann es sich um Ereignisse handeln, für die es erwünscht ist, dass nicht nur der Fahrer, sondern auch andere Insassen als der Fahrer auf diese überwacht werden sollen.
  • Das Vorhandensein eines Kindersitzes kann auf eine niedrige Überwachungspriorität gesetzt sein, da das Fahrzeug 1 eine Funktion zum Erfassen des Vorhandenseins eines Kindersitzes oder zum Vorgeben eines Kindersitzes aufweisen kann.
  • Die vorstehend beschriebenen mehreren Überwachungsarten werden ausgeführt, um die Überwachungsmöglichkeiten der Fahrzeuginsassen-Überwachungseinrichtung 15 des Fahrzeugs 1 zu steigern. Beim automatisierten Fahren oder bei der erweiterten Fahrassistenz ist es wünschenswert, dass Insassen, wie z.B. der Fahrer, in einem für das Fahren des Fahrzeugs 1 geeigneten Zustand verbleiben und dass jede der mehreren Überwachungsarten exakter ausgeführt wird.
  • Wenn jedoch die mehreren, vorstehend beschriebenen Überwachungsarten in dem Fahrzeug 1 implementiert werden sollen, kann die Fahrzeuginsassen-Überwachungseinrichtung 15 einen Abbildungssensor für jede Überwachungsart und jeden Insassen aufweisen. Andererseits ist der Raum zum Installieren von Abbildungssensoren in dem Fahrgastraum 3 begrenzt.
  • Wenn es Schwierigkeiten bereitet, die Fahrzeuginsassen-Überwachungseinrichtung 15 des Fahrzeugs 1 aufgrund des begrenzten Raums zur Installation in dem Fahrzeug 1 mit zusätzlichen Abbildungssensoren auszustatten, steht dies einer multifunktionalen Ausführung der Fahrzeuginsassen-Überwachungseinrichtung 15 entgegen. Folglich kann es schwierig sein, dass die Fahrzeuginsassen-Überwachungseinrichtung 15 ein bestimmtes Niveau der Multifunktionalität oder höher erreicht.
  • Wie vorstehend beschrieben, ist es bei dem Fahrzeug 1 zur Erzielung einer Multifunktionalität hinsichtlich der Überwachungsarten für eine Vielzahl von Insassen einschließlich des Fahrers wahrscheinlich, dass eine Zunahme bei der Anzahl der für die Überwachung zu verwendenden Abbildungssensoren Einschränkungen unterliegt. Mit steigender Anzahl der Bilder, die von den Abbildungssensoren aufgenommen werden, steigt auch die Verarbeitungslast an.
  • Die vorliegende Ausführungsform offenbart ein Beispiel zum angemessenen Vermeiden einer solchen Einschränkung hinsichtlich der Fahrzeuginsassen-Überwachungseinrichtung 15 des Fahrzeugs 1, um die Durchführbarkeit einer Vielzahl von Überwachungsarten zu erhöhen, wie diese vorstehend beschrieben sind.
  • Bei einem Beispiel steuert die Fahrzeuginsassen-Überwachungseinrichtung 15 gemäß der vorliegenden Ausführungsform eine Vielzahl von Überwachungsarten, wie z.B. Unaufmerksamkeit des Fahrers, Müdigkeit des Fahrers, die Sitzposition oder Haltung eines jeweiligen Insassen, einen Notfall eines jeweiligen Insassen, das Tragen bzw. Anlegen eines Sicherheitsgurts durch einen jeweiligen Insassen, das Vorhandensein eines Kindersitzes sowie die Bildausgabe, auf der Basis von Bildern, die von zwei Abbildungssensoren aufgenommen werden.
  • 4 zeigt ein Diagramm zur Erläuterung der in 3 dargestellten Fahrzeuginsassen-Überwachungseinrichtung 15, die als bordeigene Überwachungseinrichtung für das Fahrzeug 1 gemäß einer Ausführungsform der Erfindung dient.
  • Die in 4 dargestellte Fahrzeuginsassen-Überwachungseinrichtung 15 ist dazu ausgebildet, den Fahrer sowie eine Vielzahl anderer Insassen zu überwachen, die auf der Vielzahl von Sitzen 4 sitzen.
  • Die in 4 dargestellte Fahrzeuginsassen-Überwachungseinrichtung 15 beinhaltet ein erstes Kameramodul 31, ein zweites Kameramodul 32, eine Flüssigkristallvorrichtung 33 mit einem Anzeigebedienfeld 34, eine Eingabe-/Ausgabevorrichtung 35, einen Speicher 36 und eine mit den vorstehend beschriebenen Komponenten verbundene Überwachungssteuerung 37.
  • Die Eingabe-/Ausgabevorrichtung 34 ist mit dem bordeigenen Netzwerk 21 verbunden. Die Eingabe-/Ausgabevorrichtung 34 empfängt über das bordeigene Netzwerk 21 Daten von den anderen Komponenten des Fahrzeugs 1 und gibt Daten an diese aus.
  • Die Flüssigkristallvorrichtung 33 zeigt auf dem Anzeigebedienfeld 34 einen Bildschirm, der von jedem Insassen in dem Fahrzeug 1 visuell zu erkennen ist. Beispiele für den angezeigten Bildschirms beinhalten einen Betätigungsbildschirm für die Betätigung durch den Insassen.
  • Das Anzeigebedienfeld 34 ist eine transparente oder lichtdurchlässige Tafel, die über einer Anzeigefläche der Flüssigkristallvorrichtung 32 angeordnet ist. Das Anzeigebedienfeld 34 erfasst eine Betätigung eines Insassen auf der Anzeigefläche der Flüssigkristallvorrichtung 32 und gibt Information, wie z.B. eine Betätigungsposition, an die Überwachungssteuerung 37 aus.
  • Das erste Kameramodul 31 weist eine erste lichtemittierende Diode (LED) 43, einen ersten Abbildungssensor 41 und eine erste Vorrichtungssteuerung 45 auf, die mit den vorstehend genannten Komponenten gekoppelt ist.
  • Bei dem ersten Abbildungssensor 41 kann es sich beispielsweise um einen optischen Halbleitersensor, wie z.B. einen Sensor mit ladungsgekoppelter Vorrichtung (CCD) oder einen komplementären Metall-Oxid-Halbleiter-Sensor (CMOS-Sensor) handeln. Der erste Abbildungssensor 41 gibt Abbildungsdaten, die ein aufgenommenes Bild beinhalten, an die Überwachungssteuerung 37 aus.
  • Dem ersten Abbildungssensor 41 ist eine Engwinkel-Linse 42 überlagert. Die Engwinkel-Linse bzw. das Engwinkel-Objektiv 42 kann eine Vielzahl von optischen Linsen aufweisen, um Verzerrungen in dem peripheren Bereich eines Bilds zu reduzieren.
  • Bei der ersten LED 43 kann es sich um ein lichtemittierendes Halbleiterelement handeln. Der ersten LED 43 ist eine Engwinkel-Lichtprojektionslinse 44 überlagert. Die erste LED 43 kann z.B. Infrarotlicht projizieren. In diesem Fall gibt der erste Abbildungssensor 41 Abbildungsdaten, die ein mit Infrarotlicht aufgenommenes Bild beinhalten, an die Überwachungssteuerung 37 aus.
  • Die erste Vorrichtungssteuerung 45 steuert den Betrieb des ersten Abbildungssensors 41 und den Betrieb der ersten LED 43. Die erste Vorrichtungssteuerung 45 veranlasst die erste LED 43 zum Emittieren von Licht in einer Zeitdauer, während der der erste Abbildungssensor 41 ein Bild aufnimmt. Der Steuerungszyklus der ersten Vorrichtungssteuerung 45 kann durch die Überwachungssteuerung 37 vorgegeben werden.
  • Das zweite Kameramodul 32 besitzt eine zweite LED 46, einen zweiten Abbildungssensor 48 und eine zweite Vorrichtungssteuerung 50, die mit den vorstehend genannten Komponenten gekoppelt ist.
  • Bei dem zweiten Abbildungssensor 48 kann es sich z.B. um einen optischen Halbleitersensor, wie z.B. einen CCD-Sensor oder einen CMOS-Sensor handeln. Der zweite Abbildungssensor 48 gibt Abbildungsdaten, die ein aufgenommenes Bild beinhalten, an die Überwachungssteuerung 37 aus.
  • Dem zweiten Abbildungssensor 48 ist eine Weitwinkel-Linse 49 überlagert. Die Weitwinkel-Linse bzw. das Weitwinkel-Objektiv 49 kann eine Vielzahl von optischen Linsen aufweisen, um Verzerrungen in dem peripheren Bereich eines Bilds zu reduzieren.
  • Bei der zweiten LED 46 kann es sich um ein lichtemittierendes Halbleiterelement handeln. Der ersten LED 46 ist eine Weitwinkel-Lichtprojektionslinse 47 überlagert. Die zweite LED 46 kann z.B. Infrarotlicht projizieren. In diesem Fall gibt der zweite Abbildungssensor 48 Abbildungsdaten, die ein mit Infrarotlicht aufgenommenes Bild beinhalten, an die Überwachungssteuerung 37 aus.
  • Die zweite Vorrichtungssteuerung 50 steuert den Betrieb des zweiten Abbildungssensors 48 und den Betrieb der zweiten LED 46. Die zweite Vorrichtungssteuerung 50 veranlasst die zweite LED 46 zum Emittieren von Licht in einer Zeitdauer, während der der zweite Abbildungssensor 48 ein Bild aufnimmt. Der Steuerungszyklus der zweiten Vorrichtungssteuerung 50 kann durch die Überwachungssteuerung 37 vorgegeben werden.
  • Wie in 4 dargestellt, projiziert die erste LED 43 des ersten Kameramoduls 31 Licht auf den Oberkörper oder den Kopf des Fahrers in einem engen Winkel, und der erste Abbildungssensor 41 nimmt ein Bild von dem Oberkörper oder dem Kopf des Fahrers in einem engen Winkel auf. Somit kann der erste Abbildungssensor 41 ein helles Bild mit hoher Auflösung von dem Oberkörper oder dem Kopf des Fahrers aufnehmen. Bei dem von dem ersten Abbildungssensor 41 aufgenommenen Bild kann es sich um ein Bild mit hoher Auflösung von den Augen, den Augäpfeln und dergleichen von dem Fahrer handeln.
  • Dagegen projiziert die zweite LED 46 des zweiten Kameramoduls 32 Licht auf den gesamten Innenraum des Fahrgastraums 3 in einem weiten Winkel, und der zweite Abbildungssensor 48 nimmt ein Bild von dem gesamten Inneren des Fahrgastraums 3 in einem weiten Winkel auf.
  • Somit kann der zweite Abbildungssensor 48 ein helles Bild aufnehmen, das den Fahrer und die Vielzahl der anderen Insassen beinhaltet. Bei dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild kann es sich um ein Bild des Fahrers und den anderen Mitfahrern als dem Fahrer handeln, nämlich ein Bild von dem Mitfahrer auf dem Beifahrersitz 4 sowie den Mitfahrern auf dem Rücksitz 4.
  • Der erste Abbildungssensor 41 und der zweite Abbildungssensor 48, die zum Aufnehmen von Bildern der Insassen in dem Fahrgastraum 3 des Fahrzeugs 1 ausgebildet sind, sind in Fahrzeugbreitenrichtung in einem zentralen Bereich des Fahrzeugs 1 derart angeordnet, dass sie sich in Fahrzeugbreitenrichtung nebeneinander befinden, wobei sie Bilder von dem Fahrgastraum 3 mit unterschiedlichen Bildwinkeln oder in unterschiedlichen Abbildungsbereichen aufnehmen.
  • Weiterhin sind der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 derart angeordnet, dass sich Teile der Abbildungsbereiche des ersten Abbildungssensors 41 und des zweiten Abbildungssensors 48 gegenseitig überlappen, um gemeinsam Bilder von dem Fahrer aufzunehmen.
  • Der Speicher 36 speichert ein Programm und Daten. Der Speicher 36 kann einen nichtflüchtigen Speicher und einen flüchtigen Speicher umfassen. Beispiele für den nichtflüchtigen Speicher sind ein Festplattenlaufwerk (HDD), ein Festkörperlaufwerk (SSD) und ein elektrisch löschbarer, programmierbarer Nur-LeseSpeicher (EEPROM). Beispiele für den flüchtigen Speicher beinhalten einen Speicher mit wahlfreiem Zugriff (RAM).
  • Der Speicher 36 der Fahrzeuginsassen-Überwachungseinrichtung 15 kann Daten der Vielzahl der Insassen in dem Fahrzeug 1 derart speichern, dass die Daten der Vielzahl von Insassen auf der Basis von Insasse zu Insasse verwaltet werden können. 4 veranschaulicht erste Insassendaten 61, die einen ersten Insassen angeben, sowie zweite Insassendaten 62, die einen zweiten Insassen angeben. Der Speicher 36 besitzt eine Datenbank, in der eine Vielzahl von Insassendaten gespeichert ist.
  • Die Insassendaten, wie z.B. die ersten Insassendaten 61 und die zweiten Insassendaten 62, können jeweils für den entsprechenden Insassen spezifische Identifikationsinformation, z.B. registrierte Abbildungsdaten von einem Bild des Kopfes oder der Augen des Insassen, die mit dem ersten Abbildungssensor 41 oder dem zweiten Abbildungssensor 48 aufgenommen werden, sowie verschiedene Arten von Vorgaben bzw. Einstellungen beinhalten, die von dem Insassen vorgegeben werden.
  • Die Einstelldaten können solche Information wie die Position des auf dem Sitz sitzenden Insassen, eine anfängliche Einstellung, ob eine Fahrassistenz aktiviert ist, Information hinsichtlich Fahrpräferenzen für das autonome Fahren, Information über eine zu verwendende Servereinrichtung, sowie Einstellungen zum Insassenschutz und zur Klimaanlage beinhalten.
  • Wie vorstehend beschrieben, kann der Speicher 36 als registrierte Abbildungsdaten des jeweiligen Insassen Abbildungsdaten eines Bilds von dem Insassen speichern, das mit dem ersten Abbildungssensor 41 oder dem zweiten Abbildungssensor 48 von der Vorderseite aufgenommen wird, während ein vorbestimmter Bildschirm auf der Flüssigkristallvorrichtung 33 angezeigt wird.
  • Der Speicher 35 kann auch Insassendaten von allgemeinen, nicht registrierten Insassen speichern.
  • Bei der Überwachungssteuerung 37 kann es sich beispielsweise um eine elektronische Steuereinheit (ECU), eine zentrale Verarbeitungseinheit (CPU) oder um einen beliebigen anderen Mikrocomputer handeln. Die Überwachungssteuerung 37 liest ein Programm aus dem Speicher 36 aus und führt das Programm aus. Auf diese Weise ist die Überwachungssteuerung 37 implementiert. Bei einer Ausführungsform kann die Überwachungssteuerung 37 als „Steuerung“ dienen.
  • Die Überwachungssteuerung 37 ist in der Lage, eine Verarbeitung an einem von dem ersten Abbildungssensor 41 aufgenommenen Bild sowie einem von dem zweiten Abbildungssensor 48 aufgenommenen Bild auszuführen.
  • Die Überwachungssteuerung 37 kann eine Vielzahl von Arten von Prozessen, wie diese vorstehend beschrieben sind, für die Insassen in dem Fahrgastraum 3 auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds sowie des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds ausführen, die unterschiedliche Bildwinkel oder unterschiedliche Abbildungsbereiche besitzen.
  • Beispielsweise kann die Überwachungssteuerung 37 einen Steuerungsvorgang zum Identifizieren oder Registrieren der Insassen in dem Fahrzeug 1 ausführen. Die Überwachungssteuerung 37 kann den Steuerungsvorgang beispielsweise in Abhängigkeit von dem Inhalt einer Betätigung ausführen, die als Betätigung durch einen Insassen auf dem Betätigungsbildschirm der Flüssigkristallvorrichtung 32 festgestellt wird.
  • Wenn ein Insasse in dem Fahrzeug 1 fährt, identifiziert die Überwachungssteuerung 37 den Insassen und führt einen Steuerungsvorgang zum Überwachen des Zustands des Insassen aus.
  • Bei einem Beispiel kann die Überwachungssteuerung 37 Befindlichkeiten eines Insassen, wie des Fahrers, wie z.B. Unaufmerksamkeit, Müdigkeit und einen Notfall, auf der Basis des Zustands der Augen des Insassen unter Verwendung der in dem Speicher 36 registrierten Abbildungsdaten des Insassen als Referenzdaten feststellen.
  • 5 zeigt ein Diagramm zur Erläuterung der Art und Weise, in der die Flüssigkristallvorrichtung 33 mit dem Anzeigebedienfeld 34 gemäß der Darstellung in 4 angeordnet ist.
  • 5 veranschaulicht das Armaturenbrett 5 und eine Mittelkonsole 6. Das Armaturenbrett 5 und die Mittelkonsole 6 sind in dem vorderen Bereich des Fahrgastraums 3 angeordnet.
  • Die Flüssigkristallvorrichtung 32 mit dem Anzeigebedienfeld 34 gemäß der Darstellung in 4 ist in Fahrzeugbreitenrichtung in einem zentralen Bereich des Fahrzeugs 1 derart angeordnet, dass sie zur Rückseite des Fahrzeugs 1 weist. Die Flüssigkristallvorrichtung 33 mit dem Anzeigebedienfeld 34 ist derart angeordnet, dass sie vertikal in einen Bereich des Armaturenbretts 5 bis zu der Mittelkonsole 6 eingebettet ist.
  • 6 zeigt ein Diagramm zur Erläuterung, wie das erste Kameramodul 31 und das zweite Kameramodul 32 gemäß der Darstellung in 4 angeordnet sind.
  • Wie in 6 dargestellt, sind das erste Kameramodul 31 und das zweite Kameramodul 32 gemäß der Darstellung in 4 auf der Rückseite des Anzeigebedienfelds 34 der Flüssigkristallvorrichtung 33 derart angeordnet, dass sie sich in einer Position oberhalb relativ zu der Flüssigkristallvorrichtung 33 befinden.
  • Die erste LED 43 und der erste Abbildungssensor 41 des ersten Kameramoduls 31 und der zweite Abbildungssensor 48 und die zweite LED 46 des zweiten Kameramoduls 32 sind in der Fahrzeugbreitenrichtung des Fahrzeugs 1 nebeneinander angeordnet.
  • Der erste Abbildungssensor 41 ist in Bezug auf eine zentrale Position Y0 auf der in der Fahrzeugbreitenrichtung von dem Fahrer entfernten Seite des Fahrzeugs 1 angeordnet. Der zweite Abbildungssensor 48 ist in Bezug auf die zentrale Position Y0 auf der in der Fahrzeugbreitenrichtung dem Fahrer benachbarten Seite des Fahrzeugs 1 angeordnet. Somit ist der erste Abbildungssensor 41, der zum Aufnehmen eines Bilds von dem Oberkörper oder dem Kopf des Fahrers in einem engen Winkel ausgebildet ist, in der Fahrzeugbreitenrichtung des Fahrzeugs 1 weiter entfernt von dem Fahrer angeordnet als der zweite Abbildungssensor 48, der zum Aufnehmen eines Bilds von dem gesamten Inneren des Fahrgastraums 3 in einem weiten Winkel ausgebildet ist.
  • Das in 5 dargestellte Lenkrad 7 ist zwischen dem ersten Abbildungssensor 41 und dem Fahrer weniger wahrscheinlich vorhanden. Es besteht eine geringere Wahrscheinlichkeit, dass das Lenkrad 7 in einem von dem ersten Abbildungssensor 41 aufgenommenen Bild in Erscheinung tritt.
  • Da der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 in der Fahrzeugbreitenrichtung des Fahrzeugs 1 nebeneinander angeordnet sind, tritt eine Parallaxe in Bezug auf den in 6 dargestellten Fahrer auf. Selbst wenn beispielsweise der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 dazu ausgebildet sind, Bilder mit dem gleichen Bildwinkel oder in dem gleichen Abbildungsbereich aufzunehmen, sind die Position des Fahrers in dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und die Position des Fahrers in dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild nach Maßgabe der Parallaxe zueinander verschoben. Die Parallaxe wird generiert in Abhängigkeit von dem Abstand zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48.
  • Die erste LED 43 ist in der Fahrzeugbreitenrichtung des Fahrzeugs 1 weiter entfernt von dem Fahrer angeordnet als der erste Abbildungssensor 41. Es besteht eine geringere Wahrscheinlichkeit, dass von der ersten LED 43 in Richtung auf den Fahrer ausgesendetes Licht durch das Lenkrad 7 blockiert wird.
  • Die zweite LED 46 ist in der Fahrzeugbreitenrichtung des Fahrzeugs 1 näher bei dem Fahrer angeordnet als der zweite Abbildungssensor 48. Die zweite LED 46 ist in der Fahrzeugbreitenrichtung weiter entfernt von der zentralen Position Y0 des Fahrzeugs 1 angeordnet als der zweite Abbildungssensor 48 in der Fahrzeugbreitenrichtung des Fahrzeugs 1.
  • Somit kann der zweite Abbildungssensor 48 in der Fahrzeugbreitenrichtung in dem zentralen Bereich des Fahrzeugs 1 nahe bei der zentralen Position Y0 angeordnet werden. Der nahe bei der zentralen Position Y0 angeordnete zweite Abbildungssensor 48 ist in der Lage, ein Bild von dem gesamten Inneren des Fahrgastraums 3 in einem weiten Winkel ausgehend von dem in der Fahrzeugbreitenrichtung zentralen Bereich des Fahrzeugs 1 aufzunehmen.
  • Der zweite Abbildungssensor 48 ist in der Lage, ein Bild nicht nur von den Insassen, die auf den mehreren Vordersitzen 4 sitzen, sondern auch von den mehreren Insassen, die auf den Rücksitzen 4 sitzen, aufzunehmen.
  • 7 zeigt ein Zeitablaufdiagramm eines grundsätzlichen Bildaufnahme- und Lichtemissionsvorgangs des ersten Kameramoduls 31 und des zweiten Kameramoduls 32, die in 4 dargestellt sind.
  • In 7 verläuft der Zeitablauf von links nach rechts.
  • In 7 veranschaulicht der Teil (A) einen Abbildungszustand des ersten Abbildungssensors 41. Der erste Abbildungssensor 41 führt einen Abbildungsvorgang in Intervallen eines bestimmten Zyklus aus. Ein monokularer Engwinkel-Prozess zum Überwachen des Fahrers kann auf der Basis eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds ausgeführt werden. Der erste Abbildungssensor 41 führt den Abbildungsvorgang während Zeitdauern auf hohem Niveau aus. Gleiches gilt für die anderen Einrichtungen.
  • In 7 veranschaulicht der Teil (B) einen Lichtprojektionszustand der ersten LED 43. Die erste LED 43 projiziert Licht in einem engen Winkel auf den Abbildungsbereich des ersten Abbildungssensors 41 während der Abbildungszeitdauern des ersten Abbildungssensors 41.
  • In 7 veranschaulicht der Teil (C) einen Abbildungszustand des zweiten Abbildungssensors 48. Der zweite Abbildungssensor 48 führt einen Abbildungsvorgang in Intervallen eines bestimmten Zyklus aus. Ein monokularer Weitwinkel-Prozess zum Überwachen des Fahrers und der anderen Insassen kann auf der Basis des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds ausgeführt werden. Der monokulare Weitwinkel-Prozess kann nicht nur einen Prozess zum Überwachen des jeweiligen Zustands der Vielzahl von Insassen, die in einem aufgenommenen Bild enthalten sind, sondern auch einen Prozess zum Übermitteln des aufgenommenen Bilds für die Betrachtung mittels eines mobilen Endgeräts oder dergleichen beinhalten.
  • Das zu betrachtende Bild kann alle Insassen einschließlich des Fahrers beinhalten. In diesem Fall kann, wie in dem Teil (C) der 7 dargestellt, das von dem zweiten Abbildungssensor 48 aufgenommene Bild abwechselnd für den Überwachungsprozess und den Übermittlungsprozess verwendet werden. Da der Zustand des Fahrers mit dem ersten Abbildungssensor 41 überwacht wird, der ein Bild von dem Fahrer in kürzeren Zeitintervallen aufnimmt, kann auch in diesem Fall erwartet werden, dass sich das Fahrzeug 1 ohne Probleme bewegt.
  • Das Intervall, mit dem der zweite Abbildungssensor 48 einen Abbildungsvorgang ausführt, ist doppelt so lang wie das Intervall, mit dem der erste Abbildungssensor 41 einen Abbildungsvorgang ausführt. Der Zeitpunkt, zu dem der zweite Abbildungssensor 48 den Abbildungsvorgang ausführt, ist synchronisiert mit dem Zeitpunkt, zu dem der erste Abbildungssensor 41 den Abbildungsvorgang ausführt. Die Synchronisierung des von dem ersten Abbildungssensor 41 aufgenommenen Bilds und des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds ermöglicht eine exakte Berechnung der Parallaxe auf der Basis der Verschiebung zwischen den Positionen des Fahrers in den aufgenommenen Bildern.
  • Die Parallaxe basiert auf dem Intervall bzw. Abstand zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48. Außerdem kann ein binokularer Prozess unter Verwendung eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds und eines von dem zweiten Abbildungssensor 48 aufgenommenen Bilds ausgeführt werden, die miteinander synchronisiert sind.
  • Wie vorstehend beschrieben, führt der erste Abbildungssensor 41, der zum Aufnehmen eines Bilds von dem Oberkörper oder dem Kopf des Fahrers in einem engen Winkel ausgebildet ist, den Abbildungsvorgang in kürzeren Intervallen aus als der zweite Abbildungssensor 48, der zum Aufnehmen eines Bilds von dem gesamten Inneren des Fahrgastraums 3 in einem weiten Winkel ausgebildet ist, wobei der erste Abbildungssensor 41 den Abbildungsvorgang synchron mit dem zweiten Abbildungssensor 48 mit einer Rate von einem Mal zu mehreren Malen ausführt.
  • Wenn der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 einen Abbildungsvorgang synchron miteinander ausführen, kann die Überwachungssteuerung 37 einen Überwachungsprozess auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds und des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds ausführen. Wenn der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 einen Abbildungsvorgang synchron miteinander ausführen, kann die Überwachungssteuerung 37 einen Prozess ausführen, der sich von dem Prozess unterscheidet, wenn der erste Abbildungssensor 41 den Abbildungsvorgang alleine ausführt oder wenn der zweite Abbildungssensor 48 den Abbildungsvorgang alleine ausführt.
  • In 7 veranschaulicht der Teil (D) einen Lichtprojektionszustand der zweiten LED 46. Die zweite LED 46 projiziert Licht in einem weiten Winkel auf den Abbildungsbereich des zweiten Abbildungssensors 48 während der Abbildungszeitdauern des zweiten Abbildungssensors 48.
  • In 7 veranschaulicht der Teil (E) die Menge des auf den Fahrer projizierten Lichts, wenn Licht von der ersten LED 43, die in dem Teil (B) der 7 dargestellt ist, und Licht von der zweiten LED 46, die in dem Teil (D) der 7 dargestellt ist, projiziert wird. Wenn die erste LED 43 und die zweite LED 46 Licht in ähnlicher Weise abgeben, ändert sich die zum Fahrer projizierte Lichtmenge zu dem jeweiligen Abbildungszeitpunkt, wie dies in 7 dargestellt ist. Die Helligkeit des Fahrers in den aufgenommenen Bildern ändert sich in Abhängigkeit von der projizierten Lichtmenge.
  • 8 zeigt ein Zeitablaufdiagramm eines Bildaufnahme- und Lichtemissionsvorgangs des ersten Kameramoduls 31 und des zweiten Kameramoduls 32 gemäß der vorliegenden Ausführungsform, die in 4 dargestellt sind.
  • Die Teile (A) bis (E) der 8 entsprechen im Großen und Ganzen den Teilen (A) bis (E) der 7.
  • Es sei erwähnt, dass, wie in dem Teil (D) der 8 dargestellt, die von der zweiten LED 46 projizierte Lichtmenge geringer ist als die Lichtmenge, die von der in dem Teil (B) der 8 dargestellten ersten LED 43 projiziert wird. Die zweite LED 46 gibt eine geringere Lichtmenge ab als die erste LED 43.
  • Wenn die zweite LED 46 Licht synchron mit der ersten LED 43 projiziert, dann ist die von der ersten LED 43 projizierte Lichtmenge geringer als bei dem normalen Vorgang, bei dem die zweite LED 46 kein Licht synchron mit der ersten LED 43 projiziert. Wenn die zweite LED 46 Licht synchron mit der ersten LED 43 projiziert, dann ist die von der ersten LED 43 abgegebene Lichtmenge um einen Betrag reduziert, der im Wesentlichen der von der zweiten LED 46 abgegebenen Lichtmenge entspricht.
  • Wie in dem Teil (E) der 8 dargestellt, ist somit die auf den Fahrer projizierte Lichtmenge, wenn die erste LED 41 und die zweite LED 46 Licht synchron miteinander projizieren, im Wesentlichen gleich der Lichtmenge, die auf den Fahrer projiziert wird, wenn die erste LED 41 allein Licht projiziert. Die Helligkeit des Fahrers in den aufgenommenen Bildern kann konstant sein. Die Helligkeitskorrektur bei den aufgenommenen Bildern in Abhängigkeit von der Lichtprojektion ist nicht mehr erforderlich.
  • Selbst wenn die erste LED 43 und die zweite LED 46 bei der vorliegenden Ausführungsform, wie sie vorstehend beschrieben ist, Licht synchron miteinander projizieren, um Bilder mit dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48 synchron miteinander aufzunehmen, besteht beispielsweise eine geringere Wahrscheinlichkeit, dass sich die zum Fahrer projizierte Lichtmenge zwischen der Situation ändert, in der Licht in synchronisierter Weise projiziert wird, sowie der Situation, in der Licht von der ersten LED 43 alleine projiziert wird. Die zum Überwachen der Insassen ausgebildete Überwachungssteuerung 37 kann in kontinuierlicher Weise ein Bild mit stabiler Helligkeit als ein von dem ersten Abbildungssensor 41 aufgenommenes Bild erzielen.
  • 9 zeigt ein Ablaufdiagramm eines Hauptsteuerungsvorgangs, der von der in 4 dargestellten Überwachungssteuerung 37 ausgeführt wird.
  • Wenn ein neuer Insasse in dem Fahrzeug 1 fährt, führt die Überwachungssteuerung 37 den in 9 veranschaulichten Prozess wiederholt aus.
  • In einem Schritt ST1 stellt die Überwachungssteuerung 37 fest, ob ein neuer Insasse in dem Fahrzeug 1 fährt. Der Insasse öffnet eine Tür (nicht dargestellt) des Fahrzeugs 1 und setzt sich auf den Sitz 4. Die Überwachungssteuerung 37 kann einen neuen, in dem Fahrzeug 1 fahrenden Insassen beispielsweise auf der Basis eines Öffnungs-/Schließ-Erfassungssignals des Türöffnungs-/Türschließsensors 11 erfassen.
  • Alternativ hierzu kann die Überwachungssteuerung 37 die Feststellung, ob ein neuer Insasse in dem Fahrzeug 1 fährt, beispielsweise auf der Basis davon treffen, ob Abbildungsdaten des ersten Abbildungssensors 41 oder des zweiten Abbildungssensors 48 ein aufgenommenes Bild von dem neuen Insassen beinhalten. Wenn kein neuer Insasse in dem Fahrzeug 1 fährt, führt die Überwachungssteuerung 37 diesen Prozess wiederholt aus. Wenn ein neuer Insasse in dem Fahrzeug 1 fährt, fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST2 fort.
  • In dem Schritt ST2 bestimmt die Überwachungssteuerung 37 die Position des neuen Insassen. Die Überwachungssteuerung 37 kann die Position des neuen Insassen auf der Basis von Abbildungsdaten des zweiten Abbildungssensors 48 bestimmen, der zum Aufnehmen eines Bilds von dem gesamten Innenraum des Fahrzeugs 1 ausgebildet ist. In Reaktion auf die Erfassung eines Insassen, der in einer stabilen Position auf dem Sitz 4 sitzt, kann die Überwachungssteuerung 37 die Feststellung treffen, dass sich der Insasse in dieser Position befindet.
  • In einem Schritt ST3 führt die Überwachungssteuerung 37 einen persönlichen Identifizierungsprozess an dem neuen Insassen aus. Die Überwachungssteuerung 37 kann einen persönlichen Identifizierungsprozess an dem neuen Insassen auf der Basis der letzten bzw. neuesten Abbildungsdaten des zweiten Abbildungssensors 48 ausführen, der zum Aufnehmen eines Bilds von dem gesamten Innenraum des Fahrzeugs 1 ausgebildet ist.
  • Beispielsweise kann die Überwachungssteuerung 37 das Bild von dem Insassen, der in dem Bild von den Abbildungsdaten enthalten ist, mit den Insassendaten der Vielzahl der in dem Speicher 36 gespeicherten Insassen vergleichen und den jeweiligen Insassen exakt identifizieren. Zu diesem Zeitpunkt kann die Überwachungssteuerung 37 den Vergleich auf der Basis einer von vorn aufgenommenen Bildkomponente mit den registrierten Abbildungsdaten von jedem in dem Speicher 36 registrierten Insassen ausführen.
  • Anstatt die Bilder direkt zu vergleichen, kann die Überwachungssteuerung 37 Merkmalspunkte vergleichen, die aus den jeweiligen Bildern extrahiert werden. Wenn die in dem Speicher 36 registrierten Insassendaten registrierte Abbildungsdaten beinhalten, die mit einem bestimmten Grad an Sicherheit oder mehr mit den Abbildungsdaten übereinstimmen, kann die Überwachungssteuerung 37 den in dem Fahrzeug 1 fahrenden Insassen als Insassen spezifizieren, der durch die registrierten Bilddaten verkörpert wird.
  • In diesem Fall identifiziert die Überwachungssteuerung 37 den in dem Fahrzeug 1 fahrenden Insassen als einen Insassen, der durch Übereinstimmung gegenüber der Vielzahl der in dem Speicher 36 registrierten Insassendaten spezifiziert wird. Wenn die in dem Speicher 36 registrierte Vielzahl von Insassendaten keine Abbildungsdaten beinhaltet, die mit einem gewissen Ausmaß an Sicherheit oder mehr mit den Abbildungsdaten übereinstimmen, kann die Überwachungssteuerung 37 den Insassen als nicht registrierten Insassen identifizieren.
  • Wenn ein Insasse vorhanden ist, dessen Insassendaten in dem Speicher 36 gespeichert sind, kann die Überwachungssteuerung 37 ferner einen Einstellprozess unter Verwendung der Insassendaten ausführen. In diesem Fall gibt die Überwachungssteuerung 37 Information über die Einstelldaten bzw. Vorgabedaten an die Komponenten des Fahrzeugs 1 aus. Somit werden solche Informationen, wie z.B. die Position des auf dem Sitz sitzenden Insassen, eine anfängliche Einstellung, ob eine Fahrassistenz aktiviert ist, Fahrpräferenzinformation zum autonomen Fahren, Information über eine zu verwendende Servereinrichtung sowie Einstellungen zum Insassenschutz und zur Klimaanlage verarbeitet.
  • Beispielsweise kann die Überwachungssteuerung 37 die Feststellung, ob ein Kindersitz bzw. eine Kinderschale auf dem Beifahrersitz 4 vorhanden ist, auf der Basis der zuletzt aufgenommenen Abbildungsdaten treffen, und wenn ein Kindersitz auf dem Beifahrersitz 4 vorhanden ist, kann die Überwachungssteuerung 37 eine Vorgabe dahingehend vornehmen, dass das Aufblasen des Airbags in Richtung auf den vorderen Beifahrersitz 4 unterbunden wird.
  • In einem Schritt ST4 stellt die Überwachungssteuerung 37 fest, ob der neue Insasse neu zu registrieren ist. Beispielsweise in Reaktion auf eine von dem Insassen ausgeführte Betätigung auf dem Anzeigebedienfeld 34, wenn ein Bestätigungsbildschirm für ein Registrierungsprozess auf der Flüssigkristallvorrichtung 33 angezeigt wird, trifft die Überwachungssteuerung 37 die Feststellung, dass eine Neuregistrierung auszuführen ist, und sie fährt in dem Prozess mit einem Schritt ST5 fort. In Reaktion auf eine Betätigung dahingehend, dass eine Registrierung nicht auszuführen ist, fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST6 fort.
  • In dem Schritt ST5 führt die Überwachungssteuerung 37 einen Prozess zur Neuregistrierung des neuen Insassen aus. Weiterhin speichert die Überwachungssteuerung 37 Insassendaten von dem neuen Insassen in dem Speicher 36.
  • In dem Schritt ST6 startet die Überwachungssteuerung 37 den Überwachungssteuerungsvorgang für den neuen Insassen.
  • In einem Schritt ST7 stellt die Überwachungssteuerung 37 fest, ob der Überwachungssteuerungsvorgang für den Insassen beendet werden soll. Wenn beispielsweise das Fahrzeug 1 zum Stillstand gekommen ist und die Zündung ausgeschaltet ist, wenn das Fahrzeug 1 das Ziel erreicht hat und zum Stillstand gebracht ist, oder wenn die Insassen das Fahrzeug 1 verlassen haben, kann die Überwachungssteuerung 37 die Feststellung treffen, den Überwachungssteuerungsvorgang für den Insassen zu beenden.
  • Die Überwachungssteuerung 37 kann die Feststellung, ob die Insassen das Fahrzeug 1 verlassen haben, beispielsweise auf der Basis der Öffnungs-/Schließerfassung des Türöffnungs-/Türschließsensors 11 oder auf der Basis des Bilds von dem ersten Abbildungssensor 41 oder dem zweiten Abbildungssensor 48 treffen. Wenn der Überwachungssteuerungsvorgang für den Insassen nicht beendet werden soll, führt die Überwachungssteuerung 37 diesen Prozess wiederholt aus. Wenn der Überwachungssteuerungsvorgang für den Insassen beendet werden soll, fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST8 fort.
  • In dem Schritt ST8 führt die Überwachungssteuerung einen Prozess zum Beenden der Überwachung des Insassen aus. Beispielsweise ermittelt die Überwachungssteuerung 37 Vorgabeinformation des jeweiligen Insassen zum Verlassen des Fahrzeugs 1 von den Komponenten des Fahrzeugs 1 und aktualisiert die Insassendaten des jeweiligen in dem Speicher 36 gespeicherten Insassen. Auf diese Weise sind die in dem Speicher 36 registrierten Insassendaten an die Präferenzen des Insassen angepasst.
  • Wenn der jeweilige Insasse das nächste Mal in dem Fahrzeug 1 fährt, werden die letzten Vorgaben bzw. Einstellungen für den Insassen automatisch eingestellt. Alternativ hierzu kann die Überwachungssteuerung 37 Insassendaten eines nicht registrierten Insassen vorübergehend in dem Speicher 36 speichern. Wenn dieser Insasse im Anschluss daran einen Registrierungsvorgang ausführt, können die Einstellungen dem Insassen unmittelbar zugeordnet werden.
  • Anschließend beendet die Überwachungssteuerung 37 den in 9 veranschaulichten Überwachungssteuerungsvorgang.
  • 10 zeigt ein Ablaufdiagramm eines Überwachungssteuerungsvorgangs für eine Vielzahl von Insassen, der von der in 4 dargestellten Überwachungssteuerung 37 ausgeführt wird.
  • Wenn in dem Schritt ST6 in 9 festgestellt wird, dass ein Überwachungssteuerungsvorgang für den ersten Insassen gestartet werden soll, führt die Überwachungssteuerung 37 den in 10 veranschaulichten Überwachungssteuerungsvorgang wiederholt aus, bis in dem Schritt ST7 festgestellt wird, dass der Überwachungssteuerungsvorgang beendet werden soll, nachdem der letzte Insasse das Fahrzeug 1 verlassen hat.
  • In einem Schritt ST11 stellt die Überwachungssteuerung 37 fest, ob ein Verarbeitungszeitpunkt auf der Basis des Abbildungsvorgangs erreicht worden ist. Der erste Abbildungssensor 41, der zum Aufnehmen eines Bilds von dem Oberkörper oder dem Kopf des Fahrers in einem engen Winkel ausgebildet ist, und der zweite Abbildungssensor 48, der zum Aufnehmen eines Bilds von dem gesamten Innenraum des Fahrgastraums 3 in einem weiten Winkel ausgebildet ist, führen den Abbildungsvorgang zu den jeweiligen in 8 veranschaulichten Abbildungszeitpunkten aus und geben Abbildungsdaten an die Überwachungssteuerung 37 aus.
  • Wenn neue Abbildungsdaten von dem ersten Abbildungssensor 41 oder dem zweiten Abbildungssensor 48 ermittelt werden, trifft die Überwachungssteuerung 37 die Feststellung, dass der Verarbeitungszeitpunkt auf der Basis des Abbildungsvorgangs erreicht worden ist, und fährt dann in dem Prozess mit einem Schritt ST12 fort. Wenn keine neuen Abbildungsdaten ermittelt werden, führt die Überwachungssteuerung 37 diesen Prozess wiederholt aus und wartet, bis der Verarbeitungszeitpunkt auf der Basis des Abbildungsvorgangs erreicht ist.
  • In dem Schritt ST12 startet die Überwachungssteuerung einen monokularen Engwinkel-Prozess, der in erster Linie auf einem von dem ersten Abbildungssensor 41 aufgenommenen Bild basiert, der zum Aufnehmen eines Bilds von dem Oberkörper oder dem Kopf des Fahrers ausgebildet ist.
  • In einem Schritt ST13 stellt die Überwachungssteuerung 37 Unaufmerksamkeit des Fahrers auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds fest. Beispielsweise extrahiert die Überwachungssteuerung 37 die Bildkomponenten der Augen des Fahrers aus dem von dem ersten Abbildungssensor 41 aufgenommenen Bild. Die Überwachungssteuerung 37 stellt fest, ob die aus der Bildkomponente der Augen des Fahrers geschätzte Blickrichtung in Fahrtrichtung des Fahrzeugs 1 gerichtet ist.
  • Wenn es sich bei der Blickrichtung des Fahrers um die Fahrtrichtung des Fahrzeugs 1 handelt, trifft die Überwachungssteuerung 37 die Feststellung, dass der Fahrer nicht unaufmerksam ist. Wenn ein Zustand, in dem die Blickrichtung des Fahrers nicht die Fahrtrichtung des Fahrzeugs 1 ist, in kontinuierlicher Weise mehrmals auftritt, trifft die Überwachungssteuerung 37 die Feststellung, dass der Fahrer unaufmerksam ist.
  • In einem Schritt ST14 stellt die Überwachungssteuerung 37 Müdigkeit des Fahrers auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds fest. Beispielsweise extrahiert die Überwachungssteuerung 37 die Bildkomponente der Augen des Fahrers aus dem von dem ersten Abbildungssensor 41 aufgenommenen Bild. Wenn aus der Bildkomponente der Augen des Fahrers die Einschätzung erfolgt, dass die Augen geöffnet sind, trifft die Überwachungssteuerung 37 die Feststellung, dass der Fahrer nicht schläfrig ist. Wenn die Augen des Fahrers in kontinuierlicher Weise mehrmals geschlossen sind, trifft die Überwachungssteuerung 37 die Feststellung, dass der Fahrer schläfrig oder eingeschlafen ist.
  • In einem Schritt ST15 stellt die Überwachungssteuerung 37 einen Notfall des Fahrers auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds fest. Beispielsweise extrahiert die Überwachungssteuerung 37 die Bildkomponente der Sitzhaltung des Fahrers aus dem von dem ersten Abbildungssensor 41 aufgenommenen Bild. Wenn die Sitzposition bzw. Sitzhaltung des Fahrers nicht zum Fahren geeignet ist und beispielsweise der Fahrer mit seinem Kopf nach unten geneigt sitzt, trifft die Überwachungssteuerung 37 die Feststellung, dass bei dem Fahrer ein Notfall vorliegt.
  • Alternativ hierzu kann die Überwachungssteuerung 37 beispielsweise aus dem von dem ersten Abbildungssensor 41 aufgenommenen Bild solche Informationen, wie etwa den Puls und die Durchblutung des Fahrers ermitteln. Wenn in diesem Fall der Puls des Fahrers höher ist als ein Schwellenwert oder wenn ein Anstieg oder Sinken bei der Durchblutung größer als oder gleich einem Schwellenwert ist, trifft die Überwachungssteuerung 37 die Feststellung, dass bei dem Fahrer ein Notfall vorliegt.
  • In entsprechender Weise beendet die Überwachungssteuerung 37 den monokularen Engwinkel-Prozess.
  • In einem Schritt ST16 stellt die Überwachungssteuerung 37 fest, ob es sich bei dem aktuellen Verarbeitungszeitpunkt um den Zeitpunkt der synchronisierten Weitwinkel-Abbildung handelt. Wie in 8 dargestellt, kann der zweite Abbildungssensor 48, der zum Aufnehmen eines Bilds von dem gesamten Innenraum des Fahrgastraums 3 in einem weiten Winkel ausgebildet ist, gleichzeitig mit dem ersten Abbildungssensor 41 ein Bild aufnehmen und Abbildungsdaten an die Überwachungssteuerung 37 ausgeben.
  • Zum Zeitpunkt der synchronisierten Abbildung trifft die Überwachungssteuerung 37 die Feststellung, dass es sich bei dem aktuellen Verarbeitungszeitpunkt um den Zeitpunkt für eine synchronisierte Weitwinkel-Abbildung handelt, und fährt dann in dem Prozess mit einem Schritt ST17 fort. Wenn zu dem aktuellen Verarbeitungszeitpunkt neue Abbildungsdaten von dem ersten Abbildungssensor 41 alleine ermittelt werden, führt die Überwachungssteuerung 37 keine weitere Bestimmungsverarbeitung aus und fährt in dem Prozess mit einem Schritt ST28 zur anschließenden Verarbeitung fort.
  • In dem Schritt ST17 stellt die Überwachungssteuerung 37 fest, ob der Zeitpunkt für einen binokularen Prozess für die synchronisierte Abbildung erreicht worden ist. Wie in 8 dargestellt, führt die Überwachungssteuerung 37 dann, wenn der zweite Abbildungssensor 48 den Abbildungsvorgang synchron mit dem ersten Abbildungssensor 41 ausführt, abwechselnd einen binokularen Prozess unter Verwendung sowohl eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds als auch eines von dem zweiten Abbildungssensor 48 aufgenommenen Bilds sowie einen monokularen Weitwinkel-Prozess aus, der hauptsächlich an einem von dem zweiten Abbildungssensor 48 aufgenommenen Bild auszuführen ist.
  • Bei dem ersten synchronisierten Abbildungsvorgang nach dem Start des in 10 veranschaulichten Überwachungssteuerungsvorgangs trifft die Überwachungssteuerung 37 dann, wenn der monokulare Weitwinkel-Prozess zuvor ausgeführt worden ist, die Feststellung, dass der Zeitpunkt für den binokularen Prozess erreicht worden ist, und fährt dann in dem Prozess mit einem Schritt ST18 fort.
  • Wenn der binokulare Prozess zuvor nicht ausgeführt worden ist, trifft die Überwachungssteuerung 37 die Feststellung, dass der Zeitpunkt für den monokularen Weitwinkel-Prozess und nicht der Zeitpunkt für den binokularen Prozess erreicht worden ist, und fährt dann in dem Prozess mit einem Schritt ST22 fort. Information bezüglich des Inhalts des vorherigen Prozesses kann in dem Speicher 36 gespeichert werden. Nachdem die Prozessbestimmung in dem Schritt ST17 erfolgt ist, kann die Überwachungssteuerung 37 die in dem Speicher 36 gespeicherte Information über den vorherigen Prozess aktualisieren.
  • In dem Schritt ST18 startet die Überwachungssteuerung 37 einen binokularen Prozess unter Verwendung sowohl eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds als auch eines von dem zweiten Abbildungssensor 48 aufgenommenen Bilds. Die Überwachungssteuerung 37 kann in dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und in dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild die Positionen des Fahrers spezifizieren, die sowohl in dem von dem ersten Abbildungssensor 41 aufgenommenen Bild als auch in dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild enthalten sind.
  • In einem Schritt ST19 führt die Überwachungssteuerung einen Prozess zum Korrigieren einer Differenz in dem Bildwinkel zwischen dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild aus. Beispielsweise berechnet die Überwachungssteuerung 37 die Differenz im Bildwinkel entsprechend dem Abstand zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48 auf der Basis der Position des Fahrers, die in dem von dem ersten Abbildungssensor 41 aufgenommenen Bild enthalten ist, sowie der Position des Fahrers, die in dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild enthalten ist.
  • Die Überwachungssteuerung 37 kann auf der Basis der Differenz bei dem Bildwinkel, die durch die Berechnung ermittelt wird, Pixel für Pixel Fahrerpositionsinformation zur Verwendung für den monokularen Engwinkel-Prozess für das von dem ersten Abbildungssensor 41 aufgenommene Bild sowie Pixel für Pixel Fahrerpositionsinformation zur Verwendung für den monokularen Weitwinkel-Prozess für das von dem zweiten Abbildungssensor 48 aufgenommene Bild korrigieren. Die Überwachungssteuerung 37 kann die ermittelte Information über die Differenz im Bildwinkel sowie die Pixel für Pixel ermittelte Fahrerpositionsinformation in dem Speicher 36 speichern.
  • In einem Schritt ST20 ermittelt die Überwachungssteuerung 37 die Parallaxe zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48. Die Überwachungssteuerung 37 kann die Parallaxe zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48 auf der Basis der Position des ersten Abbildungssensors 41, der Position des zweiten Abbildungssensors 48, des Sensorabstands, der Differenz im Bildwinkel und dergleichen berechnen.
  • In einem Schritt ST21 stellt die Überwachungssteuerung 37 die Sitzposition des Fahrers fest. Auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds sowie des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds berechnet die Überwachungssteuerung 37 die Richtung oder die Entfernung zu einem Körperteil des Fahrers, wie z.B. dem Kopf, dem Hals oder der Taille, und spezifiziert die Position des Körperteils auf dem Sitz 4. Die Überwachungssteuerung 37 kann feststellen, ob es sich bei der spezifizierten Position des Körperteils des Fahrers um eine korrekte Sitzposition handelt.
  • Damit beendet die Überwachungssteuerung 37 den binokularen Prozess. Anschließend fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST28 zur anschließenden Verarbeitung fort.
  • In einem Schritt ST22 startet die Überwachungssteuerung 37 einen monokularen Weitwinkel-Prozess, der in erster Linie an einem von dem zweiten Abbildungssensor 48 aufgenommenen Bild auszuführen ist.
  • In einem Schritt ST23 stellt die Überwachungssteuerung 37 die Sitzposition (oder Sitzhaltung) von jedem der mehreren Insassen einschließlich des Fahrers auf der Basis des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds fest. Die Überwachungssteuerung 37 extrahiert z.B. die Bildkomponente jedes Insassen aus dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild.
  • Die Überwachungssteuerung 37 stellt fest, ob die durch die Bildkomponente des jeweiligen Insassen angezeigte Sitzposition (oder Sitzhaltung) als Sitzposition (oder Sitzhaltung) während der Bewegung bzw. Fahrt des Fahrzeugs 1 geeignet ist. Wenn es sich bei der Sitzposition (oder Sitzhaltung) des Insassen beispielsweise um eine liegende Position handelt, trifft die Überwachungssteuerung 37 die Feststellung, dass die Sitzposition (oder Sitzhaltung) des Insassen nicht als Sitzposition (oder Sitzhaltung) während der Bewegung des Fahrzeugs 1 geeignet ist.
  • In einem Schritt ST24 stellt die Überwachungssteuerung 37 einen Notfall eines jeweiligen der mehreren Insassen einschließlich des Fahrers auf der Basis des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds fest. Beispielsweise extrahiert die Überwachungssteuerung 37 die Bildkomponente jedes Insassen aus dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild. Die Überwachungssteuerung 37 stellt fest, ob die Bildkomponente des jeweiligen Insassen einem Notfall entspricht. Wenn z.B. die Sitzposition (oder Sitzhaltung) des Insassen liegend ist, trifft die Überwachungssteuerung 37 die Feststellung, dass die Sitzposition (oder Sitzhaltung) des Insassen einem Notfall entspricht.
  • In einem Schritt ST25 stellt die Überwachungssteuerung 37 fest, ob bei jedem der mehreren Insassen, einschließlich des Fahrers, der Sicherheitsgurt angelegt ist, und zwar auf der Basis des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds. Beispielsweise extrahiert die Überwachungssteuerung 37 für jeden der mehreren Insassen, einschließlich des Fahrers, die Bildkomponente des Sicherheitsgurts. Wenn die Bildkomponente des Sicherheitsgurts anzeigt, dass der Sicherheitsgurt nicht über den Oberkörper des jeweiligen Insassen angelegt bzw. geschlossen ist, trifft die Überwachungssteuerung 37 die Feststellung, dass der Sicherheitsgurt nicht korrekt angelegt ist.
  • In einem Schritt ST26 stellt die Überwachungssteuerung 37 das Vorhandensein eines Kindersitzes auf der Basis des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds fest. Die Überwachungssteuerung 37 versucht, die Bildkomponente eines Kindersitzes zu extrahieren. Wenn die Bildkomponente eines Kindersitzes extrahiert werden kann, trifft die Überwachungssteuerung 37 die Feststellung, dass ein Kindersitz vorhanden ist.
  • Auf der Basis des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds generiert die Überwachungssteuerung 37 in einem Schritt ST27 ein Überwachungsbild zur Betrachtung mit einem mobilen Endgerät oder dergleichen und gibt das Überwachungsbild aus.
  • Damit beendet die Überwachungssteuerung 37 den monokularen Weitwinkel-Prozess. Anschließend fährt die Überwachungssteuerung 37 in dem Prozess mit dem Schritt ST28 zur anschließenden Verarbeitung fort.
  • In dem Schritt ST28 startet die Überwachungssteuerung 37 die nachfolgende Verarbeitung auf der Basis der Feststellung der Vielzahl der vorstehend beschriebenen Überwachungsarten. Zuerst stellt die Überwachungssteuerung 37 fest, ob die festgestellte Mehrzahl der vorstehend beschriebenen Überwachungsarten eine Überwachungsart beinhaltet, bei der eine Warnung bereitzustellen ist. Wenn eine Überwachungsart enthalten ist, bei der eine Warnung bereitzustellen ist, fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST29 fort. Andernfalls fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST30 fort.
  • In dem Schritt ST29 gibt die Überwachungssteuerung 37 eine Warnung ab, die dem Inhalt der Überwachungsart entspricht, bei der eine Warnung bereitzustellen ist.
  • Bei der dem Fahrer bereitzustellenden Warnung kann es sich beispielsweise um eine auf der Flüssigkristallvorrichtung 30 angezeigte Warnung oder um einen von der Lautsprechereinrichtung 14 ausgegebenen Warnton handeln. Wenn das Fahrzeug 1 über eine vorbestimmte Zeitdauer oder länger kontinuierlich fährt, wenn der Fahrer mit einer vorbestimmten Häufigkeit mit seinen Augen blinzelt oder wenn der Kopf des Fahrers tendenziell nach unten sinkt, kann die Überwachungssteuerung 37 die Feststellung treffen, dass ein Steuerungsprozess auszuführen ist, und kann beispielsweise ein Ausgangssignal bereitstellen, mit dem der Fahrer z.B. zum Einlegen einer Ruhepause aufgefordert wird.
  • In dem Schritt ST30 stellt die Überwachungssteuerung 37 fest, ob die festgestellten mehreren vorstehend beschriebenen Überwachungsarten eine Überwachungsart beinhalten, bei der ein Notfallsteuerungsvorgang auszuführen ist. Wenn eine Überwachungsart enthalten ist, bei der ein Notfallsteuerungsvorgang auszuführen ist, fährt die Überwachungssteuerung 37 in dem Prozess mit einem Schritt ST31 fort. Andernfalls beendet die Überwachungssteuerung 37 den in 10 veranschaulichten Steuerungsvorgang.
  • In einem Schritt ST31 führt die Überwachungssteuerung 37 den Notfallsteuerungsvorgang in Abhängigkeit von dem Inhalt der Überwachungsart aus, bei der eine Notfallverarbeitung auszuführen ist. Wenn der Fahrer selbst nach dem Abgeben einer Warnung nicht nach vorn blickt, d.h. bei Feststellung, dass der Fahrer seine Blickrichtung von der nach vorn führenden Fahrbahn weggerichtet hält, kann die Überwachungssteuerung 37 den Fahrmodus des Fahrzeugs 1 auf autonomes Fahren umschalten und das Fahrzeug 1 verlangsamen und stoppen.
  • Wenn das Fahrzeug 1 verlangsamt wird und das Fahrzeug 1 zum Halten gebracht wird, kann die Überwachungssteuerung 37 einen Warnblinker (nicht dargestellt) einschalten und Notfallinformation über die Kommunikationseinrichtung 18 für externe Kommunikation senden. Wenn z.B. festgestellt wird, dass der Fahrer schläfrig ist oder einen hohen Puls hat, kann die Überwachungssteuerung 37 das Fahrzeug 1 verlangsamen und stoppen. Wenn das Fahrzeug 1 verlangsamt wird und das Fahrzeug 1 zum Halten gebracht wird, kann die Überwachungssteuerung 37 einen Warnblinker (nicht dargestellt) einschalten und Notfallinformation über die Kommunikationseinrichtung 18 für externe Kommunikation senden.
  • Anschließend beendet die Überwachungssteuerung 37 den in 10 dargestellten Steuerungsvorgang.
  • Wie vorstehend beschrieben, führt die Überwachungssteuerung 37 eine Vielzahl von Prozessarten für die Überwachung aus, nämlich einen monokularen Engwinkel-Prozess auf der Basis eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds, einen monokularen Weitwinkel-Prozess auf der Basis eines Bilds von dem Fahrgastraum 3, das von dem zweiten Abbildungssensor 48 mit einem anderen Bildwinkel oder in einem anderen Abbildungsbereich gegenüber dem des ersten Abbildungssensors 41 aufgenommen wird, sowie einen binokularen Prozess auf der Basis des von dem ersten Abbildungssensor 41 aufgenommenen Bilds und des von dem zweiten Abbildungssensor 48 aufgenommenen Bilds.
  • Die Überwachungssteuerung 37 führt unterschiedliche Arten von Prozessen aus, wenn der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 einen Abbildungsvorgang synchron miteinander ausführen, und wenn entweder der erste Abbildungssensor 41 oder der zweite Abbildungssensor 48 einen Abbildungsvorgang ausführt.
  • Hinsichtlich der Vielzahl von Arten von Überwachungsprozessen auf der Basis eines von dem ersten Abbildungssensor 41 in dem monokularen Engwinkel-Prozess aufgenommenen Bilds stellt die Überwachungssteuerung 37 Unaufmerksamkeit des Fahrers, Schläfrigkeit des Fahrers sowie einen bei dem Fahrer vorliegenden Notfall fest. In dem monokularen Engwinkel-Prozess kann die Überwachungssteuerung 37 auch andere Prozesse oder einige der Prozesse ausführen.
  • Hinsichtlich der Vielzahl der Arten von Überwachungsprozessen in dem binokularen Prozess auf der Basis eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds, der zum Aufnehmen eines Bilds von dem Oberkörper oder dem Kopf des Fahrers ausgebildet ist, sowie eines von dem zweiten Abbildungssensor 48 aufgenommenen Bilds, der zum Aufnehmen eines Bilds von dem gesamten Innenraum des Fahrgastraums 3 ausgebildet ist, führt die Überwachungssteuerung 37 einen Korrekturprozess zum Reduzieren einer Differenz in dem Bildwinkel oder einer Differenz in dem Abbildungsbereich zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48 in Reaktion darauf aus, dass der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 synchron miteinander einen Abbildungsvorgang ausführen, und sie ermittelt Parallaxeninformation zwischen dem ersten Abbildungssensor 41 und dem zweiten Abbildungssensor 48 und stellt die Sitzposition des Fahrers fest.
  • Als ein Überwachungsprozess, der auf einer Korrelation zwischen dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild basiert, stellt die Überwachungssteuerung 37 die Sitzposition eines Insassen auf der Basis einer Differenz zwischen der Position des Insassen in dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und der Position des Insassen in dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild fest. In dem binokularen Prozess kann die Überwachungssteuerung 37 weitere Prozesse oder einige der Prozesse ausführen.
  • Hinsichtlich einer Vielzahl von Arten von Überwachungsprozessen auf der Basis eines Bilds, das von dem zweiten Abbildungssensor 48 in dem monokularen Weitwinkel-Prozess aufgenommen wird, stellt die Überwachungssteuerung 37 die Sitzposition oder die Haltung jedes Insassen fest, stellt das Vorliegen eines Notfalls bei dem jeweiligen Insassen fest, stellt das Anlegen bzw. Tragen eines Sicherheitsgurts durch jeden Insassen fest, stellt das Vorhandensein eines Kindersitzes fest und gibt das von dem zweiten Abbildungssensor 48 aufgenommene Bild aus. In dem monokularen Weitwinkel-Prozess kann die Überwachungssteuerung 37 weitere Prozesse oder einige der Prozesse ausführen.
  • Bei der vorliegenden Ausführungsform, wie sie vorstehend beschrieben ist, umfassen Abbildungssensoren, die zum Aufnehmen eines Bilds von Insassen in dem Fahrgastraum 3 des Fahrzeugs 1 ausgebildet sind, eine Vielzahl von Abbildungssensoren, nämlich den ersten Abbildungssensor 41 und den zweiten Abbildungssensor 48. Die Überwachungssteuerung 37 ist in der Lage, einen Überwachungsprozess an einem von dem ersten Abbildungssensor 41 aufgenommenen Bild sowie einem von dem zweiten Abbildungssensor 48 aufgenommenen Bild vorzunehmen.
  • Bei der vorliegenden Ausführungsform sind beispielsweise der erste Abbildungssensor 41 und der zweite Abbildungssensor 48, die zum Aufnehmen von Bildern der Insassen in dem Fahrgastraum 3 des Fahrzeugs 1 ausgebildet sind, in der Fahrzeugbreitenrichtung in einem zentralen Bereich des Fahrzeugs 1 derart angeordnet, dass sie in der Fahrzeugbreitenrichtung derart nebeneinander angeordnet sind, dass sich zumindest Teile der Abbildungsbereiche des ersten Abbildungssensors 41 und des zweiten Abbildungssensors 48 überlappen.
  • Somit können ein von dem ersten Abbildungssensor 41 aufgenommenes Bild und ein von dem zweiten Abbildungssensor 48 aufgenommenes Bild denselben Insassen beinhalten, und Bilder, die mittels einer solchen Vielzahl von Abbildungssensoren aufgenommen werden, können eine Korrelation besitzen.
  • Als Folge hiervon ist die Überwachungssteuerung 37 in der Lage, nicht nur einen Überwachungsprozess auf der Basis eines von dem ersten Abbildungssensor 41 aufgenommenen Bilds und einen Überwachungsprozess auf der Basis eines von dem zweiten Abbildungssensor 48 aufgenommenen Bilds auszuführen, sondern auch einen Überwachungsprozess, der auf einer Korrelation zwischen dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild basiert.
  • Als Überwachungsprozess, der auf einer Korrelation zwischen dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild basiert, kann die Überwachungssteuerung 37 beispielsweise die Sitzposition eines Insassen auf der Basis einer Differenz zwischen der Position des Insassen in dem von dem ersten Abbildungssensor 41 aufgenommenen Bild sowie der Position des Insassen in dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild feststellen.
  • Da bei der vorliegenden Ausführungsform, wie vorstehend beschrieben, der erste Abbildungssensor 41 und der zweite Abbildungssensor 48 in der Fahrzeugbreitenrichtung in einem zentralen Bereich des Fahrzeugs 1 derart angeordnet sind, dass sie in der Fahrzeugbreitenrichtung nebeneinander angeordnet sind, so dass sich zumindest Teile der Abbildungsbereiche des ersten Abbildungssensors 41 und des zweiten Abbildungssensors 48 überlappen, ist die Überwachungssteuerung 37 in der Lage, als neue Überwachungsfunktion für einen solchen Insassen wie den Fahrer des Fahrzeugs 1 einen Überwachungsprozess auszuführen, der auf einer Korrelation zwischen dem von dem ersten Abbildungssensor 41 aufgenommenen Bild und dem von dem zweiten Abbildungssensor 48 aufgenommenen Bild basiert.
  • Ferner kann bei der vorliegenden Ausführungsform eine Verarbeitung für eine Anzahl von Überwachungsarten ausgeführt werden, die größer ist als die Anzahl der Abbildungssensoren. Bei der vorliegenden Ausführungsform kann Multifunktionalität hinsichtlich eines Überwachungsprozesses für Insassen einschließlich des Fahrers erzielt werden, ohne dass die Anzahl der Abbildungssensoren zunimmt.
  • Die vorstehend beschriebene Ausführungsform dient lediglich der Erläuterung. Die Erfindung ist nicht auf diese Ausführungsform beschränkt und kann in verschiedenartiger Weise modifiziert oder geändert werden, ohne dass man den Umfang der Erfindung verlässt.
  • Beispielsweise sind bei der vorstehend beschriebenen Ausführungsform zwei Abbildungssensoren, nämlich der erste Abbildungssensor 41 und der zweite Abbildungssensor 48, angeordnet. Es können auch drei oder mehr Abbildungssensoren bereitgestellt werden. Das Gleiche gilt für die LEDs, die als lichtemittierende Elemente dienen. Es kann eine Anzahl von LEDs vorgesehen werden, die sich von der Anzahl der Abbildungssensoren unterscheidet.
  • Die in 4 dargestellte Überwachungssteuerung 37 kann durch Schaltungseinrichtungen implementiert werden, die zumindest eine integrierte Halbleiterschaltung, wie z.B. zumindest einen Prozessor (z.B. eine zentrale Verarbeitungseinheit (CPU)), zumindest eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder zumindest eine feldprogrammierbare Gate-Anordnung (FPGA) beinhalten. Zumindest ein Prozessor kann durch Lesen von Anweisungen von zumindest einem maschinenlesbaren, greifbaren Medium zum Ausführen von allen oder einem Teil der Funktionen der Überwachungssteuerung 37 konfiguriert werden.
  • Ein solches Medium kann in zahlreichen Formen vorliegen, die einen beliebigen Typ eines magnetischen Mediums, wie z.B. eine Festplatte, einen beliebigen Typ eines optischen Mediums, wie z.B. eine CD und eine DVD, einen beliebigen Typ eines Halbleiterspeichers (d.h. eine Halbleiterschaltung), wie z.B. einen flüchtigen Speicher und einen nichtflüchtigen Speicher, beinhalten, jedoch nicht darauf beschränkt sind.
  • Der flüchtige Speicher kann einen DRAM und einen SRAM beinhalten, und der nichtflüchtige Speicher kann einen ROM und einen NVRAM beinhalten. Bei dem ASIC handelt es sich um eine kundenspezifische integrierte Schaltung (IC) und bei dem FPGA um eine für die Konfiguration nach der Herstellung ausgebildete integrierte Schaltung zum Ausführen von allen oder einem Teil der Funktionen der in 4 dargestellten Module.
  • Bezugszeichenliste
    • 1
    Fahrzeug
    2
    Karosserie
    3
    Fahrgastraum
    4
    Sitz
    5
    Armaturenbrett
    6
    Mittelkonsole
    7
    Lenkrad
    10
    Steuervorrichtung
    11
    Türöffnungs-/Türschließsensor
    12
    Fahrzeuggeschwindigkeitssensor
    13
    Parksensor
    14
    Lautsprechereinrichtung
    15
    Fahrzeuginsassen-Überwachungseinrichtung
    16
    Positionseinstelleinrichtung
    17
    Fahrassistenzeinrichtung
    18
    Einrichtung für externe Kommunikation
    19
    Insassenschutzeinrichtung
    20
    Klimaanlageneinrichtung
    21
    bordeigenes Netzwerk
    31
    erstes Kameramodul
    32
    zweites Kameramodul
    33
    Flüssigkristallvorrichtung
    34
    Anzeigebedienfeld
    35
    Eingabe-/Ausgabevorrichtung
    36
    Speicher
    37
    Überwachungssteuerung
    41
    erster Abbildungssensor
    42
    Engwinkel-Abbildungsobjektiv
    43
    erste LED
    44
    Engwinkel-Lichtprojektionslinse
    45
    erste Vorrichtungssteuerung
    46
    zweite LED
    47
    Weitwinkel-Lichtprojektionslinse
    48
    zweiter Abbildungssensor
    49
    Weitwinkel-Objektiv
    50
    zweite Vorrichtungssteuerung
    61
    erste Insassendaten
    62
    zweite Insassendaten
    Y0
    zentrale Position des Fahrzeugs 1
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2018088647 A [0003]
    • JP 2020050078 A [0004]

Claims (14)

  1. Bordeigene Überwachungseinrichtung (15) für ein Fahrzeug (1), wobei die bordeigene Überwachungseinrichtung (15) Folgendes aufweist: - ein erstes Abbildungselement (31), das zum Ausführen eines ersten Abbildungsvorgangs zum Aufnehmen eines ersten Bilds von einem oder mehreren Insassen in einem Fahrgastraum (3) des Fahrzeugs (1) ausgebildet ist, - ein zweites Abbildungselement (32), das zum Ausführen eines zweiten Abbildungsvorgangs zum Aufnehmen eines zweiten Bilds von dem einen oder den mehreren Insassen ausgebildet ist; und - eine Steuerung (37), die zum Ausführen eines Überwachungsprozesses an dem ersten Bild und dem zweiten Bild ausgebildet ist, wobei das erste Abbildungselement (31) und das zweite Abbildungselement (32) in Fahrzeugbreitenrichtung des Fahrzeugs (1) in einem zentralen Bereich des Fahrzeugs (1) derart angeordnet sind, dass sie in Fahrzeugbreitenrichtung nebeneinander angeordnet sind, so dass sich zumindest ein Teil eines Abbildungsbereichs des ersten Abbildungselements (31) und zumindest ein Teil eines Abbildungsbereichs des zweiten Abbildungselements (32) überlappen.
  2. Überwachungseinrichtung (15) nach Anspruch 1, wobei das erste Abbildungselement (31) dazu ausgebildet ist, den ersten Abbildungsvorgang in einem engen Winkel derart auszuführen, dass das erste Bild den Oberkörper oder den Kopf eines Fahrers beinhaltet, der das Fahrzeug (1) fährt, und wobei das zweite Abbildungselement (32) dazu ausgebildet ist, den zweiten Abbildungsvorgang in einem weiten Winkel derart auszuführen, dass das zweite Bild den Fahrer sowie einen anderen Insassen als den Fahrer in dem Fahrgastraum (3) des Fahrzeugs (1) beinhaltet.
  3. Überwachungseinrichtung (15) nach Anspruch 1, wobei das erste Abbildungselement (31) dazu ausgebildet ist, den ersten Abbildungsvorgang in einem engen Winkel derart auszuführen, dass das erste Bild den Oberkörper oder den Kopf eines Fahrers beinhaltet, der das Fahrzeug (1) fährt, wobei das zweite Abbildungselement (32) dazu ausgebildet ist, den zweiten Abbildungsvorgang derart auszuführen, dass das zweite Bild einen Innenraum des Fahrgastraums (3) in einem weiten Winkel beinhaltet, und wobei das erste Abbildungselement (31) in der Fahrzeugbreitenrichtung des Fahrzeugs (1) weiter entfernt von dem Fahrer angeordnet ist als das zweite Abbildungselement (32).
  4. Überwachungseinrichtung (15) nach Anspruch 2, wobei das erste Abbildungselement (31) in der Fahrzeugbreitenrichtung des Fahrzeugs (1) weiter entfernt von dem Fahrer angeordnet ist als das zweite Abbildungselement (32).
  5. Überwachungseinrichtung (15) nach Anspruch 1, wobei das erste Abbildungselement (31) dazu ausgebildet ist, den ersten Abbildungsvorgang in einem engen Winkel derart auszuführen, dass das erste Bild den Oberkörper oder den Kopf eines Fahrers beinhaltet, der das Fahrzeug (1) fährt, wobei das zweite Abbildungselement (32) dazu ausgebildet ist, den zweiten Abbildungsvorgang derart auszuführen, dass das zweite Bild den Innenraum des Fahrgastraums (3) in einem weiten Winkel enthält, und daher das erste Abbildungselement (31) den ersten Abbildungsvorgang in kürzeren Intervallen ausführt als das zweite Abbildungselement (32) den zweiten Abbildungsvorgang ausführt, und wobei das erste Abbildungselement (31) und das zweite Abbildungselement (32) den ersten Abbildungsvorgang und den zweiten Abbildungsvorgang jeweils synchron miteinander mit einer Rate von einem Mal zu mehreren Malen ausführen.
  6. Überwachungseinrichtung (15) nach Anspruch 2, wobei das erste Abbildungselement (31) den ersten Abbildungsvorgang in kürzeren Intervallen ausführt als das zweite Abbildungselement (32) den zweiten Abbildungsvorgang ausführt, so dass das erste Abbildungselement (31) und das zweite Abbildungselement (32) den ersten Abbildungsvorgang und den zweiten Abbildungsvorgang jeweils synchron miteinander mit einer Rate von einem Mal zu mehreren Malen ausführen.
  7. Überwachungseinrichtung (15) nach Anspruch 3, wobei das erste Abbildungselement (31) und das zweite Abbildungselement (32) den ersten Abbildungsvorgang und den zweiten Abbildungsvorgang jeweils synchron miteinander mit einer Rate von einem Mal zu mehreren Malen ausführen.
  8. Überwachungseinrichtung (15) nach einem der Ansprüche 1 bis 4, wobei die Überwachungseinrichtung (15) ferner Folgendes aufweist: - ein erstes Lichtprojektionselement (44), das dazu ausgebildet ist, in einem Fall, in dem das erste Abbildungselement (31) den ersten Abbildungsvorgang ausführt, Licht auf den Abbildungsbereich des ersten Abbildungselements (31) zu projizieren; und - ein zweites Lichtprojektionselement (47), das dazu ausgebildet ist, in einem Fall, in dem das zweite Abbildungselement (32) den zweiten Abbildungsvorgang ausführt, Licht auf den Abbildungsbereich des zweiten Abbildungselements (32) zu projizieren.
  9. Überwachungseinrichtung (15) nach Anspruch 8, wobei das erste Abbildungselement (31) dazu ausgebildet ist, den ersten Abbildungsvorgang in einem engen Winkel derart auszuführen, dass das erste Bild den Oberkörper oder den Kopf eines Fahrers beinhaltet, der das Fahrzeug (1) fährt, und wobei das erste Lichtprojektionselement (44) in der Fahrzeugbreitenrichtung des Fahrzeugs (1) weiter entfernt von dem Fahrer angeordnet ist als das erste Abbildungselement (31).
  10. Überwachungseinrichtung (15) nach Anspruch 8 oder 9, wobei das zweite Abbildungselement (32) dazu ausgebildet ist, den zweiten Abbildungsvorgang derart auszuführen, dass das zweite Bild den Innenraum des Fahrgastraums (3) in einem weiten Winkel enthält, und wobei das zweite Lichtprojektionselement (47) in der Fahrzeugbreitenrichtung des Fahrzeugs (1) weiter entfernt von der zentralen Position des Fahrzeugs (1) angeordnet ist als das zweite Abbildungselement (32) in der Fahrzeugbreitenrichtung des Fahrzeugs (1).
  11. Überwachungseinrichtung (15) nach einem der Ansprüche 8 bis 10, wobei das zweite Lichtprojektionselement (47) eine kleinere Lichtmenge abgibt als das erste Lichtprojektionselement (44), und wobei das erste Lichtprojektionselement (44) die abzugebende Lichtmenge in einem Fall reduziert, in dem das zweite Lichtprojektionselement (47) Licht synchron mit dem ersten Lichtprojektionselement (44) projiziert.
  12. Überwachungseinrichtung (15) nach einem der Ansprüche 1 bis 11, wobei die Steuerung (37) zum Ausführen eines Überwachungsprozesses ausgebildet ist, und wobei der Überwachungsprozess einen ersten Überwachungsprozess, der von dem ersten Bild und dem zweiten Bild nur auf dem ersten Bild basiert, einen zweiten Überwachungsprozess, der von dem ersten Bild und dem zweiten Bild nur auf dem zweiten Bild basiert, sowie einen dritten Überwachungsprozess umfasst, der auf einer Korrelation zwischen dem ersten Bild und dem zweiten Bild basiert.
  13. Überwachungseinrichtung (15) nach einem der Ansprüche 1 bis 11, wobei die Steuerung (37) dazu ausgebildet ist, einen Überwachungsprozess auf der Basis einer Korrelation zwischen dem ersten Bild und dem zweiten Bild auszuführen, und wobei die Steuerung (37) in dem Überwachungsprozess eine Sitzposition eines Insassen von dem einen oder den mehreren Insassen auf der Basis einer Differenz zwischen einer Position des Insassen in dem ersten aufgenommenen Bild und einer Position des Insassen in dem zweiten Bild feststellt.
  14. Überwachungseinrichtung (15) nach Anspruch 12, wobei in dem dritten Überwachungsprozess eine Sitzposition eines Insassen von dem einen oder den mehreren Insassen auf der Basis einer Differenz zwischen einer Position des Insassen in dem ersten aufgenommenen Bild und einer Position des Insassen in dem zweiten Bild festgestellt wird.
DE102022103604.9A 2021-02-24 2022-02-16 Bordeigene überwachungseinrichtung für ein fahrzeug Pending DE102022103604A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021027738A JP2022129156A (ja) 2021-02-24 2021-02-24 車両の車内モニタリング装置
JP2021-027738 2021-02-24

Publications (1)

Publication Number Publication Date
DE102022103604A1 true DE102022103604A1 (de) 2022-08-25

Family

ID=82702365

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022103604.9A Pending DE102022103604A1 (de) 2021-02-24 2022-02-16 Bordeigene überwachungseinrichtung für ein fahrzeug

Country Status (4)

Country Link
US (1) US20220272302A1 (de)
JP (1) JP2022129156A (de)
CN (1) CN114954485A (de)
DE (1) DE102022103604A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210362594A1 (en) * 2021-03-09 2021-11-25 R. Madana Mohana Car driver alcohol level and sleeping status detection and notification system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088647A (ja) 2016-11-29 2018-06-07 株式会社デンソー 眼球追跡装置及び撮像システム
JP2020050078A (ja) 2018-09-26 2020-04-02 株式会社Ｓｕｂａｒｕ 車両の乗員監視装置、および乗員保護システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US10147007B1 (en) * 2015-01-13 2018-12-04 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for determining whether a vehicle is being operated in autonomous mode or manual mode
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
JP7060790B2 (ja) * 2018-02-06 2022-04-27 ミツミ電機株式会社 カメラおよび乗員検知システム
JP6962280B2 (ja) * 2018-06-26 2021-11-05 株式会社デンソー 車両制御方法、車両制御システム、及び車両制御装置
US11283985B2 (en) * 2018-12-05 2022-03-22 Gentex Corporation Imaging system for iris authentication and driver monitoring
US10948986B2 (en) * 2019-04-09 2021-03-16 Fotonation Limited System for performing eye detection and/or tracking
US11161500B1 (en) * 2019-05-13 2021-11-02 GM Cruise Holdings, LLC Advanced passenger safety for an autonomous vehicle
US20210382969A1 (en) * 2019-07-01 2021-12-09 Lg Electronics Inc. Biometrics authentication method and apparatus using in-vehicle multi camera
US11625937B2 (en) * 2020-04-06 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for monitoring human body weight with vehicle sensors and big data AI analytics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088647A (ja) 2016-11-29 2018-06-07 株式会社デンソー 眼球追跡装置及び撮像システム
JP2020050078A (ja) 2018-09-26 2020-04-02 株式会社Ｓｕｂａｒｕ 車両の乗員監視装置、および乗員保護システム

Also Published As

Publication number Publication date
JP2022129156A (ja) 2022-09-05
US20220272302A1 (en) 2022-08-25
CN114954485A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
DE102007023141B4 (de) Verfahren zur Einstellung und/oder Nachstellung wenigstens eines Komfort-und/oder Sicherheitssystems in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102017214353B4 (de) Fahrerzustands-erfassungssystem, fahrerzustands-erfassungsverfahren und diese enthaltendes fahrzeug
DE112009003557B4 (de) Fahrzeug-Anzeigevorrichtung undAnzeigeverfahren
DE112007003262B4 (de) Inneninformationsanzeigevorrichtung und für dieselbe verwendete Lichtstrahlungsvorrichtung
DE602005005225T2 (de) Vorrichtung zum Auswählen zwischen Anwendungen einer Fahrzeuginnenraumkamera
DE112015003672T5 (de) Fahrerüberwachungsvorrichtung
EP1497160B1 (de) Sicherheitsvorrichtung für ein fahrzeug
DE102019101355A1 (de) Anschnallerkennung
DE112017007713T5 (de) Systeme und Verfahren zur Fahrzeugbelegungsverwaltung
DE102016213687B4 (de) Verfahren zum Steuern einer Anzeigevorrichtung für ein Kraftfahrzeug, Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Anzeigevorrichtung
DE102007030754A1 (de) Fahrunterstützungssystem unter Verwendung einer Duftstoffverströmung
DE102006032769A1 (de) Einrichtung zur Optimierung von geometrischen Parametern von Fahrzeugeinbauten
DE102018103268A1 (de) Fahrzeug-displaysystem und verfahren zur steuerung eines fahrzeug-displaysystems
DE102020115779A1 (de) Abbildungssteuerungsvorrichtung
DE102014221039A1 (de) Steuergerät für ein Kraftfahrzeug mit Kamera für Fahrergesicht und Verfahren zum Aufnehmen des Gesichtes eines Fahrzeuginsassen
DE102018127605A1 (de) Informationsverarbeitungsvorrichtung, fahrerüberwachungssystem, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE102019122808A1 (de) Überwachungseinrichtung für fahrzeuginsassen und schutzsystem für fahrzeuginsassen
DE102022103604A1 (de) Bordeigene überwachungseinrichtung für ein fahrzeug
DE102022103605A1 (de) Bordeigene mehrfach-überwachungseinrichtung für ein fahrzeug
DE102020125661A1 (de) Fahrzeuginsassenüberwachungsvorrichtung und fahrzeuginsassenschutzsystem
DE102022103603A1 (de) Fahrzeuginsassen-überwachungseinrichtung für ein fahrzeug
EP3790768A1 (de) Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug
DE102020210055A1 (de) Verfahren und Vorrichtung zur Innenraumüberwachung eines Fahrzeugs
DE102021100895A1 (de) Fahrzeuginsassenüberwachungsvorrichtung
WO2022128652A1 (de) Vorrichtung zur vermeidung oder reduzierung von kinetose