DE102019135891A1

DE102019135891A1 - Fahrzeuginsassen-überwachungseinrichtung und verkehrssystem

Info

Publication number: DE102019135891A1
Application number: DE102019135891.4A
Authority: DE
Inventors: Junpei Tokizaki; Ryota Nakamura; Masayuki Marubashi; Keita Onishi
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2019-03-08
Filing date: 2019-12-30
Publication date: 2020-09-10
Also published as: US20200285871A1; JP7361477B2; JP2020144752A; US11120283B2; CN111660980A

Abstract

Eine Insassenüberwachungseinrichtung (40) für ein Fahrzeug (1) beinhaltet eine Bildaufnahmeeinrichtung (41) und eine Steuerung (58). Die Bildaufnahmeeinrichtung (41) ist dazu ausgebildet, ein Bild von einem Insassen in dem Fahrzeug (1) aufzunehmen. Die Steuerung (58) ist dazu ausgebildet, auf der Basis des von der Bildaufnahmeeinrichtung (41) aufgenommenen Bilds eine Vielzahl von Bestimmungsprozessen auszuführen, die einen Verhaltensdetektionsprozess zum Detektieren eines Verhaltens des Insassen beinhalten. Die Steuerung (58) ist ferner dazu ausgebildet, in einem Fall, in dem eine Kollision des Fahrzeugs (1) vorhergesagt oder detektiert worden ist, einen oder mehrere der Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, zu stoppen und den Verhaltensdetektionsprozess auszuführen.

Description

Querverweis auf verwandte Anmeldungen
Die vorliegende Anmeldung beansprucht die Priorität aus der japanischen Patentanmeldung Nr. 2019-042455 mit dem Anmeldedatum 8. März 2019.
Hintergrund
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Fahrzeuginsassen-Überwachungseinrichtung für ein Fahrzeug sowie auf ein Verkehrssystem.
Einschlägiger Stand der Technik
Manche Fahrzeuge sind bereits mit einer Fahrzeuginsassen-Überwachungseinrichtung ausgestattet. Die ungeprüfte japanische Patentanmeldungs-Veröffentlichung JP H1 1-043009 A offenbart eine Insassenüberwachungseinrichtung, die zum Überwachen eines Insassen in einem Fahrzeug ausgebildet ist. Die Insassenüberwachungseinrichtung gibt Information wieder, die durch die Überwachung bei einem Steuerungsvorgang einer Insassenüberwachungseinrichtung ermittelt wird.
Kurzbeschreibung der Erfindung
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Fahrzeuginsassen-Überwachungseinrichtung für ein Fahrzeug angegeben. Die Fahrzeuginsassen-Überwachungseinrichtung bzw. Insassenüberwachungseinrichtung beinhaltet eine Bildaufnahmeeinrichtung und eine Steuerung. Die Bildaufnahmeeinrichtung ist dazu ausgebildet, ein Bild von einem Insassen in dem Fahrzeug aufzunehmen. Die Steuerung ist dazu ausgebildet, auf der Basis des von der Bildaufnahmeeinrichtung aufgenommenen Bilds eine Vielzahl von Bestimmungsprozessen auszuführen, die einen Verhaltensdetektionsprozess zum Detektieren bzw. Erkennen eines Verhaltens des Insassen beinhalten.
Die Steuerung ist ferner dazu ausgebildet, in einem Fall, in dem eine Kollision des Fahrzeugs vorhergesagt oder detektiert worden ist, einen oder mehreren von den Bestimmungsprozessen, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, zu stoppen sowie den Verhaltensdetektionsprozess auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verkehrssystem angegeben, das die Insassenüberwachungseinrichtung für ein Fahrzeug sowie eine Kommunikationseinrichtung beinhaltet. Die Kommunikationseinrichtung befindet sich außerhalb des Fahrzeugs und ist dazu ausgebildet, mit der Insassenüberwachungseinrichtung zu kommunizieren. Die Kommunikationseinrichtung ist dazu ausgebildet, zumindest die Möglichkeit einer Kollision an die Insassenüberwachungseinrichtung zu übermitteln. Die Insassenüberwachungseinrichtung ist dazu ausgebildet, die Kollision des Fahrzeugs auf der Basis der von der Kommunikationseinrichtung empfangenen Möglichkeit der Kollision vorherzusagen oder zu detektieren.
Gemäß einem weiteren Aspekt der Erfindung wird eine Insassenüberwachungseinrichtung für ein Fahrzeug angegeben. Die Insassenüberwachungseinrichtung beinhaltet eine Bildaufnahmeeinrichtung und eine Steuerung. Die Bildaufnahmeeinrichtung ist dazu ausgebildet, ein Bild von einem Insassen in dem Fahrzeug aufzunehmen. Die Steuerung ist dazu ausgebildet, auf der Basis des von der Bildaufnahmeeinrichtung aufgenommenen Bilds eine Vielzahl von Bestimmungsprozessen auszuführen, die einen Verhaltensdetektionsprozess zum Detektieren eines Verhaltens des Insassen beinhalten.
Die Steuerung ist ferner dazu ausgebildet, in einem Fall, in dem eine Kollision des Fahrzeugs vorhergesagt oder detektiert worden ist, den Verhaltensdetektionsprozess in stärker bevorzugter Weise als den einen oder die mehreren Bestimmungsprozesse auszuführen, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt.
Figurenliste
Die Begleitzeichnungen sind beigefügt, um ein besseres Verständnis der Erfindung zu vermitteln und bilden einen integralen Bestandteil der vorliegenden Beschreibung. Die Zeichnungen veranschaulichen exemplarische Ausführungsformen und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der Erfindung. In den Zeichnungen zeigen:

1A bis 1C schematische, erläuternde Darstellungen eines Autos, das bei einem Verkehrssystem gemäß einer exemplarischen Ausführungsform der Erfindung verwendbar ist;
2 eine schematische Darstellung zur Erläuterung eines Steuerungssystems des in den 1A bis 1C dargestellten Autos;
3 ein Blockdiagramm zur Erläuterung einer Insassenüberwachungseinrichtung, die eine in 2 dargestellte Insassenüberwachungs-Steuereinheit (ECU) beinhaltet;
4 eine Darstellung zur Erläuterung von Beispielen einer Vielzahl von Funktionen, die von der Insassenüberwachungseinrichtung erzielt werden können;
5 ein Ablaufdiagramm zur Erläuterung eines Prozesses zum Aktivieren der Vielzahl von Funktionen durch die in 3 dargestellte Insassenüberwachungs-ECU;
6 eine Darstellung zur Erläuterung eines Beispiels einer KI-Funktion, die von der Insassenüberwachungs-ECU auszuführen ist;
7 ein Ablaufdiagramm für die KI-Funktion zur Erläuterung eines Ablaufs eines der 5 entsprechenden Aktivierungsprozesses; und
8 ein Ablaufdiagramm zur Erläuterung eines Prozesses zum Aktivieren einer Vielzahl von Funktionen durch eine Insassenüberwachungs-ECU in einem Verkehrssystem gemäß einer exemplarischen Ausführungsform der Erfindung.

Ausführliche Beschreibung
Im Folgenden werden einige exemplarische Ausführungsformen der Erfindung unter Bezugnahme auf die Begleitzeichnungen beschrieben. Es sei erwähnt, dass die nachfolgende Beschreibung auf der Erläuterung dienende Beispiele der Erfindung gerichtet ist und nicht als die Erfindung einschränkend zu verstehen ist. In den jeweiligen Zeichnungen, auf die in der nachfolgenden Beschreibung Bezug genommen wird, sind Elemente in unterschiedlichen Maßstäben dargestellt, um die jeweiligen Elemente in Größen darzustellen, die in den Zeichnungen erkennbar sind.
Aus diesem Grund dienen solche Faktoren, wie beispielsweise, jedoch nicht ausschließlich, die Anzahl der jeweiligen Elemente, die Formgebung der jeweiligen Elemente, die Größe der jeweiligen Elemente, das Verhältnis zwischen den Elementen sowie die relative positionsmäßige Beziehung zwischen den Elementen lediglich der Erläuterung und sind nicht als die Erfindung einschränkend zu verstehen.
Ferner sind Elemente in den nachfolgenden exemplarischen Ausführungsformen, die nicht in einem übergeordneten unabhängigen Anspruch der Erfindung genannt sind, optional und können nach Bedarf vorgesehen werden. In der gesamten Beschreibung und den Zeichnungen sind Elemente mit im Wesentlichen der gleichen Funktion und Konfiguration mit den gleichen Bezugszeichen bezeichnet, um jegliche redundante Beschreibung zu vermeiden.
Erste exemplarische Ausführungsform
Die 1A bis 1C zeigen schematische erläuternde Darstellungen eines Autos 1, das bei einem Verkehrssystem 80 gemäß einer ersten exemplarischen Ausführungsform der Erfindung verwendbar ist.
Bei dem Auto 1 in den 1A bis 1C handelt es sich um ein Beispiel für ein Fahrzeug. Das Auto 1 kann einen Fahrgastraum 2 aufweisen, der in der Mitte einer Karosserie vorgesehen ist und in den ein Insasse einsteigen kann. Der Fahrgastraum 2 kann mit Sitzen 3 ausgestattet sein, auf denen der jeweilige Insasse sitzen kann. Der Fahrgastraum 2 kann in einem vorderen Bereich mit einem Fußbrett 4 ausgestattet sein. Vorderseitig von den Sitzen 3 kann ein Lenkrad 5 in Richtung nach hinten von dem Fußbrett 4 wegragen. Der Insasse kann auf dem Sitz 3 sitzen und ein Betätigungselement, wie z.B. das Lenkrad 5, betätigen.
2 zeigt eine schematische Darstellung zur Erläuterung eines Steuerungssystems 50 des in den 1A bis 1C dargestellten Autos 1. 2 veranschaulicht eine Insassenüberwachungseinrichtung 40 sowie weitere Kommunikationseinrichtungen des Verkehrssystems 80. Ferner veranschaulicht 2 elektronische Steuereinheiten (ECUs), die in jeweiligen Steuerungsmodulen enthalten sind. Die durch die Steuerungs-ECUs dargestellten Steuerungsmodule können das Steuerungssystem 50 des Autos 1 bilden.
Beispielsweise veranschaulicht 2 eine Fahr-ECU 51, eine Lenk-ECU 52, eine Brems-ECU 53, eine ECU 54 für automatisiertes Fahren/Fahrunterstützung, eine Fahrbetriebs-ECU 55, eine Detektions-ECU 56, eine Klimaanlagen-ECU 57, eine Insassenüberwachungs-ECU 58, eine Schutz-ECU 59, eine ECU 60 für externe Kommunikation, eine UIECU 61 sowie eine System-ECU 62. Diese Steuerungs-ECUs können mit einem als Relais dienenden zentralen Gateway (CGW) 67 über ein bordeigenes Netzwerk 66 gekoppelt sein, das in dem Auto 1 verwendet wird. Beispiele für das bordeigene Netzwerk 66 können ein CAN (Controller Area Network) und ein LIN (Local Interconnect Network) beinhalten.
In dem jeweiligen Steuerungsmodul kann die Steuerungs-ECU mit einer elektronischen Vorrichtung gekoppelt sein, die in dem Auto 1 verwendet wird. Bei Aktivierung kann die Steuerungs-ECU verschiedene Prozesse ausführen und den Betrieb der mit der Steuerungs-ECU gekoppelten elektronischen Vorrichtung auf der Basis von Information (Daten) steuern, die von dem bordeigenen Netzwerk 66 ermittelt wird. Die Steuerungs-ECU kann auch Information (Daten), wie z.B. einen Betriebszustand der mit der Steuerungs-ECU gekoppelten elektronischen Vorrichtung, an das bordeigene Netzwerk 66 abgeben.
Beispielsweise kann die Fahrbetriebs-ECU 55 mit Betätigungsdetektionssensoren gekoppelt sein, die das Lenkrad 5, ein Bremspedal 71, ein Gaspedal 72 und einen Schalthebel 73 betreffen. Der Insasse kann die Betätigungsdetektionssensoren betätigen, um den Fahrvorgang des Autos 1 zu steuern.
Die Fahrbetriebs-ECU 55 kann dem jeweiligen Betätigungsausmaß entsprechende Steuerinformation an das bordeigene Netzwerk 66 abgeben. Die Fahr-ECU 51, die Lenk-ECU 52 und die Brems-ECU 53 können Information von dem bordeigenen Netzwerk 66 beziehen und den Fahrvorgang des Autos 1 steuern.
Die Detektions-ECU 56 kann mit Elementen gekoppelt sein, die einen Geschwindigkeitssensor 74, einen Beschleunigungssensor 75 sowie Außenkameras 31 des Autos 1 beinhalten. Der Beschleunigungssensor 75 kann z.B. eine durch eine Kollision bedingte Beschleunigung detektieren. Die Detektions-ECU 56 kann solche Information, wie z.B. Werte des Geschwindigkeitssensors 74 und des Beschleunigungssensors 75 des Autos 1 sowie Bilder der Außenkameras 31, an das bordeigene Netzwerk 66 abgeben. Die Detektions-ECU 56 kann eine Kollision auf der Basis der Bilder von den Außenkameras 31 vorhersagen und ein Vorhersagenresultat an das bordeigene Netzwerk 66 abgeben.
In einem Fall, in dem die Beschleunigung des Beschleunigungssensors 75 gleich einem oder größer als ein Schwellenwert ist, der höher ist als eine Beschleunigung während eines normalen Fahrvorgangs, kann die Detektions-ECU 56 eine Kollisionsdetektion an das bordeigene Netzwerk 66 abgeben. Nachdem z.B. eine Kollision mit einem Fußgänger oder einem Fahrrad auf der Basis der Bilder der Außenkameras 31 vorhergesagt worden ist, kann in einem Fall, in dem die Beschleunigung des Beschleunigungssensors 75 gleich einem oder größer als ein Schwellenwert ist, der höher ist als eine normale Beschleunigung, die Detektions-ECU 56 die Detektion einer Kollision mit einem Fußgänger an das bordeigene Netzwerk 66 abgeben.
Das zentrale Gateway 67 kann Information weiterleiten. Die UIECU 61 kann Information von dem bordeigenen Netzwerk 66 beziehen und die Information auf einer mit der UIECU 61 gekoppelten Anzeige 76 anzeigen. Die UIECU 61 kann sowohl mit der Anzeige 76 als auch mit einer von dem Insassen zu betätigenden Betätigungseinrichtung 77 gekoppelt sein.
Die Insassenüberwachungs-ECU 58 kann mit einer Innenraumkamera 41 sowie mit einem Mikrofon 78 gekoppelt sein. Bei der Insassenüberwachungs-ECU 58 kann es sich um eine Steuerungs-ECU der Insassenüberwachungseinrichtung 40 handeln. Die Insassenüberwachungs-ECU 58 kann verschiedene Prozesse bezüglich des Insassen in dem Auto 1 in Abhängigkeit von solcher Information, wie z.B. dem Bild von der Innenraumkamera 41, einem Ton des Mikrofons 78 sowie einer Aufprallbeschleunigung ausführen, die von dem bordeigenen Netzwerk 66 ermittelt wird. Die Insassenüberwachungs-ECU 58 kann bei Bedarf ein Bild, Toninformation sowie andere Information (Daten) an das bordeigene Netzwerk 66 abgeben.
Die Schutz-ECU 59 kann mit einer Airbageinrichtung 20 und einer Sicherheitsgurteinrichtung 10 gekoppelt sein. Die Schutz-ECU 59 kann die Betätigung der Airbageinrichtung 20 und der Sicherheitsgurteinrichtung 10 auf der Basis der von dem bordeigenen Netzwerk 66 ermittelten Information steuern.
Die ECU 60 für externe Kommunikation kann in drahtloser Weise z.B. mit einer Kommunikationsbasisstation 81 und einer Kommunikationseinrichtung eines weiteren Autos 82 kommunizieren, die außerhalb des Autos 1 vorhanden sind. Das Verkehrssystem 80 kann die Kommunikationsbasisstation 81, die Kommunikationseinrichtung des weiteren Autos 82 sowie eine Servereinrichtung 83 beinhalten.
Die ECU 60 für externe Kommunikation kann von dem bordeigenen Netzwerk 66 ermittelte Information in drahtloser Weise zu der Kommunikationsbasisstation 81 und der Kommunikationseinrichtung des weiteren Autos 82 übermitteln. Die übermittelte Information kann z.B. in der Servereinrichtung 83 oder dem weiteren Auto 82 genutzt werden.
Ferner kann die ECU 60 für externe Kommunikation Information von der Kommunikationsbasisstation 81 und der Kommunikationseinrichtung des weiteren Autos 82 empfangen und die empfangene Information an das bordeigene Netzwerk 66 abgeben. Dies ermöglicht z.B. der Insassenüberwachungs-ECU 58 des Autos 1 das Senden und Empfangen von Information (Daten) über die ECU 60 für externe Kommunikation zu/von der Servereinrichtung 83 oder dem weiteren Auto 82 außerhalb des Autos 1.
Das in 2 dargestellte Steuerungssystem 50 kann dadurch arbeiten, dass einer jeweiligen Einheit elektrische Energie von einer Batterie 91 zugeführt wird, die in dem Auto 1 angeordnet ist. Elektrische Energieversorgungsleitungen von der Batterie 91 zu der jeweiligen Einheit können z.B. zusammen mit Kommunikationskabeln des bordeigenen Netzwerks 66 in dem gesamten Auto 1 verlegt sein. Zusätzlich zu der Batterie 91 kann das Steuerungssystem 50 mit elektrischer Energie von einem elektrischen Stromgenerator und einem elektrischen Stromempfänger versorgt werden.
Wie vorstehend beschrieben, kann das Auto 1 zum Schutz des Insassen bei einer Kollision mit Insassenschutzeinrichtungen ausgestattet sein, die die Sicherheitsgurteinrichtung 10 und die Airbageinrichtung 20 beinhalten.
Die Sicherheitsgurteinrichtung 10 kann einen Sicherheitsgurt 11 beinhalten, der in gestraffter Weise über den auf dem Sitz 3 sitzenden Insassen zu führen ist. Die Sicherheitsgurteinrichtung 10 kann bei einer Kollision Spannung auf den Sicherheitsgurt 11 aufbringen und den Insassen festhalten, so dass sich der Insasse nur schwer von dem Sitz 3 weg bewegen kann.
Die Airbageinrichtung 20 kann einen Airbag 21 aufweisen, der z.B. an der Vorderseite oder der rechten oder der linken Seite von dem Sitz 3 entfaltet werden kann. Die Airbageinrichtung 20 kann den Airbag 21 bei einer Kollision entfalten und den Insassen stützen, um ein Herunterfallen oder eine Wegbewegung des Insassen von dem Sitz 3 zu verhindern.
Auf diese Weise ist das Auto 1 in der Lage, den Insassen in dem Auto 1 bei einer Kollision zu schützen.
Eine Kollision des Autos 1 findet jedoch nicht nur in einer bestimmten Richtung, wie z.B. einer Vorwärtsrichtung, statt. Wie in den 1A bis 1C durch Pfeile dargestellt ist, kann das Auto 1 beispielsweise auch in einer schrägen Richtung kollidieren. Auch im Fall einer solchen spezielleren Kollision müssen die Insassenschutzeinrichtungen in der Lage sein, den Insassen in dem Auto 1 zu schützen.
Selbst wenn es möglich ist, ernsthafte Verletzungen des Insassen zu vermindern, sind die Insassenschutzeinrichtungen ferner möglicherweise nicht in der Lage, auch kleinere Verletzungen des Insassen zu vermindern. Es ist wünschenswert, dass die Insassenschutzeinrichtungen Verletzungen bei allen Arten von Kollisionen vermindern, die für das Auto 1 angenommen werden.
Bei der exemplarischen Ausführungsform können die Außenkameras 31 zur Richtungsüberwachung, wie z.B. der als Fahrtrichtung des Autos 1 dienenden Vorwärtsrichtung, vorgesehen sein. Durch Analysieren von aufgenommenen Bildern wird es möglich, eine Kollision vorab vorherzusagen sowie das Auto 1 auf der Basis der Vorhersage automatisch zu steuern.
Ferner kann bei der exemplarischen Ausführungsform die Insassenüberwachungseinrichtung 40 auch zum Überwachen des Insassen in dem Auto 1 vorgesehen sein. Die Insassenüberwachungseinrichtung 40 kann auch als Fahrerüberwachungssystem (Driver Monitoring System bzw. DMS) bezeichnet werden. Die Insassenüberwachungseinrichtung 40 kann beispielsweise in der Fahrzeugbreitenrichtung in der Mitte der Oberseite des Fußbretts 4 angeordnet sein und kann den Insassen in dem Auto 1 identifizieren. In Abhängigkeit von dem identifizierten Insassen ist es dem Auto 1 möglich, eine Fahrsteuerung des Autos 1 zuzulassen oder zu unterbinden.
Aus Bildern von der Innenraumkamera 41 dieser Insassenüberwachungseinrichtung 40 kann die Insassenüberwachungseinrichtung 40 eine Position und ein Verhalten beispielsweise des Kopfes des Insassen bei einer Kollision ermitteln. In Abhängigkeit von der Position und dem Verhalten kann die Betätigung der Insassenschutzeinrichtungen gesteuert werden. Beispielsweise kann bei der exemplarischen Ausführungsform das Verhalten bei einer Kollision nicht nur für einen Fahrer, sondern auch für einen anderen Insassen als den Fahrer detektiert werden.
Bei der exemplarischen Ausführungsform kann die Insassenüberwachungseinrichtung 40 des Autos 1 auch eine Haltung z.B. des Fahrers bestimmen.
Wie vorstehend beschrieben, kann die Insassenüberwachungseinrichtung 40 gemäß der exemplarischen Ausführungsform zahlreiche Funktionen aufweisen. Zum Ausführen dieser zahlreichen und verschiedenen Detektionsfunktionen und Bestimmungsfunktionen muss die bei der Insassenüberwachungseinrichtung 40 verwendete Insassenüberwachungs-ECU 58 einen hohen Durchsatz aufweisen.
Ferner kann die bei der Insassenüberwachungseinrichtung 40 verwendete Insassenüberwachungs-ECU 58, wenn diese nur einen hohen Durchsatz aufweist, möglicherweise nicht in der Lage sein, eine ausreichende Leistungsfähigkeit z.B. hinsichtlich Insassenschutz zu bieten.
Während die Insassenüberwachungs-ECU 58 in Betrieb ist, um die Position und das Verhalten des Insassen bei einer Kollision mit hoher Geschwindigkeit zu bestimmen, kann z.B. der Betrieb durch einen Prozess einer weiteren Funktion, wie z.B. einer Bestimmungsfunktion für den Insassen, unterbrochen werden.
In einem derartigen Fall ist die Insassenüberwachungs-ECU 58 möglicherweise nicht in der Lage, die letzte bzw. neueste Position und das Verhalten des Insassen festzustellen, die bei einer Kollision ermittelt werden müssen. In diesem Fall können die Insassenschutzeinrichtungen den Insassenschutz nicht auf der Basis der neuesten Position und des neuesten Verhaltens des Insassen, sondern auf der Basis einer älteren Position und eines älteren Verhaltens desselben ausführen.
Es ist wünschenswert, dass die Insassenüberwachungseinrichtung 40 des Autos 1 in der Lage ist, eine Vielzahl von Bestimmungsfunktionen in Abhängigkeit von einer Situation des Autos 1 in angemessener Weise auszuführen.
3 zeigt ein Blockdiagramm zur Erläuterung der Insassenüberwachungseinrichtung 40, die die in 2 dargestellte Insassenüberwachungs-ECU 58 beinhaltet.
Die Insassenüberwachungseinrichtung 40 in 3 kann eine bordeigene Kommunikationseinrichtung 101, die Insassenüberwachungs-ECU 58, einen Speicher 102, einen Zeitgeber 103, das Mikrofon 78, die Innenraumkamera 41, eine Ansteuerungseinheit 105 einer Linse 104 sowie einen internen Bus 106 beinhalten, der diese Elemente koppelt.
Zusätzlich zu diesen Elementen kann die Insassenüberwachungseinrichtung 40 in unabhängiger Weise beispielsweise Elemente beinhalten, die eine fahrzeugexterne Notfallkommunikationseinrichtung 107, einen zusätzlichen bzw. unterstützenden Beschleunigungssensor 108 sowie eine zusätzliche bzw. unterstützende Außenkamera 109 beinhalten, die mit dem internen Bus 106 gekoppelt sind. Die zusätzliche Außenkamera 109 kann dazu ausgebildet sein, z.B. ein Bild von einem Fußgänger aufzunehmen. Dies ermöglicht der Insassenüberwachungseinrichtung 40 die unabhängige Ausführung eines Prozesses bei einer Kollision.
Jeder Einheit der Insassenüberwachungseinrichtung 40 kann elektrische Energie von der Batterie 91 des Autos 1 zugeführt werden. Ein Weg der elektrischen Energieversorgung kann mit einer Speicherbatterie 110 gekoppelt sein, die Reserveenergie speichert. Die Insassenüberwachungseinrichtung 40 kann derart ausgebildet sein, dass sie von dem Auto 1 trennbar ist.
Die bordeigene Kommunikationseinrichtung 101 kann mit dem bordeigenen Netzwerk 66 gekoppelt sein. Wie in der Zeichnung dargestellt ist, kann die bordeigene Kommunikationseinrichtung 101 z.B. Information (Daten) über das bordeigene Netzwerk 66 zu weiteren Steuerung-ECUs, wie z.B. der Detektions-ECU 56, der Schutz-ECU 59 und der ECU 60 für externe Kommunikation senden sowie von diesen empfangen.
Bei der Innenraumkamera 41 kann es sich um eine Bildaufnahmeeinrichtung handeln, die ein Bild von dem Fahrgastraum 2 des Autos 1 aufnimmt. Die Innenraumkamera 41 nimmt ein Bild von dem Insassen in dem Auto 1 auf.
Die Ansteuerungseinheit 105 kann die Linse 104 ansteuern und die Position der Linse 104 steuern. Eine Steuerung der Position der Linse 104 führt dazu, dass sich ein Blickwinkel bzw. Bildwinkel der Innenraumkamera 41 ändert. Bei einer Ausführungsform kann die Ansteuerungseinheit 105 als „Umschalteinrichtung“ dienen. Wenn die Linse 104 auf eine am weitesten entfernte Position gesteuert wird, kann die Innenraumkamera 41 ein Bild von einem Oberkörper einschließlich des Kopfes des Fahrers aufnehmen, wie dies z.B. in 1B in einem Rahmen dargestellt ist, der durch jeweils zwei gestrichelte Linien unterbrochen ist. Der Fahrer kann auf dem Sitz 3 sitzen, um z.B. das Lenkrad 5 zu betätigen.
Wenn die Linse 104 in eine am nähesten befindliche Position gesteuert wird, kann die Innenraumkamera 41 ein Bild von dem gesamten Fahrgastraum 2 aufnehmen, wie dies z.B. in 1B in einem Rahmen in gestrichelter Linie dargestellt ist. Zusätzlich zu dem Bild von dem Fahrer kann die Innenraumkamera 41 in diesem Fall ein Bild von einem weiteren Insassen (d.h. einem Passagier) aufnehmen, der auf einem Beifahrersitz oder Rücksitz von den Sitzen 3 sitzt.
Das Mikrofon 78 kann Töne aus dem Fahrgastraum 2 des Autos 1 in ein elektrisches Signal umwandeln.
Der Zeitgeber 103 kann eine verstrichene Zeit oder eine Zeitdauer messen.
Bei der fahrzeugexternen Notfallkommunikationseinrichtung 107 kann es sich um eine Kommunikationseinrichtung handeln, die in der Lage ist, mit der Kommunikationsbasisstation 81 oder dem weiteren Auto 82 außerhalb des Autos 1 beispielsweise in einem Notfall, wie z.B. einem Unfall, zu kommunizieren. Die fahrzeugexterne Notfallkommunikationseinrichtung 107 kann mit der Kommunikationsbasisstation 81 oder dem weiteren Auto 82 durch das gleiche Kommunikationsverfahren kommunizieren, wie es auch von der ECU 60 für die externe Kommunikation verwendet wird. Wie der Beschleunigungssensor 75 kann auch der zusätzliche Beschleunigungssensor 108 eine Beschleunigung detektieren, die auf das Auto 1 einwirkt.
Der Speicher 102 kann verschiedene Informationen speichern, wie z.B. Bilder und Detektionswerte, die von der Insassenüberwachungseinrichtung 40 ermittelt werden. Der Speicher 102 kann auch ein Programm zur Insassenüberwachung speichern.
Die Insassenüberwachungs-ECU 58 kann das Programm zur Insassenüberwachung aus dem Speicher 102 auslesen und das Programm ausführen. Somit kann die Insassenüberwachungs-ECU 58 als Steuerung der Insassenüberwachungseinrichtung 40 dienen. Die Steuerung der Insassenüberwachungseinrichtung 40 kann den Gesamtbetrieb der Insassenüberwachungseinrichtung 40 steuern, so dass mit der Insassenüberwachungseinrichtung 40 eine Insassenüberwachung erzielt werden kann.
4 zeigt eine Darstellung zur Erläuterung von Beispielen einer Vielzahl von Funktionen, die von der Insassenüberwachungseinrichtung 40 erzielt werden können.
Die Vielzahl von Funktionen, die von der Insassenüberwachungseinrichtung 40 in 4 erzielt werden können, lassen sich in grundlegende Funktionen als Insassenüberwachungseinrichtung 40, Sicherheitsfunktionen zum Bestimmen der Sicherheit des Insassen sowie Komfortfunktionen zum Verbessern des Komforts des Insassen klassifizieren.
Die grundlegenden Funktionen können beispielsweise eine von der Innenraumkamera 41 ausgeführte Bildaufnahmefunktion, eine Funktion zum Speichern von Bildern in dem Speicher 102, eine von der fahrzeuginternen Kommunikationseinrichtung 101 ausgeführte fahrzeuginterne Kommunikationsfunktion sowie eine fahrzeugexterne Kommunikationsfunktion beinhalten, die durch die Kommunikation der fahrzeuginternen Kommunikationseinrichtung 101 und der ECU 60 für externe Kommunikation ausgeführt wird. Die Bildaufnahmefunktion kann von der Innenraumkamera 41 und der zusätzlichen Außenkamera 109 realisiert werden. Die fahrzeugexterne Kommunikationsfunktion kann von der fahrzeug-externen Notfallkommunikationseinrichtung 107 bewerkstelligt werden.
Die Sicherheitsfunktionen können beispielsweise eine Fahrerverhaltens-Detektionsfunktion, eine Passagierverhaltens-Detektionsfunktion zum Detektieren des Verhaltens eines weiteren Insassen bzw. Passagiers, eine Bestimmungsfunktion zum Bestimmen eines Blicks zur Seite bzw. eine Seitenblick-(Blickrichtungs-) Bestimmungsfunktion, eine Einschlaf- oder Müdigkeits-Bestimmungsfunktion und eine Tote-Person-Bestimmungsfunktion beinhalten. Die Fahrerverhaltens-Detektionsfunktion kann ein Verhalten des Fahrers auf der Basis eines aufgenommenen Bilds detektieren, das den Fahrer beinhaltet.
Die Passagierverhaltens-Detektionsfunktion kann ein Verhalten eines weiteren Insassen bzw. Passagiers, bei dem es sich nicht um den Fahrer handelt, auf der Basis eines aufgenommenen Bilds von dem anderen Insassen detektieren. Die Seitenblick-Bestimmungsfunktion kann die Feststellung, ob der Fahrer zur Seite blickt, auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds treffen. Die Einschlaf- oder Müdigkeits-Bestimmungsfunktion kann ein Einschlafen oder Müdigkeit des Fahrers auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds feststellen. Die Tote-Person-Bestimmungsfunktion kann einen toten oder lebenden Zustand des Fahrers auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds bestimmen.
Die Komfortfunktionen können z.B. eine Gesten-Bestimmungsfunktion, eine Emotions-Bestimmungsfunktion, eine Personen-Erkennungsfunktion sowie eine weitere Bestimmungsfunktion beinhalten. Die Gesten-Bestimmungsfunktion kann eine Geste des Fahrers auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds bestimmen.
Die Emotions-Bestimmungsfunktion kann eine Emotion des Fahrers auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds bestimmen. Die Personen-Erkennungsfunktion kann den Fahrer auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds individuell erkennen. Die weitere Bestimmungsfunktion kann eine weitere Bestimmung auf der Basis eines den Fahrer beinhaltenden aufgenommenen Bilds ausführen. Die Komfortfunktionen können auch eine Aktualisierungsfunktion zum Aktualisieren einer KI-Bestimmungsmaschine zur Verwendung in einem KI-Bestimmungsprozess bei jeder der vorstehend beschriebenen Funktionen beinhalten.
Die Insassenüberwachungs-ECU 58 steuert, ob diese Funktionen (Prozesse) ausgeführt werden sollen, in Abhängigkeit von einer Situation des Autos 1. 4 listet einen normalen Aktivierungszustand, einen Zustand nach einer Kollisionsvorhersage sowie einen Zustand nach einer Kollisionsdetektion auf.
Der normale Aktivierungszustand zeigt eine Situation an, in der das Auto 1 normal arbeitet und fahren kann. Der Zustand nach einer Kollisionsvorhersage zeigt eine Situation an, in der eine Kollision des Autos 1 vorhergesagt worden ist. Der Zustand nach einer Kollisionsvorhersage zeigt eine Situation an, in der eine tatsächliche Kollision des Autos 1 detektiert worden ist.
In einem normalen Aktivierungszustand kann die Insassenüberwachungs-ECU 58 sämtliche Funktionen in 4 für die Insassenüberwachungseinrichtung 40 ausführen. Es ist darauf hinzuweisen, dass die Insassenüberwachungs-ECU 58 die Passagierverhaltens-Detektionsfunktion nur in einem Fall ausführen kann, in dem die Linse 104 in einer Weitwinkelposition ist. Die Insassenüberwachungs-ECU 58 ist in der Lage, eine Vielzahl von Bestimmungsprozessen auszuführen.
In dem Zustand nach einer Kollisionsvorhersage kann die Insassenüberwachungs-ECU 58 nur einige der Funktionen der Insassenüberwachungseinrichtung 40 ausführen und die anderen Funktionen stoppen. Beispielsweise kann die Insassenüberwachungs-ECU 58 alle Komfortfunktionen stoppen. Die Insassenüberwachungs-ECU 58 kann hinsichtlich der Sicherheitsfunktionen auch die Seitenblick- (Blickrichtungs-) Bestimmungsfunktion, die Einschlaf- oder Müdigkeits-Bestimmungsfunktion sowie die Tote-Person-Bestimmungsfunktion stoppen.
Die Insassenüberwachungs-ECU 58 kann die übrigen Funktionen, d.h. die grundlegenden Funktionen, die Fahrerverhaltens-Detektionsfunktion und die Passagierverhaltens-Detektionsfunktion ausführen. Es ist darauf hinzuweisen, dass die Insassenüberwachungs-ECU 58 bei den grundlegenden Funktionen die fahrzeugexterne Kommunikationsfunktion stoppen kann.
In dem Zustand nach einer Kollisionsdetektion kann die Insassenüberwachungs-ECU 58 nur ein Minimum der Funktionen ausführen, bei denen es sich um weniger handelt als die Funktionen nach der Kollisionsvorhersage, und sie kann die übrigen Funktionen stoppen. Beispielsweise kann die Insassenüberwachungs-ECU 58 alle Komfortfunktionen und alle Sicherheitsfunktionen stoppen. Im Hinblick auf die grundlegenden Funktionen kann die Insassenüberwachungs-ECU 58 auch die fahrzeugexterne Kommunikationsfunktion stoppen. Die Insassenüberwachungs-ECU 58 kann die übrigen Funktionen ausführen, d.h. die Bildaufnahmefunktion, die Bildspeicherfunktion sowie die fahrzeuginterne Kommunikationsfunktion.
Es ist darauf hinzuweisen, dass die Insassenüberwachungs-ECU 58 die fahrzeugexterne Kommunikationsfunktion anstatt der fahrzeuginternen Kommunikationsfunktion oder zusammen mit der fahrzeuginternen Kommunikationsfunktion ausführen kann. Die gestoppten Funktionen verursachen nicht länger einen Verbrauch bei dem Durchsatz der Insassenüberwachungs-ECU 58. Es ist auch möglich, den elektrischen Energieverbrauch der Insassenüberwachungs-ECU 58 zu mindern.
Bei der exemplarischen Ausführungsform können in dem Zustand nach einer Kollisionsvorhersage nur einige der Funktionen der Insassenüberwachungseinrichtung 40 ausgeführt werden, und die übrigen Funktionen können gestoppt werden. Jedoch müssen die übrigen Funktionen nicht unbedingt gestoppt werden. Im Fall eines Zustands nach der Kollisionsvorhersage können beispielsweise die Fahrerverhaltens-Detektionsfunktion und die Passagierverhaltens-Detektionsfunktion unter den Sicherheitsfunktionen in einem vorbestimmten Zyklus ausgeführt werden, während eine Unterbrechung durch die übrigen Funktionen unterbunden werden kann.
Beispiele für die übrigen Funktionen können die Seitenblick- (Blickrichtungs-) Bestimmungsfunktion, die Einschlaf- oder Müdigkeits-Bestimmungsfunktion und die Tote-Person-Bestimmungsfunktion beinhalten. Hierdurch ist es möglich, dass die Fahrerverhaltens-Detektionsfunktion und die Passagierverhaltens-Detektionsfunktion in einem vorbestimmten oder gewünschten Zyklus ohne Unterbrechung durch die anderen Funktionen ausgeführt werden können.
5 zeigt ein Ablaufdiagramm zur Erläuterung eines Prozesses zum Aktivieren der Vielzahl von Funktionen durch die in 3 dargestellte Insassenüberwachungs-ECU 58.
Wenn die Insassenüberwachungseinrichtung 40 zusammen mit dem Auto 1 aktiviert wird, kann die Insassenüberwachungs-ECU 58 den Aktivierungsprozess gemäß 5 ausführen. Es ist darauf hinzuweisen, dass selbst in einem gestoppten Zustand des Autos 1 die Insassenüberwachungs-ECU 58 den Aktivierungsprozess gemäß 5 z.B. bei einer Entriegelung eines Türschlosses ausführen kann.
In einem Schritt ST1 kann die Insassenüberwachungs-ECU 58 für die Insassenüberwachungseinrichtung 40 alle Funktionen aktivieren, die für den normalen Aktivierungszustand in 4 aufgelistet sind. Beispielsweise kann die in der Insassenüberwachungseinrichtung 40 vorgesehene Innenraumkamera 41 ein Standbild von dem Fahrer aufnehmen, und die Insassenüberwachungseinrichtung 40 kann den Personenerkennungsprozess zum Spezifizieren des Fahrers auf der Basis des Bilds ausführen.
In einem Fall, in dem der Fahrer als vorab in dem Auto 1 registrierter Fahrer authentifiziert wird, kann die fahrzeuginterne Kommunikationseinrichtung 101 der Insassenüberwachungs-ECU 58 ein Resultat einer erfolgreichen Authentifizierung an das bordeigene Netzwerk 66 abgeben. Beispielsweise kann die Fahrbetriebs-ECU 55 die Betätigung des Lenkrads 5 z.B. auf der Basis des Resultats einer erfolgreichen Authentifizierung zulassen.
Dies ermöglicht dem Auto 1 den Fahrvorgang. Wenn der Fahrer das Auto 1 verlässt, kann die Insassenüberwachungs-ECU 58 ein Resultat einer nicht erfolgreichen Authentifizierung, die keinen authentifizieren Fahrer anzeigt, an das bordeigene Netzwerk 66 abgeben. Die Fahrbetriebs-ECU 55 kann eine Betätigung des Lenkrads 5 beispielsweise auf der Basis des Resultats der nicht erfolgreichen Authentifizierung unterbinden. Hierdurch wird das Auto 1 fahrunfähig.
In einem Schritt ST2 kann die Insassenüberwachungs-ECU 58 feststellen, ob eine Kollision vorhergesagt worden ist. Beispielsweise kann die Insassenüberwachungs-ECU 58 von der fahrzeuginternen Kommunikationseinrichtung 101 eine Kollisionsvorhersage beziehen, die von der Detektions-ECU 58 an das bordeigene Netzwerk 66 abgegeben worden ist, und die Feststellung treffen, ob eine Kollision vorhergesagt worden ist.
Bei einem weiteren Beispiel kann die ECU 60 für externe Kommunikation die Möglichkeit einer Kollision für das Auto 1 oder das vor dem Auto 1 fahrende andere Auto 82 beispielsweise von dem anderen Auto 82 oder der Kommunikationsbasisstation 81 erhalten und kann Information über eine Kollision auf dem davorliegenden Fahrweg an das bordeigene Netzwerk 66 übermitteln.
In diesem Fall kann die Insassenüberwachungs-ECU 58 die Information über eine Kollision auf dem davorliegenden Fahrweg beziehen und die Feststellung treffen, ob eine Kollision vorhergesagt worden ist. In einem Fall, in dem keine Kollision vorhergesagt ist („N“ im Schritt ST2), kann die Insassenüberwachungs-ECU 58 in dem Prozess mit einem Schritt ST7 fortfahren. In einem Fall, in dem eine Kollision vorhergesagt ist („J“ im Schritt ST2), kann die Insassenüberwachungs-ECU 58 in dem Prozess mit einem Schritt ST3 fortfahren.
Nachdem die Kollision vorhergesagt worden ist, kann die Insassenüberwachungs-ECU 58 in dem Schritt ST3 die Antriebseinheit 105 zum Umschalten eines Blickwinkels anweisen, den Blickwinkel von einem engen Winkel auf einen weiten Winkel umzuschalten. Die Innenraumkamera 41 kann von einem Zustand zum Aufnehmen eines Bilds nur von dem Fahrer in einen Zustand zum Aufnehmen eines Bilds des gesamten Fahrgastraums 2 umgeschaltet werden. Da sich das Auto 1 in einem normalen Aktivierungszustand befindet, kann die Insassenüberwachungs-ECU 58 auf der Basis des aufgenommenen Bilds den Fahrerverhaltens-Detektionsprozess und den Passagierverhaltens-Detektionsprozess ausführen.
In einem Schritt ST4 kann die Insassenüberwachungs-ECU 58 einen Betätigungszustand der Insassenüberwachungseinrichtung 40 auf einen ersten eingeschränkten Zustand nach einer Kollisionsvorhersage einstellen. In dem ersten eingeschränkten Zustand kann die Insassenüberwachungs-ECU 58 nur diejenigen Funktionen ausführen, denen in dem Zustand nach der Kollisionsvorhersage gemäß 4 ein „Fortsetzen“ zugeordnet ist, und die anderen Bestimmungsprozesse (Funktionen) als die Verhaltensdetektionsprozesse, d.h. die Funktionen, denen ein „Stoppen“ zugeordnet ist, stoppen.
Dies veranlasst die Insassenüberwachungs-ECU 58 zum Ausführen der Fahrerverhaltens-Detektionsfunktion und der Passagierverhaltens-Detektionsfunktion, ohne dass sie dabei durch eine Unterbrechung behindert wird, die z.B. durch die anderen Bestimmungsprozesse veranlasst wird. Die Insassenüberwachungs-ECU 58 hat die Möglichkeit, die Fahrerverhaltens-Detektionsfunktion und die Passagierverhaltens-Detektionsfunktion mit hoher Geschwindigkeit in einem kurzen, stabilen Zyklus wiederholt auszuführen.
Folglich ist die Insassenüberwachungs-ECU 58 in der Lage, die aktuelle Position und das Verhalten von einer Vielzahl von Insassen, einschließlich des Fahrers, auf der Basis von dem letzten Weitwinkelbild zu detektieren, das von der Innenraumkamera 41 aufgenommenen wurde. Die Insassenüberwachungs-ECU 58 kann das neueste Bestimmungsresultat für die Position und das Verhalten der Vielzahl von Insassen einschließlich des Fahrers an das bordeigene Netzwerk 66 abgeben. Für die Schutz-ECU 59 besteht die Möglichkeit, sich auf die Betätigung der Airbageinrichtung 20 und der Sicherheitsgurteinrichtung 10 vorzubereiten, und zwar auf der Basis des neuesten Bestimmungsresultats für die Position und das Verhalten der Vielzahl von Insassen einschließlich des Fahrers.
In einem Schritt ST5 kann die Insassenüberwachungs-ECU 58 eine Beschleunigung ermitteln, die aufgrund einer Kollision auf das Auto 1 einwirkt, und eine Kollision detektieren. Beispielsweise kann die Insassenüberwachungs-ECU 58 von der bordeigenen Kommunikationseinrichtung 101 eine Kollisionsdetektion empfangen, die von der Detektions-ECU 56 an das bordeigene Netzwerk 66 abgegeben worden ist, sowie eine Kollision detektieren.
In einem Fall, in dem die Beschleunigung des zusätzlichen Beschleunigungssensors 108 gleich einem oder größer als ein Schwellenwert für das Vorhandensein/Nichtvorhandensein einer Kollision ist, der höher ist als eine Beschleunigung während eines normalen Fahrvorgangs, kann die Insassenüberwachungs-ECU 58 die Feststellung treffen, dass eine Kollision detektiert wird. In einem Fall, in dem keine Kollision detektiert wird („N“ im Schritt ST5), kann die Insassenüberwachungs-ECU 58 in dem Prozess zu dem Schritt ST2 zurückkehren. In einem Fall, in dem eine Kollision detektiert wird („J“ im Schritt ST5), kann die Insassenüberwachungs-ECU 58 in dem Prozess mit einem Schritt ST6 fortfahren.
In dem Schritt ST6 kann die Insassenüberwachungs-ECU 58 den Betriebszustand der Insassenüberwachungseinrichtung 40 als zweiten eingeschränkten Prozess nach einer Kollisionsdetektion vorgeben. In dem zweiten eingeschränkten Zustand kann die Insassenüberwachungs-ECU 58 nur die Funktionen ausführen, denen in dem Zustand nach einer Kollisionsdetektion gemäß 4 ein „Fortsetzen“ zugeordnet ist, sowie die Funktionen stoppen, denen ein „Stoppen“ zugeordnet ist. Dies veranlasst die Insassenüberwachungs-ECU 58, nur den Prozess zum Speichern eines von der Innenraumkamera 41 aufgenommenen Bilds der Vielzahl von Insassen in dem Speicher 102 auszuführen, ohne dass sie dabei durch eine Unterbrechung behindert wird, die z.B. durch die anderen Bestimmungsprozesse verursacht wird.
Wenn nur der Prozess zum wiederholten Speichern des aufgenommenen Bilds der Vielzahl von Insassen in dem Speicher 102 ausgeführt wird, ist die Insassenüberwachungs-ECU 58 in der Lage, mit einem Minimum des erforderlichen elektrischen Energieverbrauchs zu arbeiten. In einem Fall, in dem in dem Schritt ST2 keine Kollision vorhergesagt worden ist, kann die Insassenüberwachungs-ECU 58 in dem Prozess mit einem Schritt ST7 fortfahren. Die Insassenüberwachungs-ECU 58 kann einen Schritt zum Zurückkehren zu einem normalen Zustand ausführen.
In dem Schritt ST7 kann die Insassenüberwachungs-ECU 58 die Antriebseinheit 105 zum Umschalten eines Blickwinkels anweisen, um den Blickwinkel von einem weiten Winkel auf einen engen Winkel umzuschalten. Die Innenraumkamera 41 kann von einem Zustand zum Aufnehmen eines Bilds von dem gesamten Fahrgastraum 2 in einen Zustand zum Aufnehmen eines Bilds nur von dem Fahrer umgeschaltet werden.
In einem Schritt ST8 kann die Insassenüberwachungs-ECU 58 eine Prozesswiederaufnahme vornehmen, um den Betriebszustand der Insassenüberwachungseinrichtung 40 von dem ersten eingeschränkten Zustand nach einer Kollisionsvorhersage in den normalen Aktivierungszustand zurückzuführen. Die Insassenüberwachungs-ECU 58 kann die anderen Bestimmungsprozesse (Funktionen) als die Verhaltensdetektionsprozesse, d.h. die Funktionen, die gestoppt worden sind, aktivieren, um somit alle der in 4 für den normalen Aktivierungszustand aufgelisteten Funktionen zu aktivieren.
Hinsichtlich der Komfortfunktionen und der Sicherheitsfunktionen in 4 kann hierbei die Insassenüberwachungs-ECU 58 die Bestimmungsprozesse der Sicherheitsfunktionen früher, d.h. in stärker bevorzugter Weise, als die Bestimmungsprozesse der Komfortfunktionen aktivieren.
Es wird nun die Aktualisierungsfunktion beschrieben, die durch eine Künstliche Intelligenz (KI) der Insassenüberwachungseinrichtung 40 ausgeführt wird.
6 zeigt eine Darstellung zur Erläuterung eines Beispiels einer KI-Funktion, die von der Insassenüberwachungs-ECU 58 ausgeführt werden kann. Die Insassenüberwachungs-ECU 58 kann derart ausgebildet sein, dass sie die KI-Funktion in 6 für jede der Funktionen in 4 ausführen.
Die KI-Funktion in 6 kann eine KI-Aktualisierungsmaschine 111, Vorgabedaten 112 sowie einen Hauptinferenzalgorithmus 113 beinhalten.
Bei den Vorgabedaten 12 kann es sich z.B. um verschiedene Parameter handeln.
Bei dem Hauptinferenzalgorithmus 113 kann es sich um ein Programm handeln, das unter Verwendung der Vorgabedaten 112 Prozesse der Funktionen der Insassenüberwachungseinrichtung 40 oder Prozesse von einigen der Funktionen ausführt. Beispielsweise kann der Hauptinferenzalgorithmus 113 einen erwarteten Wert für ein zu bestimmendes Merkmal auf der Basis von Bilddaten generieren. In diesem Fall können die Funktionen in 4 den jeweiligen Bestimmungsprozess für einen Bildbereich, in dem der höchste erwartete Wert zu erzielen ist, auf der Basis des Hauptinferenzalgorithmus 113 ausführen.
Bei der KI-Aktualisierungsmaschine 111 kann es sich um ein Programm handeln, das die Vorgabedaten 112 und/oder den Hauptinferenzalgorithmus 113 auf der Basis von Lerndaten aktualisiert.
Beispielsweise kann die KI-Aktualisierungsmaschine 111 Bilddaten ermitteln, die als Lerndaten dienen, Merkmale aus den Bilddaten extrahieren sowie einen Inferenz-Lernprozess auf der Basis der Merkmale ausführen und die Vorgabedaten 112 und/oder den Hauptinferenzalgorithmus 113 mit einem Resultat des Inferenz-Lernprozesses aktualisieren. Dies führt zu einer Aktualisierung der Vorgabedaten 112 und/oder des Hauptinferenzalgorithmus 113.
7 zeigt ein Ablaufdiagramm für die KI-Funktion und veranschaulicht einen Ablauf eines der 5 entsprechenden Aktivierungsprozesses.
In einem Schritt ST11 kann die Insassenüberwachungs-ECU 58 den Hauptinferenzalgorithmus 113 aktivieren.
In einem Schritt ST12 kann die Insassenüberwachungs-ECU 58 die KI-Aktualisierungsmaschine 111 aktivieren.
In einem Schritt ST13 kann die als KI-Aktualisierungsmaschine 111 dienende Insassenüberwachungs-ECU 58 Bilddaten ermitteln, die als Lerndaten dienen. Bei den Bilddaten kann es sich um ein von der Innenraumkamera 41 aufgenommenes Bild handeln.
In einem Schritt ST14 kann die als KI-Aktualisierungsmaschine 111 dienende Insassenüberwachungs-ECU 58 in den Bilddaten enthaltene Merkmale extrahieren.
In einem Schritt ST15 kann die als KI-Aktualisierungsmaschine 111 dienende Insassenüberwachungs-ECU 58 den Inferenz-Lernprozess auf der Basis der extrahierten Merkmale und der Bilddaten ausführen.
In einem Schritt ST16 kann die als KI-Aktualisierungsmaschine 111 dienende Insassenüberwachungs-ECU 58 die Vorgabedaten 112 und/oder den Hauptinferenzalgorithmus 113 mit einem Resultat des Inferenz-Lernprozesses aktualisieren. Dies führt zu einer Aktualisierung der Vorgabedaten 112 und/oder des Hauptinferenzalgorithmus 113.
In einem Schritt ST17 kann die Insassenüberwachungs-ECU 58 feststellen, ob eine Kollision vorhergesagt worden ist. Der Schritt ST17 kann mit dem Schritt ST2 in 5 identisch sein. In einem Fall, in dem keine Kollision vorhergesagt ist („N“ im Schritt ST17), kann die Insassenüberwachungs-ECU 58 den Prozess zu dem Schritt ST12 zurückführen. Die Insassenüberwachungs-ECU 58 kann die vorstehend beschriebenen Prozesse wiederholen und die Aktualisierung der Vorgabedaten 112 und/oder des Hauptinferenzalgorithmus 113 fortsetzen. In einem Fall, in dem eine Kollision vorhergesagt ist („J“ im Schritt ST 17), kann die Insassenüberwachungs-ECU 58 in dem Prozess mit einem Schritt ST18 fortfahren.
In dem Schritt ST18 kann die Insassenüberwachungs-ECU 58 die KI-Aktualisierungsmaschine 111 stoppen.
Anschließend kann die Insassenüberwachungs-ECU 58 den Prozess zu dem Schritt ST17 zurückführen. Während einer Periode, in der eine Kollision vorhergesagt ist, kann die Insassenüberwachungs-ECU 58 die KI-Aktualisierungsmaschine 111 gestoppt halten. Während der Periode, in der die Kollision vorhergesagt ist, kann die Insassenüberwachungs-ECU 58 die Ausführung des Prozesses der KI-Aktualisierungsmaschine 111 unterlassen.
Die Insassenüberwachungs-ECU 58 hat die Möglichkeit, die Aktualisierungsfunktion und die anderen Bestimmungsprozesse als die Verhaltensdetektionsprozesse zu stoppen sowie die Verhaltensdetektionsprozesse wiederholt auszuführen.
Wie vorstehend beschrieben, werden weitere Funktionen von einer Insassenüberwachungseinrichtung für ein Fahrzeug verlangt. Es ist erwünscht, dass die Insassenüberwachungseinrichtung nicht nur Bestimmungsfunktionen für einen normalen Fahrvorgang ausführen kann, sondern auch ein Verhalten eines Insassen bei einer Kollision detektieren kann.
Auch ist es wünschenswert, dass die Insassenüberwachungseinrichtung in der Lage ist, das Verhalten bei einer Kollision nicht nur für einen Fahrer, sondern auch für einen anderen Insassen als den Fahrer (z.B. für einen auf dem Beifahrersitz sitzenden Passagier) detektieren zu können. Zum Ausführen dieser vielen und verschiedenen Detektionsfunktionen und Bestimmungsfunktionen muss eine als Steuerung der Insassenüberwachungseinrichtung dienende ECU einen hohen Durchsatz aufweisen.
Jedoch kann eine ECU, die nur einen hohen Durchsatz aufweist, unzulänglich sein. Es ist nicht immer möglich, als Insassenüberwachungseinrichtung eine ausreichende Insassenschutzeigenschaft zu erzielen. Während die ECU beispielsweise in Betrieb ist, um die Position und das Verhalten des Insassen bei einer Kollision mit hoher Geschwindigkeit zu detektieren, kann der Betrieb durch einen Prozess einer anderen Funktion, wie z.B. einer Bestimmungsfunktion für den Insassen, unterbrochen werden.
In einem derartigen Fall wird die Detektion der Position und des Verhaltens durch die andere Funktion unterbrochen, und die ECU ist möglicherweise nicht in der Lage, die Position und das Verhalten des Insassen mit der neuesten Information zu aktualisieren. In diesem Fall können die Insassenschutzeinrichtungen den Insassenschutz in Abhängigkeit nicht von der neuesten, sondern von einer älteren Position und einem früheren Verhalten des Insassen ausführen. Es ist wünschenswert, dass die Insassenschutzeinrichtung für das Fahrzeug in der Lage ist, eine Vielzahl von Bestimmungsfunktionen in Abhängigkeit von einer Situation in angemessener Weise auszuführen.
Im Hinblick auf diese Umstände ist die Insassenüberwachungs-ECU 58 bei der exemplarischen Ausführungsform dazu ausgebildet, auf der Basis eines von der Innenraumkamera 41 aufgenommenen Bilds eine Mehrzahl von Bestimmungsprozessen auszuführen, die einen Verhaltensdetektionsprozess zum Detektieren eines Verhaltens eines Insassen (z.B. eines Fahrers) in dem Fahrzeug 1 beinhalten. In einem Fall, in dem eine Kollision des Autos 1 vorhergesagt oder detektiert worden ist, stoppt die Insassenüberwachungs-ECU 58 die anderen Bestimmungsprozesse als den Verhaltensdetektionsprozess und führt den Verhaltensdetektionsprozess wiederholt aus.
Nachdem die Kollision des Autos 1 vorhergesagt oder detektiert worden ist, kann somit die Insassenüberwachungs-ECU 58 der Insassenüberwachungseinrichtung 40 die Verhaltensdetektionsinformation des Insassen für eine jeweilige sehr kurze Zeitdauer aktualisieren, ohne dass sie dabei durch eine Unterbrechung aufgrund einer anderen Funktion beeinträchtigt wird. Dies ermöglicht ein unmittelbares Erbringen der Verhaltensdetektionsinformation des Insassen. Hierdurch kann das Verhalten des Insassen bei der Kollision mit einer ausreichend hohen Genauigkeit für eine geeignete Anwendung des Insassenschutzes detektiert werden, und die Insassenschutzeigenschaften können verbessert werden.
Beispielsweise kann bei der exemplarischen Ausführungsform in einem Fall, in dem die Kollision des Autos 1 vorhergesagt oder detektiert worden ist, die Antriebseinheit 105 einen Bildaufnahmezustand von einem Zustand, in dem ein Bild von dem Fahrer aufgenommen wird, in einen Zustand umschalten, in dem ein Bild aufgenommen wird, das einen weiteren Insassen (z.B. einen auf dem Beifahrersitz sitzenden Passagier) sowie den Fahrer beinhaltet.
In einem Fall, in dem die Kollision des Autos 1 vorhergesagt oder detektiert worden ist, versetzt dies die Insassenüberwachungs-ECU 58 in die Lage, den Verhaltensdetektionsprozess nicht nur für den Fahrer, sondern auch für den weiteren Insassen auszuführen und für eine Vielzahl von Insassen, einschließlich des Fahrers, in dem Auto 1 das Verhalten des jeweiligen Insassen bei der Kollision mit hoher Genauigkeit zu detektieren.
Selbst bei der Ausführung des Verhaltensdetektionsprozesses für den weiteren Insassen als den Fahrer kann die Insassenüberwachungs-ECU 58 die Verhaltensdetektionsinformation des jeweiligen Insassen für jede kurze Zeitdauer aktualisieren, da die anderen Bestimmungsprozesse als der Verhaltensdetektionsprozess gestoppt sind. Dadurch wird es möglich, das Verhalten des jeweiligen Insassen bei der Kollision mit einer ausreichend hohen Genauigkeit für eine geeignete Anwendung beim Insassenschutz auszuführen.
Bei der exemplarischen Ausführungsform kann in einem Fall, in dem die Kollision des Autos 1 detektiert wird, die Insassenüberwachungs-ECU 58 die Bestimmungsprozesse einschließlich des Verhaltensdetektionsprozesses stoppen sowie das von der Innenraumkamera 41 aufgenommene Bild wiederholt in dem Speicher 102 speichern. Mit anderen Worten, es kann die Insassenüberwachungseinrichtung 40 nach der Kollisionsdetektion nur den Prozess zum wiederholten Aufzeichnen bzw. Speichern des Bilds von dem Fahrgastraum 2 in dem Speicher 102 ausführen.
Dies versetzt die Insassenüberwachungseinrichtung 40 in die Lage, Zustände nach der Kollision für die Vielzahl von Insassen in dem Auto 1 aufzuzeichnen und zu sammeln. Hierdurch wird es möglich, den Verbrauch von elektrischer Energie zu reduzieren, die durch den Betrieb der Insassenüberwachungs-ECU 58 verbraucht wird, sowie die in dem Auto 1 verbliebene elektrische Energie zum Speichern und Sammeln der Zustände nach der Kollision für die Vielzahl von Insassen in dem Auto 1 in effektiver Weise zu nutzen.
Bei der exemplarischen Ausführungsform wird in manchen Fällen keine Kollision detektiert, nachdem die Kollision des Autos 1 vorhergesagt worden ist. Beispielsweise wird in manchen Fällen, nachdem die Kollision vorhergesagt worden ist, die Vorhersage der Kollision aufgehoben, bevor die Kollision tatsächlich detektiert wird.
In einem derartigen Fall kann die Insassenüberwachungs-ECU 58 die Bestimmungsprozesse der Sicherheitsfunktionen, wie z.B. die Seitenblick-Bestimmung, die Einschlaf-Bestimmung, die Müdigkeits-Bestimmung und die Tote-Person-Bestimmung für den Fahrer wieder aufnehmen, und zwar in stärker bevorzugter Weise als die Bestimmungsprozesse der Komfort-Funktionen, wie z.B. die Gesten-Bestimmung, die Emotions-Bestimmung und die Personenidentifizierung.
Hierdurch kann die Insassenüberwachungseinrichtung 40 die Seitenblick-Bestimmung, die Einschlaf-Bestimmung, die Müdigkeits-Bestimmung und die Tote-Person-Bestimmung für den Fahrer unmittelbar nach der Wiederaufnahme der Bestimmungsprozesse ausführen.
Bei der exemplarischen Ausführungsform kann in einem Fall, in dem die Kollision des Autos 1 vorhergesagt oder detektiert worden ist, die Insassenüberwachungs-ECU 58 die Aktualisierungsfunktion zum Aktualisieren der Bestimmungsprozesse sowie auch die von dem Verhaltensdetektionsprozess verschiedenen, anderen Bestimmungsprozesse stoppen.
Dies ermöglicht die Ausführung der Bestimmung, wie z.B. der Verhaltensdetektion, der Gesten-Bestimmung, der Emotions-Bestimmung, der Seitenblick-Bestimmung, der Einschlaf-Bestimmung, der Müdigkeits-Bestimmung und der Tote-Person-Bestimmung durch die Bestimmungsprozesse in aktualisierter Weise bis unmittelbar vor der Kollision. Diese Bestimmungen können durch die Bestimmungsprozesse in geeigneter Weise ausgeführt werden, die zur geeigneten Anpassung an den Insassen aktualisiert werden können, nachdem der Insasse in das Fahrzeug eingestiegen ist.
Zweite exemplarische Ausführungsform
Im Folgenden wird das Verkehrssystem 80 gemäß einer zweiten exemplarischen Ausführungsform der Erfindung beschrieben. In der nachfolgenden Beschreibung werden in erster Linie Unterschiede gegenüber der vorstehend beschriebenen ersten exemplarischen Ausführungsform beschrieben. Bei der zweiten exemplarischen Ausführungsform sind Elemente, die Elementen bei der vorstehend beschriebenen ersten exemplarischen Ausführungsform ähnlich sind, mit den gleichen Bezugszeichen bezeichnet, um jegliche redundante Beschreibung zu vermeiden.
8 zeigt ein Ablaufdiagramm zur Erläuterung eines Prozesses zum Aktivieren einer Vielzahl von Funktionen durch die Insassenüberwachungs-ECU 58 in dem Verkehrssystem 80 gemäß der zweiten exemplarischen Ausführungsform der Erfindung.
Wenn die Insassenüberwachungseinrichtung 40 zusammen mit dem Auto 1 aktiviert wird, kann die Insassenüberwachungs-ECU 58 den Aktivierungsprozess gemäß 8 ausführen. Es ist darauf hinzuweisen, dass selbst in einem Zustand, in dem das Auto 1 gestoppt ist, die Insassenüberwachungs-ECU 58 den Aktivierungsprozess gemäß 8 z.B. bei Entriegelung eines Türschlosses ausführen kann.
Wenn in einem Schritt ST5 eine Kollision detektiert wird („J“ im Schritt ST5), kann die Insassenüberwachungs-ECU 58 in einem Schritt ST6 den Betriebszustand der Insassenüberwachungseinrichtung 40 auf den zweiten eingeschränkten Zustand nach der Kollisionsdetektion einstellen.
In einem Schritt ST21 kann die Insassenüberwachungs-ECU 58 anschließend feststellen, ob eine vorbestimmte Zeitdauer nach der Kollisionsdetektion von dem Zeitgeber 103 gemessen worden ist. In einem Fall, in dem die Zeitdauer nach der Kollisionsdetektion nicht gemessen worden ist („N“ im Schritt ST21), kann die Insassenüberwachungs-ECU 58 den Prozess in dem Schritt ST21 wiederholen.
Dies ermöglicht es der Insassenüberwachungs-ECU 58, in der Zeitdauer nach der Kollisionsdetektion das von der Innenraumkamera 41 aufgenommene Bild von der Vielzahl von Insassen aufzuzeichnen und zu sammeln. Wenn die Zeitdauer nach der Kollisionsdetektion gemessen worden ist („J“ im Schritt ST21), kann die Insassenüberwachungs-ECU 58 in dem Prozess mit einem Schritt ST8 fortfahren.
In dem Schritt ST8 kann die Insassenüberwachungs-ECU 58 einen Wiederaufnahmeprozess ausführen und den Betriebszustand der Insassenüberwachungseinrichtung 40 von dem zweiten eingeschränkten Zustand nach der Kollisionsdetektion in den normalen Aktivierungszustand zurückführen. Die Insassenüberwachungs-ECU 58 kann die anderen Bestimmungsprozesse (Funktionen) als die Verhaltensdetektionsprozesse, d.h. die Funktionen, die gestoppt worden sind, aktivieren, um dadurch alle für den normalen Aktivierungszustand in 4 aufgelisteten Funktionen zu aktivieren.
Bei dieser Gelegenheit kann die Insassenüberwachungs-ECU 58 hinsichtlich der Komfortfunktionen und der Sicherheitsfunktionen in 4 die Bestimmungsprozesse der Sicherheitsfunktionen früher, d.h. in stärker bevorzugter Weise, aktivieren als die Bestimmungsprozesse der Komfortfunktionen.
Die Insassenüberwachungs-ECU 58 kann in dem Speicher 102 auch verschiedene Bestimmungsresultate speichern, die auf der Basis des von der Innenraumkamera 41 aufgenommenen Bilds von der Vielzahl von Insassen bestimmt worden sind. Somit können in dem Speicher 102 zusammen mit dem Bild der Insassen nach der Kollision auch Bestimmungsresultate gespeichert werden, die von der Insassenüberwachungseinrichtung 40 für die Funktionen in 4 bestimmt worden sind.
Anschließend kann die Insassenüberwachungs-ECU 58 Bilder und Bestimmungsresultate, die nach der Kollision in dem Speicher 102 zur Akkumulation bzw. zum Sammeln gespeichert worden sind, von der bordeigenen Kommunikationseinrichtung 101 an das bordeigene Netzwerk 66 abgeben. Die ECU 60 für externe Kommunikation kann Information, wie z.B. das Bild nach der Kollision, von dem bordeigenen Netzwerk 66 erhalten und die Information zu dem Verkehrssystem 80 übermitteln.
Die Insassenüberwachungs-ECU 58 kann die Bilder und Bestimmungsresultate des Speichers 102 von der fahrzeugexternen Notfallkommunikationseinrichtung 107 zu dem Verkehrssystem 80 übermitteln. Durch Empfangen der Bilder und der Bestimmungsresultate von der bordeigenen Kommunikationseinrichtung 101 können die Servereinrichtung 83 und das weitere Auto 82 in dem Verkehrssystem 80 einen Zustand des Autos 1 nach der Kollision im Detail erkennen.
Die Servereinrichtung 83 und das weitere Auto 82 können als die weiteren Kommunikationseinrichtungen dienen, die mit der ECU 60 für externe Kommunikation in dem Verkehrssystem 80 kommunizieren. Die Servereinrichtung 83 und das weitere Fahrzeug 82 können die Bilder und die Bestimmungsresultate als Notfallmeldung erhalten.
Wie vorstehend beschrieben, kann bei der exemplarischen Ausführungsform die Insassenüberwachungs-ECU die anderen Bestimmungsprozesse als den Verhaltensdetektionsprozess wieder aufnehmen, wenn eine vorbestimmte Zeitdauer verstrichen ist, nachdem die Kollision des Autos 1 detektiert ist.
Dies ermöglicht der Insassenüberwachungseinrichtung 40 beispielsweise die Ausführung der Gesten-Bestimmung, der Emotions-Bestimmung, der Seitenblick-Bestimmung, der Einschlaf-Bestimmung, der Müdigkeits-Bestimmung und der Tote-Person-Bestimmung für den Insassen nach der Kollision sowie die Speicherung von Resultaten der Bestimmungen in dem Speicher 102.
Wenn bei der exemplarischen Ausführungsform die Kollision vorhergesagt worden ist, können nur Bestimmungsprozesse gestoppt werden, ohne dass der grundlegende Betrieb des Systems gestoppt wird. Somit besteht bei der exemplarischen Ausführungsform die Möglichkeit, nicht nur Daten innerhalb der Bestimmungsfunktionen gemeinsam zu nutzen, sondern auch die Detektionsgenauigkeit von dem Verhalten des Insassen nach der Kollisionsvorhersage zu verbessern.
Da bei der exemplarischen Ausführungsform nur Bestimmungsprozesse gestoppt werden können, kann der Speicher 102 nach dem Stoppen die Vorgabe von Informationen über den Insassen sowie Kalibrationen und Bestimmungswerte für die Funktionen beispielsweise vor dem Stoppen der Bestimmungsfunktionen behalten.
Wenn in diesem Fall die Vorhersage der Kollision aufgehoben wird und die Bestimmung wieder aufgenommen werden soll, ist es lediglich notwendig, die Bestimmungsfunktionen, die gestoppt worden sind, wieder zu ermöglichen. Die wieder aufgenommenen Funktionen können zu einem geeigneten Betrieb unmittelbar nach der Wiederaufnahme zurückkehren, indem sie die Vorgabe vor dem Stopp nutzen.
Wenn bei der exemplarischen Ausführungsform die Kollision vorhergesagt worden ist, kann die Vielzahl von Bestimmungsfunktionen gestoppt werden. Dies ermöglicht die Aufrechterhaltung von Ressourcen, die auf die Verarbeitung eines über einen breiten Bereich aufgenommenen Bilds gerichtet sind, das einen weiteren Insassen als den Fahrer beinhaltet, nach der Kollisionsvorhersage. Es ist möglich, das über den breiten Bereich aufgenommene Bild, das einen weiteren Insassen als den Fahrer beinhaltet, unter Nutzung einer Aufzeichnungsregion zu verarbeiten, die nach dem Stoppen freigegeben wird, ohne dass der Speicher 102 zusätzlich bereitgestellt wird.
Vorstehend sind zwar einige exemplarische Ausführungsformen beschrieben worden, jedoch ist die Erfindung keineswegs auf die exemplarischen Ausführungsformen beschränkt. Bei jeder Ausführungsform können verschiedene Änderungen und Modifikationen vorgenommen werden, ohne dass man den Umfang der Erfindung verlässt.
Die in 3 dargestellte Insassenüberwachungseinrichtung 40 lässt sich mittels Schaltungseinrichtungen implementieren, die mindestens eine integrierte Halbleiterschaltung, wie z.B. mindestens einen Prozessor (z.B. eine zentrale Verarbeitungseinheit (CPU)), mindestens eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder mindestens eine feldprogrammierbare Gate-Anordnung (FPGA) aufweisen.
Mindestens ein Prozessor kann durch Lesen von Anweisungen von mindestens einem maschinenlesbaren, nichtflüchtigen, greifbaren Medium zum Ausführen von allen oder einem Teil der Funktionen der Insassenüberwachungseinrichtung 40 konfiguriert werden. Ein solches Medium kann in zahlreichen Formen vorliegen, die einen beliebigen Typ eines magnetischen Mediums, wie z.B. eine Festplatte, einen beliebigen Typ eines optischen Mediums, wie z.B. eine CD und eine DVD, einen beliebigen Typ eines Halbleiterspeichers (d.h. eine Halbleiterschaltung), wie z.B. einen flüchtigen Speicher und einen nichtflüchtigen Speicher, beinhalten.
Der flüchtige Speicher kann einen DRAM und einen SRAM beinhalten, und der nichtflüchtige Speicher kann einen ROM und einen NVRAM beinhalten. Bei dem ASIC handelt es sich um eine kundenspezifische integrierte Schaltung (IC) und bei dem FPGA um eine für die Konfiguration nach der Herstellung ausgebildete integrierte Schaltung zum Ausführen von allen oder einem Teil der Funktionen der in 3 dargestellten Insassenüberwachungseinrichtung 40.
Die Erfindung ist vorstehend zwar anhand von exemplarischen Ausführungsformen beschrieben worden, jedoch ist sie nicht darauf beschränkt. Es versteht sich, dass Änderungen von Fachleuten bei den beschriebenen exemplarischen Ausführungsformen vorgenommen werden können, ohne dass man den Umfang der Erfindung verlässt, wie er durch die nachfolgenden Ansprüche definiert ist.
Die Einschränkungen in den Ansprüchen sind auf der Basis der in den Ansprüchen verwendeten Ausdrücke breit zu interpretieren und sind nicht auf die Beispiele einzuschränken, die in der vorliegenden Beschreibung beschrieben sind oder sich während der Verfolgung der Anmeldung ergeben, und die Beispiele sind als nicht ausschließlich zu verstehen. Beispielsweise stellt in der vorliegenden Erfindung die Verwendung der Begriffe erste, zweite usw. keinerlei Reihenfolge oder Wertung dar, sondern die Begriffe erste, zweite usw. werden dazu verwendet, ein Element von einem anderen Element zu unterscheiden.
Die Ausdrucksweise „angeordnet/vorgesehen/ausgebildet an oder auf“ sowie Varianten davon, wie sie vorliegend verwendet werden, beziehen sich auf Elemente, die in direktem Kontakt miteinander oder durch dazwischenliegende Strukturen in indirektem Kontakt angeordnet sind. Ferner soll kein Element oder keine Komponente in der vorliegenden Erfindung speziell für die Öffentlichkeit vorgesehen sein, und zwar unabhängig davon, ob das Element oder die Komponente in den nachfolgenden Ansprüchen explizit genannt ist.
Bezugszeichenliste

1: Auto
2: Fahrgastraum
3: Sitz
4: Fußbrett
5: Lenkrad
10: Sicherheitsgurteinrichtung
11: Sicherheitsgurt
20: Airbageinrichtung
21: Airbag
31: Außenkamera
40: Insassenüberwachungseinrichtung
41: Innenkamera
50: Steuerungssystem
51: Fahr-ECU
52: Lenk-ECU
53: Brems-ECU
54: ECU für automatisiertes Fahren/Fahrunterstützung
55: Fahrbetriebs-ECU
56: Detektions-ECU
57: Klimaanlagen-ECU
58: Insassenüberwachungs-ECU
59: Schutz-ECU
60: ECU für externe Kommunikation
61: UIECU
62: System-ECU
66: bordeigenes Netzwerk
67: zentrales Gateway (CGW)
71: Bremspedal
72: Gaspedal
73: Schalthebel
74: Geschwindigkeitssensor
75: Beschleunigungssensor
76: Anzeige
77: Betätigungseinrichtung
78: Mikrofon
80: Verkehrssystem
81: Kommunikationsbasisstation
82: weiteres Fahrzeug
83: Servereinrichtung
91: Batterie
101: bordeigene Kommunikationseinrichtung
102: Speicher
103: Zeitgeber
104: Linse
105: Ansteuerungseinheit
106: interner Bus
107: fahrzeugexterne Notfallkommunikationseinrichtung
108: zusätzlicher Beschleunigungssensor
109: zusätzliche Außenkamera
110: Speicherbatterie
111: KI-Aktualisierungsmaschine
112: Vorgabedaten
113: Hauptinferenzalgorithmus

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019042455 [0001]
JP H11043009 A [0003]

Claims

Insassenüberwachungseinrichtung (40) für ein Fahrzeug (1), wobei die Insassenüberwachungseinrichtung (40) Folgendes aufweist: - eine Bildaufnahmeeinrichtung (41), die zum Aufnehmen eines Bilds von einem Insassen in dem Fahrzeug (1) ausgebildet ist; und - eine Steuerung (58), die dazu ausgebildet ist, auf der Basis des von der Bildaufnahmeeinrichtung (41) aufgenommenen Bilds eine Vielzahl von Bestimmungsprozessen auszuführen, die einen Verhaltensdetektionsprozess zum Detektieren eines Verhaltens eines Insassen beinhalten, sowie dazu ausgebildet ist, in einem Fall, in dem eine Kollision des Fahrzeugs (1) vorhergesagt oder detektiert worden ist, einen oder mehrere der Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, zu stoppen und den Verhaltensdetektionsprozess auszuführen.
Insassenüberwachungseinrichtung (40) nach Anspruch 1, wobei ein Insasse eine Vielzahl von Insassen einschließlich eines Fahrers umfasst, und wobei der Verhaltensdetektionsprozess ein Verhalten zumindest von dem Fahrer aus der Vielzahl von Insassen detektiert.
Insassenüberwachungseinrichtung (40) nach Anspruch 2, wobei die Insassenüberwachungseinrichtung (40) ferner ein Fahrzeug (1) umfasst, das zum Umschalten eines Blickwinkels der Bildaufnahmeeinrichtung (41) zwischen einem ersten Blickwinkel und einem zweiten Blickwinkel ausgebildet ist, der breiter ist als der erste Blickwinkel, wobei der erste Blickwinkel auf das Aufnehmen des Bilds von dem Fahrer gerichtet ist und der zweite Blickwinkel auf das Aufnehmen des den Fahrer und einen weiteren Insassen aus der Vielzahl von Insassen beinhalteten Bilds gerichtet ist, wobei im Fall der Vorhersage oder Detektion einer Kollision des Fahrzeugs (1) - das Fahrzeug (1) dazu ausgebildet ist, den Blickwinkel von dem ersten Blickwinkel auf den zweiten Blickwinkel umzuschalten, und - die Steuerung (58) dazu ausgebildet ist, das Verhalten des Fahrers und eines weiteren Insassen in dem Verhaltensdetektionsprozess zu detektieren.
Insassenüberwachungseinrichtung (40) nach einem der Ansprüche 1 bis 3, wobei die Insassenüberwachungseinrichtung (40) ferner einen Speicher (102) aufweist, der zum Speichern des von der Bildaufnahmeeinrichtung (41) aufgenommenen Bilds ausgebildet ist, wobei die Steuerung (58) dazu ausgebildet ist, - in dem Fall, in dem die Kollision des Fahrzeugs (1) vorhergesagt worden ist, den einen oder die mehreren Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, zu stoppen und den Verhaltensdetektionsprozess auszuführen, und - in dem Fall, in dem die Kollision des Fahrzeugs (1) detektiert wird, die Vielzahl der den Verhaltensdetektionsprozess beinhaltenden Bestimmungsprozesse zu stoppen und das aufgenommene Bild in dem Speicher zu speichern.
Insassenüberwachungseinrichtung (40) nach einem der Ansprüche 1 bis 4, wobei die Steuerung (58) dazu ausgebildet ist, den einen oder die mehreren Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, in einem Fall wieder aufzunehmen, in dem nach der Vorhersage der Kollision des Fahrzeugs (1) die Vorhersage der Kollision aufgehoben wird, bevor die Kollision des Fahrzeugs (1) tatsächlich detektiert wird.
Insassenüberwachungseinrichtung (40) nach Anspruch 5, wobei die Vielzahl von Bestimmungsprozessen Bestimmungsprozesse einer Vielzahl von Sicherheitsfunktionen für die Sicherheit von Insassen sowie einen Bestimmungsprozess einer Komfortfunktion für den Komfort von Insassen beinhaltet, wobei die Bestimmungsprozesse der Vielzahl von Sicherheitsfunktionen den Verhaltensdetektionsprozess beinhalten, und wobei die Steuerung (58) dazu ausgebildet ist, bei der Wiederaufnahme des einen oder der mehreren Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, die Bestimmungsprozesse der Sicherheitsfunktionen in stärker bevorzugter Weise wieder aufzunehmen als den Bestimmungsprozess der Komfortfunktion.
Insassenüberwachungseinrichtung (40) nach Anspruch 6, wobei die Bestimmungsprozesse der Sicherheitsfunktionen zusätzlich zu dem Verhaltensdetektionsprozess mindestens einen Prozess einer Seitenblick-Bestimmung, einer Einschlaf-Bestimmung, einer Müdigkeits-Bestimmung oder einer Tote-Person-Bestimmung für einen Fahrer beinhaltet, und wobei der Bestimmungsprozess der Komfortfunktion mindestens einen Prozess einer Gesten-Bestimmung, einer Emotions-Bestimmung oder einer Personenidentifikation beinhaltet.
Insassenüberwachungseinrichtung (40) nach einem der Ansprüche 1 bis 7, wobei die Insassenüberwachungseinrichtung (40) ferner einen Speicher (102) aufweist, der zum Speichern von Bestimmungsresultaten der Vielzahl von von der Steuerung (58) ausgeführten Bestimmungsprozessen ausgebildet ist, wobei die Steuerung (58) dazu ausgebildet ist, in einem Fall, in dem eine vorbestimmte Zeitdauer nach der Detektion einer Kollision des Fahrzeugs (1) verstrichen ist, den einen oder die mehreren Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, wieder aufzunehmen sowie die Bestimmungsresultate in dem Speicher zu speichern.
Insassenüberwachungseinrichtung (40) nach einem der Ansprüche 1 bis 8, wobei die Steuerung (58) ferner dazu ausgebildet ist, eine Aktualisierungsfunktion zum Aktualisieren der Bestimmungsprozesse auszuführen und in einem Fall, in dem die Kollision des Fahrzeugs (1) vorhergesagt oder detektiert worden ist, die Aktualisierungsfunktion sowie den einen oder die mehreren Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt, zu stoppen und einen Verhaltensdetektionsprozess auszuführen.
Verkehrssystem, dass Folgendes aufweist: - eine Insassenüberwachungseinrichtung (40) für ein Fahrzeug (1) nach einem der Ansprüche 1 bis 9, die zur Anordnung in dem Fahrzeug (1) ausgebildet ist; und - eine Kommunikationseinrichtung (82, 83), die sich außerhalb des Fahrzeugs (1) befindet und dazu ausgebildet ist, mit der Insassenüberwachungseinrichtung (40) zu kommunizieren, - wobei die Kommunikationseinrichtung (82, 83) dazu ausgebildet ist, zumindest eine Möglichkeit einer Kollision an die Insassenüberwachungseinrichtung (40) zu übermitteln, - wobei die Insassenüberwachungseinrichtung (40) dazu ausgebildet ist, die Kollision des Fahrzeugs (1) auf der Basis der von der Kommunikationseinrichtung (82, 83) empfangenen Möglichkeit der Kollision vorherzusagen oder zu detektieren.
Insassenüberwachungseinrichtung (40) für ein Fahrzeug (1), wobei die Insassenüberwachungseinrichtung (40) Folgendes aufweist: - eine Bildaufnahmeeinrichtung (41), die zum Aufnehmen eines Bilds von einem Insassen in dem Fahrzeug (1) ausgebildet ist; und - eine Steuerung (58), die dazu ausgebildet ist, auf der Basis des von der Bildaufnahmeeinrichtung (41) aufgenommenen Bilds eine Vielzahl von Bestimmungsprozessen auszuführen, die einen Verhaltensdetektionsprozess zum Detektieren eines Verhaltens eines Insassen beinhalten, sowie dazu ausgebildet ist, in einem Fall, in dem eine Kollision des Fahrzeugs (1) vorhergesagt oder detektiert worden ist, den Verhaltensdetektionsprozess in stärker bevorzugter Weise auszuführen als den einen oder die mehreren Bestimmungsprozesse, bei denen es sich nicht um den Verhaltensdetektionsprozess handelt.