DE102023100667A1

DE102023100667A1 - Erkennung von riskantem verhalten eines fahrzeuginsassen und risikominderung

Info

Publication number: DE102023100667A1
Application number: DE102023100667.3A
Authority: DE
Inventors: Alaa M. Khamis; Arief Barkah Koesdwiady
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-08-12
Filing date: 2023-01-12
Publication date: 2024-02-15
Also published as: US12054172B2; CN117593728A; US20240051560A1

Abstract

Ein Fahrzeug mit einem oder mehreren Innenbildsensoren, einem oder mehreren Außenbildsensoren und einer Steuerung, die so konfiguriert ist, dass sie automatisch riskantes Verhalten von Fahrzeuginsassen erkennt, wird bereitgestellt. Die Steuerung ist konfiguriert, um: zu erkennen, ob ein Fahrzeuginsasse existiert, der ein Risiko darstellen kann; zu bestimmen, ob ein erkannter Fahrzeuginsasse in einem Bereich von Interesse (AoI) ein potenziell riskantes Verhalten zeigt, basierend auf Bilddaten von dem einen oder den mehreren Innenbildsensoren oder dem einen oder den mehreren Außenbildsensoren; zu bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; ein Risikolevel klassifiziert, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; und Risikominderungsmaßnahmen basierend auf der Risikoklassifizierung durchführt.

Description

EINLEITUNG
Das technische Gebiet bezieht sich im Allgemeinen auf Systeme, Verfahren und Vorrichtungen zur Risikobewertung während des Fahrzeugbetriebs und im Besonderen auf Systeme, Verfahren und Vorrichtungen zur Bewertung von Risiken aufgrund von riskantem Insassenverhalten.
Das Herausstrecken von Extremitäten wie Hand/Ellbogen/Arm/Bein oder Kopf aus dem Autofenster ist ein riskantes Verhalten, das zu Unfällen führen kann. Außerdem ist es in mehreren Ländern verboten, Gliedmaßen und andere Extremitäten aus dem Fenster zu halten, und die Zuwiderhandlung kann mit einer teuren Geldstrafe geahndet werden. Außerdem kann dieses riskante Verhalten dazu führen, dass Extremitäten mit Gegenständen kollidieren, dass die Augen Schmutz, Steinen, Staub und anderen Trümmern ausgesetzt werden, dass das Ohr des Fahrgastes (Erwachsener, Kind oder Haustier) durch starke Winde beschädigt wird und dass er herausfällt, insbesondere bei Fahrten über holpriges Gelände.
Es ist daher wünschenswert, Verfahren, Systeme und Vorrichtungen zu entwickeln, die die Gefahr erkennen, die mit dem Herausstrecken von Extremitäten der Insassen aus den Autofenstern verbunden ist, und die Insassen oder den Fahrer warnen. Darüber hinaus werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Offenbarung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen ersichtlich, die in Verbindung mit den beigefügten Zeichnungen und dem vorstehenden technischen Gebiet und Hintergrund betrachtet werden.
Die in dieser Einleitung offenbarten Informationen dienen lediglich dem besseren Verständnis des Hintergrunds der vorliegenden Offenbarung und können daher Informationen enthalten, die nicht zum Stand der Technik gehören, der einer Person mit normalem Fachwissen in diesem Land bereits ist sind.
BESCHREIBUNG
Hier werden ein Fahrzeug, Verfahren und Systeme zur automatischen Erkennung von riskantem Verhalten von Insassen vorgestellt. In einer Ausführungsform wird ein System zur Erkennung von riskantem Verhalten in einem Fahrzeug zur automatischen Erkennung von riskantem Verhalten von Insassen bereitgestellt. Das System zur Erkennung von riskantem Verhalten umfasst eine Steuerung. Die Steuerung ist konfiguriert, um: zu erkennen, ob ein Fahrzeuginsasse existiert, der ein Risiko darstellen kann; zu bestimmen, ob ein erkannter Fahrzeuginsasse ein potenziell riskantes Verhalten in einem Bereich von Interesse (AoI) zeigt; zu bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; ein Risikolevel zu klassifizieren, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; und Risikominderungsmaßnahmen auf der Grundlage der Risikoklassifizierung durchzuführen.
In einer Ausführungsform des Systems zur Erkennung riskanten Verhaltens ist die Steuerung zur Erkennung, ob ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen könnte, so konfiguriert, dass sie bestimmt, ob sich ein Fahrzeuginsasse in der Nähe eines Fahrzeugfensters befindet, und bestimmt, ob das in der Nähe des Fahrzeuginsassen befindliche Fahrzeugfenster geöffnet oder geschlossen ist.
In einer Ausführungsform des Systems zur Erkennung riskanten Verhaltens ist die Steuerung, um zu bestimmen, ob ein erkannter Fahrzeuginsasse in einem AoI ein potenziell riskantes Verhalten zeigt, so konfiguriert, dass sie: eine Insassenklasse für den erkannten Fahrzeuginsassen aus einem empfangenen Bild einer Innenansicht des Fahrzeugs in der Nähe eines Fensters bestimmt; ein Körperskelett mit einer oder mehreren Extremitäten erzeugt, wenn der erkannte Fahrzeuginsasse ein Mensch oder ein Haustier ist; die eine oder mehreren Extremitäten anhand des Körperskeletts verfolgt; und erkennt, ob sich die eine oder mehreren Extremitäten innerhalb des AoI befinden.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten umfasst der AoI ein inneres Fensterbegrenzungspolygon, das von den inneren Fahrzeugsensoren bestimmt wird.
In einer Ausführungsform des Systems zur Erkennung riskanten Verhaltens umfasst der AoI ein äußeres Begrenzungsfeld, das von den Sensoren des Fahrzeugs bestimmt wird.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten umfasst der AoI ein von den inneren Fahrzeugsensoren ermitteltes inneres Fensterbegrenzungspolygon und ein von den äußeren Fahrzeugsensoren ermitteltes äußeres Begrenzungsfeld.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten ist die Steuerung, um zu bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt, so konfiguriert, dass sie: eine maximale Verweildauer bestimmt, während der eine Extremität als sich außerhalb eines Fahrzeugfensters erstreckend erkannt wird; die maximale Verweildauer mit einer kalibrierbaren Bedrohungsschwelle vergleicht; und ein Risikolevel basierend auf einem Vergleich der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle bestimmt.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten ist die Steuerung zur Bestimmung eines Risikolevels auf der Grundlage eines Vergleichs der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle so konfiguriert, dass sie: ein Bedrohungslevel als nicht riskant identifiziert, wenn die maximale Verweildauer kleiner als die kalibrierbare Bedrohungsschwellet ist; und ein Bedrohungslevel als riskant identifiziert, wenn die maximale Verweildauer größer als die kalibrierbare Bedrohungsschwelle ist.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten ist die Steuerung so konfiguriert, dass sie den Risikolevel auf der Grundlage eines Extremitätentyps bestimmt, um ein Risikolevel zu klassifizieren, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten ist die Steuerung zur Bestimmung des Risikolevels auf der Grundlage des Extremitätentyps so konfiguriert, dass sie: bestimmt, dass das Risikolevel hoch ist, wenn der Extremitätentyp einen Kopf, ein Bein oder einen Unterarm umfasst; und bestimmt, dass das Risikolevel niedrig ist, wenn der Extremitätentyp einen Finger oder einen Unterarm und nicht einen Kopf, ein Bein oder einen Unterarm umfasst.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhalten ist die Steuerung zur Bestimmung des Risikolevels auf der Grundlage des Extremitätentyps so konfiguriert, dass sie bestimmt, dass das Risikolevel hoch ist, wenn der Insasse ein Kind oder ein Haustier ist und ein Sicherheitsgurt für den Insassen nicht angelegt ist.
In einer Ausführungsform des Systems zur Erkennung von riskantem Verhaltens ist die Steuerung zur Durchführung von Risikominderungsmaßnahmen auf der Grundlage der Risikoklassifizierung so konfiguriert, dass sie: einen Fahrzeugfahrer warnt und ihm empfiehlt, anzuhalten, wenn ein hohes Risiko erkannt wird; den Fahrer warnt, wenn ein geringes Risiko erkannt wird und der Insasse ein Kind oder ein Haustier mit angelegtem Sicherheitsgurt ist; den Insassen warnt, risikoreiches Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist; und eine Fensteraufwärtsbewegung deaktiviert, wenn risikoreiches Verhalten erkannt wird.
In einer anderen Ausführungsform wird ein Fahrzeug bereitgestellt. Das Fahrzeug umfasst einen oder mehrere Innenbildsensoren, einen oder mehrere Außenbildsensoren und eine Steuerung. Die Steuerung ist konfiguriert, um: zu erkennen, ob ein Fahrzeuginsasse existiert, der ein Risiko darstellen kann; zu bestimmen, ob ein erkannter Fahrzeuginsasse ein potenziell riskantes Verhalten in einem Bereich von Interesse (AoI) zeigt, basierend auf Bilddaten von dem einen oder den mehreren Innenbildsensoren oder dem einen oder den mehreren Außenbildsensoren; zu bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; ein Risikolevel zu klassifizieren, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; und Risikominderungsmaßnahmen basierend auf der Risikoklassifizierung durchzuführen.
In einer Ausführungsform des Fahrzeugs ist die Steuerung zur Erkennung, ob ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen kann, so konfiguriert, dass sie bestimmt, ob sich ein Fahrzeuginsasse in der Nähe eines Fahrzeugfensters befindet, und bestimmt, ob das in der Nähe des Fahrzeuginsassen befindliche Fahrzeugfenster geöffnet oder geschlossen ist.
In einer Ausführungsform des Fahrzeugs ist die Steuerung zur Bestimmung, ob ein erkannter Fahrzeuginsasse ein potenziell risikoreiches Verhalten in einem AoI zeigt, konfiguriert, um: eine Insassenklasse für den erfassten Fahrzeuginsassen aus einem empfangenen Bild einer Innenansicht des Fahrzeugs in der Nähe eines Fensters zu bestimmen; ein Körperskelett mit einer oder mehreren Extremitäten zu erzeugen, wenn der erkannte Fahrzeuginsasse ein Mensch oder ein Haustier ist; die eine oder mehreren Extremitäten aus dem Körperskelett zu verfolgen; und zu erkennen, ob sich die eine oder mehreren Extremitäten innerhalb des AoI befinden.
In einer Ausführungsform des Fahrzeugs umfasst der AoI inneres Fensterbegrenzungspolygon, das von internen Fahrzeugsensoren bestimmt wird.
In einer Ausführungsform des Fahrzeugs umfasst der AoI ein äußeres Begrenzungsfeld, das von den äußeren Fahrzeugsensoren bestimmt wird.
In einer Ausführungsform des Fahrzeugs umfasst der AoI ein von den internen Fahrzeugsensoren ermitteltes inneres Fensterbegrenzungspolygon und ein von den äußeren Fahrzeugsensoren ermitteltes äußeres Begrenzungsfeld.
In einer Ausführungsform des Fahrzeugs ist die Steuerung, um zu bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt, so konfiguriert, dass sie: eine maximale Verweildauer bestimmt, während der eine Extremität als sich außerhalb eines Fahrzeugfensters erstreckend erkannt wird; die maximale Verweildauer mit einer kalibrierbaren Bedrohungsschwelle vergleicht; und ein Risikolevel basierend auf einem Vergleich der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle bestimmt.
In einer Ausführungsform des Fahrzeugs ist die Steuerung zur Bestimmung eines Risikolevels auf der Grundlage eines Vergleichs der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle so konfiguriert, dass sie: ein Bedrohungslevel als nicht riskant identifiziert, wenn die maximale Verweildauer geringer ist als die kalibrierbare Bedrohungsschwelle; und ein Bedrohungslevel als riskant identifiziert, wenn die maximale Verweildauer größer ist als die kalibrierbare Bedrohungsschwelle.
In einer Ausführungsform des Fahrzeugs ist die Steuerung so konfiguriert, dass sie das Risikolevel auf der Grundlage eines Extremitätentyps bestimmt, um ein Risiko zu klassifizieren, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt.
In einer Ausführungsform des Fahrzeugs ist die Steuerung zur Bestimmung des Risikolevels auf der Grundlage des Extremitätentyps so konfiguriert, dass sie: bestimmt, dass das Risikolevel hoch ist, wenn der Extremitätentyp einen Kopf, ein Bein oder einen Unterarm umfasst; und bestimmt, dass das Risikolevel gering ist, wenn der Extremitätentyp einen Finger oder einen Unterarm und nicht einen Kopf, ein Bein oder einen Unterarm umfasst.
In einer Ausführungsform des Fahrzeugs ist die Steuerung zur Bestimmung des Risikolevels auf der Grundlage des Extremitätentyps so konfiguriert, dass sie bestimmt, dass das Risikolevel hoch ist, wenn der Insasse ein Kind oder ein Haustier ist und ein Sicherheitsgurt für den Insassen nicht angelegt ist.
In einer Ausführungsform des Fahrzeugs ist die Steuerung zur Durchführung von Risikominderungsmaßnahmen auf der Grundlage der Risikoklassifizierung so konfiguriert, dass sie: dem Fahrzeugfahrer eine Warnung und eine Empfehlung zum Anhalten gibt, wenn ein hohes Risiko erkannt wird; dem Fahrer eine Warnung gibt, wenn ein geringes Risiko erkannt wird und der Insasse ein Kind oder ein Haustier mit angelegtem Sicherheitsgurt ist; dem Insassen eine Warnung bereitstellt, riskantes Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist; und eine Fensteraufwärtsbewegung deaktiviert, wenn riskantes Verhalten erkannt wird.
In einer anderen Ausführungsform wird ein Verfahren in einem Fahrzeug bereitgestellt. Das Verfahren umfasst das Bereitstellen eines oder mehrerer Innenbildsensoren; das Bereitstellen eines oder mehrerer Außenbildsensoren; das Erkennen, ob ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen kann; das Bestimmen, ob ein erkannter Fahrzeuginsasse ein potenziell riskantes Verhalten in einem Bereich von Interesse (AoI) zeigt, basierend auf Bilddaten von dem einen oder den mehreren Innenbildsensoren oder dem einen oder den mehreren Außenbildsensoren; das Bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; das Klassifizieren eines Risikolevels, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; und das Durchführen von Risikominderungsmaßnahmen basierend auf der Risikoklassifizierung.
In einer Ausführungsform des Verfahrens umfasst die Bestimmung, ob ein erfasster Fahrzeuginsasse ein potenziell riskantes Verhalten in einem AoI zeigt: das Bestimmen einer Insassenklasse für den erfassten Fahrzeuginsassen aus einem empfangenen Bild einer Innenansicht des Fahrzeugs in der Nähe eines Fensters; das Erzeugen eines Körperskeletts mit einer oder mehreren Extremitäten, wenn der erfasste Fahrzeuginsasse ein Mensch oder ein Haustier ist; das Verfolgen der einen oder mehreren Extremitäten von dem Körperskeletts; und das Erfassen, ob sich die eine oder die mehreren Extremitäten innerhalb des AoI befinden.
In einer Ausführungsform des Verfahrens umfasst der AoI ein inneres Fensterbegrenzungspolygon, das von internen Fahrzeugsensoren bestimmt wird, und ein äußeres Begrenzungsfeld, das von externen Fahrzeugsensoren bestimmt wird.
In einer Ausführungsform des Verfahrens umfasst die Bestimmung, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt: das Bestimmen einer maximalen Verweildauer, während der eine Extremität als sich außerhalb eines Fahrzeugfensters erstreckend erkannt wird; das Vergleichen der maximalen Verweildauer mit einer kalibrierbaren Bedrohungsschwelle; und das Bestimmen eines Risikolevels basierend auf einem Vergleich der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle.
In einer Ausführungsform des Verfahrens umfasst das Bestimmen eines Risikolevels auf der Grundlage eines Vergleichs der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle: das Identifizieren eines Bedrohungslevels als nicht riskant, wenn die maximale Verweildauer geringer ist als die kalibrierbare Bedrohungsschwelle; und das Identifizieren eines Bedrohungslevels als riskant, wenn die maximale Verweildauer größer ist als die kalibrierbare Bedrohungsschwelle.
In einer Ausführungsform des Verfahrens umfasst das Klassifizieren eines Risikolevels, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt, das Bestimmen des Risikolevels auf der Grundlage eines Extremitätentyps und das Bestimmen des Risikolevels auf der Grundlage des Extremitätentyps umfasst das Bestimmen, dass das Risikolevel hoch ist, wenn der Extremitätentyp einen Kopf, ein Bein oder einen Unterarm umfasst, und das Bestimmen, dass das Risikolevel niedrig ist, wenn der Extremitätentyp einen Finger oder einen Unterarm und nicht einen Kopf, ein Bein oder einen Unterarm umfasst.
In einer Ausführungsform des Verfahrens umfasst das Durchführen von Risikominderungsmaßnahmen auf der Grundlage der Risikoklassifizierung: das Versorgen eines Fahrzeugfahrers mit einer Warnung und einer Empfehlung zum Anhalten, wenn ein hohes Risiko erkannt wird; das Versorgen des Fahrers mit einer Warnung, wenn ein geringes Risiko erkannt wird und der Insasse ein Kind oder ein Haustier mit angelegtem Sicherheitsgurt ist; das Versorgen des Insassen mit einer Warnung, riskantes Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist; und das Deaktivieren einer Fensteraufwärtsbewegung, wenn riskantes Verhalten erkannt wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen und wobei:

1 ein Diagramm ist, das ein Beispielfahrzeug zeigt, das ein System zur Erkennung von riskantem Verhalten für die automatische Erkennung von riskantem Verhalten von Insassen enthält, gemäß einer Ausführungsform;
2 ein Blockdiagramm ist, das ein Beispiel für ein System zur Erkennung von riskantem Verhalten in einem Fahrzeug für die automatische Erkennung von riskantem Verhalten eines Insassen und zur Bereitstellung einer Warnung bezüglich des riskanten Verhaltens des Insassen darstellt, gemäß einer Ausführungsform;
3A ein Diagramm ist, das ein beispielhaftes Betriebsszenario für ein Modul zur Bewertung von Innenraumrisiken darstellt, gemäß einer Ausführungsform;
3B ein Diagramm ist, das ein Beispiel für ein Betriebsszenario für ein Modul zur Bewertung von Außenrisiken darstellt, gemäß einer Ausführungsform;
4 ein Prozessablaufdiagramm ist, das einen Beispielprozess in einem Fahrzeug für die automatische Erkennung von riskantem Verhalten eines Insassen und für das Ergreifen von Minderungsmaßnahmen darstellt, gemäß einer Ausführungsform;
5 ein Prozessablaufdiagramm ist, das einen Beispielprozess zeigt, zur Bestimmung, ob ein Fahrzeuginsasse ein potenzielles Risiko darstellt, unter Verwendung interner Fahrzeugsensoren gemäß einer Ausführungsform;
6 ein Prozessablaufdiagramm ist, das einen Beispielprozess zeigt, zur Bestimmung, ob ein Fahrzeuginsasse ein potenzielles Risiko darstellt, unter Verwendung von äußeren Fahrzeugsensoren gemäß einer Ausführungsform;
7 ein Prozessablaufdiagramm ist, das einen Beispielprozess zur Bestimmung eines Risikolevels für ein erkanntes potenzielles Risiko darstellt, gemäß einer Ausführungsform; und
8 ein Prozessablaufdiagramm ist, das einen Beispielprozess zur Bestimmung der Art von Risikominderungsmaßnahmen darstellt, die auf der Grundlage des ermittelten Risikolevels, das von einem erkannten potenziellen Risiko ausgeht, zu unternehmen sind, gemäß einer Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine ausdrückliche oder implizite Theorie gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Beschreibung oder der folgenden detaillierten Beschreibung dargestellt ist. Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltungen (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder als Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Solche Blockkomponenten können durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten realisiert werden, die zur Ausführung der angegebenen Funktionen konfiguriert sind. Beispielsweise kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder Ähnliches, die eine Vielzahl von Funktionen unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuerungen ausführen können. Darüber hinaus wird der Fachmann erkennen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen verwendet werden können und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber werden konventionelle Techniken im Zusammenhang mit Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und anderen funktionellen Aspekten der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Figuren dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenlegung vorhanden sein können.
In verschiedenen Ausführungsformen werden Vorrichtungen, Systeme, Techniken und Artikel zur automatischen Erkennung von riskantem Verhalten von Insassen, wie z.B. ein Insasse, der ein Körperteil aus einem Fahrzeugfenster herausstreckt, und zur Warnung des Insassen und/oder des Fahrzeugführers über das riskante Verhalten des Insassen offenbart, so dass das riskante Verhalten beendet werden kann.
In verschiedenen Ausführungsformen wird eine Innenraumkamera und/oder eine Kamera des Insassenüberwachungssystems (Occupant Monitoring System, OMS) verwendet, um die Extremitäten der Insassen mithilfe von Algorithmen zur Erkennung und Verfolgung eines Körperskeletts zu erkennen und zu verfolgen. In verschiedenen Ausführungsformen wird festgestellt, dass ein risikoreiches Verhalten erkannt wurde, wenn die Extremität eines Insassen (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) innerhalb eines das Fenster begrenzenden Polygons vom Fahrzeuginneren aus für eine bestimmte Zeitdauer erkannt wird, die einen kalibrierbaren Risikoschwellenwert innerhalb eines kalibrierbaren Zeitfensters überschreitet. In verschiedenen Ausführungsformen wird das Fensterbegrenzungspolygon auf der Grundlage der Erkennung von Fensterbereichen aus den Daten einer Innenraumkamera oder auf der Grundlage eines vordefinierten geometrischen 3D-Modells des Fahrzeugs geschätzt.
In verschiedenen Ausführungsformen werden Außenüberwachungskameras verwendet, um Extremitäten außerhalb eines Fahrzeugfensters und deren Ausdehnung g Körperskelett-Erkennungs- und Verfolgungsalgorithmen zu erkennen. In verschiedenen Ausführungsformen wird festgestellt, dass ein riskantes Verhalten erkannt wurde, wenn die Extremität eines Insassen (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) innerhalb eines bestimmten Bereichs von Interesse außerhalb des Fahrzeugs für eine bestimmte Zeitdauer erkannt wird, die eine kalibrierbare Risikoschwelle innerhalb eines kalibrierbaren Zeitfensters überschreitet.
In verschiedenen Ausführungsformen werden die Verweilzeiten, während derer Extremitäten als sich außerhalb eines Fahrzeugfensters erstreckend erkannt werden, verfolgt. In verschiedenen Ausführungsformen wird eine maximale Verweildauer aus den erfassten Verweildauern bestimmt. In verschiedenen Ausführungsformen wird die maximale Verweildauer mit einer kalibrierbaren Bedrohungsschwelle verglichen, und wenn die maximale Verweildauer unter der Bedrohungsschwelle liegt, wird bestimmt, dass das Bedrohungslevel „Kein Risiko“ anzeigen sollte. Wenn die maximale Verweildauer größer oder gleich der Bedrohungsschwelle ist, wird bestimmt, dass das Bedrohungslevel ein Risiko anzeigen sollte - z. B. ein hohes oder niedriges Risiko.
In verschiedenen Ausführungsformen wird das Risikolevel auf der Grundlage der Art der erkannten und anhaltend aus dem Fenster gestreckten Extremitäten bestimmt. In verschiedenen Ausführungsformen wird das Risiko als hoch eingestuft, wenn ein Kopf, ein Bein oder ein Unterarm als aus dem Fenster gestreckt erkannt wird. Wenn Finger und/oder ein Unterarm als aus dem Fenster gestreckt erkannt werden, wird das Risiko als gering eingestuft.
In verschiedenen Ausführungsformen basiert die Entscheidung, den Insassen und/oder den Fahrer zu warnen, auf der Insassenklasse und dem Sicherheitsgurtstatus. Wenn es sich bei dem Insassen um ein Kind oder ein Haustier handelt und der Sicherheitsgurt nicht angelegt ist, wird der Fahrer gewarnt und ihm empfohlen, anzuhalten, wenn ein Risiko erkannt wird. Wenn es sich bei dem Insassen um ein Kind oder ein Haustier handelt und der Sicherheitsgurt angelegt ist, erhält der Fahrer eine Warnung, wenn ein Risiko erkannt wird. Wenn es sich bei dem Insassen um einen Erwachsenen handelt, wird der Insasse gewarnt, ein Risikoverhalten zu vermeiden. In verschiedenen Ausführungsformen wird eine Fensteraufwärtsbewegung deaktiviert, wenn ein riskantes Verhalten erkannt wird.
In verschiedenen Ausführungsformen können die hier offenbarten Vorrichtungen, Systeme, Techniken und Artikel für eine erhöhte Sicherheit sowohl in nicht-automatisierten als auch in automatisierten Fahrzeugen sorgen. In verschiedenen Ausführungsformen können die hier offenbarten Vorrichtungen, Systeme, Techniken und Artikel es Fahrzeugbetreibern und/oder -besitzern ermöglichen, kostspielige Bußgelder zu vermeiden, die durch Verkehrsverstöße verursacht werden.
1 ist ein Diagramm, das ein Beispielfahrzeug 10 zeigt, das ein System zur Erkennung von riskantem Verhalten 100 zur automatischen Erkennung von riskantem Verhalten eines Insassen, wie z.B. ein Insasse, der ein Körperteil aus einem Fahrzeugfenster herausstreckt, und zur Warnung des Insassen und/oder des Fahrzeugführers über das riskante Verhalten des Insassen enthält, damit das riskante Verhalten beendet werden kann. Wie in 1 dargestellt, umfasst das Beispielfahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen die Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können zusammen einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke der Karosserie 14 drehbar mit dem Fahrgestell 12 verbunden. Das Fahrzeug 10 ist in der dargestellten Ausführungsform als Personenkraftwagen dargestellt, es können aber auch andere Fahrzeugtypen, einschließlich Lastkraftwagen, Geländewagen (SUVs), Wohnmobile (RVs) usw., verwendet werden. Das Fahrzeug 10 kann manuell, autonom und/oder teilautonom gefahren werden.
Das Fahrzeug 10 umfasst ferner ein Antriebssystem 20, ein Getriebesystem 22 zur Übertragung von Energie vom Antriebssystem 20 auf die Fahrzeugräder 16-18, ein Lenksystem 24 zur Beeinflussung der Position der Fahrzeugräder 16-18, ein Bremssystem 26 zur Bereitstellung eines Bremsmoments für die Fahrzeugräder 16-18, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36, das so konfiguriert ist, dass es drahtlos Informationen zu und von anderen Einheiten 48 übermittelt.
Das Sensorsystem 28 umfasst eine oder mehrere Erfassungsvorrichtungen 40a-40r, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radare, Lidare, globale Positionierungssysteme, optische Kameras, Wärmekameras, Ultraschallsensoren, Trägheitsmesseinheiten, Ultrabreitbandsensoren und/oder andere Sensoren umfassen, sind aber nicht darauf beschränkt. Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die eine oder mehrere Fahrzeugfunktionen steuern, wie z. B. das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, jedoch nicht darauf beschränkt.
Die Datenspeichervorrichtung 32 speichert Daten für die automatische Steuerung des Fahrzeugs 10. Die Datenspeichervorrichtung 32 kann Teil der Steuerung 34, getrennt von der Steuerung 34 oder Teil der Steuerung 34 und Teil eines separaten Systems sein. Die Steuerung 34 umfasst mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder ein computerlesbares Medium 46. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 umfassen, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um Merkmale des Fahrzeugs 10 automatisch zu steuern.
Der Prozessor 44 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor sein, eine zentrale Prozessoreinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die mit der Steuerung 34 verbunden sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chisatzes), ein Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder das computerlesbare Speichermedium 46 kann flüchtigen und nichtflüchtigen Speicher umfassen, z. B. Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare(n) Speichervorrichtung(en) 46 kann/können unter Verwendung verschiedener bekannter Speichervorrichtungen wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrische PROMs), EEPROMs (elektrisch löschbare PROMs), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen implementiert werden, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 verwendet werden.
Die Programmieranweisungen können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Die eine oder mehreren Anweisungen der Steuerung 34 können, wenn sie von dem Prozessor 44 ausgeführt werden, das Fahrzeug 10 so konfigurieren, dass es kontinuierlich steuerbare Lenkwinkel berechnet, um das gelenkige Transportsystem so zu steuern, dass es den letzten Anhänger in eine gewünschte Richtung lenkt, und das gelenkige Transportsystem so steuert, dass es den letzten Anhänger unter Verwendung der berechneten steuerbaren Lenkwinkel in die gewünschte Richtung lenkt.
Das System zur Erkennung riskanten Verhaltens 100 kann eine beliebige Anzahl von Untermodulen umfassen, die in die Steuerung 34 eingebettet sind und die kombiniert und/oder weiter unterteilt werden können, um die hier beschriebenen Systeme und Verfahren in ähnlicher Weise zu implementieren. Darüber hinaus können Eingaben in das System zur Erkennung riskanten Verhaltens 100 von dem Sensorsystem 28, von anderen Steuermodulen (nicht dargestellt), die mit dem Fahrzeug 10 verbunden sind, empfangen und/oder von anderen Untermodulen (nicht dargestellt) innerhalb der Steuerung 34 von 1 bestimmt/modelliert werden. Darüber hinaus können die Eingaben auch einer Vorverarbeitung unterzogen werden, wie z. B. Unterabtastung, Rauschunterdrückung, Normalisierung, Merkmalsextraktion, Reduzierung fehlender Daten und dergleichen.
2 ist ein Blockdiagramm, das ein Beispiel für ein System zur Erkennung von Risikoverhalten in einem Fahrzeug zur automatischen Erkennung von riskantem Verhalten von Insassen und zur Bereitstellung einer Warnung bezüglich des riskanten Verhaltens von Insassen darstellt. Das Beispielsystem zur Erkennung von riskantem Verhalten 100 umfasst ein Insassenidentifikationsmodul 202, ein Innenraum-Risikobewertungsmodul 204, ein Außenraum-Risikobewertungsmodul 206 und ein Warnungs- und Risikominderungsmodul 208. Das Insassenidentifikationsmodul 202 ist so konfiguriert, dass es feststellt, ob Fahrzeuginsassen vorhanden sind, die ein Risiko darstellen könnten. Das Innenraum-Risikobewertungsmodul 204 ist so konfiguriert, dass es mit Hilfe von fahrzeuginternen Sensoren feststellt, ob ein Fahrzeuginsasse ein potenzielles Risiko darstellt. Das Außenraum-Risikobewertungsmodul 206 ist so konfiguriert, dass es mit Hilfe interner Fahrzeugsensoren feststellt, ob ein Fahrzeuginsasse möglicherweise ein Risiko darstellt. Das Warnungs- und Risikominderungsmodul 208 ist so konfiguriert, dass es feststellt, ob ein potenzielles Risiko, das von einem Fahrzeuginsassen ausgeht, ein tatsächliches Risiko darstellt, das Risikolevel klassifiziert und Maßnahmen zur Risikominderung ergreift. Das Beispielsystem zur Erkennung von riskantem Verhalten 100, einschließlich des Insassenidentifikationsmoduls 202, des Innenraum-Risikobewertungsmoduls 204, des Außenraum-Risikobewertungsmoduls 206 und des Warnungs- und Risikominderungsmoduls 208, wird jeweils von einer Steuerung (z. B. derselben, einer separaten oder mehreren Steuerungen) implementiert.
Das Insassenidentifikationsmodul 202 ist so konfiguriert, dass es auf der Grundlage von Eingaben von einem oder mehreren Fahrzeugbelegungssensoren 201 erkennt, ob ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen könnte. Der/die Fahrzeugbesetzungssensor(en) kann/können die Form von in der Technik bekannten Sensoren annehmen, wie z. B. Sensoren, die auf RF-CMOS-Technologie basieren, oder andere Formen. Das beispielhafte Insassenidentifikationsmodul 202 kann feststellen, ob identifizierte Fahrzeuginsassen vorhanden sind, die sich in der Nähe eines Fahrzeugfensters befinden. Wenn festgestellt wird, dass sich ein identifizierter Fahrzeuginsasse in der Nähe eines Fahrzeugfensters befindet, kann das Beispiel-Insassenidentifikationsmodul 202 ferner feststellen, ob das Fahrzeugfenster neben dem identifizierten Fahrzeuginsassen geöffnet oder geschlossen ist. Ein identifizierter Fahrzeuginsasse, der sich in der Nähe eines offenen Fensters befindet, kann zur Überwachung als überwachter Fahrzeuginsasse bestimmt werden.
Das Innenraum-Risikobewertungsmodul 204 ist so konfiguriert, dass es anhand eines oder mehrerer Innenraumsensoren 203 feststellt, ob ein überwachter Fahrzeuginsasse ein potenzielles Risiko darstellt. Der eine oder die mehreren fahrzeuginternen Sensoren 203 können Innenraumsensoren (z. B. optische Sensoren, Kameras oder Infrarot (IR)-Sensoren) und/oder Sensoren des Insassenüberwachungssystems (OMS) (z. B. optische OMS-Sensoren, Kameras oder IR-Sensoren) umfassen. Das Innenraum-Risikobewertungsmodul 204 ist so konfiguriert, dass es ein Bild einer Innenansicht des Fahrzeugs in der Nähe eines Fensters empfängt, die Klasse des Insassen bestimmt (z. B. Fracht, Haustier, erwachsener Mensch, menschliches Kind), ein Körperskelett für einen menschlichen oder haustierähnlichen Insassen in der Nähe des Fensters auf der Grundlage des Bildes erzeugt und die Extremitäten des Insassen erkennt (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine), ein Innenfenster-Begrenzungspolygon um die Fensteröffnung herum erzeugt und erkennt, ob die Extremitäten des Insassen in das Fenster-Begrenzungspolygon hineinragen. Die erkannten Extremitäten des Insassen im Innenfenster-Begrenzungspolygon werden verfolgt, um das Verweilen und das Level des riskanten Verhaltens zu überprüfen. Die Erstellung des Körperskeletts und die Verfolgung der Extremitäten des Insassen können mit bekannten Algorithmen wie PoseNet, DeepPose, OpenPose oder anderen Algorithmen durchgeführt werden.
3A ist ein Diagramm, das ein Beispiel für ein Betriebsszenario für das Innenraum-Risikobewertungsmodul 204 darstellt. In diesem Beispiel wird ein Bild 300 einer Innenansicht des Fahrzeugs in der Nähe eines Fensters 302, das von einem oder mehreren internen Fahrzeugsensoren 203 erzeugt wurde, vom Innenraum-Risikobewertungsmodul 204 empfangen. Das beispielhafte Innenraum-Risikobewertungsmodul 204 erzeugt ein Innenfenster-Begrenzungspolygon 306 um die Fensteröffnung, erzeugt auf der Grundlage des Bildes 300 ein Körperskelett für den Fahrzeuginsassen in der Nähe des Fensters 302, erkennt die Extremitäten 304 des Insassen (z. B. Unterarm, Finger, Unterarm) und stellt fest, dass die Extremitäten 304 des Insassen in das Fenster-Begrenzungspolygon 306 hineinreichen.
Zurück zu 2, das Außenraum-Risikobewertungsmodul 206 ist so konfiguriert, dass es unter Verwendung eines oder mehrerer Fahrzeugaußensensoren 205 (z. B. Seitenkameras) feststellt, ob ein überwachter Fahrzeuginsasse ein potenzielles Risiko darstellt. Das Außenraum-Risikobewertungsmodul 206 ist so konfiguriert, dass es ein Bild der Außenseite des Fahrzeugs in der Nähe eines Fensters empfängt, die Klasse des Insassen bestimmt (z. B. Fracht, Haustier, menschlicher Erwachsener, menschliches Kind), ein Körperskelett für einen menschlichen oder tierischen Insassen in der Nähe des Fensters auf der Grundlage des Bildes erzeugt und die Extremitäten des Insassen erkennt (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine), ein äußeres Begrenzungsfeld in der Nähe einer Fensteröffnung erzeugt und erkennt, ob die Extremitäten des Insassen in das äußere Begrenzungsfeld hineinragen. Die erkannten Extremitäten des Insassen im äußeren Begrenzungsfeld werden verfolgt, um das Verweilen und das Level des riskanten Verhaltens zu überprüfen. Die Erstellung des Körperskeletts und die Verfolgung der Extremitäten des Insassen können mit bekannten Algorithmen wie PoseNet, DeepPose, OpenPose oder anderen Algorithmen durchgeführt werden.
3B ist ein Diagramm, das ein Beispiel für ein Betriebsszenario des Außenraum-Risikobewertungsmoduls 206 zeigt. In diesem Beispiel wird ein Bild 320 des Fahrzeugäußeren in der Nähe eines Fensters 322, das von einem oder mehreren Fahrzeugaußensensoren 205 erzeugt wurde, vom Außenraum-Risikobewertungsmodul 206 empfangen. Das beispielhafte Außenraum-Risikobewertungsmodul 206 erzeugt ein äußeres Begrenzungsfeld 326 in der Nähe der Fensteröffnung, erzeugt ein Körperskelett für den Fahrzeuginsassen in der Nähe des Fensters 322 auf der Grundlage des Bildes 320, erkennt die Extremitäten 324 des Insassen (z. B. Unterarm 324a, Unterarm 324b, Finger 324c) und stellt fest, dass die Extremitäten 324 des Insassen in das äußere Begrenzungsfeld 326 hineinreichen.
Zurück zu 2, das Warnungs- und Risikominderungsmodul 208 ist so konfiguriert, dass es feststellt, ob ein potenzielles Risiko, das von einem Fahrzeuginsassen ausgeht, ein tatsächliches Risiko darstellt, das Risikolevel klassifiziert und Maßnahmen zur Risikominderung ergreift. Der Insasse/Fahrer wird gewarnt, und es werden Maßnahmen zur Risikominderung empfohlen, die auf der Klasse des Insassen (Erwachsener/Kind/Tier) und dem Risikolevel basieren.
4 ist ein Prozessablaufdiagramm, das einen Beispielprozess 400 in einem Fahrzeug (z. B. in einem System zur Erkennung von riskantem Verhalten 100) für die automatische Erkennung von riskantem Verhalten der Insassen und für die Durchführung von Minderungsmaßnahmen darstellt. Die Reihenfolge des Ablaufs innerhalb des Prozesses 400 ist nicht auf die in 4 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen durchgeführt werden, wie es anwendbar ist und gemäß der vorliegenden Offenbarung.
In Vorgang 402 umfasst der Beispielprozess 400 die Überprüfung des Belegungsstatus des Fahrzeugs in der Kabine. Die Überprüfung des Belegungsstatus des Fahrzeugs in der Kabine kann beinhalten, dass auf der Grundlage von Eingaben von einem oder mehreren Fahrzeugbelegungssensoren identifiziert wird, ob ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen könnte. Der/die Fahrzeugbelegungssensor(en) kann/können die Form von in der Technik bekannten Sensoren annehmen, wie z. B. Sensoren, die auf RF-CMOS-Technologie basieren, oder andere Formen. Bei der Überprüfung des Belegungsstatus im Fahrzeug kann festgestellt werden, ob es identifizierte Fahrzeuginsassen gibt, die sich in der Nähe eines Fahrzeugfensters aufhalten.
In Vorgang 404 umfasst der Beispielprozess 400 die Überprüfung des Fensterstatus. Die Überprüfung des Fensterstatus kann durchgeführt werden, wenn festgestellt wird, dass sich ein identifizierter Fahrzeuginsasse in der Nähe eines Fahrzeugfensters befindet. Das Prüfen des Fensterstatus kann auch beinhalten, dass festgestellt wird, ob das Fahrzeugfenster neben dem identifizierten Fahrzeuginsassen geöffnet oder geschlossen ist. Ein identifizierter Fahrzeuginsasse, der sich in der Nähe eines offenen Fensters befindet, kann zur Überwachung als überwachter Fahrzeuginsasse bestimmt werden.
In Vorgang 406 umfasst der Beispielprozess 400 die Bestimmung einer Insassenklassenidentifikation für einen überwachten Fahrzeuginsassen. Die Bestimmung einer Insassenklassenidentifikation kann auf der Grundlage der Analyse von Bilddaten von einem oder mehreren Innenraumsensoren 403 (z. B. Fahrzeugbelegungssensor(en) 201 und/oder Fahrzeuginnensensor(en) 203) erfolgen. Die Bestimmung einer Insassenklassenidentifikation für einen überwachten Fahrzeuginsassen kann die Feststellung beinhalten, ob es sich bei dem überwachten Fahrzeuginsassen um ein Lebewesen (z. B. einen Menschen oder ein Haustier) oder um eine Fracht handelt. Wenn es sich bei dem überwachten Fahrzeuginsassen um ein Lebewesen handelt, kann die Bestimmung einer Insassenklassenkennung die Feststellung beinhalten, ob es sich bei dem Lebewesen um ein Haustier, einen erwachsenen Menschen oder ein menschliches Kind handelt. In anderen Beispielen können auch andere Insassenklassen identifiziert werden. Die Bestimmung einer Insassenklassenidentifikation für einen überwachten Fahrzeuginsassen kann unter Verwendung von Objekterkennungs- und/oder Klassifizierungsverfahren der künstlichen Intelligenz (AI), maschinellen Lernverfahren, Computer-Vision-Verfahren und anderen durchgeführt werden.
In Operation 408 umfasst der Beispielprozess 400 die Erkennung und Verfolgung des Körperskeletts. Die Erkennung und Verfolgung des Körperskeletts kann die Erzeugung eines Körperskeletts für einen Menschen oder ein Haustier in der Nähe eines Fensters auf der Grundlage von Bilddaten von einem oder mehreren Innenbildsensoren 403 und die Erkennung der Extremitäten des Benutzers (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) umfassen. Die Erkennung und Verfolgung des Körperskeletts kann ferner die Erzeugung eines Innenfenster-Begrenzungspolygons um die Fensteröffnung und die Erkennung, ob sich die Extremitäten des Insassen in das Fenster-Begrenzungspolygon erstrecken, umfassen. Die Erkennung und Verfolgung des Körperskeletts kann ferner die Verfolgung der erkannten Extremitäten des Insassen im Innenfenster-Begrenzungspolygon im Hinblick auf das Verweilen und das Level des riskanten Verhaltens umfassen. Die Erkennung und Verfolgung des Körperskeletts kann mit Hilfe von bekannten Algorithmen wie PoseNet, DeepPose, OpenPose oder anderen Algorithmen durchgeführt werden.
In Vorgang 410 umfasst der Beispielprozess 400 die Innenraumrisikobewertung. Die Innenraumrisikobewertung kann die Verfolgung von Verweilzeiten beinhalten, während derer Extremitäten als sich außerhalb eines Fahrzeugfensters erstreckend erkannt werden. Die Innenraumrisikobewertung kann die Bestimmung einer maximalen Verweildauer, während der Extremitäten als sich außerhalb eines Fahrzeugfensters erstreckend erkannt werden, den Vergleich der maximalen Verweildauer mit einer kalibrierbaren Bedrohungsschwelle und die Bestimmung eines Risikolevels auf der Grundlage des Vergleichs der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle umfassen. Wenn die maximale Verweildauer unter der Bedrohungsschwelle liegt, kann die Innenraumrisikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „Kein Risiko“ ist. Wenn die maximale Verweildauer größer ist als die Bedrohungsschwelle, kann die Innenraumrisikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „riskant“ ist.
In Vorgang 412 umfasst der Beispielprozess 400 eine Warnungs- und Risikominderung, wenn ein „Risiko“-Zustand festgestellt wurde. Die Warnungs- und Risikominderung kann die Bestimmung eines Risikolevels auf der Grundlage der Art der erkannten und anhaltend, aus einem Fenster herausgestreckten Extremitäten umfassen. Die Warnungs- und Risikominderung kann beinhalten, dass der Risikolevel hoch ist, wenn ein Kopf, ein Bein oder ein Unterarm als aus dem Fenster gestreckt erkannt wird. Die Warnungs- und Risikominderung kann die Feststellung beinhalten, dass ein hohes Risiko besteht, wenn es sich bei dem Insassen um ein Kind oder ein Haustier handelt und ein Sicherheitsgurt für den Insassen nicht angelegt ist. Die Warnungs- und Risikominderung kann die Feststellung beinhalten, dass das Risikolevel niedrig ist, wenn erkannt wird, dass die Finger und/oder ein Unterarm aus dem Fenster herausragen.
Die Warnungs- und Risikominderung kann auch die Bestimmung der Art der zu ergreifenden Maßnahmen zur Risikominderung umfassen. Die Warnungs- und Risikominderung kann beinhalten, dass dem Fahrer eine Warnung und eine Empfehlung zum Anhalten gegeben wird, wenn ein hohes Risiko erkannt wird. Die Warnungs- und Risikominderung kann beinhalten, dass der Fahrer eine Warnung erhält, wenn ein geringes Risiko erkannt wird und es sich bei dem Insassen um ein Kind oder ein Haustier mit angelegtem Sicherheitsgurt handelt. Die Warnungs- und Risikominderung kann beinhalten, dass ein Insasse gewarnt wird, ein riskantes Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist. Zu den Warnungs- und Risikominderungsmaßnahmen kann auch die Deaktivierung einer Fensteraufwärtsbewegung gehören, wenn ein riskantes Verhalten erkannt wird.
In Vorgang 414 umfasst der Beispielprozess 400 die Erkennung und Verfolgung des Körperskeletts auf der Grundlage von Bilddaten von einem oder mehreren Außenseiten-Bildsensoren 405. Die Erkennung und Verfolgung des Körperskeletts kann das Empfangen von Bilddaten des Fahrzeugäußeren in der Nähe eines Fensters von dem/den Außenseiten-Bildsensor(en) 405, das Erzeugen eines Körperskeletts für einen menschlichen oder tierischen Insassen in der Nähe des Fensters auf der Grundlage der Bilddaten, das Erkennen der Extremitäten des Insassen (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) aus dem Körperskelett, das Erzeugen eines äußeren Begrenzungsfeldes in der Nähe einer Fensteröffnung und das Erkennen, ob sich die Extremitäten des Insassen in das äußere Begrenzungsfeld erstrecken, umfassen. Die Erkennung und Verfolgung des Körperskeletts kann ferner die Verfolgung der erkannten Extremitäten des Insassen in dem äußeren Begrenzungsfeld auf ein Verweilen und ein Level an riskantem Verhalten umfassen. Die Erkennung und Verfolgung des Körperskeletts kann mit bekannten Algorithmen wie PoseNet, DeepPose, OpenPose oder anderen Algorithmen durchgeführt werden.
In Vorgang 416 beinhaltet der Beispielprozess 400 eine Außenraumrisikobewertung. Die Außenraumrisikobewertung kann die Verfolgung von Verweilzeiten beinhalten, während derer Extremitäten als sich in dem äußeren Begrenzungsfeld erstreckend erkannt werden. Die Außenraumrisikobewertung kann die Bestimmung einer maximalen Verweildauer, während der Extremitäten als sich in der äußeren Begrenzungsbox erstreckend erkannt werden, den Vergleich der maximalen Verweildauer mit einer kalibrierbaren Bedrohungsschwelle und die Bestimmung eines Risikolevels basierend auf dem Vergleich der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle umfassen. Wenn die maximale Verweildauer unter der Bedrohungsschwelle liegt, kann die Außenraumrisikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „Kein Risiko“ ist. Ist die maximale Verweildauer größer als die Bedrohungsschwelle, kann bei der Außenraumrisikobewertung festgestellt werden, dass das Bedrohungslevel „riskant“ ist. Nach der Außenraumrisikobewertung werden die Warnungs- und Risikominderungsmaßnahmen 412 durchgeführt.
5 ist ein Prozessablaufdiagramm, das einen Beispielprozess 500 (z. B. in Verbindung mit einem Innenraum-Risikobewertungsmodul 204) zur Bestimmung, ob ein Fahrzeuginsasse potenziell ein Risiko darstellt, unter Verwendung interner Fahrzeugsensoren zeigt. Die Reihenfolge der Vorgänge innerhalb des Prozesses 500 ist nicht auf die in 5 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolge(n) durchgeführt werden, je nach Anwendbarkeit und gemäß der vorliegenden Offenbarung.
Bei der Entscheidung 502 umfasst der Beispielprozess 500 die Bestimmung, ob ein Fahrzeuginsasse existiert, der ein Risiko darstellen könnte. Die Bestimmung kann auf der Grundlage von Eingaben von einem oder mehreren Fahrzeugbelegungssensoren 501 durchgeführt werden. Die Ermittlung kann beinhalten, dass festgestellt wird, ob identifizierte Fahrzeuginsassen vorhanden sind, die sich in der Nähe eines Fahrzeugfensters befinden. Wenn festgestellt wird, dass es keinen Fahrzeuginsassen gibt, der ein Risiko darstellen könnte (nein bei Entscheidung 502), beinhaltet der Beispielprozess 500, dass nichts unternommen wird (Vorgang 504).
Wenn festgestellt wird, dass ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen könnte (ja bei Entscheidung 502), umfasst der Beispielprozess 500 bei Entscheidung 506 die Bestimmung des Status (z. B. geöffnet oder geschlossen) eines Fahrzeugfensters in der Nähe des identifizierten Fahrzeuginsassen. Wenn festgestellt wird (bei Entscheidung 506), dass das Fahrzeugfenster in der Nähe des identifizierten Fahrzeuginsassen vollständig geschlossen ist, umfasst der Beispielprozess 500 das Nichtstun (Vorgang 504).
Wenn festgestellt wird (bei Entscheidung 506), dass das Fahrzeugfenster in der Nähe des identifizierten Fahrzeuginsassen vollständig oder teilweise geöffnet ist, umfasst der Beispielprozess 500 bei Vorgang 508 die Identifizierung der Insassenklasse des identifizierten Fahrzeuginsassen auf der Grundlage von Sensordaten von internen Bildsensoren 503 (wie Fahrzeugbelegungssensor(en) 201 und/oder internen Fahrzeugsensor(en) 203). Die Identifizierung einer Insassenklasse für einen identifizierten Fahrzeuginsassen kann unter Verwendung von Objekterkennungs- und/oder Klassifizierungstechniken der künstlichen Intelligenz (AI), maschinellen Lerntechniken, Computer-Vision-Techniken und anderen durchgeführt werden.
Bei Entscheidung 510 beinhaltet der Beispielprozess 500 die Bestimmung, ob weitere Maßnahmen auf der Grundlage der identifizierten Insassenklasse erforderlich sind. Wenn die identifizierte Insassenklasse Fracht ist, beinhaltet der Beispielprozess 500 das Nichtstun (Vorgang 504).
Wenn es sich bei der identifizierten Insassenklasse um einen Menschen oder ein Haustier handelt, beinhaltet der Beispielprozess 500 in Vorgang 512 die Durchführung einer Körperskeletterkennung und -verfolgung unter Verwendung von Bilddaten (z. B. K-Bildsequenzdaten) von den Innenraumsensoren 503. Das Durchführen der Erkennung und Verfolgung des Körperskeletts kann das Erzeugen eines Körperskeletts für einen Menschen oder ein Haustier in der Nähe eines Fensters auf der Grundlage von Bilddaten von einem oder mehreren Innenbildsensoren 503 und das Erkennen von Extremitäten des Insassen (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) umfassen. Die Erkennung und Verfolgung des Körperskeletts kann mit bekannten Algorithmen wie PoseNet, DeepPose, OpenPose oder anderen Algorithmen durchgeführt werden.
In Vorgang 514 umfasst der Beispielprozess 500 das Durchführen von Fensterbereich-Erkennungsvorgängen um eine Fensteröffnung herum anhand von Bilddaten, um Objekte (wie z. B. Extremitäten von Insassen) innerhalb des Fensterbereichs zu identifizieren. Die Durchführung von Fensterbereich-Erkennungsvorgängen kann die Verwendung von Bildverarbeitungstechniken beinhalten, die auf optischem Fluss, Segmentierung oder Kantenerkennung basieren.
In Vorgang 516 umfasst der Beispielprozess 500 die Erzeugung eines Innenfenster-Begrenzungspolygons um eine Fensteröffnung aus Bilddaten. Das Innenfenster-Begrenzungspolygon um eine Fensteröffnung kann aus einem dreidimensionalen (3D) geometrischen Modell des Fahrzeuginnenraums 505 erzeugt werden, zum Beispiel aus zusammengesetzten Bildern von Innenraumsensoren 503.
In Vorgang 518 umfasst der Beispielprozess 500 das Erkennen, ob sich die Extremitäten des Insassen in das Fenster-Begrenzungspolygon erstrecken. Die Erkennung, ob sich die Extremitäten der Insassen in das Fenster-Begrenzungspolygon erstrecken, kann durch den Vergleich der Ausgabe des Fenster-Begrenzungspolygons mit der Ausgabe der Fensterbereichserfassungsoperationen erfolgen, um eine Überschneidung zu bestimmen. Die überlappende Ausgabe identifiziert erkannte Insassenextremitäten 520, die sich außerhalb des Fahrzeugs erstrecken.
Bei der Entscheidung 522 beinhaltet der Beispielprozess 500 die Bestimmung, ob ein Risiko aufgrund von erkannten Extremitäten, die aus einem Fahrzeugfenster herausragen, besteht, basierend auf einem kalibrierbaren Schwellenwert 507. Die Bestimmung, ob ein Risiko aufgrund von erkannten Extremitäten besteht, die sich aus einem Fahrzeugfenster heraus erstrecken, kann die Durchführung einer Innenraum-Risikobewertung beinhalten. Die Durchführung der Innenraum-Risikobewertung kann die Verfolgung der Verweilzeiten beinhalten, während derer Extremitäten als sich außerhalb eines Fahrzeugfensters erstreckend erkannt werden. Die Innenraum-Risikobewertung kann die Bestimmung einer maximalen Verweildauer, während der Extremitäten als sich außerhalb des Fahrzeugfensters erstreckend erkannt werden, den Vergleich der maximalen Verweildauer mit einer kalibrierbaren Bedrohungsschwelle und die Bestimmung eines Risikolevels auf der Grundlage des Vergleichs der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle umfassen. Wenn die maximale Verweildauer unter der Bedrohungsschwelle liegt, kann die Innenraum-Risikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „Kein Risiko“ ist. Wenn die maximale Verweildauer größer ist als die Bedrohungsschwelle, kann die Innenraum-Risikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „riskant“ ist.
Wenn festgestellt wird, dass kein Risiko besteht (nein bei Entscheidung 522), beinhaltet das Beispielverfahren, dass nichts unternommen wird (Vorgang 504). Wenn festgestellt wird, dass ein Risiko besteht (ja bei Entscheidung 522), umfasst der Beispielprozess die Durchführung von Warnungs- und Risikominderungsvorgängen (Vorgang 524). Die Durchführung von Warnungs- und Risikominderungsmaßnahmen kann die Bestimmung eines Risikolevels auf der Grundlage der Art der erkannten und anhaltend sich aus einem Fenster erstreckenden Extremitäten umfassen. Die Durchführung von Warnungs- und Risikominderungsvorgängen kann die Feststellung beinhalten, dass das Risikolevel hoch ist, wenn ein Kopf, ein Bein oder ein Unterarm als sich aus dem Fenster erstreckend erkannt wird. Die Warnung, Risikominderung und Risikoverminderung kann die Feststellung beinhalten, dass ein hohes Risiko besteht, wenn es sich bei dem Insassen um ein Kind oder ein Haustier handelt und der Sicherheitsgurt für den Insassen nicht angelegt ist. Die Durchführung von Warnungen und Risikominderung kann die Feststellung beinhalten, dass das Risikolevel niedrig ist, wenn erkannt wird, dass sich Finger und/oder ein Unterarm aus dem Fenster erstreckt.
Die Durchführung von Warnungen und Risikominderung kann auch die Bestimmung der Art der zu ergreifenden Maßnahmen zur Risikominderung umfassen. Die Durchführung von Warnungen, Risikominderung und Risikominderung kann beinhalten, dass ein Fahrer gewarnt wird und ihm empfohlen wird, anzuhalten, wenn ein hohes Risiko erkannt wird. Die Durchführung von Warnung und Risikominderung kann beinhalten, dass ein Fahrer gewarnt wird, wenn ein geringes Risiko erkannt wird und es sich bei dem Insassen um ein Kind oder ein Haustier mit angelegtem Sicherheitsgurt handelt. Die Durchführung von Warnung und Risikominderung kann beinhalten, dass ein Insasse gewarnt wird, ein riskantes Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist. Die Durchführung der Warnung und Risikominderung kann die Deaktivierung einer Fensteraufwärtsbewegung beinhalten, wenn ein riskantes Verhalten erkannt wird.
6 ist ein Prozessablaufdiagramm, das einen Beispielprozess 600 (z. B. in Verbindung mit einem Außenraum-Risikobewertungsmodul 206) zur Bestimmung, ob ein Fahrzeuginsasse potenziell ein Risiko darstellt, unter Verwendung von Fahrzeugaußensensoren zeigt. Die Reihenfolge des Ablaufs innerhalb des Prozesses 600 ist nicht auf die in 6 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen durchgeführt werden, je nach Anwendbarkeit und gemäß der vorliegenden Offenbarung.
Bei der Entscheidung 602 umfasst der Beispielprozess 600 die Bestimmung, ob ein Fahrzeuginsasse existiert, der ein Risiko darstellen könnte. Die Bestimmung kann auf der Grundlage von Eingaben von einem oder mehreren Fahrzeugbelegungssensoren 601 durchgeführt werden. Die Ermittlung kann beinhalten, dass festgestellt wird, ob identifizierte Fahrzeuginsassen vorhanden sind, die sich in der Nähe eines Fahrzeugfensters befinden. Wenn festgestellt wird, dass es keinen Fahrzeuginsassen gibt, der ein Risiko darstellen könnte (nein bei Entscheidung 602), beinhaltet der Beispielprozess 600, dass nichts unternommen wird (Vorgang 604).
Wenn festgestellt wird, dass ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen könnte (ja bei Entscheidung 602), umfasst der Beispielprozess 600 bei Entscheidung 606 die Bestimmung des Status (z. B. geöffnet oder geschlossen) eines Fahrzeugfensters in der Nähe des identifizierten Fahrzeuginsassen. Wenn festgestellt wird (bei Entscheidung 606), dass das Fahrzeugfenster in der Nähe des identifizierten Fahrzeuginsassen vollständig geschlossen ist, umfasst der Beispielprozess 600 das Nichtstun (Vorgang 604).
Wenn festgestellt wird (bei Entscheidung 606), dass das Fahrzeugfenster in der Nähe des identifizierten Fahrzeuginsassen vollständig oder teilweise geöffnet ist, umfasst der Beispielprozess 600 bei Vorgang 608 die Identifizierung der Insassenklasse des identifizierten Fahrzeuginsassen auf der Grundlage von Sensordaten von Außenseitenbildsensor(en) 603 (wie Außenseitenbildsensor(en) 405). Die Identifizierung einer Insassenklasse für einen identifizierten Fahrzeuginsassen kann unter Verwendung von Objekterkennungs- und/oder Klassifizierungstechniken der künstlichen Intelligenz (KI), maschinellen Lerntechniken, Computer-Vision-Techniken und anderen durchgeführt werden.
Bei der Entscheidung 610 umfasst der Beispielprozess 600 die Bestimmung, ob weitere Maßnahmen auf der Grundlage der identifizierten Insassenklasse erforderlich sind. Wenn die identifizierte Insassenklasse Fracht ist, beinhaltet der Beispielprozess 600 das Nichtstun (Vorgang 604).
Wenn es sich bei der identifizierten Insassenklasse um einen Menschen oder ein Haustier handelt, umfasst der Beispielprozess 600 in Vorgang 612 die Durchführung einer Körperskeletterkennung und -verfolgung unter Verwendung von Bilddaten (z. B. K-Bildsequenzdaten) von dem/den Außenseiten-Bildsensor(en) 603. Die Durchführung der Erkennung und Verfolgung des Körperskeletts kann das Empfangen von Bilddaten des Fahrzeugäußeren in der Nähe eines Fensters von dem/den Außenseiten-Bildsensor(en) 603, das Erzeugen eines Körperskeletts für einen menschlichen oder tierischen Insassen in der Nähe des Fensters auf der Grundlage der Bilddaten, das Erkennen der Extremitäten des Insassen (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) anhand des Körperskeletts, das Erzeugen eines äußeren Begrenzungsfeldes in der Nähe einer Fensteröffnung und das Erkennen, ob sich die Extremitäten des Insassen in das äußere Begrenzungsfeld erstrecken, umfassen. Die Erkennung und Verfolgung des Körperskeletts kann ferner die Verfolgung der erkannten Extremitäten des Insassen in das äußere Begrenzungsfeld auf ein Verweilen und ein Level an riskantem Verhalten umfassen. Die Erkennung und Verfolgung des Körperskeletts kann mit bekannten Algorithmen wie PoseNet, DeepPose, OpenPose oder anderen Algorithmen durchgeführt werden.
Bei der Entscheidung 614 umfasst der Beispielprozess 600 die Bestimmung, ob ein Risiko aufgrund von erkannten Extremitäten 613 besteht, die sich aus einem Fahrzeugfenster erstrecken, basierend auf einem kalibrierbaren Schwellenwert 607. Die Bestimmung, ob ein Risiko aufgrund von erkannten Extremitäten, die sich aus einem Fahrzeugfenster heraus erstrecken, besteht, kann die Durchführung einer Außenraum-Risikobewertung beinhalten. Die Außenraum-Risikobewertung kann die Verfolgung der Verweilzeiten beinhalten, während derer Extremitäten als sich in das äußere Begrenzungsfeld erstreckend erkannt werden. Die Außenraum-Risikobewertung kann die Bestimmung einer maximalen Verweildauer, während der Extremitäten als sich in das äußere Begrenzungsfeld erstreckend erkannt werden, den Vergleich der maximalen Verweildauer mit einer kalibrierbaren Bedrohungsschwelle und die Bestimmung eines Risikolevels auf der Grundlage des Vergleichs der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle umfassen. Wenn die maximale Verweildauer unter der Bedrohungsschwelle liegt, kann die Außenraum-Risikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „Kein Risiko“ ist. Ist die maximale Verweildauer größer als die Bedrohungsschwelle, kann die Außenraum-Risikobewertung die Feststellung beinhalten, dass das Bedrohungslevel „riskant“ ist.
Wenn festgestellt wird, dass kein Risiko besteht (nein bei Entscheidung 614), beinhaltet das Beispielverfahren, das Nichtstun (Vorgang 604). Wenn festgestellt wird, dass ein Risiko besteht (ja bei Entscheidung 614), umfasst der Beispielprozess die Durchführung von Warnungs- und Risikominderungsvorgängen (Vorgang 616). Die Durchführung von Warnungs- und Risikominderungsmaßnahmen kann die Bestimmung eines Risikolevels auf der Grundlage der Art der erkannten und anhaltend sich aus einem Fenster erstreckenden Extremitäten umfassen. Die Durchführung von Warnungs- und Risikominderungsmaßnahmen kann die Feststellung beinhalten, dass der Risikolevel hoch ist, wenn ein Kopf, ein Bein oder ein Unterarm als aus dem Fenster herausgestreckt erkannt wird. Die Warnung, Risikominderung und Risikoverminderung kann die Feststellung beinhalten, dass ein hohes Risiko besteht, wenn es sich bei dem Insassen um ein Kind oder ein Haustier handelt und der Sicherheitsgurt für den Insassen nicht angelegt ist. Die Durchführung von Warnungen und Risikominderung kann die Feststellung beinhalten, dass das Risikolevel niedrig ist, wenn erkannt wird, dass sich Finger und/oder ein Unterarm aus dem Fenster erstrecken.
Die Durchführung von Warnungen und Risikominderung kann auch die Bestimmung der Art der zu ergreifenden Maßnahmen zur Risikominderung umfassen. Die Durchführung von Warnungen, Risikominderung und Risikoverminderung kann beinhalten, dass ein Fahrer gewarnt wird und ihm empfohlen wird, anzuhalten, wenn ein hohes Risiko erkannt wird. Die Durchführung von Warnung und Risikominderung kann beinhalten, dass ein Fahrer gewarnt wird, wenn ein geringes Risiko erkannt wird und es sich bei dem Insassen um ein Kind oder ein Haustier mit angelegtem Sicherheitsgurt handelt. Die Warnung und Risikominderung kann beinhalten, dass ein Insasse gewarnt wird, ein riskantes Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist. Die Durchführung der Warnung und Risikominderung kann die Deaktivierung einer Fensteraufwärtsbewegung beinhalten, wenn ein riskantes Verhalten erkannt wird.
7 ist ein Prozessablaufdiagramm, das einen Beispielprozess 700 (z. B. in Verbindung mit einem Warnungs- und Risikominderungsmodul 208) zur Bestimmung eines Risikolevels für ein erkanntes potenzielles Risiko darstellt. Die Reihenfolge des Ablaufs innerhalb des Prozesses 700 ist nicht auf die in 7 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen durchgeführt werden, je nach Anwendbarkeit und gemäß der vorliegenden Offenbarung.
In Vorgang 702 umfasst der Beispielprozess 700 die Durchführung einer Körperskeletterkennung und -verfolgung unter Verwendung von Bilddaten 701 (z. B. K-Bildsequenzen von der Fahrzeugseitenkamera und/oder der Innenraumkamera). Die Durchführung der Erkennung und Verfolgung des Körperskeletts kann das Erzeugen eines Körperskeletts (z. B. eines 2D-Skeletts) für einen menschlichen oder tierischen Insassen in der Nähe eines Fensters auf der Grundlage der Bilddaten, das Erkennen der Extremitäten des Insassen (z. B. Unterarm, Finger, Unterarm, Kopf oder Beine) anhand des Körperskeletts und das Erkennen, ob sich die Extremitäten des Insassen außerhalb des Fahrzeugs erstrecken, umfassen. Die Erkennung und Verfolgung des Körperskeletts kann mit bekannten Algorithmen durchgeführt werden, wie z. B. PoseNet, DeepPose, OpenPose oder anderen Algorithmen. Die Erkennung und Verfolgung des Körperskeletts kann zur Erzeugung eines zweidimensionalen (2D) Skeletts führen.
In Vorgang 704 umfasst der Beispielprozess 700 die Verfolgung von erkannten Extremitäten. Die Durchführung der Verfolgung von erkannten Extremitäten kann die Verfolgung von Extremitäten von Insassen innerhalb eines Interessensbereichs (AoI) 703, wie z. B. eines äußeren Begrenzungsfeldes 326 und/oder eines inneren Fenster-Begrenzungspolygons 306, beinhalten. Die Durchführung der Verfolgung von erkannten Extremitäten kann ferner die Verfolgung von erkannten Extremitäten von Insassen im AoI auf ein Verweilen umfassen.
In Vorgang 706 beinhaltet der Beispielprozess 700 die Durchführung einer Verweilprüfung. Die Durchführung einer Verweilprüfung beinhaltet die Bestimmung der Verweilzeitdauer t für erkannte Extremitäten innerhalb der AoI innerhalb eines kalibrierbaren Zeitfensters ω 705.
Bei Entscheidung 708 beinhaltet der Beispielprozess 700 die Bestimmung, ob eine maximale Verweildauer t_max für eine verfolgte Extremität (z. B. Verfolgung p) größer ist als eine kalibrierbare Risikoschwelle T_T 707. Wenn die maximale Verweildauer t_max für eine verfolgte Extremität nicht größer ist als eine kalibrierbare Risikoschwelle T_T 707 (t_max ≤ T_T) (nein bei Entscheidung 708), beinhaltet der Beispielprozess 700 die Feststellung, dass kein Risiko 711 besteht. Wenn die maximale Verweildauer t_max für eine verfolgte Extremität größer ist als eine kalibrierbare Risikoschwelle T_T 707 (t_max > T_T) (ja bei Entscheidung 708), beinhaltet der Beispielprozess 700 den Übergang zu Entscheidung 710.
Bei Entscheidung 710 beinhaltet der Beispielprozess 700 die Bestimmung, ob die erkannten Extremitäten innerhalb des AoI Extremitäten mit höherem Risiko sind. Zu den Extremitäten mit höherem Risiko können ein Kopf, ein Bein oder ein Unterarm gehören, die innerhalb des AoI erkannt werden. Wenn es sich bei den erkannten Extremitäten innerhalb des AoI nicht um Extremitäten mit höherem Risiko handelt (nein bei Entscheidung 710), umfasst der Beispielprozess 700 die Feststellung, dass ein geringes Risiko 713 besteht. Wenn die erkannten Extremitäten innerhalb des AoI Extremitäten mit höherem Risiko sind (ja bei Entscheidung 710), beinhaltet der Beispielprozess 700 die Feststellung, dass ein hohes Risiko 715 besteht.
8 ist ein Prozessablaufdiagramm, das einen Beispielprozess 800 (z. B. in Verbindung mit einem Warnungs- und Risikominderungsmodul 208) zur Bestimmung der Art der Risikominderungsmaßnahmen darstellt, die auf der Grundlage des ermittelten Risikolevels, das von einem erkannten potenziellen Risiko ausgeht, unternommen werden sollen. Die Reihenfolge der Abläufe innerhalb des Prozesses 800 ist nicht auf die in 8 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolge(n) durchgeführt werden, je nach Anwendbarkeit und gemäß der vorliegenden Offenbarung.
Bei Entscheidung 802 beinhaltet der Beispielprozess 800 die Bestimmung, ob ein erkanntes Risiko ein hohes oder ein niedriges Risiko darstellt. Wenn das erkannte Risiko ein geringes Risiko darstellt, beinhaltet der Beispielprozess 800 bei Vorgang 804 die Bereitstellung einer Warnung, um den Insassen oder Fahrer über die Aktivität mit geringem Risiko zu informieren. Die Warnung kann eine visuelle Warnung über eine Mensch-Maschine-Schnittstelle (HMI) im Fahrzeug sein. Die Warnung kann eine akustische Warnung über die HMI sein. Andere Formen der Warnung sind ebenfalls möglich.
Wenn das erkannte Risiko als hohes Risiko eingestuft wird, umfasst der Beispielprozess 800 bei Vorgang 806 die Identifizierung einer Insassenklasse für den Insassen, der an der Aktivität mit hohem Risiko beteiligt ist. Bei der Entscheidung 808 beinhaltet der Beispielprozess 800 die Bestimmung, ob die Insassenklasse ein Erwachsener oder ein Kind/Haustier ist.
Wenn es sich bei der Insassenklasse um einen Erwachsenen handelt, umfasst das Beispielverfahren die Warnung des Insassen, das riskante Verhalten zu beenden (Vorgang 810), und die Deaktivierung der Fensteraufwärtsbewegungsfähigkeit (Vorgang 812).
Wenn es sich bei der Insassenklasse um ein Kind oder ein Haustier handelt, umfasst das Beispielverfahren die Feststellung, bei Entscheidung 814, ob der Sicherheitsgurt des Insassen angelegt ist. Wenn der Sicherheitsgurt des Insassen nicht angelegt ist, beinhaltet der Beispielprozess 800 bei Vorgang 816 die Bereitstellung einer Warnung an den Fahrer bezüglich des riskanten Verhaltens und die Empfehlung, dass der Fahrer anhält, bis das riskante Verhalten beendet ist. Der Beispielprozess 800 umfasst nach dem Vorgang 816 ferner die Deaktivierung der Fähigkeit, das Fenster nach oben zu bewegen, bei Vorgang 812.
Wenn es sich bei der Insassenklasse um ein Kind oder ein Haustier handelt und der Sicherheitsgurt des Insassen angelegt ist, umfasst der Beispielprozess 800 die Warnung des Fahrers vor dem riskanten Verhalten, bei Vorgang 81 und die Deaktivierung der Fensteraufwärtsbewegungsfähigkeit bei Vorgang 812.
Die vorstehenden Ausführungen skizzieren die Merkmale mehrerer Ausführungsformen, damit der Fachmann die Aspekte der vorliegenden Offenbarung besser verstehen kann. Der Fachmann sollte wissen, dass er die vorliegende Offenbarung ohne weiteres als Grundlage für die Entwicklung oder Modifizierung anderer Verfahren und Strukturen verwenden kann, um die gleichen Zwecke zu erfüllen und/oder die gleichen Vorteile der hier vorgestellten Ausführungsformen zu erzielen. Der Fachmann sollte auch erkennen, dass solche äquivalenten Konstruktionen nicht vom Kern und Umfang der vorliegenden Offenbarung abweichen und dass er verschiedene Änderungen, Ersetzungen und Modifikationen vornehmen kann, ohne vom Kern und Umfang der vorliegenden Offenbarung abzuweichen.

Claims

System zur Erkennung von riskantem Verhalten in einem Fahrzeug zur automatischen Erkennung von riskantem Verhalten von Insassen, wobei das System zur Erkennung von riskantem Verhalten eine Steuerung umfasst, wobei die Steuerung so konfiguriert ist, dass sie: erkennt, ob ein Fahrzeuginsasse vorhanden ist, der eine Gefahr darstellen könnte; bestimmt, ob ein erkannter Fahrzeuginsasse ein potenziell riskantes Verhalten in einem Bereich von Interesse (AoI) zeigt; bestimmt, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; ein Risikolevel klassifiziert, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; und Risikominderungsmaßnahmen basierend auf der Risikoklassifizierung durchführt.
System zur Erkennung von riskantem Verhalten nach Anspruch 1, wobei zur Erkennung, ob ein Fahrzeuginsasse vorhanden ist, der ein Risiko darstellen kann, die Steuerung so konfiguriert ist, dass sie bestimmt, ob sich ein Fahrzeuginsasse in der Nähe eines Fahrzeugfensters befindet, und bestimmt, ob das Fahrzeugfenster in der Nähe des Fahrzeuginsassen geöffnet oder geschlossen ist.
System zur Erkennung von riskantem Verhalten nach Anspruch 1, wobei zur Bestimmung, ob ein erkannter Fahrzeuginsasse in einem Bereich von Interesse (AoI) ein potenziell riskantes Verhalten zeigt, die Steuerung so konfiguriert ist, dass sie: eine Insassenklasse für den erkannten Fahrzeuginsassen aus einem empfangenen Bild einer Innenansicht des Fahrzeugs in der Nähe eines Fensters bestimmt; ein Körperskelett mit einer oder mehreren Extremitäten erzeugt, wenn der erkannte Fahrzeuginsasse ein Mensch oder ein Haustier ist; die eine oder die mehreren Extremitäten vom Körperskelett verfolgt; und erkennt, ob sich die eine oder die mehreren Extremitäten innerhalb des Bereichs von Interesse (AoI) befinden.
System zur Erkennung von riskantem Verhalten nach Anspruch 3, wobei der Bereich von Interesse (AoI) ein inneres Fensterbegrenzungspolygon umfasst, das von internen Fahrzeugsensoren bestimmt wird, oder ein äußeres Begrenzungsfeld, das von externen Fahrzeugsensoren bestimmt wird.
System zur Erkennung von riskantem Verhalten nach Anspruch 1, wobei zur Bestimmung, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt, die Steuerung so konfiguriert ist, dass sie: eine maximale Verweildauer bestimmt, während der eine Extremität als sich außerhalb eines Fahrzeugfensters erstreckend erkannt wird; die maximale Verweildauer mit einer kalibrierbaren Bedrohungsschwelle vergleicht; und ein Risikolevel basierend auf einem Vergleich der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle bestimmt.
System zur Erkennung von riskantem Verhalten nach Anspruch 1, wobei zur Klassifizierung eines Risikolevels, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt, die Steuerung so konfiguriert ist, dass sie das Risikolevel basierend auf einem Extremitätentyp bestimmt.
System zur Erkennung von riskantem Verhalten nach Anspruch 1, wobei zur Durchführung von Risikominderungsmaßnahmen basierend auf der Risikoklassifizierung die Steuerung so konfiguriert ist, dass sie: einem Fahrzeugführer eine Warnung und eine Empfehlung zum Anhalten bereitstellt, wenn ein hohes Risiko erkannt wird; dem Fahrer eine Warnung bereitstellt, wenn ein geringes Risiko erkannt wird und es sich bei dem Insassen um ein Kind oder ein angeschnalltes Haustier handelt; dem Insassen eine Warnung bereitstellt, um riskantes Verhalten zu vermeiden, wenn ein geringes Risiko erkannt wird und der Insasse ein Erwachsener ist; und eine Fenster-Aufwärtsbewegung deaktiviert, wenn ein riskantes Verhalten bestimmt wird.
Verfahren in einem Fahrzeug, umfassend: Bereitstellen eines oder mehrerer Innenbildsensoren; Bereitstellen eines oder mehrerer Außenbildsensoren; Erkennen, ob ein Fahrzeuginsasse vorhanden ist, der eine Gefahr darstellen könnte; Bestimmen, ob ein erkannter Fahrzeuginsasse in einem Bereich von Interesse (AoI) ein potenziell riskantes Verhalten zeigt, basierend auf Bilddaten von dem einen oder den mehreren Innenbildsensoren oder dem einen oder den mehreren Außenbildsensoren; Bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; Klassifizieren eines Risikolevels, wenn das potenziell riskante Verhalten ein tatsächliches Risiko darstellt; und Durchführen von Risikominderungsmaßnahmen basierend auf der Risikoklassifizierung.
Verfahren nach Anspruch 8, wobei das Bestimmen, ob ein erkannter Fahrzeuginsasse in einem Bereich von Interesse (AoI) ein potenziell riskantes Verhalten zeigt, umfasst: Bestimmen einer Insassenklasse für den erkannten Fahrzeuginsassen aus einem empfangenen Bild einer Innenansicht des Fahrzeugs in der Nähe eines Fensters; Erzeugen eines Körperskeletts mit einer oder mehreren Extremitäten, wenn der erkannte Fahrzeuginsasse ein Mensch oder ein Haustier ist; Verfolgen der einen oder der mehreren Extremitäten vom Körperskelett; und Erkennen, ob sich die eine oder die mehreren Extremitäten innerhalb des Bereichs von Interesse (AoI) befinden.
Verfahren nach Anspruch 8, wobei das Bestimmen, ob das potenziell riskante Verhalten ein tatsächliches Risiko darstellt, umfasst: Bestimmen einer maximalen Verweildauer, während der eine Extremität als sich außerhalb eines Fahrzeugfensters erstreckend erkannt wird; Vergleichen der maximalen Verweildauer mit einer kalibrierbaren Bedrohungsschwelle; und Bestimmen eines Risikolevels basierend auf einem Vergleich der maximalen Verweildauer mit der kalibrierbaren Bedrohungsschwelle.