DE102021112630A1

DE102021112630A1 - Vision-basierte Airbag-Freigabe

Info

Publication number: DE102021112630A1
Application number: DE102021112630.4A
Authority: DE
Inventors: Itai Druker; Gila Kamhi; Michael Baltaxe; Kobi Nistel; Ruben Mergui; Dorel M. Sala; Lisa A. Fallon
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-10-27
Filing date: 2021-05-15
Publication date: 2022-04-28
Anticipated expiration: 2041-05-16
Also published as: CN114475511B; DE102021112630B4; US11807181B2; CN114475511A; US20220126772A1

Abstract

Die vision-basierte Airbag-Freigabe kann das Aufnehmen zweidimensionaler Bilder eines Beifahrers, das Segmentieren des Bildes, das Klassifizieren des Bildes und das Bestimmen der Sitzhöhe des Beifahrers anhand des Bildes umfassen. Die Aktivierung oder Deaktivierung Auslösung des Airbags kann zumindest teilweise auf Basis der bestimmten Sitzhöhe gesteuert werden.

Description

Einleitung
Diese Offenbarung bezieht sich auf zusätzliche Passagier- bzw. Beifahrerrückhaltesysteme für Kraftfahrzeuge. Insbesondere bezieht sie sich auf die Detektion von Beifahrern und die Bestimmung von Beifahrerattributen zur Verwendung bei der Steuerung solcher Systeme.
Aufblasbare Rückhaltesysteme (z. B. Airbags) finden sich in Personenkraftwagen. Die Unterdrückung der Entfaltung bzw. Auslösung von Airbags kann für bestimmte Beifahrer wünschenswert sein. Zum Beispiel kann die Auslösung von Airbags für kleine Kinder als Beifahrer nicht erwünscht sein. Die Airbag-Unterdrückung ist auch wünschenswert, wenn ein Beifahrersitz mit einem nach hinten gewandten Kinderrückhaltesystem (CRS) belegt ist. Bestimmte manuelle Verriegelungen und Technologien zur Gewichtserfassung können verwendet werden, um das Risiko einer Auslösung des Airbags zu reduzieren, wenn der Sitzbereich auf diese Weise belegt ist.
Zusammenfassung
In einer beispielhaften Ausführungsform kann eine Vorrichtung eine Kamera, die ein zweidimensionales Bild eines Sitzbereichs eines Fahrzeugs liefert, und einen Controller mit einem Höhen-Attributmodell zum Bestimmen einer Sitzhöhe eines sitzenden Beifahrers im Sitzbereich des Fahrzeugs, der im zweidimensionalen Bild erscheint, enthalten. Das Höhen-Attributmodell kann auf dreidimensionalen Skeletten trainiert werden, die einer Trainingsdatenbank von segmentierten zweidimensionalen Trainingsbildern entsprechen. Die Vorrichtung kann ferner einen Controller enthalten, der die Entfaltung eines Airbags auf Basis der bestimmten Sitzhöhe des sitzenden Beifahrers ermöglicht.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale können die segmentierten zweidimensionalen Trainingsbilder einer zweidimensionalen Skelett-Extraktion unterzogen werden, um zweidimensionale Skelette zu erzeugen, die auf dreidimensionale Trainingsbilder projiziert werden, die den segmentierten zweidimensionalen Trainingsbildern entsprechen, um die dreidimensionalen Skelette zu erzeugen.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann die Vorrichtung ferner einen Sitzgewichtssensor enthalten, der ein erfasstes Gewicht des sitzenden Beifahrers liefert, wobei das Höhen-Attributmodul weiterhin die Fusion bzw. Einbeziehung des erfassten Gewichts des sitzenden Beifahrers einschließen kann.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann der Controller ferner ein Haltungsmodell zum Bestimmen einer Haltung des sitzenden Beifahrers im Sitzbereich des Fahrzeugs enthalten, der im zweidimensionalen Bild erscheint, wobei das Haltungsmodell an den segmentierten zweidimensionalen Trainingsbildern von der Trainingsdatenbank trainiert werden kann.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann die Steuerung ferner ein Segmentierungsmodell enthalten, das eine Hintergrundsegmentierung der zweidimensionalen Bilder durchführt, um segmentierte zweidimensionale Bilder dem Höhen-Attributmodell bereitzustellen, wobei das Segmentierungsmodell an den segmentierten zweidimensionalen Trainingsbildern von der Trainingsdatenbank trainiert werden kann und wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren von gleichzeitig aufgenommenen zweidimensionalen und dreidimensionalen Trainingsbildern erzeugt werden können.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann der Controller ferner ein Segmentierungsmodell enthalten, das eine Hintergrundsegmentierung der zweidimensionalen Bilder durchführt, um segmentierte zweidimensionale Bilder dem Höhen-Attributmodell und dem Haltungsmodell bereitzustellen, wobei das Segmentierungsmodell an den segmentierten zweidimensionalen Trainingsbildern von der Trainingsdatenbank trainiert werden kann und wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren von gleichzeitig aufgenommenen zweidimensionalen und dreidimensionalen Trainingsbildern erzeugt werden können.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann der Controller, der die Entfaltung eines Airbags auf Basis der bestimmten Sitzhöhe des sitzenden Beifahrers ermöglicht bzw. freigibt, die Entfaltung des Airbags ferner auf Basis des Gewichts des sitzenden Beifahrers freigeben.
In einer anderen beispielhaften Ausführungsform kann eine Vorrichtung eine Kamera, die ein zweidimensionales Bild eines Sitzbereichs eines Fahrzeugs bereitstellt, einen Sitzgewichtssensor, der ein erfasstes Gewicht auf einem Sitz im Sitzbereich bereitstellt, und einen Controller umfassen. Der Controller kann ein Segmentierungsmodell enthalten, das eine Hintergrundsegmentierung des zweidimensionalen Bildes durchführt, um ein segmentiertes zweidimensionales Bild eines sitzenden Beifahrers im Sitzbereich des Fahrzeugs bereitzustellen, der im zweidimensionalen Bild erscheint, ein Haltungsmodell, das eine Haltung des sitzenden Beifahrers im Sitzbereich des Fahrzeugs basierend auf dem segmentierten zweidimensionalen Bild bestimmt, ein Höhen- und Gewichts-Attributmodell, das eine Sitzhöhe und ein Gewicht des sitzenden Beifahrers im Sitzbereich des Fahrzeugs basierend auf dem segmentierten zweidimensionalen Bild und dem erfassten Gewicht des sitzenden Beifahrers bestimmt, und einen Controller enthalten, der die Entfaltung eines Airbags basierend auf der bestimmten Sitzhöhe und dem Gewicht des sitzenden Beifahrers freigibt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann jedes des Segmentierungsmodells, des Haltungsmodells und des Höhen- und Gewichts-Attributmodells ein offline trainiertes Modell für maschinelles Lernen enthalten.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale können die Modelle für maschinelles Lernen neuronale Netze enthalten.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Segmentierungsmodell ein an einer Trainingsdatenbank segmentierter zweidimensionale Trainingsbilder trainiertes neuronales Netzwerk enthalten, wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren von gleichzeitig aufgenommenen zweidimensionalen und dreidimensionalen Trainingsbildern erzeugt werden.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Haltungsmodell ein an einer Trainingsdatenbank segmentierter zweidimensionaler Trainingsbilder trainiertes neuronales Netzwerk enthalten, wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren von gleichzeitig aufgenommenen zweidimensionalen und dreidimensionalen Trainingsbildern erzeugt werden.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Höhen- und Gewichts-Attributmodell ein neuronales Netzwerk enthalten, das an dreidimensionalen Skeletten trainiert wird, die einer Trainingsdatenbank segmentierter zweidimensionaler Trainingsbilder entsprechen, wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren von gleichzeitig aufgenommenen zweidimensionalen und dreidimensionalen Trainingsbildern erzeugt werden.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale können die segmentierten zweidimensionalen Trainingsbilder einer Extraktion zweidimensionaler Skelette unterzogen werden, um zweidimensionale Skelette zu erzeugen, die auf dreidimensionale Trainingsbilder projiziert werden, die den segmentierten zweidimensionalen Trainingsbildern entsprechen, um die dreidimensionalen Skelette zu erzeugen.
In einer weiteren beispielhaften Ausführungsform kann ein Verfahren umfassen: Aufnehmen eines zweidimensionalen Bildes eines Sitzbereichs eines Fahrzeugs; Segmentieren, mit einem Segmentierungsmodell, des zweidimensionalen Bildes, um ein segmentiertes zweidimensionales Bild bereitzustellen; Klassifizieren, mit einem Haltungsmodell, des segmentierten zweidimensionalen Bildes als eines von einem Beifahrer mit einer akzeptablen Haltung und einem Beifahrer mit einer nicht akzeptablen Haltung; Bestimmen, mit einem Höhen-Attributmodell, einer Sitzhöhe des Beifahrers mit einer akzeptablen Haltung auf Basis des segmentierten zweidimensionalen Bildes; und Freigeben der Entfaltung bzw. Auslösung eines Airbags basierend zumindest teilweise auf der bestimmten Sitzhöhe des Beifahrers mit einer akzeptablen Haltung, die vorbestimmte Höhenanforderungen erfüllt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Verfahren ferner eine Sperre bzw. Deaktivierung der Auslösung des Airbags basierend zumindest teilweise auf der bestimmten Sitzhöhe des Beifahrers mit einer akzeptablen Haltung, die vorgegebenen Höhenanforderungen nicht erfüllt, umfassen.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Verfahren ferner eine Deaktivierung der Airbag-Auslösung auf Basis des segmentierten zweidimensionalen Bildes, das als ein Beifahrer mit einer nicht akzeptablen Haltung klassifiziert wird, umfassen.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Verfahren ferner das Erfassen des Gewichts auf einem Sitz im Sitzbereich umfassen, wobei die Aktivierung bzw. Freigabe einer Auslösung des Airbags ferner zumindest teilweise auf dem erfassten Gewicht auf dem Sitz basiert.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann das Verfahren ferner das Erfassen des Gewichts auf einem Sitz im Sitzbereich umfassen, wobei die Deaktivierung der Auslösung des Airbags ferner zumindest teilweise auf dem erfassten Gewicht auf dem Sitz basiert.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale kann jedes des Segmentierungsmodells, des Haltungsmodells und des Höhen-Attributmodells ein offline trainiertes neuronales Netz enthalten.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung ohne Weiteres ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen vorgenommen wird.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung aufgeführt, wobei sich die detaillierte Beschreibung auf die Zeichnungen bezieht, in denen:

1 ein beispielhaftes Fahrzeug gemäß der vorliegenden Offenbarung zeigt;
2 eine Offline-Trainingsumgebung gemäß der vorliegenden Offenbarung veranschaulicht; und
3 ein beispielhaftes Verfahren gemäß der vorliegenden Offenbarung veranschaulicht.

Detaillierte Beschreibung
Die folgende Beschreibung ist ihrer Art nach lediglich beispielhaft und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendung nicht einschränken. In den Zeichnungen bezeichnen entsprechende Bezugsziffern gleiche oder entsprechende Teile und Merkmale.
Wendet man sich nun 1 zu, kann ein beispielhaftes Fahrzeug 10 ein System 12 zur Freigabe der Auslösung eines aufblasbaren Beifahrerrückhaltesystems enthalten, um das unten beschriebene Verfahren zur Freigabe der Auslösung auszuführen. Gemäß diesem Beispiel umfasst das System 12 eine Fahrzeug-Hardware 14, die eine Fahrzeugkamera 21, ein Fahrzeug-Datenverarbeitungsmodul 40, ein Fahrzeug-Kommunikationsmodul 50, ein Modul 60 für autonomes Fahren des Fahrzeugs, ein Erfassungs- und Diagnosemodul (SDM) 65 für aufblasbare Rückhalteeinrichtungen (Airbags), andere elektronische Module 70 des Fahrzeugs sowie eine beliebige andere geeignete Kombination von Systemen, Modulen, Vorrichtungen, Komponenten, Hardware, Software etc. aufweist, die benötigt werden, um das hierin beschriebene Verfahren, die hierin beschriebenen Schritte und/oder die hierin beschriebene Funktionalität auszuführen. Die verschiedenen Komponenten der Fahrzeug-Hardware 14 können über ein Fahrzeug-Kommunikationsnetzwerk 80 (z. B. einen drahtgebundenen Fahrzeug-Kommunikationsbus, ein drahtloses Fahrzeug-Kommunikationsnetzwerk oder ein anderes geeignetes Kommunikationsnetzwerk) verbunden sein. Das Fahrzeug 10 kann ein herkömmliches nicht-autonomes Fahrzeug oder ein autonomes oder teilautonomes Fahrzeug sein. Der Ausdruck „autonome oder teilautonome Fahrzeuge“ sowie jegliche davon abgeleiteten Begriffe meint im weitesten Sinne jedes Fahrzeug, das imstande ist, eine fahrbezogene Aktion oder Funktion ohne Fahreraufforderung automatisch auszuführen, und schließt Aktionen ein, die in die Stufen bzw. Level 1-5 des Klassifizierungssystems der Society of Automotive Engineers (SAE) International fallen.
Der Fachmann versteht, dass das schematische Blockdiagramm der Fahrzeug-Hardware 14 lediglich dazu dient, einige der relevanteren Hardware-Komponenten zu veranschaulichen, die mit dem vorliegenden Verfahren verwendet werden, und keine exakte oder vollständige Darstellung der Fahrzeug-Hardware sein soll, die man typischerweise in einem solchen Fahrzeug findet. Darüber hinaus kann die Struktur oder Architektur der Fahrzeug-Hardware 14 wesentlich von jener abweichen, die in 1 dargestellt ist, (z. B. könnten die Module 40-70 integriert oder anderweitig miteinander oder mit einer anderen Einrichtung kombiniert sein, im Gegensatz dazu, dass sie alle separate, eigenständige Komponenten sind). Aufgrund der zahllosen möglichen Anordnungen und der Kürze und Übersichtlichkeit halber wird die Fahrzeug-Hardware 14 in Verbindung mit der in 1 dargestellten Ausführungsform beschrieben; es sollte sich aber verstehen, dass das vorliegende System und Verfahren nicht auf diese beschränkt ist.
Die Fahrzeugkamera 21 ist im Inneren der Fahrzeugkabine montiert und versorgt das vorliegende System und Verfahren mit Kamerabilddaten. Obwohl die folgenden Beispiele die Fahrzeugkamera 21 im Kontext von Videokameras beschreiben, die entsprechende Bilder oder Standbilder erzeugen, kann die Kamera 21 jede beliebige geeignete Kamera oder jedes beliebige Vision-System umfassen, das in der Industrie bekannt ist oder verwendet wird, solange es imstande ist, Bilder, Darstellungen und/oder andere Informationen über die Umgebung innerhalb der Fahrzeugkabine zu erfassen. Je nach der jeweiligen Anwendung kann die Kamera 21 eine Standbildkamera, eine Videokamera, eine S/W- und/oder eine Farbkamera, eine analoge und/oder digitale Kamera, eine Kamera mit weitem und/oder engem Sichtfeld (FOV) sein und kann Teil eines Mono- und/oder Stereosystems sein, um nur einige Möglichkeiten zu nennen. Gemäß einem nicht einschränkenden Beispiel umfasst die Fahrzeug-Hardware 14 eine Kamera 21, die eine dem Beifahrer zugewandte CMOS-Videokamera ist und Kamerabilddaten über das Fahrzeug-Kommunikationsnetzwerk 80 dem Rest des Systems 12 einschließlich des Fahrzeug-Datenverarbeitungsmoduls 40 bereitstellt. Die Kamera 21 kann eine Weitwinkelkamera sein (z. B. mit einem FOV von ca. 170° oder mehr), so dass eine Vollansicht oder nahezu eine Vollansicht des relevanten Sitzbereichs erhalten werden kann. Die von der Kamera 21 ausgegebenen Kamerabilddaten können unbearbeitete Video- oder Standbilddaten enthalten (d. h. ohne oder mit nur geringer Vorverarbeitung) enthalten, oder sie können vorverarbeitete Video- oder Standbilddaten in Fällen enthalten, in denen die Kamera eigene Bildverarbeitungsressourcen aufweist und eine Vorverarbeitung an den aufgenommenen Bildern durchführt, bevor sie als Kamerabilddaten ausgegeben werden.
Die Fahrzeugkamera 21 kann in der Fahrzeugkabine entsprechend einer beliebigen Anzahl verschiedener Konfigurationen angeordnet oder eingerichtet werden. Beispielsweise kann die Kamera 21 im Fahrzeugdach oder Dachhimmel an einer zwischen den Sitzen auf der Fahrer- und Beifahrerseite gelegenen zentralen Position angebracht sein. In dieser Konfiguration könnte die Kamera 21 in eine Rückspiegelbaugruppe, in eine Infotainment-Einheit oder dergleichen installiert oder an anderen zentral gelegenen Positionen montiert werden. Auf der anderen Seite kann das vorliegende System eine in der Fahrzeugkabine an seitlichen Positionen näher zur A- oder B-Säule des Fahrzeugs angebrachte Kamera 21 aufweisen. Andere Konfigurationen, einschließlich solcher mit zusätzlichen Kameras und anderen Montagestellen, können verwendet werden.
Ein Sitzgewichtssensor 31 kann im vorderen Beifahrersitzbereich, insbesondere in den unteren horizontalen Bereichen davon, montiert sein. Wenn der Beifahrersitz von einem Beifahrer belegt wird, zeigt der Sitzgewichtssensor an, ob der Beifahrer ein kalibriertes Gewicht übersteigt, wie es in der Technik allgemein bekannt und üblich ist. Das genaue Format oder die Struktur des Sitzgewichtssensors 31 kann variieren und ist nicht auf irgendeine besondere Ausführungsform beschränkt.
Das Fahrzeug-Datenverarbeitungsmodul 40, das Fahrzeug-Kommunikationsmodul 50, das Modul 60 für autonomes Fahren, das SDM 65 sowie die anderen Elektronikmodule 70 des Fahrzeugs können beliebige geeignete Komponenten enthalten und gemäß beliebigen geeigneten Konfigurationen angeordnet sein, die in der Industrie bekannt oder verwendet werden. Da die speziellen Architekturen der Module 40-70 nicht entscheidend sind und diese Module entsprechend so vielen verschiedenen Ausführungsformen bereitgestellt werden können, kann die folgende Beschreibung der Komponenten des Moduls 40, sofern nicht anders angegeben, für jedes der Module 40-70 gelten. Zum Beispiel kann jedes der Module 40-70 eine oder mehrere Verarbeitungsvorrichtungen 42, Speichervorrichtungen 44, E/A-Vorrichtungen sowie irgendeine andere Hardware und/oder Software enthalten, die man typischerweise an solchen Modulen findet. Die Verarbeitungsvorrichtung 42 kann jede beliebige Art von Vorrichtung sein, die imstande ist, elektronische Anweisungen zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontroller, Host-Prozessoren, Controller, Fahrzeug-Kommunikationsprozessoren, eine allgemeine Verarbeitungseinheit (General Processing Unit; GPU), Gaspedale, feldprogrammierbare Gate-Arrays (Field Programmable Gated Arrays; FPGA) und anwendungsspezifische integrierte Schaltungen (ASICs), um nur einige Möglichkeiten zu nennen. Sie kann ein dedizierter Prozessor sein, der nur für das Modul 40 verwendet wird, oder kann gemeinsam mit anderen Fahrzeugsystemen, Modulen, Vorrichtungen, Komponenten etc. genutzt werden. Die Verarbeitungsvorrichtung 42 kann verschiedene Arten von elektronischen Anweisungen ausführen, wie etwa in der Speichervorrichtung 44 gespeicherte Software- und/oder Firmware-Programme, die ermöglichen, dass das Modul 40 verschiedene Funktionen ausführt. Die Speichervorrichtung 44 kann ein nicht-transitorisches computerlesbares Medium sein; diese umfassen verschiedene Arten eines Direktzugriffsspeichers (RAM), einschließlich verschiedener Arten eines dynamischen RAM (DRAM) und statischen RAM (SRAM)), eines Nurlesespeichers (ROM), Festkörper- bzw. Solid-State-Laufwerke (SSDs) (einschließlich anderer Solid-State-Speicher wie Solid-State-Hybrid-Laufwerke (SSHDs)), Festplattenlaufwerke (HDDs), magnetische oder optische Plattenlaufwerke oder andere geeignete Computermedien, die Informationen elektronisch speichern. In einem Beispiel führt die Verarbeitungsvorrichtung 42 Programme aus oder verarbeitet Daten und speichert die Speichervorrichtung 44 Programme oder andere Daten, um bei der Ausführung oder Unterstützung zumindest eines Teils des vorliegenden Verfahrens zu helfen.
Das Fahrzeug-Datenverarbeitungsmodul 40 empfängt Kamerabilddaten von der Kamera 21 und Gewichtsdaten vom Sitzgewichtssensor 31 und kann dafür konfiguriert sein, diese Eingaben auszuwerten, zu analysieren und/oder anderweitig zu verarbeiten, bevor Informationen zur Bestimmung einer Airbag-Auslösung bereitgestellt werden, wie unten erläutert. Das Fahrzeug-Datenverarbeitungsmodul 40 kann (z. B. über das Fahrzeug-Kommunikationsnetzwerk 80) mit der Fahrzeugkamera 21 und dem Sitzgewichtssensor 31 sowie mit einer beliebigen Kombination der anderen Module 50-70 indirekt oder direkt verbunden sein. Es ist möglich, dass das Fahrzeug-Datenverarbeitungsmodul 40 in die Fahrzeugkamera 21 und/oder den Sitzgewichtssensor 31 integriert oder mit ihnen kombiniert wird, so dass sie Teil eines einzigen verpackten bzw. gehäusten Moduls oder einer Einheit sind, oder es ist möglich, dass das Modul 40 mit einer beliebigen Anzahl anderer Systeme, Module, Vorrichtungen und/oder Komponenten im Fahrzeug kombiniert wird.
Das Fahrzeug-Kommunikationsmodul 50 stellt dem Fahrzeug Fähigkeiten zur drahtlosen Kommunikation im Nah- und/oder Fernbereich bereit, sodass das Fahrzeug mit verschiedenen Vorrichtungen und Systemen kommunizieren und Daten austauschen kann, einschließlich beispielsweise anderen Fahrzeugen oder einer Back-End- oder Cloud-basierten Einrichtung, die bei autonomen oder teilautonomen Fahrzeugen verwendet wird. Das Fahrzeug-Kommunikationsmodul 50 kann beispielsweise eine drahtlose Schaltung für den Nahbereich enthalten, die drahtlose Kommunikation im Nahbereich ermöglicht (z. B. Bluetooth ^TM , andere IEEE 802.15-Kommunikationen, Wi-Fi^TM, andere IEEE 802.11-Kommunikationen, Fahrzeug-zu-Fahrzeug-Kommunikationen etc.). Das Modul 50 kann auch einen Mobilfunk-Chipsatz und/oder eine Fahrzeug-Telematikeinheit enthalten, die eine drahtlose Kommunikation im Fernbereich mit einer Back-End-Einrichtung oder einer anderen entfernt gelegenen Einheit ermöglicht (z. B. Mobilfunk, Telematik-Kommunikation etc.). Gemäß einem nicht einschränkenden Beispiel umfasst das Fahrzeug-Kommunikationsmodul 50 Verarbeitungs- und Speichervorrichtungen 52, 54, ähnlich jenen, die oben erwähnt wurden, eine drahtlose Schaltung 56 für den Nahbereich, eine drahtlose Schaltung 58 für den Fernbereich in Form eines Mobilfunk-Chipsatzes und eine oder mehrere Antennen. Das Fahrzeug-Kommunikationsmodul 50 kann sein (z. B. über das Fahrzeug-Kommunikationsnetzwerk 80) mit der Fahrzeugkamera 21 und dem Sitzgewichtssensor 31 sowie mit einer beliebigen Kombination der anderen Module 40, 60, 65, 70 indirekt oder direkt verbunden. Es ist möglich, dass das Modul 50 mit einer beliebigen Anzahl anderer Systeme, Module, Vorrichtungen und/oder Komponenten im Fahrzeug kombiniert wird.
Das Modul 60 für autonomes Fahren des Fahrzeugs kann das Fahrzeug mit Fähigkeiten zum autonomen und/oder teilautonomen Fahren versehen und kann je nach besonderer Ausführungsform ein einzelnes Modul oder eine Einheit oder eine Kombination von Modulen oder Einheiten sein. Die besondere Anordnung, Konfiguration und/oder Architektur des Moduls 60 für autonomes Fahren des Fahrzeugs ist nicht zwingend, solange das Modul dabei hilft, dem Fahrzeug zu ermöglichen, autonome und/oder teilautonome Fahrfunktionen auszuführen. Das Modul 60 für autonomes Fahren des Fahrzeugs kann (z. B. über das Fahrzeug-Kommunikationsnetzwerk 80) indirekt oder direkt mit der Fahrzeugkamera 21 und dem Sitzgewichtssensor 31 sowie mit einer beliebigen Kombination der anderen Module 40, 50, 70 verbunden sein. Es ist möglich, dass das Modul 60 mit einer beliebigen Anzahl von anderen Systemen, Modulen, Vorrichtungen und/oder Komponenten im Fahrzeug kombiniert wird oder alternativ dazu das Modul 60 gänzlich weggelassen wird.
SDM 65 kann Funktionen im Zusammenhang mit aufblasbaren Rückhaltesystemen im Fahrzeug ausführen. SDM 65 kann Signale von Trägheitssensoren, die die Aufprallschwere und in einigen Systemen die Richtung messen, empfangen und verarbeiten. SDM 65 kann bestimmte Fahrzeuginformationen für eine Zeitspanne vor einem Unfallereignis speichern. SDM 65 kann Auslösesignale den verschiedenen Airbags des Fahrzeugs bereitstellen, die das Aufblasen der Airbags veranlassen. Airbag-Auslösesignale können durch das SDM 65 gemäß Steuerungsalgorithmen für verschiedene der Airbags im Fahrzeug unterdrückt werden. Herkömmlicherweise kann der Sitzgewichtssensor 31 in einem vorderen Beifahrersitz dem SDM ein Signal entweder direkt oder zum Beispiel über ein Karrosserie-Steuerungsmodul oder einen anderen Controller bereitstellen, der für die Entscheidungen über die Auslösung des/der Beifahrer-Airbags durch das SDM benötigt wird. Beispielsweise kann die Auslösung unterdrückt werden, es sei denn, der Beifahrer gibt ein vorgegebenes Gewicht am Sitzgewichtssensor 31.
Die Elektronikmodule 70 des Fahrzeugs können beliebige andere geeignete Module einschließen, die benötigt werden, um die Umsetzung des vorliegenden Verfahrens zu unterstützen. Beispielsweise kann das Modul 70 beispielsweise eine beliebige Kombination aus einem Infotainment-Modul, einem Antriebsstrang-Steuerungsmodul (PCM), einem Motor-Steuerungsmodul (ECM), einem Getriebe-Steuerungsmodul (TCM), einem Karosserie-Steuerungsmodul (BCM), einem Traktionskontroll- oder Stabilitätskontrollmodul, einem Tempomat-Modul, einem Lenkungs-Steuerungsmodul, einem Bremsen-Steuerungsmodul etc. enthalten. Wie bei den vorherigen Modulen kann das Elektronikmodul 70 des Fahrzeugs (z. B. über das Fahrzeug-Kommunikationsnetzwerk 80) indirekt oder direkt mit der Fahrzeugkamera 21 und dem Sitzgewichtssensor 31 sowie jeder beliebigen Kombination der anderen Module 40, 50, 60, 65 verbunden sein. Es ist möglich, dass das Modul 70 mit einer beliebigen Anzahl von anderen Systemen, Modulen, Vorrichtungen und/oder Komponenten im Fahrzeug kombiniert wird.
Gemäß der vorliegenden Offenbarung kann die Bestimmung der Eignung, die Entfaltung bzw. Auslösung einer aufblasbaren Beifahrerrückhalteeinrichtung freizugeben, eine Online-Bildverarbeitung durch Klassifikatoren einschließen, die in einer Offline-Umgebung trainiert werden. In einer Ausführungsform und mit Verweis auf 2 kann die Offline-Trainingsumgebung 200 eine zweidimensionale (2D) Kamera 202 und eine dreidimensionale (3D) Kamera 204 umfassen. Die 2D-Kamera 202 kann jede beliebige geeignete Variante zum Bereitstellen von Bilddaten wie etwa beispielsweise eine herkömmliche RGB-CMOS- oder CCD-Kamera sein. Der Fachmann versteht, dass die Bildauflösung auf der Ebene eines zugeschnittenen Bildes am unteren Ende für die Bildtreue und am oberen Ende in Bezug auf den Datendurchsatz beim Offline-Training und der Online-Anwendungsverarbeitung entscheidend ist. In einer Ausführungsform liefert eine Endauflösung des zugeschnittenen Bildes von etwa 300 x 300 Pixeln eine zufriedenstellende Ausgewogenheit. Andere Auflösungen liegen innerhalb des Umfangs der Offenlegung, und das vorliegende Beispiel dient nur zur Veranschaulichung und stellt keine Einschränkung oder Notwendigkeit dar. Die 3D-Kamera 204 kann jede beliebige geeignete Variante Sorte sein, um beispielsweise ein Bild mit Tiefenabbildung durch Triangulation oder Time-of-Flight bzw. ein Laufzeitverfahren unter Verwendung bekannter CCD- oder CMOS-Technologien bereitzustellen. Die 3D-Kamera 204 kann eine einzelne oder stereoskopische Bildgebungsvorrichtung und die zugehörige Verarbeitung zur Bereitstellung eines Bildes mit Tiefenabbildung sein. Ein Verwendungszweck der 2D-Kamera 202 und der 3D-Kamera 204 besteht darin, eine Bildkorrespondenz des 3D-Bildes zur 2D-Bildebene zu liefern. Da hier auf 2D- und 3D-Bilder Bezug genommen wird, wird deshalb unterstellt, dass das 3D-Bild auf das 2D-Bild in 2D-Raumkonformität abgebildet wird. Somit wird davon ausgegangen, dass idealerweise die Blickwinkel der 2D-Kamera 202 und der 3D-Kamera 204 identisch sind. IN dem Maße, in dem die Funktionen der 2D-Kamera 202 und der 3D-Kamera 204 in eine einzige Vorrichtung integriert werden können, kann eine solche Konfiguration bevorzugt werden. Ansonsten sind die 2D-Kamera 202 und die 3D-Kamera 204 so nah wie möglich beieinander platziert.
Im Offline-Trainingsprozess sind die 2D-Kamera 202 und die 3D-Kamera 204 dafür konfiguriert, vorzugsweise zeitinvariante Bilder zu liefern. Das heißt, die Bilder werden zum gleichen Zeitpunkt oder so zeitnah aufgenommen, dass sie gleichzeitig aufgenommene Bilder approximieren. Auf solche gleichzeitig aufgenommenen 2D- und 3D-Bilder kann als Bildpaare verwiesen werden. Dies kann insbesondere dann bevorzugt werden, wenn sich das Bildobjekt während der Bildaufnahme-Session bewegen kann. Außerdem sind in der vorliegenden Ausführungsform die 2D-Kamera 202 und die 3D-Kamera 204 in einem realen Fahrzeuginnenraum und vorzugsweise an einer Position im Raum angeordnet, die einer Anwendung der hierin beschriebenen Bilderfassung im Fahrzeug so weit wie möglich entspricht. Alternativ ist eine Mock-up- bzw. Modellumgebung wünschenswert, die in geometrischen Aspekten der Anwendung im Fahrzeug so nahe wie möglich kommt. Sofern hier nicht ausdrücklich anders angegeben, beziehen sich weitere Verweise hierin auf ein Offline-Fahrzeug oder Mock-up bzw. Modell. In der vorliegenden Ausführungsform wird eine Offline-Anordnung bevorzugt, die zum Beispiel der in 1 dargestellten beispielhaften bordeigenen Konfiguration des Systems 12 zur Freigabe einer Auslösung eines aufblasbaren Beifahrerrückhaltesystems, das eine Fahrzeugkamera 21 enthält, entspricht. In der vorliegenden Ausführungsform werden Bilder einer Person, die auf dem Beifahrersitz sitzt, aufgenommen. Es können viele verschiedene Bilder aufgenommen werden, die viele verschiedene Personen darstellen. Außerdem können viele verschiedene Bilder aufgenommen werden, die viele verschiedene Sitzpositionen, Körperhaltungen oder Haltungen bzw. Posen darstellen. Die Bildpaare werden in der Trainingsdatenbank 201 gespeichert, wobei die 2D- und 3D-Bilder referenziell zueinander indiziert sind, so dass die Korrespondenz gewährleistet ist. Als Teil des Bildaufnahmeprozesses können die Bilder von ihrer ursprünglichen Auflösung auf eine geringere Auflösung zugeschnitten werden, was somit Bilder liefert, die im Sichtfeld eingeschränkter sind, und insbesondere dem interessierenden Bereich, der der Sitzbereich des Fahrzeugs oder des Modells ist, entsprechen. Während des anfänglichen Aufbaus der Trainingsdatenbank 201 kann eine Beschriftung oder Kommentierung der Bilder vorgenommen werden. Beispielsweise können bestimmte Grundtatsachen wie etwa die Sitzhöhe und das Gewicht der Person manuell mit den Bildern verknüpft werden. Die Sitzhöhe ist die Höhe einer sitzenden Person von der horizontalen Sitzfläche bis zur Oberkante des Kopfes der Person.
In einer Ausführungsform stellt die Trainingsdatenbank 201 Bildpaare von 2D-Bildern 203 und 3D-Bildern 205 für eine Segmentierung 207 des Hintergrunds des 2D-Bildes 203 bereit, wobei die Person und der Hintergrund leicht von der Tiefenabbildung des 3D-Bildes 205 unterschieden und der Hintergrund unterdrückt werden. Nach der Segmentierung 207 werden die segmentierten 2D-Bilder 209 ausgegeben und der Trainingsdatenbank 211 bereitgestellt. Die Trainingsdatenbank 211 kann von der Trainingsdatenbank 201 unabhängig sein. Alternativ dazu kann die Trainingsdatenbank 211 Teil der Trainingsdatenbank 201 sein. Ungeachtet dessen können segmentierte 2D-Bilder 209 mit den jeweiligen Bildpaaren von 2D-Bildern 203 und 3D-Bildern 205, die bei der Segmentierung 207 genutzt werden, referenziell indexiert werden. Ein Segmentierungsmodell 213 kann dann basierend auf den segmentierten 2D-Bildern 209 von der Trainingsdatenbank 211 und den durch die 2D-Bilder 203 bereitgestellten Grundtatsachen trainiert werden. Das Segmentierungsmodell 213 kann jeder beliebige geeignete Algorithmus für maschinelles Lernen wie etwa ein tiefes neuronales Netzwerk sein. Das trainierte Segmentierungsmodell 213 kann in einem Online-Verfahren verwendet werden, um eine Hintergrundsegmentierung von 2D-Bildern wie hierin beschrieben durchzuführen.
In einer Ausführungsform liefert die Trainingsdatenbank 211 segmentierte 2D-Bilder 209 für die 3D-Netzrekonstruktion 221. Nach der 3D-Netzrekonstruktion werden die Netzposen bzw. -haltungen 219 ausgegeben und können einer Trainingsdatenbank wie der Trainingsdatenbank 211 oder 201 bereitgestellt werden. Netzhaltungen können z. B. Körperhaltungsattribute wie etwa normal, angelehnt (links oder rechts), krumm sitzend, gekreuzte Beine, Beine an der Brust, gekreuzte Beine, ausgestreckte Arme etc. einschließen. Netzhaltungen 219 können mit segmentierten 2D-Bildern 209, die bei der Netzrekonstruktion 221 genutzt werden, und/oder den zugehörigen jeweiligen Bildpaaren von 2D-Bildern 203 und 3D-Bildern 205 referenziell indexiert bzw. referenziert werden. Ein Haltungsmodell 229 kann dann basierend auf den segmentierten 2D-Bildern 209 und den Netzposen 219 trainiert werden, was Grundtatsachen zum Extrahieren von Haltungen einer Person aus den segmentierten 2D-Bildern 209 bereitstellt. Das Haltungsmodell 229 kann jeder beliebige geeignete Algorithmus für maschinelles Lernen wie etwa ein tiefes neuronales Netzwerk sein. Das trainierte Haltungsmodell 229 kann in einem Online-Verfahren verwendet werden, um Extraktion von Posen bzw. Haltungen aus 2D-Bildern wie hierin beschrieben durchzuführen.
In einer Ausführungsform liefert die Trainingsdatenbank 211 segmentierte 2D-Bilder 209 für die 2D-Skelett-Extraktion 215. Nach der 2D-Skelett-Extraktion werden 2D-Skelette 217 ausgegeben und können einer Trainingsdatenbank wie der Trainingsdatenbank 211 oder 201 bereitgestellt werden. Die 2D-Skelette 217 können mit den segmentierten 2D-Bildern 209, die bei der 2D-Skelett-Extraktion 215 verwendet werden, und/oder den zugehörigen jeweiligen Bildpaaren von 2D-Bildern 203 und 3D-Bildern 205 referenziert werden. Die 2D-Skelette 217 können dann auf 3D-Bilder 205 projiziert 223 werden, um 3D-Skelette 225 für die Extraktion 227 der Sitzhöhe zu erzeugen. Ein Höhen- und Gewichts-Attributmodell 231 für Personen kann dann auf Basis der segmentierten 2D-Bilder 209, der Extraktion 227 der Sitzhöhe und des Körpergewichts 235 trainiert werden, die zum Beispiel mit Bildanmerkungen versehene Daten sein können. Man erkennt, dass das Höhen- und Gewichts-Attributmodell 231 eine Fusion bzw. Einbeziehung von Bilddaten und Gewichtsdaten ermöglicht. Das Höhen- und Gewichts-Attributmodell 231 kann jeder beliebige geeignete Algorithmus für maschinelles Lernen wie etwa ein tiefes neuronales Netzwerk sein. Das Höhen- und Gewichts-Attributmodell 231 kann in einem Online-Verfahren verwendet werden, um einer Extraktion der Sitzhöhe und des Gewichts aus 2D-Bildern wie hierin beschrieben durchzuführen. Alternativ dazu kann ein eingeschränkteres Größen- Höhenmodell trainiert werden, das das Gewicht ignoriert und beispielsweise auf den segmentierten 2D-Bildern 209 und der Extraktion 227 der Sitzhöhe basiert.
3 veranschaulicht ein Online-Verfahren 300 zum Bestimmen der Angemessenheit einer Freigabe der Auslösung einer aufblasbaren Beifahrer-Rückhalteeinrichtung, das die Anwendung der Modelle einschließt, die in einer Offline-Umgebung trainiert wurden, wie hierin beschrieben wurde. In einer Ausführungsform kann die Online-Umgebung einschließlich der Hardware-Implementierung im Wesentlichen der beispielhaften Fahrzeug-Hardware 14 von 1 entsprechen. Das Verfahren 300 kann eine erste Stufe 303, das das Segmentierungsmodell 213 einschließt, eine zweite Stufe 305, die das Haltungsmodell 229 einschließt, und eine dritte Stufe 307, das das Höhen- und Gewichts-Attributmodell 231 einschließt, die alle wie oben beschrieben offline trainiert wurden, umfassen.
Das Verfahren 300 beginnt bei 301 mit dem Eintritt in die erste Stufe 303, in der bei Block 309 2D-Bilder des Beifahrersitzbereichs von der Fahrzeugkamera 21 aufgenommen werden. Die Bildaufnahme kann während des Fahrzeugbetriebs regelmäßig, auch in einer im Wesentlichen kontinuierlichen Art und Weise, durchgeführt werden, bei der die Fahrzeugkamera einen Video-Feed bzw. eine Video-Einspeisung mit einer vorbestimmten Bildrate liefert und 2D-Bilder einzelne Bilder aus einem Videostrom sein können. In Block 309 kann die Bildvorverarbeitung durchgeführt werden, die beispielsweise ein Zuschneiden von Bildern von der nativen Auflösung der Fahrzeugkamera 21 auf eine gewünschte Auflösung und einen gewünschten Bereich, z. B. 300 x 300 Pixel, einschließt. In Block 311 kann die Hintergrundsegmentierung erfolgen, einschließlich beispielsweise durch Verwendung des Segmentierungsmodells 213, wodurch überflüssige Bildhintergrundinformationen unterdrückt werden und ein segmentiertes 2D-Bild erzeugt wird.
Die zweite Stufe 305 des Verfahrens 300 empfängt die segmentierten 2D-Bilder von der ersten Stufe 303 in Block 313. Block 313 kann ein Haltungsmodell 229 enthalten, in dem das segmentierte 2D-Bild als eine einer Vielzahl von Haltungen klassifiziert werden kann, die die Körperhaltung des Insassen des Sitzbereichs repräsentieren. In einer Ausführungsform kann das Haltungsmodell 229 das 2D-Bild auch als nach hinten gewandtes Kinderrückhaltesystem (CRS), leeren Sitz, Fracht, undefiniert, etc. klassifizieren. Die Klassifizierung des Haltungsmodells 229 kann zu einem Entscheidungsblock 315 weitergeleitet werden, bei dem Bestimmungen bezüglich der Klassifizierung vorgenommen werden. Wenn das Haltungsmodell 229 beispielsweise eine Klassifizierung des segmentierten zweidimensionalen Bildes als einen Beifahrer mit einer akzeptablen Haltung oder Körperhaltung für eine Auslösung des aufblasbaren Rückhaltesystems oder akzeptabel für weitere Verarbeitungsanforderungen liefert, kann die Ausführung des Verfahrens 300 bei der dritten Stufe 307 fortgesetzt werden. Wenn jedoch das Haltungsmodell 229 eine andere Klassifizierung des segmentierten zweidimensionalen Bildes als ein von einem Beifahrer verschieden (z. B. nach hinten gewandtes CRS, Fracht) oder einen Beifahrer mit einer nicht akzeptablen Haltung oder Körperhaltung liefert, kann sich die Ausführung des Verfahrens 300 bei Block 317 fortsetzen, bei dem geeignete Reaktionen auf eine solche Klassifizierung aufgerufen werden können. Der Block 317 kann beispielsweise einfach die Auslösung einiger oder aller aufblasbaren Rückhaltesysteme, die mit dem Beifahrersitzbereich verbunden sind, sperren bzw. deaktivieren, indem entsprechende Informationen (z. B. Auslösungs-Flag(s)) an das SDM 65 geliefert werden, oder kann eine Benachrichtigung über einen Insassen in einer nicht akzeptablen Position und eine Deaktivierung der entsprechenden aufblasbaren Rückhaltesysteme bereitstellen, bis eine korrekte Sitzposition eingenommen wird. Andere Benachrichtigungen und Aktionen können für den Fachmann offensichtlich sein. Von Block 317 ab kann das Verfahren 300 wieder zurück bei Block 309 fortgesetzt werden, und der Prozess beginnt von Neuem.
Die dritte Stufe 307 des Verfahrens 300 kann das Höhen- und Gewichts-Attributmodell 231 verwenden, wobei das segmentierte 2D-Bild und der Gewichtssensor 31 Eingaben dazu bereitstellen können. Das Höhen- und Gewichts-Attributmodell 231 kann eine Sitzhöhe und ein Gewicht des Beifahrers an die Entscheidungsblöcke 319 und 321 weitergeben, bei denen in Bezug auf die Sitzhöhe und das Gewicht des Beifahrers Bestimmungen darüber vorgenommen werden, ob die Auslösung der dem Beifahrersitzbereich entsprechenden aufblasbaren Rückhalteeinrichtungen freigegeben bzw. aktiviert werden soll. Alternativ kann ein vereinfachtes Gewichts-Attributmodell nur die Sitzhöhe des Beifahrers an die Entscheidungsblöcke 319 und 321 weiterleiten, bei denen zumindest teilweise auf Basis der Sitzhöhe des Beifahrers Bestimmungen darüber vorgenommen werden, ob die Auslösung der dem Beifahrersitzbereich entsprechenden aufblasbaren Rückhalteeinrichtungen freigeben werden soll. Wenn beispielsweise die Sitzhöhe des Beifahrers, die vom Höhen- und Gewichts-Attributmodell 231 zurückgegeben wird, geringer als eine vorbestimmte Höhe ist, kann der Entscheidungsblock 319 ein Flag 323 für „Nicht auslösen“ setzen. Andernfalls kann, wenn die vom Höhen- und Gewichts-Attributmodell 231 zurückgegebene Beifahrersitzhöhe nicht geringer als die vorbestimmte Höhe ist, der Entscheidungsblock 319 zu einem Entscheidungsblock 321 für die weitere Auswertung des Beifahrergewichts übergehen. Wenn das Gewicht des Beifahrers, das vom Höhen- und Gewichts-Attributmodell 231 zurückgegeben wird, geringer als ein vorbestimmtes Gewicht ist, kann der Entscheidungsblock 321 ein Flag 325 für „Nicht auslösen“ setzen. Andernfalls kann, wenn das vom Höhen- und Gewichts-Attributmodell 231 zurückgegebene Gewicht des Beifahrers nicht geringer als das vorbestimmte Gewicht ist, der Entscheidungsblock 321 ein Flag 327 für Auslösen setzen. Die Flags 323, 325, 327 können dem SDM 65 Informationen zum Freigeben bzw. Aktivieren oder Sperren bzw. Deaktivieren der Auslösung einiger oder all der Airbags, die dem Beifahrersitzbereich entsprechen, im Falle eines Unfalls bereitstellen. Nach jedem Setzen der Flaggen 323, 325, 327 kann sich das Verfahren 300 wieder bei Block 309 fortsetzen, und der Prozess beginnt von Neuem.
Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht ausdrücklich als „direkt“ beschrieben wird, kann diese Beziehung eine direkte Beziehung sein, bei der keine anderen, dazwischenliegenden Elemente zwischen dem ersten und dem zweiten Element vorhanden sind, kann aber auch eine indirekte Beziehung sein, bei der ein oder mehrere dazwischenliegende Elemente zwischen dem ersten und dem zweiten Element (entweder räumlich oder funktionell) vorhanden sind.
Es versteht sich, dass ein oder mehrere Schritte innerhalb eines Verfahrens in unterschiedlicher Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu verändern. Obwohl jede der Ausführungsformen oben als bestimmte Merkmale aufweisend beschrieben ist, kann irgendeines oder können mehrere dieser in Bezug auf eine beliebige Ausführungsform der Offenbarung beschriebenen Merkmale in jeder beliebigen der anderen Ausführungsform implementiert und/oder mit Merkmalen jeder beliebigen der anderen Ausführungsform kombiniert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten schließen sich die beschriebenen Ausführungsformen nicht gegenseitig aus und liegen Permutationen von einer oder mehreren Ausführungsformen miteinanderweiter innerhalb des Umfangs dieser Offenbarung.
Obwohl die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, versteht der Fachmann, dass verschiedene Änderungen vorgenommen und Äquivalente für deren Elemente substituiert werden können, ohne von deren Umfang abzuweichen. Außerdem können viele Modifikationen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne vom wesentlichen Umfang der Offenbarung abzuweichen. Daher soll die vorliegende Offenbarung nicht auf die offenbarten besonderen Ausführungsformen beschränkt sein, sondern alle Ausführungsformen einschließen, die in deren Umfang fallen.

Claims

Vorrichtung, umfassend: eine Kamera, die ein zweidimensionales Bild eines Sitzbereichs eines Fahrzeugs bereitstellt; einen Controller, der ein Höhen-Attributmodell zum Bestimmen einer Sitzhöhe eines sitzenden Beifahrers im Sitzbereich des Fahrzeugs, der in dem zweidimensionalen Bild erscheint, aufweist, wobei das Höhen-Attributmodell an dreidimensionalen Skeletten trainiert wurde, die einer Trainingsdatenbank von segmentierten zweidimensionalen Trainingsbildern entsprechen; und einen Controller, der eine Auslösung eines Airbags basierend auf der bestimmten Sitzhöhe des sitzenden Beifahrers freigibt.
Vorrichtung nach Anspruch 1, wobei die segmentierten zweidimensionalen Trainingsbilder einer zweidimensionalen Skelett-Extraktion unterzogen werden, um zweidimensionale Skelette zu erzeugen, die auf dreidimensionale Trainingsbilder projiziert werden, die den segmentierten zweidimensionalen Trainingsbildern entsprechen, um die dreidimensionalen Skelette zu erzeugen.
Vorrichtung nach Anspruch 1, ferner aufweisend einen Sitzgewichtssensor, der ein erfasstes Gewicht des sitzenden Beifahrers bereitstellt, wobei das Höhen-Attributmodul ferner die Einbeziehung des erfassten Gewichts des sitzenden Beifahrers aufweist.
Vorrichtung nach Anspruch 1, wobei der Controller ferner ein Haltungsmodell zum Bestimmen einer Haltung des sitzenden Beifahrers im Sitzbereich des Fahrzeugs aufweist, der im zweidimensionalen Bild erscheint, wobei das Haltungsmodell an den segmentierten zweidimensionalen Trainingsbildern von der Trainingsdatenbank trainiert wurde.
Vorrichtung nach Anspruch 1, wobei der Controller ferner ein Segmentierungsmodell aufweist, das eine Hintergrundsegmentierung der zweidimensionalen Bilder durchführt, um segmentierte zweidimensionale Bilder dem Höhen-Attributmodell bereitzustellen, wobei das Segmentierungsmodell an den segmentierten zweidimensionalen Trainingsbildern von der Trainingsdatenbank trainiert wurde, wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren gleichzeitig aufgenommener zweidimensionaler und dreidimensionaler Trainingsbilder erzeugt werden.
Vorrichtung nach Anspruch 4, wobei der Controller ferner ein Segmentierungsmodell aufweist, das eine Hintergrundsegmentierung der zweidimensionalen Bilder durchführt, um segmentierte zweidimensionale Bilder dem Höhen-Attributmodell und dem Haltungsmodell bereitzustellen, wobei das Segmentierungsmodell an den segmentierten zweidimensionalen Trainingsbildern von der Trainingsdatenbank trainiert wurde, wobei die segmentierten zweidimensionalen Trainingsbilder auf Basis von Paaren gleichzeitig aufgenommener zweidimensionaler und dreidimensionaler Trainingsbilder erzeugt werden.
Vorrichtung nach Anspruch 3, wobei der Controller, der die Auslösung eines Airbags auf Basis der bestimmten Sitzhöhe des sitzenden Beifahrers freigibt, ferner die Auslösung des Airbags auf Basis des Gewichts des sitzenden Beifahrers freigibt.
Verfahren, aufweisend: Erfassen eines zweidimensionalen Bildes eines Sitzbereichs eines Fahrzeugs; Segmentieren, mit einem Segmentierungsmodell, des zweidimensionalen Bildes, um ein segmentiertes zweidimensionales Bild bereitzustellen; Klassifizieren, mit einem Haltungsmodell, des segmentierten zweidimensionalen Bildes als eines eines Beifahrers mit einer akzeptablen Haltung und eines Beifahrers mit einer nicht akzeptablen Haltung; Bestimmen, mit einem Höhen-Attributmodell, einer Sitzhöhe des Beifahrers mit einer akzeptablen Haltung basierend auf dem segmentierten zweidimensionalen Bild; und Freigeben einer Auslösung eines Airbags, basierend zumindest teilweise auf der bestimmten Sitzhöhe des Beifahrers mit einer akzeptablen Haltung, der die vorbestimmten Höhenanforderungen erfüllt.
Verfahren nach Anspruch 8, ferner aufweisend ein Deaktivieren der Auslösung des Airbags, basierend zumindest teilweise der bestimmten Sitzhöhe des Beifahrers mit einer akzeptablen Haltung, die die vorbestimmten Höhenanforderungen nicht erfüllt.
Verfahren nach Anspruch 8, ferner aufweisend ein Deaktivieren der Auslösung des Airbags, basierend auf dem segmentierten zweidimensionalen Bild, das als Beifahrer mit einer nicht akzeptablen Haltung klassifiziert wird.