DE102019134141B4

DE102019134141B4 - Sicherheitsgurt-Zustandsbestimmungsverfahren

Info

Publication number: DE102019134141B4
Application number: DE102019134141.8A
Authority: DE
Inventors: Michael Baltaxe; Ruben Mergui; Kobi Nistel; Gila Kamhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-01-22
Filing date: 2019-12-12
Publication date: 2023-02-23
Anticipated expiration: 2039-12-13
Also published as: US20200231109A1; CN111469802A; CN111469802B; US11046273B2; DE102019134141A1

Abstract

Ein Sicherheitsgurt-Zustandsbestimmungsverfahren zur Verwendung mit einem Fahrzeug mit einer oder mehreren Fahrzeugkamera(s) und einem oder mehreren Sicherheitsgurtsensor(en), wobei das Verfahren die Schritte umfasst:Sammeln von Kamerabilddaten mit der/den Fahrzeugkamera(s);Sammeln von Sicherheitsgurtdaten mit dem/den Sicherheitsgurtsensor(en); undDurchführen eines Sicherheitsgurt-klassifizierungs-Prozesses, wobei der Sicherheitsgurt-Klassifizierungs-Prozess die Kamerabilddaten als Eingabe empfängt und eine Sicherheitsgurt-Klassifizierung als Ausgabe bereitstellt, wobei der Sicherheitsgurt-Klassifizierungs-Prozess ein Bild von den Kamerabilddaten in (eine) weitere(n) Klassifizierung(en) klassifiziert, die repräsentativ für einen Zustand des Sicherheitsgurtes sind,wobei der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-Klassifizierungs-Prozesses umfasst, der einen Fahrgastlagen-Schätzprozess beinhaltet, wobei der Fahrgastlagen-Schätzprozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und eine Fahrgastlagen-Schätzung als Ausgabe bereitstellt, wobei der Fahrgastlagen-Schätzprozess eine Position eines oder mehrerer Fahrgastkörperteile in einem Bild in den vorverarbeiteten Kamerabilddaten schätzt,wobei der Fahrgastlagen-Schätzprozess ferner die Verwendung eines neuronalen Netzwerks zum Schätzen der Position der Körperteile im Bild umfasst.

Description

TECHNISCHER BEREICH
Die hierin beschriebenen exemplarischen Ausführungsformen beziehen sich im Allgemeinen auf ein Verfahren zur Verwendung in einem Fahrzeug und insbesondere auf ein Verfahren zum Bestimmen des Sicherheitsgurtzustands, die eine oder mehrere Kamera(s) und Sensoren verwenden, um zu bestimmen, ob ein Sicherheitsgurt ordnungsgemäß angelegt und verlegt ist.
EINFUHRUNG
Die Verbesserung des Fahrerlebnisses in Bezug auf Sicherheit und Komfort ist ein gemeinsames Ziel für Automobilhersteller und -nutzer.
Sicherheitsgurte sind eine Standard-Sicherheitsvorrichtung, die in fast allen Fahrzeugen zu finden ist. Trotz ihrer weiten Verbreitung werden Sicherheitsgurte nicht immer von den Fahrgästen getragen und richtig angelegt. So gibt es beispielsweise immer noch Fälle, in denen ein Fahrgast entweder vergisst oder sich gegen das Anlegen eines Sicherheitsgurts entscheidet oder den Sicherheitsgurt in Bezug auf seine Streckenführung unsachgemäß anlegt. Wie zu erwarten ist, ist der Sicherheitsgurt in diesen Fällen in der Regel weniger effektiv. Für die meisten Sicherheitsgurtkonfigurationen beinhaltet die richtige Art und Weise, den Sicherheitsgurt zu tragen und zu leiten, einen unteren oder Beckengurt über einen oberen Teil der Hüften des Fahrgastes und einen oberen oder Schultergurt über die Schulter und Brust des Fahrgastes.
Das hierin offenbarte Verfahren zum Bestimmen des Sicherheitsgurtzustandes des Sicherheitsgurtes ist so konzipiert, dass es diese Probleme löst.
Die DE 101 33 759 A1 betrifft eine Einrichtung, einen Sicherheitsgurt und ein Verfahren zur Gurtführung, mit dem die Gurtführung kontrolliert und damit die Qualität der Rückhaltesysteme gesteigert wird.
Die DE 10 2006 040 244 B3 betrifft eine Vorrichtung und ein Verfahren zur Sitzbelegungserkennung mit einer Monokamera und einem Sicherheitsgurt.
Die DE 10 2015 120 811 A1 betrifft ein Verfahren zum Detektieren der Positionierung eines Sicherheitsgurts in einem Fahrzeug, das eine Sicherheitsgurtanordnung und den Bildsensor aufweist, und ein Fahrzeug, das dieses aufweist.
BESCHREIBUNG
Gemäß einem Aspekt ist ein Verfahren zum Bestimmen des Sicherheitsgurtzustandes vorgesehen, das zur Verwendung mit einem Fahrzeug mit einer oder mehreren Fahrzeugkamera(s) und einem oder mehreren Sicherheitsgurtsensor(en) vorgesehen ist. Das Verfahren kann die folgenden Schritte umfassen: Sammeln von Kamerabilddaten mit der/den Fahrzeugkamera(n); Sammeln von Sicherheitsgurtdaten mit dem/den Sicherheitsgurtsensor(en); und Durchführen eines Sicherheitsgurt-klassifizierungs-Prozesses, wobei der Sicherheitsgurt-Klassifizierungs-Prozess die Kamerabilddaten als Eingabe empfängt und eine Sicherheitsgurt-Klassifizierung als Ausgabe bereitstellt, wobei der Sicherheitsgurt-Klassifizierungs-Prozess ein Bild von den Kamerabilddaten in eine weitere(n) Klassifizierung(en) klassifiziert, die repräsentativ für einen Zustand des Sicherheitsgurtes sind, wobei der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-Klassifizierungs-Prozesses umfasst, der einen Fahrgastlagen-Schätzprozess beinhaltet, wobei der Fahrgastlagen-Schätzprozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und eine Fahrgastlagen-Schätzung als Ausgabe bereitstellt, wobei der Fahrgastlagen-Schätzprozess eine Position eines oder mehrerer Fahrgastkörperteile in einem Bild in den vorverarbeiteten Kamerabilddaten schätzt, wobei der Fahrgastlagen-Schätzprozess ferner die Verwendung eines neuronalen Netzwerks zum Schätzen der Position der Körperteile im Bild umfasst.
Gemäß verschiedenen Ausführungsformen kann das Verfahren zum Bestimmen des Sicherheitsgurtzustandes ferner eines der folgenden Merkmale oder eine technisch mögliche Kombination einiger oder aller dieser Merkmale beinhalten:

• der Kamerabilddatenerfassungsschritt ferner das Erfassen von Kamerabilddaten mit der/den Fahrzeugkamera(n) und das Bereitstellen der Kamerabilddaten an ein Fahrzeugdatenverarbeitungsmodul über ein Fahrzeugkommunikationsnetzwerk umfasst, wobei die Kamerabilddaten Bilder beinhalten, die einen Sitzbereich in einer Kabine des Fahrzeugs zeigen;
• der Schritt zum Sammeln von Sicherheitsgurtdaten ferner das Sammeln von Sicherheitsgurtdaten mit dem/den Sicherheitsgurtsensor(en) und das Bereitstellen der Sicherheitsgurtdaten an ein Fahrzeugdatenverarbeitungsmodul über ein Fahrzeugkommunikationsnetzwerk umfasst, wobei die Sicherheitsgurtdaten Signale beinhalten, die anzeigen, ob ein Sicherheitsgurt angelegt oder nicht angelegt ist;
• der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-klassifizierungs-Prozesses durch Vorverarbeiten der Kamerabilddaten, so dass die vorverarbeiteten Kamerabilddaten in ihrer Größe reduziert und standardisiert werden;
• der Vorverarbeitungsschritt ferner das Reduzieren der Größe von Kamerabilddaten durch Zuschneiden eines Bereichs von Interesse (ROI) aus einem Bild in den Kamerabilddaten, wobei der ROI einem erwarteten Standort eines Beifahrers und eines Sicherheitsgurtes entspricht;
• der Vorverarbeitungsschritt ferner das Standardisieren der Kamerabilddaten durch Ausführen einer oder mehrerer Standardisierungstechniken, die aus der Liste ausgewählt sind, bestehend aus: horizontales Spiegeln eines oder mehrerer Bilder, so dass sie eine Standardorientierung aufweisen, Normalisieren von Pixeln, so dass sie eine Intensität innerhalb eines Standardbereichs aufweisen, Konvertieren von Daten für ein oder mehrere Bilder, so dass sie eine Standardanzahl von Bits/Pixel aufweisen, oder Skalieren eines oder mehrerer Bilder, so dass sie eine Standardgröße aufweisen;
• der Schritt des Durchführens ferner das Durchführen eines Szenario-Klassifizierungs-Prozesses als Teil des Sicherheitsgurt-Klassifizierungs-Prozesses umfasst, der Szenario-Klassifizierungs-Prozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und eine Szenario-Klassifizierung als Ausgabe bereitstellt, der Szenario-Klassifizierungs-Prozess ein Bild aus den vorverarbeiteten Kamerabilddaten in eine weitere Klassifizierung(en) klassifiziert, die repräsentativ für einen nicht anwesenden Fahrgast, einen anwesenden Fahrgast oder eine blockierte Ansicht sind;
• der Szenario-Klassifizierungs-Prozess ferner die Verwendung eines neuronalen Netzwerks umfasst, um vorherzusagen, welche der Szenario-Klassifizierungen das Bild aus den vorverarbeiteten Kamerabilddaten am besten repräsentiert, und zwar auf bildmäßiger Basis;
• die Szenario-Klassifizierungsausgabe eine Vielzahl von Wahrscheinlichkeitswerten beinhaltet, wobei jeder der Wahrscheinlichkeitswerte zwischen [0, 1] liegt und eine Wahrscheinlichkeit darstellt, dass das Bild aus den vorverarbeiteten Kamerabilddaten für ein bestimmtes Szenario repräsentativ ist, und die Summe der Wahrscheinlichkeitswerte für alle möglichen Szenarien gleich 1 ist;
• das neuronale Netzwerk ist ein faltungsneuronales Netzwerk mit einer Xception-Architektur und wird mit einem Adam-Optimierer trainiert;
• der Szenario-Klassifizierungs-Prozess ferner die Verwendung einer oder mehrerer Datenaugmentationstechnik(en) zum Ergänzen von Trainingsdaten für das neuronale Netzwerk umfasst, wobei die Datenaugmentationstechnik(en) eine oder mehrere Technik(en) umfasst, die aus der Liste ausgewählt sind, die aus: einer Bildrotationsdatenaugmentationstechnik, einer Bildausschnittdatenaugmentationstechnik oder einer Bildhelligkeitsdatenaugmentationstechnik besteht;
• der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-klassifizierungs-Prozesses, der einen Sicherheitsgurt-Segmentierungs-Prozess beinhaltet, wobei der Sicherheitsgurt-Segmentierungs-Prozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und einen segmentierten Sicherheitsgurt als Ausgabe bereitstellt, der Sicherheitsgurt-Segmentierungs-Prozess eine Vielzahl von Sicherheitsgurtpixeln aus einem Bild in den vorverarbeiteten Kamerabilddaten identifiziert;
• der Sicherheitsgurt-Segmentierungs-Prozess ferner die Verwendung eines neuronalen Netzwerks umfasst, um vorherzusagen, ob jedes Pixel oder jede Gruppe von Pixeln im Bild einem Sicherheitsgurt entspricht oder nicht und dies pixelweise tut;
• die Sicherheitsgurt-Segmentierungs-Ausgabe ein Binärbild ist, wobei jedem der Pixel eine „0“ oder „1“ zugeordnet ist, je nachdem, ob es sich um ein Sicherheitsgurtpixel handelt oder nicht;
• das neuronale Netzwerk ist ein vollständig konvolutionäres neuronales Netzwerk mit einer DenseNet-Typ-Architektur;
• der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-Klassifizierungs-Prozesses, der einen Fahrgastlagen-Schätzprozess beinhaltet, wobei der Fahrgastlagen-Schätzprozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und eine Fahrgastlagen-Schätzung als Ausgabe bereitstellt, wobei der Fahrgastlagen-Schätzprozess eine Position eines oder mehrerer Fahrgastkörperteile in einem Bild in den vorverarbeiteten Kamerabilddaten schätzt;
• der Fahrgastlagen-Schätzprozess ferner die Verwendung eines neuronalen Netzwerks zum Schätzen der Position der Körperteile im Bild umfasst;
• der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-Klassifizierungs-Prozesses umfasst, der sowohl einen Sicherheitsgurt-Segmentierungs-Prozess als auch einen Fahrgastlagen-Schätzprozess beinhaltet, der Sicherheitsgurt-Segmentierungs-Prozess einen segmentierten Sicherheitsgurt ausgibt, der eine Vielzahl von Sicherheitsgurtpixeln beinhaltet, der Fahrgastlagen-Schätzprozess eine Fahrgastlagen-Schätzung ausgibt, die einen Standort eines oder mehrerer Fahrgastteile schätzt, und wobei der Sicherheitsgurt-Klassifizierungs-Prozess die Vielzahl von Sicherheitsgurtpixeln mit der geschätzten Position des/der Fahrgastteile vergleicht und, wenn sich ein Abschnitt des Sicherheitsgurts zwischen einem Hals und einer Schulter des/der Fahrgastteile(s) erstreckt, der Sicherheitsgurt-Klassifizierungs-Prozess bestimmt, dass ein Fahrgast anwesend ist und der Sicherheitsgurt ordnungsgemäß angelegt wird;
• der Sicherheitsgurt-Klassifizierungs-Prozess das Bild aus den Kamerabilddaten in eine weitere(n) Klassifizierung(en) klassifiziert, die aus der Liste ausgewählt wird, die aus Folgenden besteht: Fahrgast nicht anwesend, Sicht blockiert, Fahrgast anwesend / Sicherheitsgurt richtig angelegt oder Fahrgast anwesend / Sicherheitsgurt falsch angelegt;
• ferner umfassend den Schritt: Durchführen einer oder mehrerer Abhilfemaßnahmen, wenn der Sicherheitsgurt-Klassifizierungs-Prozess bestimmt, dass ein Fahrgast anwesend ist, aber der Sicherheitsgurt unsachgemäß angelegt wird, wobei die Abhilfemaßnahmen aus der Liste ausgewählt werden, die besteht aus: Senden einer visuellen Warnung an den Fahrgast, Senden einer akustischen Warnung an den Fahrgast oder automatisches Anhalten des Fahrzeugs, wenn das Fahrzeug ein autonomes oder teilautonomes Fahrzeug ist.

Figurenliste
Eine oder mehrere exemplarische Ausführungsformen werden im Folgenden in Verbindung mit den angehängten Figuren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei:

1 ist ein schematisches Blockdiagramm einer Ausführungsform eines an einem Fahrzeug installierten Sicherheitsgurt-Zustandsbestimmungssystems;
2 ist ein Flussdiagramm, das eine Ausführungsform eines Sicherheitsgurt-Zustandsbestimmungsverfahrens darstellt, das mit dem System von 1 verwendet werden kann; und
3 ist ein Flussdiagramm, das eine Ausführungsform eines Sicherheitsgurt-klassifizierungs-Prozesses darstellt, der in dem Verfahren zum Bestimmen des Sicherheitsgurtstatus von 2 verwendet werden kann.

DETAILLIERTE BESCHREIBUNG DER DARGESTELLTEN AUSFÜHRUNGSFORMEN
Das hierin beschriebene System und Verfahren zum Bestimmen des Gurtzustands des Sicherheitsgurtes ist dazu bestimmt, einen Sicherheitsgurt zu bewerten und zu bestimmen, ob er angeschnallt ist und ob er ordnungsgemäß auf einem Fahrgast geführt wird. Herkömmliche Systeme bestimmen in der Regel nur, ob ein Sicherheitsgurt angelegt ist oder getragen wird, geben aber keine Rückmeldung darüber, wie der Sicherheitsgurt am Beifahrer angelegt wird (d.h. ob er ordnungsgemäß angelegt wird). Um den Gurtzustand zu bewerten, verwenden das vorliegende System und Verfahren sowohl Gurtsensoren als auch Kameras innerhalb der Fahrzeugkabine, um Daten zu erzeugen, die dann in Verbindung mit maschinellen Lerntechniken (z.B. überwachten maschinellen Lerntechniken, die durch den Einsatz neuronaler Netze implementiert werden) analysiert werden, um den Gurtzustand in eine oder mehrere Kategorien einzuteilen, wie z.B.: nicht vorhandener Fahrgast, vorhandener Fahrgast / nicht angelegter Sicherheitsgurt, falscher Fahrgast / falsch angelegter Sicherheitsgurt, korrekter Fahrgast / korrekter Sicherheitsgurt und blockierte Sicht. Es ist auch möglich, dass das vorliegende System und Verfahren eine solche Bewertung ohne Gewichtssensoren im Sitz und ohne Markierung oder anderweitige Änderung des Sicherheitsgurtes durchführt, so dass das vorliegende System und Verfahren in einer Vielzahl von Szenarien mit vorhandener Fahrzeugausrüstung verwendet werden kann, um kostspielige Änderungen zu vermeiden.
Nun zu 1, es wird ein Beispiel für ein Fahrzeug 10 mit einem Sicherheitsgurt-Zustandsbestimmungssystem 12 zur Verbesserung der Sicherheit der Fahrgäste gezeigt, wobei das System in der Lage ist, das nachfolgend beschriebene Verfahren zum Bestimmen des Sicherheitsgurtzustands durchzuführen. Gemäß diesem Beispiel beinhaltet das System 12 die Fahrzeughardware 14, die eine oder mehrere Fahrzeugkamera(s) 20-26, Sicherheitsgurtsensoren 30-36, ein Fahrzeugdatenverarbeitungsmodul 40, ein Fahrzeugkommunikationsmodul 50, ein autonomes Fahrmodul 60, andere Fahrzeugelektronikmodule 70 sowie jede andere geeignete Kombination von Systemen, Modulen, Vorrichtungen, Komponenten, Hardware, Software usw. aufweist, die zur Durchführung des hierin beschriebenen Verfahrens, der Schritte und/oder der beschriebenen Funktionalität erforderlich sind. Die verschiedenen Komponenten der Fahrzeughardware 14 können durch ein Fahrzeugkommunikationsnetzwerk 80 verbunden sein (z.B. ein drahtgebundener Fahrzeugkommunikationsbus, ein drahtloses Fahrzeugkommunikationsnetzwerk oder ein anderes geeignetes Kommunikationsnetzwerk). Das Fahrzeug 10 kann ein herkömmliches nicht autonomes Fahrzeug oder ein autonomes oder teilautonomes Fahrzeug sein. Der Begriff „autonome oder teilautonome Fahrzeuge“ sowie abgeleitete Begriffe bedeuten im Großen und Ganzen jedes Fahrzeug, das in der Lage ist, ohne Fahreranfrage automatisch eine fahrerbezogene Handlung oder Funktion auszuführen, und umfassen Handlungen, die in die Stufen 1-5 des internationalen Klassifizierungssystems der Society of Automotive Engineers (SAE) fallen.
Fachkundige Handwerker werden es zu schätzen wissen, dass das schematische Blockdiagramm der Fahrzeughardware 14 lediglich dazu gedacht ist, einige der relevanteren Hardwarekomponenten zu veranschaulichen, die mit der vorliegenden Methode verwendet werden, und es soll nicht eine genaue oder vollständige Darstellung der Fahrzeughardware sein, die typischerweise bei einem solchen Fahrzeug zu finden wäre. Darüber hinaus kann die Struktur oder Architektur der Fahrzeughardware 14 erheblich von der in 1 dargestellten abweichen (z.B. können Kameras 20-26, Gurtsensoren 30-36 und/oder Module 40-70 integriert oder anderweitig miteinander oder mit anderen Geräten kombiniert werden, wobei es sich nicht um separate Einzelkomponenten handelt). Aufgrund der unzähligen möglichen Anordnungen und aus Gründen der Kürze und Klarheit wird die Fahrzeughardware 14 in Verbindung mit der veranschaulichten Ausführungsform von 1 beschrieben, wobei jedoch zu beachten ist, dass das vorliegende System und Verfahren nicht auf diese beschränkt ist.
Die Fahrzeugkamera(s) 20-26 sind innerhalb der Fahrzeugkabine montiert und versorgen das vorhandene System und Verfahren mit Kamerabilddaten. Obwohl die folgenden Beispiele die Fahrzeugkameras 20-26 im Zusammenhang mit Videokameras beschreiben, die entsprechende Bilder oder Standbilder erzeugen, können diese Kameras jede geeignete Kamera oder jedes in der Branche bekannte oder verwendete Bildverarbeitungssystem beinhalten, sofern es in der Lage ist, Bilder, Darstellungen und/oder andere Informationen über die Umgebung innerhalb der Fahrzeugkabine zu sammeln. Je nach Anwendung kann eine oder mehrere der Fahrzeugkameras 20-26 Folgendes beinhalten: eine Standkamera, eine Videokamera, eine BW- und/oder Farbkamera, eine Analog- und/oder Digitalkamera, eine Weitwinkel- und/oder Schmalsichtkamera (FOV-Kamera) und kann Teil eines Mono- und/oder Stereosystems sein, um nur einige Möglichkeiten zu nennen. Gemäß einem nicht einschränkenden Beispiel beinhaltet die Fahrzeughardware 14 eine oder mehrere Kamera(s) 20-26, die CMOS-Videokameras sind, die dem Rest des Systems 12, einschließlich des Fahrzeugdatenverarbeitungsmoduls 40, über das Fahrzeugkommunikationsnetzwerk 80 Kamerabilddaten bereitstellen. Jede der Kameras 20-26 kann eine Weitwinkelkamera sein (z.B. mit einem FOV von etwa 140° oder mehr), so dass eine vollständige oder nahezu vollständige Sicht auf den betreffenden Fahrgast erreicht werden kann. Die von den Kameras 20-26 ausgegebenen Kamerabilddaten können Rohbild- oder Standbilddaten beinhalten (d.h. ohne oder mit geringer Vorverarbeitung), oder sie können vorverarbeitete Video- oder Standbilddaten beinhalten, wenn die Kamera über eigene Bildverarbeitungsressourcen verfügt und eine Vorverarbeitung der erfassten Bilder vor der Ausgabe als Kamerabilddaten durchführt. Es gibt auch andere Möglichkeiten.
Die Fahrzeugkamera(s) 20-26 können in der Fahrzeugkabine gemäß einer beliebigen Anzahl verschiedener Konfigurationen angeordnet oder aufgestellt werden. In einem Fahrzeug ohne Schiebedach darf das gegenwärtige System beispielsweise nur eine einzige Kamera 20, 24 verwenden, um eine ganze Reihe von Sitzen zu überwachen, wobei die Kamera 20, 24 im Fahrzeugdach oder Dachhimmel an einer zentralen Position zwischen Fahrer- und Beifahrersitz montiert werden kann. In einer solchen Konfiguration würde die Kamera 20, 24 ein ausreichend breites FOV benötigen, um mehrere Sitze gleichzeitig überwachen oder anzeigen zu können. In dieser Konfiguration könnte die Kamera 20 in einer Rückspiegelbaugruppe installiert werden, die Kamera 24 könnte in einer Infotainment-Einheit oder dergleichen montiert werden, oder sie könnte in anderen zentralen Positionen montiert werden. Wenn das Fahrzeug hingegen ein Schiebedach oder ein anderes zentral angeordnetes Objekt aufweist, das eine solche Anordnung verhindert, kann das vorliegende System zwei oder mehr Seitenkameras 22, 26 in der Fahrzeugkabine an Seitenpositionen, die näher an den A- bzw. B-Säulen des Fahrzeugs liegen, montieren, die die einzelne zentral montierte Kamera 20, 24 ersetzen würden. Somit ist es möglich, dass das Sicherheitsgurt-Zustandsbestimmungssystem 12 eine einzige Kamera für die Überwachung der ersten und/oder zweiten Reihe, mehrere Kameras für die Überwachung der ersten und/oder zweiten Reihe oder eine andere Konfiguration aufweist, die für die Kabinenanordnung dieses bestimmten Fahrzeugs geeignet ist. Gemäß einem Beispiel beinhaltet das System eine einzelne zentral montierte Kamera 20 zur Überwachung der ersten Reihe und eine einzelne zentral montierte Kamera 24 zur Überwachung der zweiten Reihe. Andere Konfigurationen und Kombinationen von Kameras, einschließlich solcher mit mehr oder weniger Kameras, verschiedenen Montageorten und einer Überwachung der dritten Reihe, sind durchaus möglich.
Die Sicherheitsgurtsensoren 30-36 sind innerhalb der Fahrzeugkabine montiert und mit jedem der betreffenden Sicherheitsgurte gekoppelt, um das vorliegende System und Verfahren mit den Sicherheitsgurtdaten zu versorgen. Obwohl das folgende Beispiel die Sicherheitsgurtsensoren 30-36 im Zusammenhang mit kontaktlosen elektromagnetischen Sensoren beschreibt, ist zu beachten, dass dies nur Beispiele sind, da die Sicherheitsgurtsensoren 30-36 nicht auf eine bestimmte Art von Sensor beschränkt sind. Je nach Anwendung kann einer oder mehrere der Sicherheitsgurtsensoren 30-36 beinhalten: einen kontaktbehafteten und/oder kontaktlosen Sensor, einen elektromagnetischen Sensor (z.B. einen Hall-Effekt-Sensor oder einen Reedschalter-Sensor) oder Teil eines Insassenklassifikationssystems (OCS), um nur einige Möglichkeiten zu nennen. Gemäß einem nicht einschränkenden Beispiel beinhaltet jeder der Sicherheitsgurtsensoren 30-36 einen kontaktlosen Hall-Effekt-Sensor, bei dem sich ein Magnetelement entweder auf der Gurtzunge (das Einsatzstück) oder der Gurtschließe (das Aufnahmestück) befindet und ein entsprechendes Sensorelement auf dem anderen dieser beiden Teile angeordnet ist. Wenn die Sicherheitsgurtzunge ordnungsgemäß in das Gurtschloss eingeführt wird, führt das Vorhandensein eines vom Magnetelement erzeugten Magnetfeldes dazu, dass das Sensorelement eine Spannung ausgibt, die den Betriebszustand anzeigt, wie in der Technik allgemein bekannt und verstanden. Das genaue Format oder die genaue Struktur der von den Sicherheitsgurtsensoren 30-36 ausgegebenen Sicherheitsgurtdaten kann variieren und ist nicht auf eine bestimmte Ausführungsform beschränkt. Natürlich gibt es auch andere Möglichkeiten für die Gurtsensoren.
Das Fahrzeugdatenverarbeitungsmodul 40, das Fahrzeugkommunikationsmodul 50, das autonome Fahrmodul 60 sowie die anderen elektronischen Fahrzeugmodule 70 können alle geeigneten Komponenten beinhalten und nach allen in der Branche bekannten oder verwendeten geeigneten Konfigurationen angeordnet sein. Da die besonderen Architekturen der Module 40-70 nicht kritisch sind und diese Module nach so vielen verschiedenen Ausführungsformen bereitgestellt werden können, kann die folgende Beschreibung der Komponenten des Moduls 40 für jedes der Module 40-70 gelten, sofern nicht anders angegeben. So kann beispielsweise jedes der Module 40-70 eine oder mehrere Verarbeitungsvorrichtungen 42, Speichervorrichtungen 44, I/O-Vorrichtungen sowie jede andere Hard- und/oder Software beinhalten, die sich typischerweise auf solchen Modulen befindet. Die Verarbeitungsvorrichtung 42 kann jede Art von Vorrichtung sein, die in der Lage ist, elektronische Anweisungen zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontroller, Host-Prozessoren, Steuerungen, Fahrzeugkommunikations-Prozessoren, General Processing Unit (GPU), Beschleuniger, Field Programmable Gated Arrays (FPGA) und Application Specific Integrated Circuits (ASICs), um nur einige Möglichkeiten zu nennen. Es kann ein dedizierter Prozessor sein, der nur für Modul 40 verwendet wird, oder mit anderen Fahrzeugsystemen, Modulen, Vorrichtungen, Komponenten usw. geteilt werden. Die Verarbeitungsvorrichtung 42 kann verschiedene Arten von elektronischen Anweisungen ausführen, wie z.B. Software- und/oder Firmwareprogramme, die in der Speichervorrichtung 44 gespeichert sind, die es dem Modul 40 ermöglichen, verschiedene Funktionen auszuführen. Die Speichervorrichtung 44 kann ein nichtflüchtiges, computerlesbares Medium sein; dazu gehören verschiedene Arten von Arbeitsspeicher (RAM), einschließlich verschiedener Arten von dynamischem RAM (DRAM) und statischem RAM (SRAM), Nur-Lese-Speicher (ROM), Solid-State-Laufwerke (SSDs) (einschließlich anderer Solid-State-Speicher wie Solid-State-Hybrid-Laufwerke (SSHDs)), Festplatten (HDDs), magnetische oder optische Plattenlaufwerke oder andere geeignete Computermedien, die elektronisch Informationen speichern. In einem Beispiel führt die Verarbeitungsvorrichtung 42 Programme aus oder verarbeitet Daten und die Speichervorrichtung 44 speichert Programme oder andere Daten, um die Durchführung oder Unterstützung mindestens eines Teils des vorliegenden Verfahrens zu ermöglichen.
Das Fahrzeugdatenverarbeitungsmodul 40 empfängt Kamerabilddaten von einer oder mehreren Fahrzeugkameras 20-26 und Sicherheitsgurtdaten von einem oder mehreren Sicherheitsgurtsensoren 30-36 und kann eingerichtet werden, um diesen Eingang auszuwerten, zu analysieren und/oder anderweitig zu verarbeiten, bevor Statusinformationen zum Sicherheitsgurt als Ausgang bereitgestellt werden, wie nachfolgend erläutert. Das Fahrzeugdatenverarbeitungsmodul 40 kann indirekt oder direkt mit der/den Fahrzeugkamera(s) 20-26 und dem/den Sicherheitsgurtsensor(en) 30-36 sowie jeder Kombination der anderen Module 50-70 (z.B. über das Fahrzeugkommunikationsnetz 80) verbunden sein. Es ist möglich, dass das Fahrzeugdatenverarbeitungsmodul 40 mit der/den Fahrzeugkamera(s) 20-26 und/oder den Sicherheitsgurtsensoren 30-36 integriert oder kombiniert wird, so dass sie Teil eines einzelnen verpackten Moduls oder einer Einheit sind, oder dass das Modul 40 mit einer beliebigen Anzahl anderer Systeme, Module, Vorrichtungen und/oder Komponenten im Fahrzeug kombiniert wird.
Das Fahrzeugkommunikationsmodul 50 stellt dem Fahrzeug drahtlose Kommunikationsfähigkeiten mit kurzer und/oder großer Reichweite zur Verfügung, so dass das Fahrzeug mit verschiedenen Vorrichtungen und Systemen kommunizieren und Daten austauschen kann, einschließlich anderer Fahrzeuge oder einer Backend oder Cloud-basierten Einrichtung, die beispielsweise mit autonomen oder teilautonomen Fahrzeugen verwendet wird. So kann beispielsweise das Fahrzeugkommunikationsmodul 50 eine drahtlose Kurzstreckenschaltung beinhalten, die eine drahtlose Kurzstreckenkommunikation ermöglicht (z.B. Bluetooth™, andere IEEE 802.15-Kommunikation, Wi-Fi™, andere IEEE 802.11-Kommunikation, Fahrzeug-zu-Fahrzeug-Kommunikation usw.). Das Modul 50 kann auch einen zellularen Chipsatz und/oder eine Fahrzeugtelematikeinheit beinhalten, die eine drahtlose Kommunikation mit einer Backend-Einrichtung oder einer anderen entfernt gelegenen Einheit (z.B. Mobilfunk, Telematik usw.) ermöglicht. Gemäß einem nicht einschränkenden Beispiel beinhaltet das Fahrzeugkommunikationsmodul 50 Verarbeitungs- und Speichervorrichtungen 52, 54, ähnlich wie die vorstehend genannten, eine drahtlose Kurzstreckenschaltung 56, eine drahtlose Langstreckenschaltung 58 in Form eines Mobilfunkchipsatzes und eine oder mehrere Antennen. Das Fahrzeugkommunikationsmodul 50 kann indirekt oder direkt mit der/den Fahrzeugkamera(n) 20-26 und dem/den Sicherheitsgurtsensor(en) 30-36 sowie jeder Kombination der anderen Module 40, 60, 70 (z.B. über das Fahrzeugkommunikationsnetz 80) verbunden sein. Es ist möglich, das Modul 50 mit einer beliebigen Anzahl anderer Systeme, Module, Vorrichtungen und/oder Komponenten im Fahrzeug zu kombinieren.
Das autonome Fahrmodul 60 ist eine optionale Komponente und bietet dem Fahrzeug autonome und/oder teilautonome Fahrfähigkeiten und kann je nach Ausführungsform ein einzelnes Modul oder eine Einheit oder eine Kombination von Modulen oder Einheiten sein. Die besondere Anordnung, Konfiguration und/oder Architektur des fahrzeugautonomen Fahrmoduls 60 ist nicht zwingend erforderlich, solange das Modul dazu beiträgt, dass das Fahrzeug autonome und/oder teilautonome Fahrfunktionen ausführen kann. Das autonome Fahrmodul 60 des Fahrzeugs kann indirekt oder direkt mit der/den Fahrzeugkamera(s) 20-26 und dem/den Sicherheitsgurtsensor(en) 30-36 sowie jeder Kombination der anderen Module 40, 50, 70 (z.B. über das Fahrzeugkommunikationsnetz 80) verbunden sein. Es ist möglich, das Modul 60 mit beliebig vielen anderen Systemen, Modulen, Vorrichtungen und/oder Komponenten im Fahrzeug zu kombinieren oder alternativ das Modul 60 ganz wegzulassen (wie oben erwähnt, ist dies eine optionale Komponente).
Die elektronischen Fahrzeugmodule 70 können alle anderen geeigneten Module beinhalten, die zur Durchführung des vorliegenden Verfahrens erforderlich sind. So kann beispielsweise das Modul 70 eine beliebige Kombination aus einem Infotainment-Modul, einem Antriebsstrangsteuermodul (PCM), einem Motorsteuermodul (ECM), einem Getriebesteuermodul (TCM), einem Karosserie-Steuermodul (BCM), einem Traktions- oder Stabilitätskontrollmodul, einem Tempomatmodul, einem Lenksteuermodul, einem Bremssteuermodul usw. beinhalten. Wie bei den vorherigen Modulen kann das Fahrzeugelektronikmodul 70 indirekt oder direkt mit der/den Fahrzeugkamera(s) 20-26 und dem/den Sicherheitsgurtsensor(en) 30-36 sowie jeder Kombination der anderen Module 40, 50, 60 (z.B. über das Fahrzeugkommunikationsnetz 80) verbunden sein. Es ist möglich, das Modul 70 mit einer beliebigen Anzahl anderer Systeme, Module, Vorrichtungen und/oder Komponenten im Fahrzeug zu kombinieren.
Um nun auf das Flussdiagramm von 2 zurückzukommen, wird ein Beispiel für das Sicherheitsgurt-Zustandsbestimmungsverfahren 100 gezeigt, das Kamerabilddaten und Sicherheitsgurtdaten in Verbindung mit maschinellen Lerntechniken verwendet, um einen oder mehrere Sitzbereiche innerhalb der Fahrzeugkabine zu bewerten. Unter der Annahme, dass sich ein Fahrgast im Sitz befindet und die Bilder des Sitzbereichs nicht durch eine Art von Gegenstand blockiert oder anderweitig verstopft sind (z.B. eine Decke, die über dem Fahrgast liegt, so dass der Sicherheitsgurt blockiert wird), kann das Verfahren bestimmen, ob der Sicherheitsgurt geschnallt und ordnungsgemäß über den Fahrgast geführt wird. Gemäß einem nicht einschränkenden Beispiel des Verfahrens 100 sammelt das Verfahren zunächst Kamerabilddaten und Sicherheitsgurtdaten, dann führt das Verfahren einen Sicherheitsgurt-Klassifizierungs-Prozess durch (z.B. einen mehrstufigen Computer Vision Algorithmus unter Verwendung von maschinellen Lerntechniken), und dann die Ausgabe des Sicherheitsgurt-klassifizierungs-Prozesses, wenn er gefiltert wird. Wenn das Verfahren bestimmt, dass der Sicherheitsgurt verlegt ist oder unsachgemäß angelegt wurde, können eine oder mehrere Abhilfemaßnahmen ergriffen werden, um der Situation zu begegnen. Wie bereits erwähnt, erfordert das vorliegende Verfahren weder Gewichtssensoren im Sitz noch muss der Sicherheitsgurt markiert oder anderweitig geändert werden, so dass das vorliegende Verfahren in einer Vielzahl von Szenarien mit vorhandener Fahrzeugausstattung eingesetzt werden kann.
Das Verfahren zum Bestimmen des Status des Sicherheitsgurtes 100 kann ständig im Hintergrund laufen, wenn das Fahrzeug 10 eingeschaltet ist und/oder gefahren wird, oder es kann periodisch und/oder als Reaktion auf eine Art von Auslöseereignis ausgeführt werden. So könnte beispielsweise nach dem Starten des Fahrzeugs und einer ersten Sicherheitsgurt-Zustandsprüfung das Verfahren 100 in Zukunft periodisch ausgeführt werden (z.B. einmal pro Sekunde, einmal alle zehn Sekunden, einmal pro Minute, etc.). Oder, anstatt periodisch ausgeführt zu werden, könnte das Verfahren 100 als Reaktion auf ein oder mehrere Triggerereignisse ausgeführt werden (z.B. wird ein entschnallender Sicherheitsgurt erkannt, das Fahrzeug fährt in einen Hochverkehrs- oder Hochrisiko-Bereich, das Fahrzeug fährt auf eine Autobahn usw.). Es ist zu beachten, dass die Bedingungen und/oder die Häufigkeit, mit der das Verfahren 100 durchgeführt wird, nicht auf die oben genannten Szenarien beschränkt sind, da andere Möglichkeiten bestehen.
Beginnend mit Schritt 110 sammelt und liefert das Verfahren Kamerabilddaten an das Sicherheitsgurt-Zustandsbestimmungssystem 12. So kann beispielsweise Schritt 110 eine oder mehrere Fahrzeugkameras 20-26 verwenden, die innerhalb der Fahrzeugkabine montiert sind, um Rohdaten von Kamerabildern zu sammeln und diese Daten dem Fahrzeugdatenverarbeitungsmodul 40 und/oder einer anderen Komponente bereitzustellen. Die Kamerabilddaten können ein einzelnes Kamerabild oder -rahmen, mehrere Kamerabilder oder -rahmen (z.B. eine Reihe von Bildern, die von Fahrzeugkameras 20-26 über eine vorbestimmte Zeitspanne aufgenommen wurden) oder Videomaterial beinhalten, aus dem ein oder mehrere Bilder extrahiert werden können. Gemäß einem nicht einschränkenden Beispiel sammelt Schritt 110 Kamerabilddaten, indem er Standbilder oder Einzelbilder aus einer Videoübertragung mit einer bestimmten Geschwindigkeit (z.B. 5 Bilder/Sekunde) extrahiert. Die genaue Häufigkeit, mit der Kamerabilddaten gesammelt oder abgetastet werden, kann jedoch je nach Anwendung und Bedarf und/oder Ressourcen variieren. Sobald die Kamerabilddaten gesammelt und bereitgestellt sind, kann das Verfahren mit Schritt 114 fortfahren.
In Schritt 114 sammelt und liefert das Verfahren Sicherheitsgurtdaten in einer Vielzahl von verschiedenen Formen. Gemäß einer Ausführungsform sammelt Schritt 114 Sicherheitsgurtdaten von den Sicherheitsgurtsensoren 30-36 und stellt diese Daten dem Fahrzeugdatenverarbeitungsmodul 40 und/oder einer anderen Komponente zur Verfügung. In Verbindung mit den Kamerabilddaten helfen die Sicherheitsgurtdaten dem Verfahren, den genauen Status oder Zustand eines bestimmten Sicherheitsgurtes zu bestimmen. In der gebräuchlichsten Anwendung zeigen die Gurtdaten an, ob ein bestimmter Sicherheitsgurt angelegt ist oder nicht (d.h. ob die Gurtzunge vollständig in den Sicherheitsgurt eingeführt ist). Die Sicherheitsgurtdaten an sich können bestimmte Szenarien, wie z.B. gefälschte Schließblechszenarien oder dergleichen, nicht aufdecken; diese Szenarien sind jedoch erkennbar, wenn das Verfahren die Sicherheitsgurtdaten in Verbindung mit Kamerabilddaten verwendet, wie hier erläutert wird. Die genaue Häufigkeit, mit der Sicherheitsgurtdaten erfasst oder abgetastet werden, kann je nach Anwendung und Bedarf und/oder Ressourcen variieren.
Anschließend führt das Verfahren einen Sicherheitsgurt-Klassifizierungs-Prozess (z.B. einen Computer Vision Algorithmus) durch, Schritt 118. Das Klassifizierungsverfahren für Sicherheitsgurte dient dazu, einen bestimmten Sitzbereich zu bewerten und den aktuellen Zustand des Beifahrers und des Sicherheitsgurtes in eine oder mehrere Klassifizierungen einzuteilen, wie z.B.: nicht anwesender Beifahrer, anwesender Beifahrer / nicht getragener Sicherheitsgurt, anwesender Beifahrer / falsch angelegter Sicherheitsgurt, ordnungsgemäßer Beifahrer / korrekter Sicherheitsgurt und/oder blockierte Sicht. Gemäß einem Beispiel empfängt der Sicherheitsgurt-Klassifizierungs-Prozess in Schritt 118 die Kamerabilddaten als Eingabe und stellt eine Sicherheitsgurt-Klassifizierung als Ausgabe bereit, wobei die Sicherheitsgurt-Klassifizierung ein Bild aus den Kamerabilddaten in eine oder mehrere Klassifizierungen (z.B. die oben aufgeführten) klassifiziert. Damit die Ausgabe des Verfahrens 100 in Echtzeit oder nahezu in Echtzeit verfügbar ist, müsste die gesamte oder der größte Teil der Verarbeitung in Schritt 118 wahrscheinlich am Fahrzeug 10 durchgeführt werden, wie beispielsweise in einem oder mehreren der elektronischen Fahrzeugmodule 40, 50, 60, 70 usw., aber dies ist nicht erforderlich. Ein nicht einschränkendes Beispiel für Schritt 118 ist im detaillierteren Flussdiagramm von 3 dargestellt, in dem eine Reihe von Teilschritten 210-258 dargestellt und in den folgenden Abschnitten diskutiert werden.
Ab Schritt 210 in 3 verarbeitet das Verfahren die Kamerabilddaten vor und kann dies nach beliebig vielen verschiedenen Techniken tun. Schritt 210 empfängt die Kamerabilddaten als Eingang und stellt vorverarbeitete Kamerabilddaten als Ausgang zur Verfügung, und wobei der Schritt die Kamerabilddaten durch Reduzieren der Datenmenge und/oder Standardisieren der Daten vorverarbeitet. Um beispielsweise die Datenmenge zu reduzieren, kann der Vorverarbeitungsschritt 210 einen Bereich von Interesse (ROI) aus einem der Bilder schneiden, wobei der ROI einem erwarteten Standort eines Beifahrers und eines Sicherheitsgurtes entspricht. Die Größe, Form, Position usw. der ROI kann festgelegt und vorgegeben werden oder sie kann jedes Mal basierend auf dem Inhalt des jeweiligen Bildes ausgewählt werden. Gemäß einem Beispiel ist jeder ROI größer oder gleich 250x250 Pixel und in einer Ausführungsform größer oder gleich 300x300 Pixel. Auf diese Weise kann die Methode die Merkmale innerhalb des ROI extrahieren, an denen sie am meisten interessiert ist, und Daten außerhalb des ROI ignorieren, die möglicherweise nicht so nützlich sind.
Was die Standardisierung der Daten betrifft, so kann der Vorverarbeitungsschritt 210 Bilder so umdrehen, dass sie alle in einer Standardorientierung sind, er kann die Pixel so normalisieren, dass sie alle eine Intensität innerhalb eines Standardbereichs aufweisen, er kann die Daten so konvertieren, dass jedes Bild eine Standardanzahl von Bits/Pixel aufweist, er kann die Bilder so skalieren, dass sie eine Standardgröße aufweisen, oder er kann eine andere Technik zur Standardisierung der Bilddaten verwenden. Durch die erste Standardisierung der Kamerabilddaten können die Daten anschließend einheitlicher oder standardisierter ausgewertet werden. Im Standardisierungsbeispiel des Spiegeln von Bildern, zum Beispiel, kann Schritt 210 alle Bilder auf der linken Seite des Fahrzeugs horizontal spiegeln, so dass ihre Ausrichtung mit den Bildern auf der rechten Seite des Fahrzeugs übereinstimmt, oder umgekehrt. Dies führt zu einer Sammlung von Bildern mit einer Standardorientierung. In einem anderen Standardisierungsbeispiel kann Schritt 210 die Intensität der Pixel normalisieren, um unterschiedliche Kameras, Lichtverhältnisse usw. zu berücksichtigen, die eine spätere Klassifizierung erschweren könnten. Diese Technik kann durchgeführt werden, indem die Intensität jedes Pixels I wie folgt normiert wird, so dass alle Pixelintensitäten im Bereich[-1, 1] liegen. Für eine 8-Bit/Pixel-Kamera kann folgendes verwendet werden: $I ↑' = ((I / 255) - 0.5) \times 2 St \ddot{u} ck$
Es können auch andere Bildverarbeitungstechniken verwendet werden. Sobald Schritt 210 vorverarbeitete Kamerabilddaten als Ausgabe erzeugt hat, fährt das Verfahren fort.
In Schritt 214 führt das Verfahren einen Szenario-Klassifizierungs-Prozess durch und kann dies nach einer beliebigen Anzahl verschiedener Techniken tun. Gemäß einem Beispiel empfängt Schritt 214 die vorverarbeiteten Kamerabilddaten als Input und stellt eine Szenario-Klassifizierung als Output bereit, und dieser Schritt klassifiziert die Bilder in verschiedene Szenarien oder Situationen, so dass die Ausgabe der Szenario-Klassifizierung eine statistische Vorhersage ist, in welche Klassifizierung der Prozess glaubt, dass das Bild fallen sollte. So kann beispielsweise der Szenario-Klassifikator in Schritt 214 für jedes vorverarbeitete Bild bestimmen, ob ein Fahrgast auf dem betreffenden Sitz sitzt und ob eine Sicht auf die Sitzfläche versperrt oder versperrt ist; in diesem Sinne klassifiziert Schritt 214 auf einer „bildmäßigen“ Basis. Zu diesem Zweck kann Schritt 214 einen Szenario-Klassifikator verwenden, der offline erstellt wird, aber anschließend auf dem Fahrzeug installiert wird und bei jedem Ausführen von Schritt 214 ausgeführt wird. Eine Möglichkeit, einen Szenario-Klassifikator zu erstellen, besteht in der Verwendung von maschinellen Lerntechniken, bei denen ein auf Beispieldaten oder Trainingsdaten basierendes Modell auf eine neue Eingabe angewendet werden kann (z.B. ein neues vorverarbeitetes Kamerabild aus Schritt 210), um die Klassifizierung der neuen Eingabe vorherzusagen. Techniken des maschinellen Lernens können besonders geeignet sein für Anwendungen, wie den Szenario-Klassifikator in Schritt 214, bei denen es nicht möglich ist, einen Algorithmus zu entwickeln, der alle möglichen Umstände oder Bedingungen angemessen adressieren kann. Einige mögliche Klassifizierungen, die Schritt 214 in Betracht ziehen kann, sind: Passagier nicht anwesend, Passagier anwesend und blockierte Sicht. Natürlich können auch andere Klassifizierungsmethoden und Klassifizierungen verwendet werden.
Beispiele für geeignete maschinelle Lerntechniken, die in Verbindung mit Schritt 214 eingesetzt werden könnten, sind überwachte Deep-Learning-Techniken, wie sie beispielsweise zum Aufbau und zur Schulung eines neuronalen Netzwerks aus einem großen Satz von Beispieldaten oder Trainingsdaten verwendet werden. Das trainierte neuronale Netzwerk ist ein Modell, das vorhersagt, welche Szenario-Klassifikation ein bestimmtes Bild am besten repräsentiert. So könnte beispielsweise ein beaufsichtigter Lernalgorithmus verwendet werden, um ein neuronales Faltungsnetzwerk aufzubauen und zu trainieren, das auf Informationen über Tausende, Zehntausende, Hunderttausende oder sogar Millionen von zuvor gesammelten Bildern und den entsprechenden Szenario-Klassifikationen (d.h. den Trainingsdaten) basiert. Das neuronale Netzwerk basiert auf einem großen Satz von Trainingsdaten, die eine Reihe von individuellen Trainingsbeispielen beinhalten, von denen jedes ein individuelles Bild und die entsprechende Klassifizierung beinhaltet. Jedes Trainingsbeispiel kann als Array oder Vektor ausgedrückt werden, und die Trainingsdaten können als Matrix ausgedrückt werden. Um die vorstehend erläuterten Techniken des maschinellen Lernens nutzen zu können, muss das Verfahren zunächst ein neuronales Netzwerk aufbauen und trainieren (z.B. ein tiefes neuronales Netzwerk, ein faltungsneuronales Netzwerk usw.). Es ist zu beachten, dass ein Großteil der Diskussion über den Aufbau, die Ausbildung und die Verwendung eines neuronalen Netzes in Schritt 214 auf die anderen Schritte des Verfahrens 100 Anwendung findet, die neuronale Netze verwenden, sofern nicht anders angegeben.
Das in Verbindung mit Schritt 214 verwendete neuronale Netzwerk ist eine Art mehrschichtiges Netzwerk, das entwickelt wurde, um visuelle Muster und/oder Merkmale aus Pixelinformationen zu erkennen, wie beispielsweise den Typ, aus dem die vorverarbeiteten Kamerabilder bestehen. Das neuronale Netzwerk besteht aus einer Sammlung von miteinander verbundenen Neuronen oder Knoten, von denen jeder eine mathematische Funktion mit einem oder mehreren Eingang(en) und einem oder mehreren Ausgang(en) ist, wobei der Ausgang eines Neurons als Eingang für ein oder mehrere andere Neuronen verwendet wird. Ein Neuron kann mit mehreren Neuronen in der nächsten Schicht verbunden sein, aber das Neuron gibt nur einen einzigen Wert für einen gegebenen Satz von Eingängen aus (so kann das Neuron „mehrere“ Ausgänge haben, die alle den gleichen Einzelwert ausgeben). Die mathematische Funktion beinhaltet typischerweise eine lineare Funktion und eine nichtlineare Funktion darüber (auch als Aktivierungsfunktion bezeichnet). Die lineare Funktion hat typischerweise eine oder mehrere Gewichte oder Konstanten, die in der linearen Funktion verwendet werden; diese Gewichte können für jedes Neuron einzigartig sein (obwohl viele Neuronen die gleiche mathematische Funktion anwenden können, sind die verschiedenen Gewichte einzigartig und können „abgestimmt“ werden). Sobald das Neuron die Eingänge empfängt und die linearen und nichtlinearen Funktionen auf den Eingang anwendet, wird eine einzige Zahl ausgegeben und als Aktivierung des Neurons bezeichnet. Die letzte Schicht des neuronalen Netzwerks kann ein Neuron für jede der möglichen Klassifizierungen oder Ergebnisse beinhalten (z.B. drei Neuronen in Schritt 214; eines für die folgenden Klassifizierungen: Passagier nicht anwesend, Passagier anwesend oder Bild blockiert), wobei jedes Neuron die Wahrscheinlichkeit des betreffenden Bildes darstellt, das zu dieser bestimmten Klassifizierung gehört. Jedes Neuron in der letzten Schicht gibt einen einzelnen Wahrscheinlichkeitswert zwischen [0, 1] aus, und die Summe aller Wahrscheinlichkeitswerte ergibt 1 (die letzte Schicht ist eine Wahrscheinlichkeitsverteilung). Dies ist ein Beispiel für einen Mehrklassen-Klassifikator.
Erfahrene Handwerker werden verstehen, dass es eine Reihe von Möglichkeiten gibt, ein neuronales Netzwerk für die oben genannten Zwecke aufzubauen und zu trainieren, von denen jede mit der vorliegenden Methode verwendet werden kann. Gemäß einem nicht einschränkenden Beispiel von Schritt 214 wird ein neuronales Faltungsnetzwerk mit einer Architektur vom Xception-Typ verwendet, bei dem das neuronale Faltungsnetzwerk unter Verwendung eines geeigneten Adam-Optimierungsalgorithmus überwacht trainiert wird. Natürlich, andere Arten von neuronalen Netzwerkarchitekturen, wie z. B. solche, die auf ResNet, VGGNet, AlexNet, Inception, MobileNet, etc. basieren. und andere Arten von Optimierungsmethoden, wie der einfache stochastische Gradientenabstieg, AdaGrad, AdaDelta, RMSProp, etc. können stattdessen verwendet werden. Durch die iterative Optimierung einer Funktion, z.B. mit einer Verlustfunktion wie der kategorischen Cross-Entropie, können die beaufsichtigten Lerntechniken lernen, eine Szenario-Klassifizierung (Output) für neue vorverarbeitete Bilder (Input) vorherzusagen, auch wenn die neuen vorverarbeiteten Bilder eine Situation darstellen, die in den Trainingsdaten nicht vorhanden ist. So kann beispielsweise Schritt 214 das neuronale Netzwerk unter Verwendung einer Datenbank trainieren, die Tausende, Zehntausende oder sogar Hunderttausende von vorverarbeiteten Bildern von Sitzbereichen (z.B. mindestens 10.000 Bilder von Sitzbereichen) enthält, von denen einige Sitze ohne Fahrgäste, Sitze mit Fahrgästen, Fahrgäste mit Sicherheitsgurten, Fahrgäste ohne Sicherheitsgurte oder versperrte Ansichten zeigen, bei denen der Status oder die Streckenführung des Sicherheitsgurtes nicht bestimmt werden kann. Erfahrene Handwerker im Bereich des maschinellen Lernens werden es zu schätzen wissen, dass es zahlreiche Techniken, Algorithmen, Prozesse usw. gibt, die zum Aufbau, zur Schulung und/oder zur Optimierung eines neuronalen Netzwerks, einschließlich der nachfolgend beschriebenen, eingesetzt werden können, und dass die Methode nicht auf bestimmte Methoden beschränkt ist.
Eine mögliche Technik für das Training des neuronalen Netzwerks ist ein Adam-Optimierungsalgorithmus oder Adam-Optimierer, obwohl dies optional ist. Ein Adam-Optimierer ist eine Art stochastischer Gradientenabsenkalgorithmus oder -verfahren, das das neuronale Netzwerk effizient trainieren kann, indem es schnell optimale Werte für jedes Bild findet. Andere Arten von Optimierungstechniken und/oder Algorithmen, einschließlich der oben genannten und verschiedener Beispiele für Gradientenabstiegsalgorithmen, könnten verwendet werden, um stattdessen das neuronale Netzwerk zu trainieren. Der Adam-Optimierer kann im vorliegenden Kontext verwendet werden, um zu versuchen, Fehler zu reduzieren, indem die Gewichte, die Teil der linearen Funktion sind, wie oben erläutert, angepasst werden. Eine Möglichkeit, dies zu tun, ist, zunächst eine zufällige Menge von Gewichten auszuwählen und dann den Optimierungs-Prozess so durchzuführen, dass das neuronale Netzwerk und damit das Modell eine schlechte Leistung erbringen, aber für eine genaue Leistung optimiert sind. Die Lernrate bezieht sich darauf, wie sehr/schnell die Optimierungstechnik die Gewichte zwischen den Iterationen ändert und kann bei Bedarf angepasst werden. Das endgültige Modell wird eine Sammlung von Gewichten für die verschiedenen Neuronen beinhalten, wobei jeder Gewichtssatz auf Genauigkeit optimiert wurde.
Die Fachkräfte werden es zu schätzen wissen, dass eine Reihe verschiedener Techniken zur Ergänzung oder Ergänzung der Trainingsdaten eingesetzt werden können, einschließlich einer Kombination der folgenden Techniken. In einer Bildrotationsdaten-Augmentationstechnik nimmt das Verfahren ein vorverarbeitetes Bild und seine bekannte Ausgabe (d.h. seine bekannte Szenario-Klassifizierung) und dreht das Bild um einen zufälligen Winkel im Bereich von [-30°, 30°]. Das gedrehte Bild und die gleiche Ausgabe werden dann als neues Trainingsbeispiel gespeichert. Es kann auch eine Bildausschnittsdaten-Augmentationstechnik verwendet werden, bei der das Verfahren erneut ein vorverarbeitetes Bild und dessen bekannte Ausgabe aufnimmt und dann absichtlich einen Abschnitt dieses Bildes so zuschneidet, dass ein zufälliger Rand im Bereich von [0, 25] Pixeln verworfen wird. Auch bei dieser Datenergänzungstechnik geht es darum, mehr Trainingsbeispiele zu generieren, so dass mehr Möglichkeiten durch das Modell abgedeckt werden. In noch einem weiteren Beispiel kann eine Bildhelligkeitsdatenvergrößerungstechnik verwendet werden, bei der diese Technik ein vorverarbeitetes Bild und dessen bekannte Ausgabe übernimmt und die Helligkeit und/oder den Kontrast eines zufälligen Abschnitts (z.B. eines zufälligen Vierecks) im Bild zufällig ändert. Die Gewichte und/oder anderen Parameter des neuronalen Netzwerks können in mehreren Stufen optimiert werden; z.B. können die Gewichte und/oder Parameter für die Hälfte der Schichten des neuronalen Netzwerks zuerst optimiert werden, dann für die andere Hälfte der optimierten Sekunde, oder sie können zusammen optimiert werden, um zwei Möglichkeiten zu nennen. Dieser Prozess der Datenvermehrung kann beliebig oft wiederholt werden, um die Trainingsdaten zu ergänzen und zu erhöhen, indem neue Trainingsbeispiele erstellt werden, die für neue Bedingungen repräsentativ sind. Viele, wenn nicht sogar alle der oben genannten Techniken können offline durchgeführt werden, d.h. das neuronale Netzwerk kann in einem Backend oder einer Cloud-basierten Einrichtung aufgebaut und trainiert werden, bevor das Fahrzeug hergestellt wird, so dass das resultierende Modell auf das Fahrzeug geladen und gespeichert (z.B. im Fahrzeugdatenverarbeitungsmodul 40) und in Schritt 214 verwendet werden kann.
Schritt 214 klassifiziert jedes neue vorverarbeitete Bild (Input) und liefert eine entsprechende Szenario-Klassifizierung (Output). Gemäß dem oben genannten Beispiel gibt Schritt 214 eine Szenario-Klassifizierung aus, die eines von drei möglichen Szenarien oder Situationen anzeigt: ein Fahrgast ist nicht anwesend, ein Fahrgast ist anwesend oder das Bild hat eine blockierte Sicht. Stattdessen könnten andere mögliche Klassifizierungen verwendet werden.
Wenn das Verfahren bestimmt, dass sich ein Fahrgast nicht auf dem betreffenden Sitz befindet, kann das Verfahren an dieser Stelle enden oder zum Anfang zurückkehren, um Berechnungsressourcen usw. zu schonen (es besteht keine Notwendigkeit zu versuchen, zu bestimmen, ob ein Sicherheitsgurt ordnungsgemäß verlegt ist, wenn sich kein Fahrgast auf dem Sitz befindet). Wenn das Verfahren bestimmt, dass das Bild derzeit blockiert ist (z.B. ein Objekt vor der Kamera, der Beifahrer sitzt in einer Position, die verhindert, dass die Kamera den Sicherheitsgurt sehen kann, usw.), kann das Verfahren den Fahrer/Beifahrer auf diese Okklusion aufmerksam machen, damit sie behoben werden kann. Wie vorstehend erwähnt, kann das neuronale Netzwerk oder Modell in Schritt 214 für jede der möglichen Klassifizierungen eine separate Wahrscheinlichkeit zwischen [0, 1] ausgeben, wobei die Summe aller Wahrscheinlichkeiten 1 ergibt und die Ausgabe mit der höchsten Wahrscheinlichkeit dann als das wahrscheinlichste Szenario gilt. Die Ausgabe der Szenario-Klassifizierung wird von der Methode zusammen mit der Ausgabe der Schritte 218 und 222 berücksichtigt, wie nachfolgend erläutert.
In Schritt 218 führt das Verfahren einen Segmentierungs-Prozess für Sicherheitsgurte durch und kann dies auf verschiedene Weise tun. Gemäß einem Beispiel empfängt Schritt 218 die vorverarbeiteten Kamerabilddaten als Eingabe und stellt einen segmentierten Sicherheitsgurt als Ausgabe bereit, wobei die segmentierte Sicherheitsgurtausgabe eine Sammlung von Pixeln beinhaltet, die vom Prozess als Teil des betreffenden Sicherheitsgurtes erkannt wurden. Anders ausgedrückt, Schritt 218 wertet ein vorverarbeitetes Kamerabild aus und bestimmt auf einer Pixel-für-Pixel- oder Pixelgruppen-Basis, welche Pixel dem Sicherheitsgurt im Bild entsprechen und welche nicht. Diese Ausgabe kann anschließend verwendet werden, um den Gurtverlauf zu analysieren und festzustellen, ob er richtig oder falsch ist, wie erläutert wird. In diesem Sinne segmentiert oder bewertet Schritt 218 „pixelweise“, im Gegensatz zu Schritt 214, der „bildmäßig“ bewertet wird. Zu diesem Zweck kann Schritt 218 einen Sicherheitsgurt-Segmentierer oder Pixelizer verwenden, der offline gebaut wird, aber anschließend am Fahrzeug installiert wird und bei jedem Ausführen von Schritt 218 ausgeführt wird. Eine Möglichkeit, einen Sicherheitsgurt-Segmentierer zu bauen, besteht in der Verwendung von maschinellen Lerntechniken, wie den oben beschriebenen überwachten Tiefenlerntechniken, bei denen ein auf Stichprobendaten oder Trainingsdaten auf eine neue Eingabe angewendet wird (z.B. ein oder mehrere Pixel aus einem neuen vorverarbeiteten Kamerabild aus Schritt 210), um vorherzusagen, ob die betreffenden Pixel Teil des Sicherheitsgurtes sind oder einem anderen Element entsprechen (z.B. dem Beifahrer, dem Sitz, Hintergrundobjekten usw.). Maschinenlerntechniken können sich besonders für Anwendungen eignen, wie z.B. den Sicherheitsgurt-Segmentierer in Schritt 218, bei denen es nicht möglich ist, einen Algorithmus zu entwickeln, der alle möglichen Umstände oder Bedingungen richtig adressieren kann.
Gemäß einem nicht einschränkenden Beispiel von Schritt 218 wird ein vollständig gefaltetes neuronales Netzwerk mit einer DenseNet-Architektur verwendet, wobei das vollständig gefaltete neuronale Netzwerk unter Verwendung eines geeigneten Optimierungsalgorithmus überwacht trainiert wird. Natürlich auch andere Arten von neuronalen Netzwerkarchitekturen, wie die oben aufgeführten oder SegNet, U-Net, DeepLab, etc. kann stattdessen verwendet werden. Durch die iterative Optimierung einer Funktion, die eine andere Funktion als die oben im Szenario-Klassifizierungs-Prozess verwendete ist, können die überwachten Lerntechniken lernen, einen segmentierten Sicherheitsgurt (Output) für neue vorverarbeitete Bilder (Input) zu erzeugen, auch wenn die neuen vorverarbeiteten Bilder eine Situation darstellen, die in den Trainingsdaten nicht vorhanden ist. So kann beispielsweise Schritt 218 das neuronale Netzwerk unter Verwendung einer Datenbank trainieren, die Tausende, Zehntausende oder sogar Hunderttausende von vorverarbeiteten Bildern von Sicherheitsgurten (z.B. mindestens 10.000 Bilder von Sicherheitsgurten) enthält, die zeigen, dass Passagiere Sicherheitsgurte in verschiedenen Konfigurationen tragen, dass Passagiere keine Sicherheitsgurte tragen, dass Passagiere teilweise versperrt sind, so dass Teile des Sicherheitsgurts sichtbar sind, während andere versperrt sind, dass Passagiere Sicherheitsgurte tragen, wenn der untere oder der Beckengurt und der obere oder der Schultergurt separat sichtbar sind, usw. Erfahrene Handwerker im Bereich des maschinellen Lernens werden es zu schätzen wissen, dass es zahlreiche Techniken, Algorithmen, Prozesse usw. gibt, die zum Aufbau, zur Schulung und/oder zur Optimierung eines neuronalen Netzwerks, einschließlich der oben beschriebenen, eingesetzt werden können, und dass die Methode nicht auf bestimmte beschränkt ist.
In Schritt 222 führt das Verfahren einen Prozess zur Schätzung der Fahrgastposition durch und kann dies nach einer Vielzahl von verschiedenen Methoden tun. Gemäß einem Beispiel empfängt Schritt 222 die vorverarbeiteten Kamerabilddaten als Eingabe und stellt eine Fahrgastlagen-Schätzung als Ausgabe zur Verfügung, wobei die Fahrgastlagen-Schätzungsausgabe Informationen über die geschätzte Position bestimmter Körperteile des Fahrgastes beinhaltet, wie beispielsweise Schlüsselgelenke und Merkmale (z.B. Knie, Hüften, Schultern, Ellbogen, Handgelenke, Nacken, Stirn, Augen, Ohren usw.). Durch die Kenntnis der Position des Sicherheitsgurtes (z.B. von der segmentierten Sicherheitsgurtausgabe) und der Position bestimmter Körperteile (z.B. von der Schätzungsausgabe für die Fahrgastposition) kann das Verfahren bestimmen, ob der Sicherheitsgurt ordnungsgemäß über den Körper des Fahrgastes geführt wird, wie erläutert. Zu diesem Zweck kann Schritt 222 einen Posenschätzer verwenden, der offline aufgebaut ist, aber anschließend auf dem Fahrzeug installiert wird und bei jedem Ausführen von Schritt 222 ausgeführt wird. Eine Möglichkeit, einen Posenschätzer zu erstellen, besteht in der Verwendung von maschinellen Lerntechniken, wie den oben beschriebenen überwachten Tiefenlerntechniken, bei denen ein auf Stichprobendaten oder Trainingsdaten auf eine neue Eingabe angewendet wird (z.B. ein neues vorverarbeitetes Kamerabild aus Schritt 210, das einen Fahrgast in einer bestimmten Pose oder Haltung zeigt), um die Position bestimmter Körperteile zu schätzen. Maschinenlerntechniken können besonders geeignet für Anwendungen sein, wie z.B. den Posenschätzer in Schritt 222, bei denen es nicht möglich ist, einen Algorithmus zu entwickeln, der alle möglichen Umstände oder Posen richtig adressieren kann.
In einem Beispiel von Schritt 222 wird ein neuronales Faltungsnetzwerk mit einer „convolutional pose“-Maschinentyparchitektur verwendet, wobei das neuronale Faltungsnetzwerk unter Verwendung eines geeigneten Optimierungsalgorithmus überwacht trainiert wird. Natürlich können auch andere Arten von neuronalen Netzwerkarchitekturen, wie die oben aufgeführten oder ein kaskadiertes Pyramidennetz, verwendet werden. Durch die iterative Optimierung einer Funktion, die eine andere Funktion als die oben im Szenario-Klassifizierungs-Prozess verwendete ist, können die überwachten Lerntechniken lernen, eine Fahrgastpositionsschätzung (Output) für neue vorverarbeitete Bilder (Input) zu erzeugen, auch wenn die neuen vorverarbeiteten Bilder eine Situation darstellen, die in den Trainingsdaten nicht vorhanden ist. So kann beispielsweise Schritt 222 das neuronale Netzwerk unter Verwendung einer Datenbank trainieren, die Tausende, Zehntausende oder sogar Hunderttausende von vorverarbeiteten Bildern von Fahrgästen in verschiedenen Posen (z.B. mindestens 10.000 Bilder von Fahrgastposen) enthält, die Fahrgäste unterschiedlicher Größe zeigen, Fahrgäste, die in verschiedenen Ausrichtungen sitzen (z.B. mit gekreuzten Armen und/oder Beinen, mit geraden Armen und/oder Beinen, mit geneigtem Kopf, mit geradem Kopf, mit hängenden Schultern, mit quadratischen Schultern usw.). Erfahrene Handwerker im Bereich des maschinellen Lernens werden es zu schätzen wissen, dass es zahlreiche Techniken, Algorithmen, Prozesse usw. gibt, die zum Aufbau, zur Schulung und/oder zur Optimierung eines neuronalen Netzwerks, einschließlich der oben beschriebenen, eingesetzt werden können, und dass die Methode nicht auf bestimmte beschränkt ist.
In gewisser Weise ist die Schätzung oder Ausgabe der Fahrgaststellung von Schritt 222 eine digitale Darstellung oder ein virtuelles Modell bestimmter Körperteile des betreffenden Fahrgastes, wobei das virtuelle Modell Positionen der Körperteile und/oder Verbindungen zwischen diesen Körperteilen beinhaltet. Informationen über Hals und Schultern, wie z.B. deren geschätzte Lage, Ausrichtung, Größe, Form usw., können für den Prozess der Fahrgastannahme von besonderem Interesse sein. Mit diesem virtuellen Modell der Fahrgaststellung oder -haltung kann das Verfahren später feststellen, ob die Gurtverlegung korrekt oder unsachgemäß ist. Es ist zu beachten, dass die gesamte oben genannte Diskussion über maschinelle Lerntechniken, einschließlich derjenigen, die sich auf den Aufbau, die Ausbildung und die Nutzung neuronaler Netze, Datenergänzungstechniken usw. beziehen, auch auf Schritt 222 zutrifft. Sobald der Prozess der Fahrgastlagen-Schätzung abgeschlossen ist, fährt das Verfahren fort.
An dieser Stelle empfangen die Schritte 230-258 die Ausgabe der Schritte 214-222 und bestimmen eine Sicherheitsgurt-Klassifizierung für das jeweilige Bild. In einem Beispiel für Schritt 230 verwendet das Verfahren die aus Schritt 214 ausgegebene Szenario-Klassifizierung, um zu bestimmen, ob ein Fahrgast anwesend ist; wenn ein Fahrgast nicht anwesend ist, dann klassifiziert Schritt 234 das Bild als „Fahrgast nicht anwesend“. „Wenn ein Fahrgast anwesend ist, kann Schritt 230 erneut die von Schritt 214 ausgegebene Szenario-Klassifizierung verwenden, um zu bestimmen, ob das zu analysierende oder auszuwertende Bild eine blockierte Sicht hat, bei der der Fahrgast und/oder der Sicherheitsgurt blockiert oder anderweitig von der Sicht behindert ist, so dass das Verfahren keine Bestimmung vornehmen kann. Wenn dies der Fall ist, kann Schritt 238 das Bild als „blockierte Ansicht“ klassifizieren. Wenn Schritt 230 bestimmt, dass ein Fahrgast anwesend ist und dass die Sicht nicht blockiert ist, kann das Verfahren mit Schritt 250 fortfahren.
In Schritt 250 bestimmt das Verfahren, ob der Sitzschlag auf dem Fahrgast richtig geführt wird. So kann beispielsweise Schritt 250 die Sicherheitsgurt-Segmentierungs-Ausgabe aus Schritt 218 mit der Fahrgastlagen-Schätzung aus Schritt 222 überlagern, darüberlegen und/oder anderweitig vergleichen, um zu bestimmen, ob sich ein Abschnitt des Sicherheitsgurtes (z.B. ein Torsoabschnitt des Ober- oder Schultergurtes) zwischen Hals und Schulter des Fahrgastes erstreckt. Es gibt zahlreiche Möglichkeiten, wie dieser Vergleich oder diese Bewertung durchgeführt werden kann. In einem solchen Beispiel wird das binäre Bild, das durch den segmentierten Sicherheitsgurtprozess (d.h. den segmentierten Sicherheitsgurt) ausgegeben wird, Pixel für Pixel von der Schulterposition zur Halsposition durchlaufen. Wenn eines dieser Pixel als zum Sicherheitsgurt gehörig markiert ist, dann ist die Streckenführung korrekt; wenn nicht, ist die Streckenführung unzulässig. Schritt 250 kann bestimmen, ob sich ein Unter- oder Beckengurtabschnitt des Sicherheitsgurtes über die Hüfte oder Taille des Fahrgastes erstreckt, und dies kann zusätzlich oder anstelle der Bewertung von Hals und Schulter erfolgen. Natürlich können stattdessen auch andere Techniken und Verfahren zum Bestimmen des richtigen Gurtverlaufs aus dem Ausgang der Schritte 214-222 verwendet werden. Wenn das Verfahren bestimmt, dass der Sicherheitsgurt ordnungsgemäß angelegt oder verlegt wird, kann Schritt 254 das Bild als „Passagier anwesend / Sicherheitsgurt richtig angelegt“ einstufen. Umgekehrt, wenn das Verfahren bestimmt, dass der Sicherheitsgurt angelegt wird oder falsch angelegt wird, kann Schritt 258 das Bild als „Beifahrer vorhanden / Sicherheitsgurt falsch angelegt“ klassifizieren. Es ist auch möglich, dass einer oder mehrere der Schritte 230-258 die Sicherheitsgurtdaten der Sicherheitsgurtsensoren 30-36 verwenden, um zu bestimmen, ob der Sicherheitsgurt vollständig angelegt oder angelegt ist. Diese Informationen können zusätzlich zu den vorstehend beschriebenen Schritten als separate Statusprüfung des Sicherheitsgurtes oder gemäß einer anderen Ausführungsform verwendet werden. Diese Klassifizierung und/oder andere Ergebnisse des Sicherheitsgurt-klassifizierungs-Prozesses in Schritt 118 können in jeder geeigneten Speichervorrichtung im Fahrzeug oder anderswo gespeichert werden, beispielsweise in einer Cloud-basierten Einrichtung.
Zurück zu 2, nachdem Schritt 118 abgeschlossen ist, fährt das Verfahren mit Schritt 122 fort, um die Ausgabe des Sicherheitsgurt-Klassifizierungs-Prozesses zu filtern. Zur Bestätigung oder Überprüfung des Klassifizierungsstatus des Sicherheitsgurts können beliebig viele verschiedene Filter-, Mittelwertbildungs- und/oder andere Techniken verwendet werden. Ein nicht einschränkendes Beispiel für eine solche Technik ist die zeitliche Integration, bei der die Ausgabe eines oder mehrerer der vorhergehenden Schritte im Laufe der Zeit integriert oder gefiltert wird, um Rauschen und/oder störende Ausgaben zu reduzieren. Wenn Schritt 118 für jeden Frame der Kamerabilddaten eine Sicherheitsgurt-klassifikationsausgabe (z.B. eine für die verschiedenen Klassifizierungen repräsentative numerische Ausgabe) ausgibt, kann Schritt 122 diese Ausgabe filtern, indem er die Ausgabe von Schritt 118 über einen bestimmten Zeitraum oder eine bestimmte Anzahl von Frames (z.B. über 5, 10, 50 Frames, etc.) zeitlich integriert. Bevor die Klassifizierung der Sicherheitsgurte von einem Zustand in einen anderen geändert wird, kann Schritt 122 verlangen, dass der geänderte Zustand nicht nur vorübergehend ist, sondern erhalten bleibt, wie die Ergebnisse der zeitlichen Integration zeigen. Erfahrene Handwerker werden es zu schätzen wissen, dass stattdessen andere Filter-, Integrations- und/oder andere Techniken verwendet werden können.
Schließlich kann Schritt 126 für bestimmte Klassifizierungen von Sicherheitsgurten Abhilfemaßnahmen durchführen. Wenn das Verfahren beispielsweise bestimmt, dass die Klassifizierung des Sicherheitsgurtes eine „blockierte Sicht“ ist, wie in Schritt 238, kann das Verfahren dem Fahrgast eine visuelle und/oder akustische Warnung übermitteln, die ihn auffordert, das Hindernis zu beseitigen. Wenn das Verfahren beispielsweise bestimmt, dass die Sicherheitsgurt-Klassifizierung „Anwesenheit des Fahrgastes / unsachgemäßes Anlegen des Sicherheitsgurtes“ entspricht, wie in Schritt 258, kann Schritt 126 dem Fahrgast eine visuelle und/oder akustische Warnung (z.B. Armaturenbrettgong und Licht, ähnlich den aktuellen Sicherheitswarnungen) übermitteln, die ihn auffordert, die Situation durch Einstellen des Sicherheitsgurtes usw. zu beheben. Im Zusammenhang mit autonomen oder teilautonomen Fahrzeugen kann das Verfahren ein Skalierungsverfahren anwenden, das mit visuellen und/oder akustischen Warnmeldungen für den Fahrgast beginnt, gefolgt von Warnungen, dass das Fahrzeug die Fahrt einstellt, wenn es nicht innerhalb einer bestimmten Zeitspanne behoben wird. Wenn sich der Sicherheitsgurtzustand nicht ändert, kann Schritt 126 das autonome Fahrmodul 60 des Fahrzeugs verwenden, um das Fahrzeug automatisch in einen sicheren Halt zu bringen, bis der Beifahrer den Sicherheitsgurtzustand zufriedenstellend behebt (d. h. sicherstellt, dass der Sicherheitsgurt angelegt und ordnungsgemäß verlegt ist). In diesem Fall kann das autonome oder teilautonome Fahrzeug seine Route fortsetzen. Andere Sanierungsmaßnahmen sind durchaus möglich.
Obwohl das Verfahren 100 mit einer bestimmten Abfolge von Schritten veranschaulicht wurde, ist zu beachten, dass die genaue Reihenfolge oder Reihenfolge dieser Schritte variieren kann. So ist es beispielsweise möglich, dass das Verfahren Kamerabilddaten und/oder Sicherheitsgurtdaten vor, nach oder während der Ausführung der anderen Verfahrensschritte erfasst. In einem anderen Beispiel kann Schritt 118 so strukturiert sein, dass das Verfahren endet, wenn Schritt 234 bestimmt, dass kein Fahrgast anwesend ist, oder wenn Schritt 238 bestimmt, dass das Bild blockiert ist. Das vorliegende Verfahren ist nicht auf eine bestimmte Sequenz oder Kombination von Schritten beschränkt, und das vorliegende Verfahren kann mehr, weniger oder andere Schritte als die dargestellten und beschriebenen beinhalten.

Claims

Ein Sicherheitsgurt-Zustandsbestimmungsverfahren zur Verwendung mit einem Fahrzeug mit einer oder mehreren Fahrzeugkamera(s) und einem oder mehreren Sicherheitsgurtsensor(en), wobei das Verfahren die Schritte umfasst: Sammeln von Kamerabilddaten mit der/den Fahrzeugkamera(s); Sammeln von Sicherheitsgurtdaten mit dem/den Sicherheitsgurtsensor(en); und Durchführen eines Sicherheitsgurt-klassifizierungs-Prozesses, wobei der Sicherheitsgurt-Klassifizierungs-Prozess die Kamerabilddaten als Eingabe empfängt und eine Sicherheitsgurt-Klassifizierung als Ausgabe bereitstellt, wobei der Sicherheitsgurt-Klassifizierungs-Prozess ein Bild von den Kamerabilddaten in (eine) weitere(n) Klassifizierung(en) klassifiziert, die repräsentativ für einen Zustand des Sicherheitsgurtes sind, wobei der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-Klassifizierungs-Prozesses umfasst, der einen Fahrgastlagen-Schätzprozess beinhaltet, wobei der Fahrgastlagen-Schätzprozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und eine Fahrgastlagen-Schätzung als Ausgabe bereitstellt, wobei der Fahrgastlagen-Schätzprozess eine Position eines oder mehrerer Fahrgastkörperteile in einem Bild in den vorverarbeiteten Kamerabilddaten schätzt, wobei der Fahrgastlagen-Schätzprozess ferner die Verwendung eines neuronalen Netzwerks zum Schätzen der Position der Körperteile im Bild umfasst.
Das Verfahren nach Anspruch 1, wobei der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-Klassifizierungs-Prozesses durch Vorverarbeiten der Kamerabilddaten umfasst, so dass die vorverarbeiteten Kamerabilddaten in ihrer Größe reduziert und standardisiert sind.
Das Verfahren nach Anspruch 1, wobei der Schritt des Durchführens ferner das Durchführen des Sicherheitsgurt-klassifizierungs-Prozesses umfasst, der einen Sicherheitsgurt-Segmentierungs-Prozess beinhaltet, wobei der Sicherheitsgurt-Segmentierungs-Prozess vorverarbeitete Kamerabilddaten als Eingabe empfängt und einen segmentierten Sicherheitsgurt als Ausgabe bereitstellt, wobei der Sicherheitsgurt-Segmentierungs-Prozess eine Vielzahl von Sicherheitsgurtpixeln aus einem Bild in den vorverarbeiteten Kamerabilddaten identifiziert.
Das Verfahren nach Anspruch 3, wobei der Sicherheitsgurt-Segmentierungs-Prozess ferner das Verwenden eines neuronalen Netzwerks umfasst, um vorherzusagen, ob jedes Pixel oder jede Gruppe von Pixeln im Bild einem Sicherheitsgurt entspricht oder nicht, und dies auf einer pixelweisen Basis tut.
Das Verfahren nach Anspruch 3, wobei die Sicherheitsgurt-Segmentierungs-Ausgabe ein Binärbild ist, wobei jedem der Pixel eine „0“ oder „1“ zugeordnet ist, je nachdem, ob es sich um ein Sicherheitsgurtpixel handelt oder nicht.
Das Verfahren nach Anspruch 1, wobei der Sicherheitsgurt-Klassifizierungs-Prozess das Bild aus den Kamerabilddaten in eine oder mehrere Klassifizierungen klassifiziert, die aus einer Liste ausgewählt sind, die aus Folgendem besteht: Fahrgast nicht anwesend, blockierte Sicht, Fahrgast anwesend / Sicherheitsgurt richtig angelegt oder Fahrgast anwesend / Sicherheitsgurt falsch angelegt.
Das Verfahren nach Anspruch 1, ferner umfassend den Schritt: Durchführen einer oder mehrerer Abhilfemaßnahmen, wenn der Sicherheitsgurt-Klassifizierungs-Prozess bestimmt, dass ein Fahrgast anwesend ist, der Sicherheitsgurt aber falsch angelegt ist, wobei die Abhilfemaßnahmen aus einer Liste ausgewählt sind, die aus Folgendem besteht: Senden einer visuellen Warnung an den Fahrgast, Senden einer akustischen Warnung an den Fahrgast oder automatisches Anhalten des Fahrzeugs, wenn das Fahrzeug ein autonomes oder teilautonomes Fahrzeug ist.