DE102020214089A1

DE102020214089A1 - System und verfahren zum detektieren und mindern eines unsicheren zustands in einem fahrzeug

Info

Publication number: DE102020214089A1
Application number: DE102020214089.8A
Authority: DE
Inventors: Stefan Weissert; Govind RATHORE; Vimal Selva Vinayagam; Davis Barch; Pranavkumar Masariya
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-06
Filing date: 2020-11-10
Publication date: 2021-06-10
Also published as: US11485383B2; US20210171039A1; CN112918485A

Abstract

Ein System zum Detektieren und Mindern eines unsicheren Zustands in einem Fahrzeug beinhaltet einen Bildsensor, der dazu ausgelegt ist, Bilddaten eines oder mehrerer Sitze in einem Fahrgastraum des Fahrzeugs zu erzeugen und auszugeben, und ein Verarbeitungssystem, das funktionsfähig mit dem Bildsensor verbunden ist und mindestens einen Prozessor beinhaltet. Das Verarbeitungssystem ist ausgelegt zum Empfangen der Bilddaten von dem Bildsensor, Verarbeiten der Bilddaten, um einen Ort mindestens eines Passagiers in dem Fahrgastraum zu bestimmen, Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, basierend auf dem bestimmten Ort des mindestens einen Passagiers im Fahrgastraum, und Betreiben mindestens einer Komponente des Fahrzeugs auf eine vordefinierte Weise als Reaktion auf das Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet.

Description

Querverweis auf verwandte Anmeldung
Die vorliegende Anmeldung ist mit der am selben Tag eingereichten US-Anmeldung Nr. (Anwaltsaktenzeichen Nr. 1576-2444 ) mit dem Titel „System and Method for Detecting Abnormal Settling of Passengers in a Vehicle“ verwandt, deren Inhalte hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft allgemein Fahrzeugfahrgastraumsysteme und insbesondere Systeme zum Detektieren eines unsicheren Zustands, der dadurch verursacht wird, dass sich ein Passagier außerhalb seines jeweiligen Sitzes in einem Fahrzeug befindet.
HINTERGRUND
Da sich die Technologien in Richtung autonomes Fahren entwickeln, wird es in Zukunft keinen menschlichen Fahrer mehr im Auto geben. Das Fehlen eines menschlichen Fahrers stellt jedoch neue Herausforderungen. Insbesondere muss das Auto selbst, ohne einen menschlichen Fahrer, möglicherweise die Aufgabe des Verstehens des Zustands des Autoinnenraums übernehmen.
Genauer gesagt kann ein unsicherer Zustand auftreten, wenn sich ein Passagier innerhalb des Fahrgastraums bewegt und sich nicht im Sitz befindet. In herkömmlichen Fahrzeugen kann ein Fahrer die unsichere Situation erkennen und die notwendige Handlung zum Mindern des unsicheren Zustands vornehmen. In einem autonomen Fahrzeug gibt es jedoch keinen Fahrer zum Erkennen und Beheben der unsicheren Situation. Demnach würden Verbesserungen an Systemen und Verfahren zum Identifizieren und Beheben unsicherer Zustände vorteilhaft sein, wenn sich ein Passagier außerhalb seines Sitzes befindet.
Kurzdarstellung
In einer Ausführungsform detektiert und mindert ein System einen unsicheren Zustand in einem Fahrzeug. Das System beinhaltet einen Bildsensor, der dazu ausgelegt ist, Bilddaten eines oder mehrerer Sitze in einem Fahrgastraum des Fahrzeugs zu erzeugen und auszugeben, und ein Verarbeitungssystem, das funktionsfähig mit dem Bildsensor verbunden ist und mindestens einen Prozessor beinhaltet. Das Verarbeitungssystem ist ausgelegt zum Empfangen der Bilddaten von dem Bildsensor, Verarbeiten der Bilddaten, um einen Ort mindestens eines Passagiers in dem Fahrgastraum zu bestimmen, Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, basierend auf dem bestimmten Ort des mindestens einen Passagiers im Fahrgastraum, und Betreiben mindestens einer Komponente des Fahrzeugs auf eine vordefinierte Weise als Reaktion auf das Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet.
In einer Ausführungsform ist das Verarbeitungssystem ferner bei der Verarbeitung der Bilddaten ausgelegt zum Schätzen einer Haltung des mindestens einen Passagiers, um einen jeweiligen Passagierortspunkt für jeden Passagier des mindestens einen Passagiers zu bestimmen.
In einer anderen Ausführungsform ist das Verarbeitungssystem ferner bei der Schätzung der Haltung ausgelegt zum Schätzen von Hüftorten jedes Passagiers und Bestimmen des jeweiligen Passagierortspunktes als einen Mittelpunkt zwischen den geschätzten Hüftorten.
Das Verarbeitungssystem des Systems kann in einer anderen Ausführungsform ferner bei der Schätzung der Haltung ausgelegt sein zum Schätzen von Schulterorten jedes Passagiers und Bestimmen des jeweiligen Passagierortspunktes als einen Mittelpunkt zwischen den geschätzten Schulterorten.
Das Verarbeitungssystem kann ferner ausgelegt sein zum Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, als Reaktion darauf, dass sich mindestens einer der jeweiligen Passagierortspunkte für einen vorbestimmten ersten Zeitraum außerhalb einer ersten Sitzabgrenzung des mindestens einen Sitzes befindet.
In einer anderen Ausführungsform beinhaltet die mindestens eine Komponente ein Antriebssystem des Fahrzeugs, und das Betreiben der mindestens einen Komponente des Fahrzeugs auf die vordefinierte Weise umfasst ferner dahingehendes Betreiben des Antriebssystems des Fahrzeugs, das Fahrzeug zu verlangsamen oder anzuhalten.
In noch einer anderen Ausführungsform beinhaltet die mindestens eine Komponente einen Lautsprecher, der dazu ausgelegt ist, Audio in den Fahrgastraum des Fahrzeugs zu projizieren, und das Betreiben der mindestens einen Komponente des Fahrzeugs auf die vordefinierte Weise umfasst ferner dahingehendes Betreiben des Lautsprechers, eine hörbare Warnung zu erzeugen.
In manchen Ausführungsformen beinhaltet die mindestens eine Komponente eine Anzeige und/oder eine Leuchte, die in oder angrenzend zu dem Fahrgastraum des Fahrzeugs angeordnet sind, und das Betreiben der mindestens einen Komponente des Fahrzeugs auf eine vordefinierte Weise umfasst ferner dahingehendes Betreiben der Anzeige und/oder der Leuchte, eine visuelle Warnung zu erzeugen.
In einer anderen Ausführungsform umfasst ein Verfahren zum Detektieren und Mindern eines unsicheren Zustands in einem Fahrzeug Empfangen, mit einem Verarbeitungssystem, von Bilddaten eines oder mehrerer Sitze in einem Fahrgastraum des Fahrzeugs von einem Bildsensor und Verarbeiten, mit dem Verarbeitungssystem, der Bilddaten, um einen Ort mindestens eines Passagiers in dem Fahrgastraum zu bestimmen. Das Verfahren beinhaltet ferner Detektieren, mit dem Verarbeitungssystem, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, basierend auf dem bestimmten Ort des mindestens einen Passagiers in dem Fahrgastraum, und Betreiben mindestens einer Komponente des Fahrzeugs mit dem Verarbeitungssystem auf eine vordefinierte Weise als Reaktion auf das Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet.
Figurenliste

1 ist eine schematische Draufsicht eines Fahrzeugs mit einem Fahrgastraumüberwachungssystem, das ein Passagierplatznahmeüberwachungssystem und ein Sitzverlassungsdetektionssystem aufweist.
2 ist eine schematische Ansicht von Komponenten des Fahrzeugs und des Passagierplatznahmeüberwachungssystems von 1.
3 ist ein Flussdiagramm eines Verfahrens zum Betreiben des Passagierplatznahmeüberwachungssystems von 1, um eine Warnung zu erzeugen, falls ein Passagier in dem Fahrzeug auf eine anormale Weise Platz nimmt.
4 ist ein Flussdiagramm eines Verfahrens zum Betreiben des Fahrzeugs von 1, um ein detektiertes anormales Platznahmeereignis zu mindern.
5 ist eine schematische Ansicht von Komponenten des Fahrzeugs und des Passagiersitzverlassungsdetektionssystems von 1.
6 ist ein Flussdiagramm eines Verfahrens zum Betreiben des Passagiersitzverlassungsdetektionssystems von 1, um eine Warnung zu erzeugen, falls sich ein Passagier außerhalb seines jeweiligen Sitzes befindet.
7 ist ein Flussdiagramm eines Verfahrens zum Betreiben des Fahrzeugs von 1, um ein detektiertes Sitzverlassungsereignis des Passagiers zu mindern.
8a ist ein Bild eines Passagiers in einem Sitz des Fahrzeugs von 1.
8b ist ein Bild des Passagiers von 8a, das die Passagierortspunkte und die Sitzabgrenzungen veranschaulicht.
9a ist ein Bild von zwei Passagieren in jeweiligen Sitzen des Fahrzeugs von 1, das die Schulterorte, Hüftorte des Passagiers und Passagierortspunkte veranschaulicht.
9b ist ein Bild von Teilen von zwei Passagieren in ihren jeweiligen Sitzen, das die Hüftorte des Passagiers und Sitzabgrenzungen veranschaulicht.
10a ist ein Bild eines Passagiers, der zwischen Sitzabgrenzungen sitzt.
10b ist ein Bild von zwei Passagieren, von denen sich einer innerhalb der Sitzabgrenzung befindet und sich der andere außerhalb der Sitzabgrenzung befindet.

Ausführliche Beschreibung
Um ein Verständnis der Prinzipien der hier beschriebenen Ausführungsformen zu fördern, wird nun auf die Zeichnungen und Beschreibungen in der folgenden schriftlichen Beschreibung Bezug genommen. Es ist keine Beschränkung des Schutzumfangs des Erfindungsgegenstands durch die Bezugnahmen beabsichtigt. Diese Offenbarung beinhaltet auch Abwandlungen und Modifikationen der veranschaulichten Ausführungsformen und beinhaltet ferner Anwendungen der Prinzipien der beschriebenen Ausführungsformen, wie sie einem Fachmann auf dem Gebiet, zu dem dieses Dokument gehört, normalerweise ersichtlich sind.
Verschiedene Operationen können als mehrere diskrete Handlungen oder Operationen der Reihe nach auf eine Weise beschrieben werden, die zum Verständnis des beanspruchten Erfindungsgegenstands am hilfreichsten ist. Die Reihenfolge der Beschreibung sollte jedoch nicht so ausgelegt werden, dass diese Operationen notwendigerweise von der Reihenfolge abhängig sind. Insbesondere werden diese Operationen möglicherweise nicht in der Reihenfolge der Präsentation ausgeführt. Beschriebene Operationen können in einer anderen Reihenfolge als der beschriebenen Ausführungsform ausgeführt werden. Verschiedene zusätzliche Operationen können durchgeführt werden und/oder beschriebene Operationen können in zusätzlichen Ausführungsformen weggelassen werden.
Die Ausdrücke „umfassend“, „beinhaltend“ und „aufweisend“ und dergleichen, wie unter Bezugnahme auf Ausführungsformen der Offenbarung verwendet, sind synonym. So wie er hierin verwendet wird, bezieht sich der Ausdruck „ungefähr“ auf Werte, die sich innerhalb von ± 10% des Bezugswerts befinden.
1 zeigt ein vereinfachtes Blockdiagramm eines Fahrzeugs 100 mit einem Fahrgastraum 104, einem Fahrgastraumüberwachungssystem 108, einer elektronischen Steuereinheit („ECU“) 112 des Fahrzeugs und einem Antriebssystem 116. Wie nachstehend ausführlich besprochen, ist das Fahrgastraumüberwachungssystem 108 dazu ausgelegt, die Positionen von Passagieren im Fahrzeug 100 zu überwachen und zu bestimmen, ob der Passagier im Fahrzeug richtig Platz genommen hat und ob sich der Passagier außerhalb seines jeweiligen Sitzes befindet. Das Fahrgastraumüberwachungssystem 108 verbessert herkömmliche Fahrzeugüberwachungssysteme, indem es vorteilhafterweise Schlüsselpunkte der Passagiere des Fahrzeugs verwendet, um zu bestimmen, ob sich die Passagiere in einem der Sitze des Fahrzeugs befinden. Zusätzlich ermöglicht das Fahrgastraumüberwachungssystem 108 die Erzeugung eines Signals, dass dem Szenario entspricht, bei dem ein Passagier in einem vorbestimmten Zeitraum in dem Fahrzeug nicht richtig Platz nimmt, basierend auf den Orten der Passagiere, was der Fahrzeug-ECU 112 ermöglicht, vorteilhafterweise Handlungen vorzunehmen, um die Probleme zu mindern, die dadurch verursacht werden, dass die Passagiere nicht in den Sitzen des Fahrzeugs Platz nehmen. Insbesondere kann die Fahrzeug-ECU 112 die Probleme mindern, die dadurch verursacht werden, dass die Passagiere nicht in den Sitzen des Fahrzeugs Platz nehmen, indem sie beispielsweise verhindert, dass sich das Fahrzeug bewegt, Lautsprecher, Leuchten oder einen Anzeigebildschirm betreibt, um die Passagiere zu warnen, dass sie nicht richtig in den Sitzen Platz genommen haben, die Passagiere anweist, wie sie richtig im Fahrzeug sitzen sollen, die Passagiere informiert, dass sich das Fahrzeug nicht bewegen kann, bis die Passagiere richtig sitzen, und/oder mit einem Fernserver kommuniziert, um einen menschlichen Eingriff zu erlauben.
Zusätzlich ist das Fahrgastraumüberwachungssystem 108 eine Verbesserung an herkömmlichen Fahrzeugüberwachungssystemen, indem es vorteilhafterweise eine genaue Weise zum Bestimmen, ob Passagiere ihre jeweiligen Sitze verlassen haben, ohne wiederholte Alarme oder falsch-positiv Alarme bereitstellt. Zusätzlich liefert das Fahrgastraumüberwachungssystem 108 vorteilhafterweise die Erzeugung eines Signals, das einem Szenario entspricht, bei dem sich ein Passagier außerhalb seines jeweiligen Sitzes befindet, und die Kommunikation des Signals zu der Fahrzeug-ECU 112, sodass die Fahrzeug-ECU 112 eine Handlung zum Mindern eines unsicheren Zustands vornehmen kann, der dadurch verursacht wird, dass sich der Passagier außerhalb seines jeweiligen Sitzes befindet. Wie hierin verwendet, bezieht sich der Ausdruck „unsicherer Zustand“ auf eine Situation, bei der sich ein Passagier an einer Position im Fahrzeug, beispielsweise außerhalb der Fahrzeugsitze, befindet, bei der der Passagier einem erhöhten Verletzungsrisiko im Fall eines plötzlichen Manövers oder Unfalls des Fahrzeugs ausgesetzt ist. Der unsichere Zustand kann durch die Fahrzeug-ECU 112 gemindert werden, indem sie beispielsweise Leuchten, Lautsprecher und/oder eine Anzeige betreibt, um den Passagier anzuweisen, zu seinem Sitz zurückzukehren, und indem sie das Antriebssystem 116 betreibt, um das Fahrzeug 100 abzubremsen und zu einem sicheren Ort zu lenken, um das Fahrzeug 100 anzuhalten, sodass die Wahrscheinlichkeit eines plötzlichen Manövers oder Unfalls reduziert wird, das/der eine Verletzung verursachen würde, wenn sich der Passagier außerhalb seines Sitzes befindet. Dementsprechend verbessert das Fahrgastraumüberwachungssystem 108 herkömmliche Fahrzeugüberwachungssysteme, indem die Sicherheit des Fahrzeugs erhöht und die Wahrscheinlichkeit von bei den Passagieren im Fahrzeug 100 verursachten Verletzungen reduziert wird.
Das in 1 dargestellte Fahrzeug 100 ist ein Kraftfahrzeug, und der Fahrgastraum 104 beinhaltet vier Sitze 120, 122, 124, 126, in die sich Passagiere setzen können. Der Leser sollte erkennen, dass der Fahrgastraum 104 in Abhängigkeit von der Konfiguration und des Typs des Fahrzeugs 100 mehr oder weniger Sitze beinhalten kann. Das Antriebssystem 116 des Fahrzeugs 100 beinhaltet einen Antriebsmotor, zum Beispiel einen Verbrennungsmotor und/oder einen oder mehrere Elektromotoren, die die Räder des Fahrzeugs 100 antreiben, und die Lenkungs- und Bremskomponenten, die ermöglichen, dass das Fahrzeug 100 auf eine kontrollierte Weise bewegt wird.
In anderen Ausführungsformen kann das Fahrzeug 100 eine beliebige Anzahl von Fahrzeugtypen mit einem oder mehreren Fahrgasträumen 104 zum Bewegen von Personen oder Fracht beinhalten, wie etwa Züge, Busse, U-Bahnen, Flugzeug, Hubschrauber, Passagierdrohnen, U-Boote, Aufzüge und passagierbewegende Pods. Der Fahrgastraum 104 (der hierin auch als ein Abteil bezeichnet werden kann) ist ein typischerweise geschlossener Raum zur Aufnahme von Passagieren oder Fracht. Obwohl das Fahrzeug 100 so veranschaulicht ist, dass es einen einzelnen Fahrgastraum 104 aufweist, sollte der Leser erkennen, dass das Fahrzeug 100 eine beliebige Anzahl von einzelnen und getrennten Fahrgasträumen 104 enthalten kann (z. B. mehrere Abteile oder Räume innerhalb eines Zugwaggons).
In dieser beispielhaften Ausführungsform ist das Fahrzeug 100 ein gemeinsam genutztes autonomes Fahrzeug, das dazu ausgelegt ist, autonom zu dem Standort eines Passagiers zu fahren, und dann nach dem Einsteigen des Passagiers in das Fahrzeug 100 den Passagier unter Verwendung des öffentlichen Straßennetzes autonom zu einem gewünschten Standort zu transportieren. Der Passagier kann die Dienste des Fahrzeugs 100 beispielsweise unter Verwendung eines Smartphones oder einer Smart-Vorrichtungsanwendung (d. h. eine „App“) in Anspruch nehmen. Der Passagier wird hierin auch als ein Insasse, ein Benutzer, ein Betreiber oder eine Person bezeichnet. In anderen Ausführungsformen ist das Fahrzeug 100 ein beliebiger Typ eines Passagierfahrzeugs, wie oben beschrieben, und kann in manchen Ausführungsformen durch den Insassen gesteuert oder ferngesteuert werden.
Das Fahrzeug 100 beinhaltet auch mehrere Türen 132, die Passagieren ermöglichen, den Fahrgastraum 104 zu betreten und sich in die Sitze 120-126 zu setzen. Zusätzlich kann das Fahrzeug 100 eine Heckklappe 136 beinhalten, die einem Benutzer ermöglicht, Zugang zu einem Frachtraum des Fahrzeugs zu erlangen, beispielsweise einem Kofferraum oder Lagerraum hinter den Rücksitzen.
Das Fahrgastraumüberwachungssystem 108 ist dazu ausgelegt, die Positionen von Passagieren im Fahrgastraum 104 zu schätzen und zu bestimmen, ob sich die Passagiere in ihren jeweiligen Sitzen 120-126 befinden. Das Fahrgastraumüberwachungssystem 108 beinhaltet ein Passagierplatznahmeüberwachungssystem 138 und ein Sitzverlassungsdetektionssystem 140, die jeweils kommunikativ mit einem oder mehreren Bildsensoren 142, 144, 146, 148 gekoppelt sind. Die Fahrzeug-ECU 112, das Passagierplatznahmeüberwachungssystem 138 und das Sitzverlassungsdetektionssystem 140 können hierin gemeinsam als ein Verarbeitungssystem 150 des Fahrzeugs 100 bezeichnet werden und können in manchen Ausführungsformen in eine einzelne Steuereinheit integriert sein. Insbesondere können das Passagierplatznahmeüberwachungssystem 138, das Sitzverlassungsdetektionssystem 140 und/oder die Fahrzeug-ECU 112 in den Computer des Fahrzeugs integriert sein, der für die autonome Navigation des Fahrzeugs 100 und den Betrieb anderer Komponenten im Fahrzeug 100 verantwortlich ist. In einer anderen Ausführungsform kann sich das Verarbeitungssystem teilweise oder vollständig in der „Cloud“ befinden. Beispielsweise kann die Fahrzeug-ECU 112 dazu ausgelegt sein, Daten über das Internet (z. B. in der „Cloud“) zu einem Fernspeicher zu übertragen, und die Prozesse und Funktionen der Fahrzeug-ECU 112, des Passagierplatznahmeüberwachungssystems 138 und/oder des Sitzverlassungsdetektionssystems 140, die hier beschrieben werden, können durch einen oder mehrere Prozessoren ausgeführt werden, die sich entfernt vom Fahrzeug (z. B. in der „Cloud“) befinden.
Die Bildsensoren 142, 144 im Fahrgastraum 104 des Fahrzeugs sind jeweils dazu ausgelegt, ein Bild eines Teils des Fahrgastraums 104 zu erzeugen, während ein oder mehrere Bildsensoren 146, 148 so angeordnet sein können, dass sie ein Bild eines Teils der Außenseite des Fahrzeugs 100 erzeugen. Die Bildsensoren 142-148 können Video- oder Standbildkameras sein, die jeweils beispielsweise eine CCD (Charge-Coupled Device) oder einen Aktivpixelsensor zum Erzeugen digitaler Bilddaten aufweisen. In anderen Ausführungsformen können die Bildsensoren 142-148 Wärme- oder Infrarotsensoren, ein Radar-Bildgebungssystem, ein LIDAR-Bildgebungssystem oder ein anderes geeignetes Bildgebungssystem beinhalten.
In der veranschaulichten Ausführungsform beinhaltet das Fahrgastraumüberwachungssystem 108 zwei Bildsensoren 142, 144 im Fahrgastraum 104. Der vordere Bildsensor 142 erzeugt digitale Bilddaten der Vorderseite des Fahrgastraums, einschließlich der Vordersitze 120, 122, und der hintere Bildsensor 144 erzeugt digitale Bilddaten der Rückseite des Fahrgastraums 104, einschließlich der Rücksitze 124, 126. In anderen Ausführungsformen kann das Fahrgastraumüberwachungssystem 108 einen einzigen Bildsensor, der Bilder des gesamten Fahrgastraums 104 aufnimmt, einschließlich aller Sitze 120-126, einen separaten Bildsensor, der zu jedem der Sitze 120-126 ausgerichtet ist, oder eine beliebige gewünschte Konfiguration von Bildsensoren zum Erzeugen digitaler Bilder jedes Sitzes im Fahrzeug beinhalten.
In einer Ausführungsform sind die Bildsensoren 142, 144 im oder am Dach des Fahrzeugs 100 angeordnet und nach unten in den Fahrgastraum 104 in Richtung des jeweiligen Sitzes oder der jeweiligen Sitze 120-126 zur Bildgebung gerichtet. In anderen Ausführungsformen können die Bildsensoren in den Sitzen oder im Armaturenbrett des Fahrzeugs 100 angeordnet sein. In einer speziellen Ausführungsform sind die Bildsensoren zum Abbilden der Vordersitze 120, 122 beispielsweise im Armaturenbrett des Fahrzeugs 100 angeordnet, während die Bildsensoren zum Abbilden der Rücksitze 124, 126 im Vordersitz 120, 122 angeordnet sind, das heißt direkt vor dem jeweiligen Rücksitz 124, 126.
Der eine oder die mehreren externen Bildsensoren 146, 148 sind dazu ausgelegt, Bilder des Bereichs unmittelbar im Umfeld des Fahrzeugs 100 zu erzeugen. In der veranschaulichten Ausführungsform können die externen Bildsensoren 146, 148 beispielsweise an oder anstelle von Rückspiegeln des Fahrzeugs montiert und in Richtung der Außenseite der Türen 132 ausgerichtet sein.
Die Fahrzeug-ECU 112 ist über Kommunikationsbusse 152 kommunikativ mit dem Sitzverlassungsdetektionssystem 140 und dem Antriebssystem 116 gekoppelt. Die Fahrzeug-ECU 112 kann auch mit verschiedenen zusätzlichen Komponenten im Fahrzeug 100 verbunden sein. Wie beispielsweise in den 2 und 5 veranschaulicht, kann die Fahrzeug-ECU 112 kommunikativ mit einer oder mehreren Leuchten 180, einem oder mehreren Lautsprechern 184 und/oder einem oder mehreren Anzeigebildschirmen 188 gekoppelt sein, die sich im Fahrgastraum 104 befinden oder dazu ausgelegt sind, Licht oder Ton in diesen zu projizieren.
Zusätzlich kann die Fahrzeug-ECU 112 kommunikativ mit einem Sendeempfänger 196 gekoppelt sein, der auch als ein Drahtlos-Sender und -Empfänger bezeichnet wird und beispielsweise dazu ausgelegt ist, Daten von der Fahrzeug-ECU 112 drahtlos zu einer anderen elektronischen Vorrichtung (nicht gezeigt) zu übertragen und Daten von einer anderen elektronischen Vorrichtung drahtlos über das Internet zu empfangen. Somit verbindet der Sendeempfänger 196 funktionsfähig das Fahrzeug 100 mit dem Internet und anderen elektronischen Vorrichtungen. In anderen Ausführungsformen sendet und empfängt der Sendeempfänger 196 Daten unter Verwendung eines zellularen Netzes, eines drahtlosen Lokalnetzes („WiFi“), eines persönlichen Netzes und/oder eines beliebigen anderen Drahtlosnetzes. Dementsprechend ist der Sendeempfänger 196 mit einem beliebigen gewünschten Drahtloskommunikationsstandard oder -protokoll kompatibel, einschließlich unter anderem Nahfeldkommunikation („NFC“), IEEE 802.11, IEEE 802.15.1 („Bluetooth®“), Global System for Mobiles („GSM“) und Codemultiplex-Mehrfachzugriff („CDMA“).
Die Fahrzeug-ECU 112 kann zum Beispiel einen oder mehrere allgemeine oder spezialisierte programmierbare Prozessoren und/oder Steuerungen beinhalten. Der Durchschnittsfachmann auf dem Gebiet erkennt, dass eine „Steuerung“ oder ein „Prozessor“ ein beliebiges Hardwaresystem, einen beliebigen Hardwaremechanismus oder eine beliebige Hardwarekomponente beinhaltet, das/der/die Daten, Signale oder andere Informationen verarbeitet. Der mindestens eine Prozessor und/oder die Steuerung der Fahrzeug-ECU 112 ist dazu ausgelegt, Programmanweisungen auszuführen, die in seinem assoziierten Speicher gespeichert sind, um Daten zu manipulieren oder eine oder mehrere Komponenten im Fahrzeug 100, beispielsweise das Antriebssystem 116, die Leuchten 180, die Lautsprecher 184, die Anzeigen 188 und den Sendeempfänger 196, dahingehend zu betreiben, die dargelegte Aufgabe oder Funktion durchzuführen.
Passagierplatznahmeüberwachungssystem
Jetzt mit Bezug auf 2 ist das Passagierplatznahmeüberwachungssystem 138 des Fahrgastraumüberwachungssystems 108 dazu ausgelegt, basierend auf empfangenen Sensorsignalen zu bestimmen, ob ein Passagier in seinem jeweiligen Sitz Platz genommen hat, wenn er in das Fahrzeug 100 eingestiegen ist, ein Signal zu erzeugen, das ein anormales Einstiegsereignis repräsentiert, falls der Passagier nicht richtig im Fahrzeug Platz genommen hat, und das Signal zu der Fahrzeug-ECU 112 zu kommunizieren. Das Passagierplatznahmeüberwachungssystem 138 ist über Kommunikationsbusse 152 kommunikativ mit den Bildsensoren 142, 144 gekoppelt und dazu ausgelegt, Sensorsignale, die analoge oder digitale Signale sein können, von jedem der Bildsensoren 142, 144 zu empfangen.
Das Passagierplatznahmeüberwachungssystem 138 umfasst mindestens einen Prozessor und/oder mindestens eine Steuerung, die nachstehend einfach als der Prozessor 200 bezeichnet werden, der/die funktionsfähig mit einem assoziierten Speicher 204 verbunden ist. Der Prozessor 200 ist dazu ausgelegt, im Speicher 204 gespeicherte Programmanweisungen 208 zum Manipulieren von Daten (z. B. Daten 220-240) oder dahingehenden Betreiben einer oder mehrerer Komponenten im Passagierplatznahmeüberwachungssystem 138 oder im Fahrzeug 100 auszuführen, die dargelegte Aufgabe oder Funktion durchzuführen.
Der Speicher 204 ist eine elektronische Speicherungsvorrichtung, die dazu ausgelegt ist, Daten und Programmanweisungen zu speichern, einschließlich zumindest Bilddaten 220, Passagierortsdaten 224, Konfigurationsdaten 228, Platznahmetimerdaten 232, Sitzend-Timer-Daten 236, Anormales-Platznahmeereignis-Daten 240 und die Programmanweisungen 208 zum Betreiben des Sitzverlassungsdetektionssystems 140. Der Speicher 204 kann nichtflüchtige computerlesbare Speicherungsmedien und/oder Kommunikationsmedien enthalten, wie etwa sowohl unbeständige als auch beständige, sowohl schreibfähige als auch schreibgeschützte, sowohl entfernbare als auch nicht entfernbare Medien, die in beliebigen Medien oder Technologien implementiert sind, einschließlich CD-ROM, DVD, optische Plattenspeicherung, Magnetkassetten, Magnetband, magnetische Plattenspeicherung oder andere bekannte S peicherungsmedientechnologien.
Die Bilddaten 220 sind elektronische Daten, die das Bild oder die Bilder repräsentieren, die durch die Bildsensoren 142, 144 und in manchen Ausführungsformen die externen Bildsensoren 146, 148 aufgenommen werden. Die Passagierortsdaten 224 repräsentieren, wie nachstehend ausführlich besprochen, einen oder mehrere Punkte, die einer Position des Passagiers und/oder relevanter Körperteile des Passagiers entsprechen. Die Punkte können beispielsweise als x-y-Koordinaten gespeichert sein, die Pixelorten in dem assoziierten Bild entsprechen.
Die Konfigurationsdaten 228 beinhalten die Abgrenzungen der Sitze, die in einer Ausführungsform auch x-y-Koordinaten sein können, die Pixelorten in dem assoziierten Bild entsprechen. Die Konfigurationsdaten 228 können zum Beispiel eine Abgrenzung von Hüftgebieten und/oder Schultergebieten für jeden der Sitze 120-126 sein. Die Abgrenzungen können rechteckig, trapezförmig, kreisförmig, dreieckig, ein anderes Polygon, eine Kombination der obigen Formen oder eine beliebige andere geeignete Form sein. In manchen Ausführungsformen können die Sitzabgrenzungen unregelmäßig geformt sein, sodass sie einer gewünschten Kontur des Sitzgebietes folgen, das sichere Orte für den Passagier repräsentiert. Zusätzlich beinhalten die Konfigurationsdaten 228 vorbestimmte Standardwerte für den Platznahmetimer und den Sitzend-Timer. Die Konfigurationsdaten 228 können in den Speicher 204 vorprogrammiert sein oder können abhängig von der gewünschten Verwendung und Konfiguration des Fahrzeugs 100 benutzerkonfigurierbar oder entfernt konfigurierbar sein.
In manchen Ausführungsformen können einer oder beide der Standardwerte des Platznahmetimers und des Sitzend-Timers von dem speziellen Passagier oder Benutzer abhängen. In einer Ausführungsform kann beispielsweise der Standardwert für den Platznahmetimer eine längere Zeit oder eine größere Frame-Anzahl für einen Passagier sein, der beispielsweise älter ist oder eine Behinderung aufweist, die verursacht, dass der Passagier langsamer in das Fahrzeug einsteigt als ein typischer Passagier. In einer anderen Ausführungsform kann der Standardwert für den Platznahmetimer auf Daten basieren, die aus vorherigen Platznahmezeiten für diesen speziellen Benutzer oder Passagier gesammelt wurden, sodass das anormale Platznahmeereignis nur erzeugt wird, falls die Platznahmezeit für den spezifischen Passagier anormal lang ist. Die passagierspezifischen Standardwerte können von einem Fernserver mittels bekannter Verfahren beispielsweise durch den Sendeempfänger 196 zu dem Fahrzeug übertragen werden.
Die Platznahmetimerdaten 232 beinhalten die Platznahmetimervariable, die einem dekrementierenden Zähler oder Timer der Anzahl von Frames oder der Zeitdauer entspricht, die ohne ein richtiges Sitzen der Passagiere in ihren jeweiligen Sitzen verstreichen muss, bevor ein anormales Platznahmeereignis erzeugt wird. Die Sitzend-Timer-Daten 236 beinhalten die Sitzend-Timer-Variable, die einem dekrementierenden Timer oder Zähler der aufeinanderfolgenden Anzahl von Frames oder der Zeitdauer entspricht, die die Passagiere in ihren jeweiligen Sitzen sitzen müssen, bevor bestimmt wird, dass die Passagiere das Einsteigen in das Fahrzeug abgeschlossen haben. Die Anormales-Platznahmeereignis-Daten 240 sind die Warnungsdaten, die durch das Passagierplatznahmeüberwachungssystem 138 ausgegeben werden, wenn detektiert wurde, dass ein Passagier auf eine anormale Weise Platz nimmt, was der Fahrzeug-ECU 112 ermöglicht, Handlungen zum Mindern eines anormalen Einstiegsereignisses zu implementieren.
In manchen Ausführungsformen umfasst das Passagierplatznahmeüberwachungssystem 138 ferner eine Kommunikationsschnittstellenbaugruppe 212 mit einer oder mehreren Schnittstellen, die dazu ausgelegt sind, das Passagierplatznahmeüberwachungssystem 138 mit den Bildsensoren 142-148 und der Fahrzeug-ECU 112 zu koppeln. Die Kommunikationsschnittstellenbaugruppe 212 ist dazu ausgelegt, zu ermöglichen, dass Sensordaten, Steuersignale, Software oder andere Informationen zwischen dem Passagierplatznahmeüberwachungssystem 138 und den Bildsensoren 142-148 oder der Fahrzeug-ECU 112 in Form von Signalen transferiert werden, die beispielsweise elektronische, elektromagnetische, optische oder andere Signale sein können, die von der Kommunikationsschnittstellenbaugruppe 212 empfangen oder übertragen werden können. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 212 physische Anschlüsse zum Verbinden mit drahtgebundenen Medien wie etwa einem drahtgebundenen Netzwerk oder einer direkt verdrahteten Kommunikation (z. B. den Kommunikationsbussen 152) enthalten. In weiteren Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 212 ein oder mehrere Modems, eine oder mehrere Bussteuerungen oder dergleichen enthalten, die dazu ausgelegt sind, Kommunikationen mit den Bildsensoren 142-148 und der Fahrzeug-ECU 112 zu ermöglichen. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 212 einen oder mehrere drahtlose Sendeempfänger enthalten, die dazu ausgelegt sind, eine drahtlose Kommunikation wie etwa akustische, HF-, Infrarot- (IR), WiFi, Bluetooth und andere drahtlose Kommunikationsverfahren zu ermöglichen.
Detektionsprozess einer anormalen Platznahme eines Passagiers
Im Betrieb ist das Passagierplatznahmeüberwachungssystem 138 dazu ausgelegt, ein durch das Flussdiagramm von 3 veranschaulichtes Verfahren 300 zu implementieren, um zu bestimmen, ob die Passagiere in den Sitzen 120-126 Platz genommen und das Einsteigen in das Fahrzeug abgeschlossen haben, und eine Warnung für ein anormales Platznahmeereignis zu erzeugen, falls die Passagiere innerhalb eines vorbestimmten Zeitraums im Fahrzeug nicht richtig Platz nehmen. Bei der Beschreibung des Verfahren 300 beziehen sich Aussagen, dass ein Verfahren, ein Prozess, ein Modul, ein Prozessor, ein System oder dergleichen irgendeine Aufgabe oder Funktion durchführt, auf eine Steuerung oder einen Prozessor (z. B. den Prozessor 200), die/der programmierte Anweisungen (z. B. die Programmanweisungen 208) ausführt, die in einem nichtflüchtigen computerlesbaren Speichermedium (z. B. dem Speicher 204) gespeichert sind, das funktionsfähig mit der Steuerung oder dem Prozessor verbunden ist, um Daten zu manipulieren oder eine oder mehrere Komponenten im Fahrgastraumüberwachungssystem 108 und/oder im Fahrzeug 100 dahingehend zu betreiben, die Aufgabe oder Funktion durchzuführen. Zusätzlich dazu können die Schritte des Verfahrens in einer beliebigen zweckmäßigen chronologischen Reihenfolge durchgeführt werden, unabhängig von der in den Figuren gezeigten Reihenfolge oder der Reihenfolge, in welcher die Schritte beschrieben werden. Es versteht sich, dass in manchen Ausführungsformen die hierin beschriebenen Operationen des Prozessors 200 durch andere Komponenten des Verarbeitungssystems 150 und/oder des Fahrgastraumüberwachungssystems 108 durchgeführt werden können, wie etwa die Fahrzeug-ECU 112 oder integrierte Bildprozessoren der Sensoren 142, 144 usw., oder die Operationen durch einen oder mehrere Prozessoren durchgeführt werden können, die sich entfernt von dem Fahrzeug (z. B. in der „Cloud“) befinden.
Das Verfahren 300 von 3 beginnt damit, dass der Prozessor 200 ein Einstiegsereignis eines Passagiers initiiert (Block 302). Der Prozessor 200 kann in manchen Ausführungsformen das Einstiegsereignis des Passagiers als Reaktion auf einen Befehl initiieren, der von der Fahrzeug-ECU 112 empfangen wird und angibt, dass das Fahrzeug 100 einen Passagierabholort erreicht hat. In einer anderen Ausführungsform kommuniziert die Fahrzeug-ECU 112 oder der Prozessor 200 mit den externen Bildsensoren 146, 148 und/oder Türsensoren (nicht gezeigt), die einen offenen oder geschlossenen Zustand der Türen erfassen, und der Prozessor 200 initiiert das Passagiereintrittsereignis als Reaktion auf die Detektion, dass Passagiere das Fahrzeug betreten.
Sobald das Passagiereintrittsereignis in Block 302 initiiert wurde, fährt das Verfahren 300 damit fort, dass die internen Bildsensoren 142, 144 Bilder des Innenraums des Fahrgastraums 104, insbesondere die Sitze 120-126, aufnehmen (Block 304). In manchen Ausführungsformen werden die externen Bildsensoren 146, 148 zusätzlich auch in Block 304 dahingehend betrieben, Bilder der Außenseite des Fahrzeugs aufzunehmen.
Die Bilder können ein oder mehrere RGB-Bilder des Fahrgastraums 104 sein, einschließlich der Sitze 120-126, oder die Bilder können Infrarotbilder, dreidimensionale Radar- oder LIDAR-Bilder oder andere gewünschte Bilder sein. Der Prozessor 200 des Sitzverlassungsdetektionssystems 140 empfängt die Bilder von den Bildsensoren 142, 144 beispielsweise über die Kommunikationsschnittstellenbaugruppe 212 und den Kommunikationsbus 152. Die Bilder können in manchen Ausführungsformen entweder durch die Bildsensoren 142, 144 oder den Prozessor 200 in der Größe geändert und in den Bilddaten 220 des Speichers 204 gespeichert werden. Beispielhafte Bilder 600, 610 sind in den 8a und 9a dargestellt, wobei 8a ein beispielhaftes Bild 660 darstellt, das durch den hinteren Bildsensor 144 aufgenommen wird und einen im Sitz 124 sitzenden Passagier 620 veranschaulicht, während 9a ein beispielhaftes Bild 610 veranschaulicht, das durch den hinteren Bildsensor 144 aufgenommen wird und zwei in den Rücksitzen 124, 126 sitzende Passagiere 624, 626 veranschaulicht.
Erneut unter Bezugnahme auf 3 fährt der Prozess 300 mit der Verarbeitung der Bilddaten fort, um Schlüsselpunkte der Passagiere im Fahrgastraum 104 und in manchen Ausführungsformen von Personen, die sich außerhalb des Fahrzeugs befinden und in den durch die externen Bildsensoren 146-148 aufgenommenen Bildern detektiert werden, zu bestimmen (Block 308). Insbesondere ist der Prozessor 200 dazu ausgelegt, mehrere Schlüsselpunkte in den Bilddaten zu bestimmen, um eine Haltung des Passagiers zu schätzen. Wie hierin verwendet, bezieht sich eine „Haltung“ des Passagiers auf die relative und/oder absolute Position und/oder Orientierung eines oder mehrerer Gelenke, Gliedmaßen oder anderer Körperteile des Passagiers. In mindestens einer Ausführungsform umfasst die Haltung des Passagiers beispielsweise mehrere Punkte, die Positionen spezieller Gelenke, insbesondere Hüft- und/oder Schultergelenke, des Passagiers entsprechen. Genauer gesagt verarbeitet der Prozessor 200 die Bilddaten, um die Positionen gewisser Gelenke des Passagiers basierend auf den Bilddaten 200 zu approximieren, und gibt die Positionen als x-y-Koordinaten im Bild zurück. Der Prozessor 200 kann dazu ausgelegt sein, eine beliebige geeignete Haltungsschätzungstechnik auf eine allgemein in der Technik bekannte Weise auszuführen.
Die Schlüsselpunkte sind in einer Ausführungsform der Ort der linken und rechten Hüfte des Passagiers (z. B. Hüftorte 620a und 620b des Passagiers 620 in 8b und Hüftorte 624a-b und 626a-b der Passagiere 624, 626 in 9a). In einer anderen Ausführungsform können die Schlüsselpunkte die Orte der linken und rechten Schulter des Passagiers sein (z. B. Schulterorte 621a-b des Passagiers 620 in 8b und die Schulterorte 625a-b und 627a-b der Passagiere 624, 626 in 9a). Die Schlüsselpunkte werden in den Passagierortsdaten 224 des Speichers 204 gespeichert.
Falls der Prozessor 200 nicht in der Lage ist, einen oder beide der Schlüsselpunktorte zu bestimmen, dann liest der Prozessor 200 in einer Ausführungsform den (die) Schlüsselpunktort(e) für das vorherige Bild aus den Passagierortsdaten 224. Falls es jedoch keine vorherigen Schlüsselpunktdaten gibt oder die Schlüsselpunktdaten für eine vorbestimmte Anzahl von Frames (z. B. ungefähr 3 Frames, ungefähr 5 Frames oder ungefähr 10 Frames) oder einen vorbestimmten Zeitraum (z. B. ungefähr 0,1 Sekunden, ungefähr 0,5 Sekunden oder ungefähr 1 Sekunde) nicht zur Verfügung standen, kann der Prozessor 200 stattdessen andere Schlüsselpunkte bestimmen. Beispielsweise kann ein System, in dem der Prozessor dazu ausgelegt ist, Hüftorte als die Schlüsselpunkte zu verwenden, stattdessen die Schulterorte als die Schlüsselpunkte bestimmen, falls die Hüftorte für die vorbestimmte Anzahl von Frames oder den vorbestimmten Zeitraum nicht zur Verfügung stehen. Die vorbestimmte Anzahl von Frames oder der vorbestimmte Zeitraum kann zum Beispiel in den Konfigurationsdaten 228 gespeichert sein.
In manchen Ausführungsformen bestimmt der Prozessor 200 den Ort und die Abgrenzung des Passagiers unter Verwendung generalisierter Objektverfolgungstechniken, anstatt Schätzungstechniken einer menschlichen Haltung. Der Prozessor 200 kann zum Beispiel die Objektverfolgungstechniken verwenden, um einen einzelnen zentralen Punkt des Passagiers basierend auf den Bilddaten 220 auf eine allgemein in der Technik bekannte Weise zu schätzen und die geschätzten Schlüsselpunkte in den Passagierortsdaten 224 zu speichern. Der Prozessor 200 kann auch dazu ausgelegt sein, Objektverfolgungstechniken zu verwenden, um nicht menschliche Objekte im Fahrgastraum 104 zu verfolgen und die nicht menschlichen Objekte von den Passagieren im Fahrgastraum 104 entweder vor oder nach der Bestimmung der Schlüsselpunkte zu unterscheiden.
Von den Schlüsselpunkten fährt das Verfahren 300 mit der Bestimmung eines einzelnen Passagierortspunktes für jeden Passagier fort (Block 312). Insbesondere wandelt der Prozessor 200 die mehreren Schlüsselpunkte jedes Passagiers in einen einzelnen Passagierortspunkt für jeden Passagier um und speichert die Passagierortspunkte in den Passagierortsdaten 224 des Speichers 204. In einer speziellen Ausführungsform entspricht der Passagierortspunkt für jeden Passagier dem Mittelpunkt in die x- und y-Richtung der Schlüsselpunkte.
In der Ausführungsform von 8b ist beispielsweise der Passagierortspunkt 620c der Mittelpunkt zwischen den beiden Hüftorten 620a, 620b. Falls alternativ die Schulterorte stattdessen als die Schlüsselpunkte verwendet werden, ist der Passagierortspunkt 621c der Mittelpunkt zwischen den beiden Schulterorten 621a, 621b. Wie in 9a dargestellt, entsprechen die Passagierortspunkte 624c und 626c den Mittelpunkten der Hüftorte 624a-b bzw. 626a-b der Passagiere 624, 626, oder alternativ entsprechen die Passagierortspunkte 625c, 627c den Mittelpunkten der Schulterorte 625a-b und 627a-b der Passagiere 624, 626. Wie in 9b veranschaulicht, können die Passagierortspunkte 624c, 626c als x-y-Koordinaten innerhalb des Bildes gespeichert werden. Beispielsweise sind in 9b die x-y-Koordinaten der Passagierortspunkte 624c und 626c [290, 80] bzw. [140, 85].
Der Prozess 300 fährt mit der Bestimmung fort, ob ein Passagier in dem Fahrgastraum anwesend ist (Block 320). Insbesondere ist der Prozessor 200 dazu ausgelegt, zu detektieren, dass ein Passagier anwesend ist, falls Passagierschlüsselpunkte und/oder mindestens ein Passagierortspunkt verfügbar ist, oder alternativ, falls die Schlüsselpunkte nicht verfügbar sind, aber die vorbestimmte Anzahl von Frames oder der vorbestimmte Zeitraum, für die/den die vorherigen Schlüsselpunkte verwendet werden können, von der letzten Verfügbarkeit der Schlüsselpunkte nicht abgelaufen ist.
Falls der Prozessor 200 in Block 320 bestimmt, dass kein Passagier anwesend ist (d. h. keine Passagierortspunktdaten verfügbar sind), dann sind die Passagiere noch nicht richtig in das Fahrzeug 100 eingestiegen. Demnach geht das Verfahren 300 zu Block 324 über, bei dem der Prozessor 200 den Sitzend-Timer in den Sitzend-Timer-Daten 236 zu seinem Standardwert zurücksetzt, der aus den Konfigurationsdaten 228 abgefragt wird. Da keine Passagiere detektiert werden, die gegenwärtig in den Fahrgastraum 104 des Fahrzeugs 100 einsteigen, setzt der Prozessor 200 zusätzlich den Platznahmetimer zu seinem Standardwert zurück, der auch aus den Konfigurationsdaten 228 abgefragt wird, um den Passagieren zu erlauben, notwendige Handlungen außerhalb des Fahrzeugs durchzuführen, zum Beispiel Laden von Gepäck in das Fahrzeug 100, ohne den Timer zum Auslösen des anormalen Platznahmeereignisses zu starten. Das Verfahren 300 fährt dann mit Block 304 fort, bei dem der Prozessor 200 die Platznahmedetektionsschleife fortsetzt.
Erneut mit Bezug auf Block 320, falls Passagiere detektiert werden, fährt das Verfahren 300 mit der Bestimmung fort, ob sich die Passagiere innerhalb Sitzabgrenzungen befinden (Block 332). Insbesondere fragt der Prozessor 200 die Passagierortspunkte aus den Passagierortsdaten 224 ab und vergleicht die Passagierortspunkte mit Sitzabgrenzungen, die aus den Konfigurationsdaten 228 abgefragt werden.
In manchen Ausführungsformen hängen die assoziierten Sitzabgrenzungen davon ab, ob die Passagierorte auf den Hüftpunkten der Passagiere oder den Schulterpunkten der Passagiere basieren. Beispielsweise befinden sich die Sitzabgrenzungen für die Schultern eines Passagiers höher an dem Sitz als die Sitzabgrenzungen für die Hüften des Passagiers, um widerzuspiegeln, dass die sichere Position für die Schultern des Passagiers natürlich höher liegt als die sichere Position für die Hüften des Passagiers. In dem in 8b dargestellten Beispiel befindet sich der Passagierortspunkt 620c innerhalb der Sitzabgrenzungen 640a, 640b (für den Zweck des beschriebenen Verfahrens 300 wird nur eine der Sitzabgrenzungen 640a, 640b verwendet, obwohl der Leser verstehen sollte, dass innere und äußere Sitzabgrenzungen in ähnlicher Weise verwendet werden können, wie nachstehend mit Bezug auf den Prozess 500 besprochen). Gleichermaßen liegen in 9b die jeweiligen Orte 624c, 626c beider Passagiere innerhalb der assoziierten Sitzabgrenzung 644, 646.
Falls sich ein oder mehrere Passagiere in Block 332 nicht innerhalb einer der Sitzabgrenzungen befinden, fährt das Verfahren 300 mit dem Zurücksetzen des Sitzend-Timers in den Sitzend-Timer-Daten 236 zu seinem Standardwert fort (Block 336). Insbesondere ruft der Prozessor 200 den Standardwert für den Sitzend-Timer aus den Konfigurationsdaten 228 ab und speichert den Standardwert als den Sitzend-Timer-Wert in den Sitzend-Timer-Daten 236.
Das Verfahren 300 fährt damit fort, den Platznahmetimer in den Platznahmetimerdaten 232 zu dekrementieren (Block 340). Insbesondere ruft der Prozessor 200 den Platznahmetimerwert aus den Platznahmetimerdaten 232 ab, dekrementiert ihn beispielsweise um eins oder um die verstrichene Zeit und speichert den dekrementierten Wert als den neuen Platznahmetimerwert in den Platznahmetimerdaten 232.
Das Verfahren 300 prüft dann, ob der Platznahmetimer null erreicht hat (Block 344). Insbesondere bestimmt der Prozessor 200, ob der Platznahmetimer null ist. Falls der Platznahmetimer noch nicht null erreicht hat, ist die den Passagieren zur Platznahme im Fahrzeug 100 zugeteilte Zeit nicht verstrichen, und das Verfahren 300 geht daher zu Block 304 über, damit der Prozessor 200 die Platznahmedetektionsschleife wiederholt, ohne eine Warnung zu erzeugen.
Falls alternativ der Platznahmetimer in Block 344 null ist, dann haben die Passagiere in der zur Platznahme zugeteilten Zeit nicht richtig im Fahrzeug Platz genommen. Der Prozessor 200 erzeugt daher eine Warnung über ein anormales Platznahmeereignis, die in den Anormales-Platznahmeereignis-Daten 240 gespeichert und/oder über die Kommunikationsschnittstellenbaugruppe 212 zu der Fahrzeug-ECU 112 als ein elektronisches Signal übertragen wird (Block 348).
Das Verfahren 300 fährt dann mit dem Zurücksetzen der Platznahmetimerdaten 232 zu ihrem Standardwert (Block 352) und Fortsetzen der Passagierplatznahmeschleife bei Block 304 fort. Genauer gesagt ruft der Prozessor 200 den Standardwert des Platznahmetimers aus den Konfigurationsdaten 228 ab und speichert den Standardwert als den Platznahmetimerwert in den Platznahmetimerdaten 232. Da der Platznahmetimer zu dem vorbestimmten Standardwert zurückgesetzt und die Passagierplatznahmeschleife fortgesetzt wird, kann der Prozessor 200 des Passagierplatznahmeüberwachungssystems 138 eine andere Warnung über eine anormale Platznahme erzeugen, falls die Passagiere immer noch nicht Platz genommen haben, bevor der Platznahmetimer erneut null erreicht. Demnach ist das Passagierplatznahmeüberwachungssystem 138 dazu ausgelegt, wiederholte Warnungen über eine anormale Platznahme zu erzeugen, bis alle Passagiere im Fahrzeug richtig Platz genommen haben.
Erneut mit Bezug auf Block 332 fährt das Verfahren 300 mit dem Dekrementieren der Sitzend-Timer-Variable fort, falls alle Orte der Passagiere durch den Prozessor 200 als innerhalb erlaubter Sitzbereiche bestimmt werden (Block 356). Insbesondere ruft der Prozessor 200 die Sitzend-Timer-Variable aus den Sitzend-Timer-Daten 236 ab, dekrementiert sie um eins oder um die verstrichene Zeit und speichert die dekrementierte Sitzend-Timer-Variable in den Sitzend-Timer-Daten 236 des Speichers 204.
Dann bestimmt das Verfahren 300, ob die Sitzend-Timer-Variable null erreicht hat (Block 360). Genauer gesagt bestimmt der Prozessor 200, ob die Sitzend-Timer-Variable null erreicht hat. Falls die Sitzend-Timer-Variable noch nicht null ist, haben die Passagiere noch nicht für die erforderliche Zeitdauer gesessen. Demnach geht das Verfahren 300 durch Dekrementieren der Platznahmetimervariable zu Block 340 über, wie oben besprochen.
Falls die Sitzend-Timer-Variable jedoch in Block 360 null erreicht hat, haben alle Passagiere in ihren jeweiligen Sitzen für die erforderliche Zeitdauer gesessen, und haben daher richtig Platz genommen. Dementsprechend wird der Prozess 300 beendet. In manchen Ausführungsformen wird der Prozess 300 bei Block 364 beendet, indem mit der Sitzverlassungsdetektionsschleife wie nachstehend mit Bezug auf 6 besprochen begonnen wird.
Minderung des anormalen Platznahmeereignisses
4 veranschaulicht ein Verfahren 380 zum dahingehenden Betreiben des Fahrzeugs 100, einen unsicheren Zustand zu mindern oder dem Passagier bei der richtigen Platznahme behilflich zu sein, als Reaktion auf die Detektion eines anormalen Platznahmeereignisses, indem mindestens eine Komponente des Fahrzeugs 100 auf eine vordefinierte Weise betrieben wird. Bei der Beschreibung des Verfahrens 380 beziehen sich Aussagen, dass ein Verfahren, ein Prozess, ein Modul, ein Prozessor, ein System oder dergleichen irgendeine Aufgabe oder Funktion durchführt, auf eine Steuerung oder einen Prozessor (z. B. die Fahrzeug-ECU 112), die/der programmierte Anweisungen ausführt, die in einem nichtflüchtigen computerlesbaren Speicherungsmedium gespeichert sind, das funktionsfähig mit der Steuerung oder dem Prozessor verbunden ist, um Daten zu manipulieren oder eine oder mehrere Komponenten im Fahrgastraumüberwachungssystem 108 und/oder im Fahrzeug 100 dahingehend zu betreiben, die Aufgabe oder Funktion durchzuführen. Zusätzlich dazu können die Schritte des Verfahrens in einer beliebigen zweckmäßigen chronologischen Reihenfolge durchgeführt werden, unabhängig von der in den Figuren gezeigten Reihenfolge oder der Reihenfolge, in welcher die Schritte beschrieben werden. Es versteht sich, dass in manchen Ausführungsformen die hierin beschriebenen Operationen der Fahrzeug-ECU 112 durch andere Komponenten des Verarbeitungssystems 150 und/oder des Fahrgastraumüberwachungssystems 108 durchgeführt werden können, und/oder durch einen Prozessor des Verarbeitungssystems 150 durchgeführt werden können, der sich entfernt von dem Fahrzeug 100 (z. B. in der „Cloud“) befindet.
Das Verfahren 380 beginnt mit dem Empfangen eines anormalen Platznahmeereignisses (Block 384). Insbesondere empfängt die Fahrzeug-ECU 112 das Signal, das der Warnung über ein anormales Platznahmeereignis entspricht und durch das Passagierplatznahmeüberwachungssystem 138 erzeugt wird, beispielsweise über den Kommunikationsbus 154.
Das Verfahren 380 fährt mit dem Verhindern fort, dass sich das Fahrzeug bewegt (Block 388). Genauer gesagt verhindert die Fahrzeug-ECU 112, während das anormale Platznahmeereignis aktiv ist, dass das Antriebssystem 116 dahingehend arbeitet, mit der Bewegung des Fahrzeugs zu beginnen. Beispielsweise verhindert die Fahrzeug-ECU 112, dass sich das Fahrzeug 100 bewegt, indem die Bremsen aktiviert werden und der Motor des Antriebssystems 116 deaktiviert wird, bis die Passagiere richtig in ihren jeweiligen Sitzen Platz genommen haben und sich in einer sicheren Position für die Beförderung durch das Fahrzeug 100 befinden.
Zusätzlich beinhaltet das Verfahren 380 auch dahingehendes Betreiben von Leuchten, einer Anzeige und/oder von Lautsprechern im Fahrzeug, eine visuelle und/oder auditive Warnung zu erzeugen (Block 392). Insbesondere betreibt die Fahrzeug-ECU 112 als Reaktion auf den Empfang der Warnung über ein anormales Platznahmeereignis die Leuchten 180, die Lautsprecher 184 und/oder die Anzeige 188 dahingehend, eine visuelle und/oder hörbare Warnung im Fahrgastraum 104 des Fahrzeugs 100 zu erzeugen. Beispielsweise kann die Fahrzeug-ECU 112 die Lautsprecher 184 dahingehend betreiben, einen hörbaren Alarmton oder eine zuvor aufgezeichnete Nachricht zu emittieren, der/die den Passagier informiert, dass ein oder mehrere Passagiere im Fahrzeug 100 nicht in einem Sitz Platz genommen haben. Zusätzlich oder alternativ kann die Fahrzeug-ECU 112 die Leuchten 180 dahingehend betreiben, zu erleuchten und/oder zu blinken, um die Passagiere zu warnen, dass die Fahrt nicht gestartet werden kann, bis alle Passagiere in ihren Sitzen Platz genommen haben. In manchen Ausführungsformen betreibt die Fahrzeug-ECU 112 die Anzeige 188 dahingehend, zu blinken, eine Textwarnung für die Passagiere anzuzeigen und/oder ein Video oder eine Animation anzuzeigen, das/die die Passagiere anweist, wie sie sicher im Fahrzeug 100 sitzen sollen.
In manchen Ausführungsformen fährt das Verfahren 380 mit der Übertragung einer Warnung über eine anormale Platznahme fort (Block 396). Insbesondere kann die Fahrzeug-ECU 112 dazu ausgelegt sein, ein Signal, das dem detektierten anormalen Platznahmeereignis entspricht, über den Sendeempfänger 196 zu einem Fernserver zu übertragen. Beispielsweise kann das dem anormalen Platznahmeereignis entsprechende Signal zu einem zentralen Steuerserver übertragen werden, um einen menschlichen Eingriff zu ermöglichen, beispielsweise einem entfernten Betreiber, der das anormale Platznahmeereignis lösen kann, indem er die Fernsteuerung des Fahrzeugs 100 übernimmt oder über die Lautsprecher 184 und die Anzeige 188 mit den Passagieren kommuniziert, um die Passagiere anzuweisen, wie sie richtig in das Fahrzeug 100 einsteigen sollen.
In einer Ausführungsform kann die Fahrzeug-ECU 112 dazu ausgelegt sein, eine korrigierende Handlung basierend auf einem vordefinierten Eskalationsverfahren auszulösen. Beispielsweise kann die Fahrzeug-ECU 112 in Block 388 zunächst die Anzeige 188 dahingehend betreiben, ein Video darüber abzuspielen, wie im Fahrzeug richtig zu sitzen ist. Falls die Warnung über die anormale Platznahme bestehen bleibt, kann die Fahrzeug-ECU 112 dazu ausgelegt sein, dann in Block 388 die Lautsprecher 184 dahingehend zu betreiben, eine hörbare Warnung zu erzeugen, die die Passagiere warnt, dass die Fahrt nicht starten kann, bis alle Passagiere richtig sitzen. Falls das anormale Platznahmeereignis weiterhin aktiv ist, nachdem die hörbare Warnung erzeugt wird, kann die Fahrzeug-ECU 112 die Warnung über den Sendeempfänger 196 zu dem Fernserver kommunizieren (Block 392), sodass ein entfernter Betreiber eingreifen und bestimmen kann, warum die Passagiere nicht richtig im Fahrzeug 100 Platz genommen haben, und die Passagiere anweisen kann, wie sie in das Fahrzeug einsteigen sollen.
Das Passagierplatznahmeüberwachungssystem 138 ist daher ausgelegt, im Prozess 300 anormale Platznahmeereignisse des Passagiers zu detektieren, und der Prozess 380 mindert unsichere Zustände, die durch das anormale Platznahmeereignis verursacht werden, und hilft dabei, dass der Passagier richtig im Fahrzeug Platz nimmt. Falls beispielsweise ein Passagier in das Fahrzeug 100 mit einer anormalen Menge an Gepäck oder Gegenständen einsteigt, kann der Passagier eine anormale Menge an Zeit brauchen (d. h. länger als der Standardwert des Platznahmetimers), um Platz für die Gegenstände zu finden und sie anzuordnen, bevor er sich setzt. Das Passagierplatznahmeüberwachungssystem 138 ist vorteilhafterweise dazu ausgelegt, dieses anormale Platznahmeereignis zu detektieren, und ein Video oder eine Animation kann auf der Anzeige 188 angezeigt werden, um den Passagier anzuweisen, wie er das Gepäck richtig laden und im Fahrzeug Platz nehmen soll. Falls die Passagiere weiterhin nicht in der Lage sind, richtig in den Sitzen Platz zu nehmen, warnt die Fahrzeug-ECU 112 die Passagiere hörbar, dass die Fahrt nicht gestartet werden kann, und falls die Passagiere immer noch nicht Platz genommen haben, dann kommuniziert sie über den Sendeempfänger 196 mit dem Fernserver, um einen menschlichen Eingriff zu ermöglichen.
Als ein anderes Beispiel detektiert das Passagierplatznahmeüberwachungssystem 138 eine Situation, in der ein Passagier aufgrund einer physischen Behinderung des Passagiers langsamer oder in einem anormalen Muster einsteigt. Die Detektion des anormalen Platznahmeereignisses durch das Verarbeitungssystem 150 ermöglicht vorteilhafterweise einen menschlichen Eingriff, um dem behinderten Passagier beim Einsteigen in das Fahrzeug zu helfen, indem beispielsweise an dem Ort des Passagiers nach Hilfe gerufen wird oder Komponenten im Fahrzeug betrieben werden, um zum Beispiel zu helfen, durch das Senken einer Rampe oder Senken der Sitze des Fahrzeugs einen leichteren Zugang zu schaffen.
Das Passagierplatznahmedetektionssystem kann auch einen Passagier detektieren, der seitwärts einsteigt, sich über einen anderen Passagier bewegt, häufig die Position ändert und anderweitig anormale Bewegungen aufweist, während er im Fahrzeug Platz nimmt. Die Detektion des anormalen Platznahmeereignisses ermöglicht dem Verarbeitungssystem 150 vorteilhafterweise, automatisierte Anweisungen zur richtigen Platznahme bereitzustellen, und ermöglicht dem Verarbeitungssystem 150, mit einem Fernserver zu kommunizieren, um einen menschlichen Eingriff zum Helfen des Passagiers bei der richtigen Platznahme im Fahrzeug zu ermöglichen.
In einer anderen Ausführungsform kann die Fahrzeug-ECU 112 als Reaktion auf die Warnung über die anormale Platznahme dazu ausgelegt sein, die Bilddaten zu analysieren, um zu bestimmen, ob es ein Problem mit dem Sitz gibt, das den Passagier daran hindert, richtig im Sitz Platz zu nehmen. Beispielsweise kann die Fahrzeug-ECU 112 detektieren, dass der Sitz beschädigt ist oder ein Objekt oder eine Abdeckung auf dem Sitz aufweist, das/die den Passagier daran hindert, den Sitz richtig zu verwenden, und kann die Lautsprecher 184, die Anzeige 188 oder den Sendeempfänger 196 basierend auf der Detektion des Problems mit dem Sitz betreiben.
In einer anderen Ausführungsform kann die Fahrzeug-ECU 112 dazu ausgelegt sein, zu bestimmen, ob es eine Notfallsituation gibt, die den Passagier daran hindert, in seinem Sitz richtig Platz zu nehmen. Als Reaktion auf die Warnung über ein anormales Platznahmeereignis kann die Fahrzeug-ECU 112 beispielsweise die Bilddaten analysieren, um zu bestimmen, ob der Passagier aufgrund zum Beispiel eines medizinischen Problems oder krimineller Aktivität besorgt ist, was den Passagier daran hindert, in seinem Sitz Platz zu nehmen.
Sitzverlassungsdetektionssystem
Wie oben kurz angesprochen, beinhaltet das Fahrgastraumüberwachungssystem 108 auch ein Passagiersitzverlassungsdetektionssystem 140, das nach der Platznahme der Passagiere dahingehend arbeitet, potenzielle unsichere Zustände zu detektieren, die daraus resultieren, dass sich die Passagiere aus ihren jeweiligen Sitzen bewegen, während sich das Fahrzeug 100 in Bewegung befindet. Jetzt mit Bezug auf 5 ist das Sitzverlassungsdetektionssystem 140 des Fahrgastraumüberwachungssystems 108 dazu ausgelegt, den Fahrgastraum 104 des Fahrzeugs zu überwachen und basierend auf den empfangenen Sensorsignalen zu bestimmen, ob sich ein Benutzer außerhalb seines jeweiligen Sitzes befindet, ein Signal zu erzeugen, das eine Sitzverlassungsbestimmung repräsentiert, und das Signal zu der Fahrzeug-ECU 112 zu kommunizieren. Das Sitzverlassungsdetektionssystem 140 ist über Kommunikationsbusse 152 kommunikativ mit den Bildsensoren 142, 144 gekoppelt und dazu ausgelegt, Sensorsignale, die analoge oder digitale Signale sein können, von jedem der Bildsensoren 142, 144 zu empfangen.
Das Sitzverlassungsdetektionssystem 140 umfasst mindestens einen Prozessor und/oder mindestens eine Steuerung 400, die nachstehend einfach als der Prozessor 400 bezeichnet werden, der/die funktionsfähig mit einem assoziierten Speicher 404 verbunden ist. Der Prozessor 400 des Sitzverlassungsdetektionssystems 140 ist dazu ausgelegt, in seinem assoziierten Speicher 404 gespeicherte Programmanweisungen 408 zum Manipulieren von Daten (z. B. Daten 420-444) oder dahingehenden Betreiben einer oder mehrerer Komponenten im Sitzverlassungsdetektionssystem 140 oder des Fahrzeugs 100 auszuführen, die dargelegte Aufgabe oder Funktion durchzuführen.
Der Speicher 404 ist eine elektronische Speicherungsvorrichtung, die dazu ausgelegt ist, Daten und Programmanweisungen zu speichern, einschließlich zumindest Bilddaten 420, Passagierortsdaten 424, Konfigurationsdaten 428, Warnungslatenzdaten 432, Rücksetzzählerdaten 436, Interner-Status-Daten 440, Sitzverlassungsereignisdaten 444 und die Programmanweisungen 408 zum Betreiben des Sitzverlassungsdetektionssystems 140. Der Speicher 404 kann nichtflüchtige computerlesbare Speicherungsmedien und/oder Kommunikationsmedien enthalten, wie etwa sowohl unbeständige als auch beständige, sowohl schreibfähige als auch schreibgeschützte, sowohl entfernbare als auch nicht entfernbare Medien, die in beliebigen Medien oder Technologien implementiert sind, einschließlich CD-ROM, DVD, optische Plattenspeicherung, Magnetkassetten, Magnetband, magnetische Plattenspeicherung oder andere bekannte Speicherungsmedientechnologien.
Wie oben angemerkt, kann das Sitzverlassungsdetektionssystem 140 in manchen Ausführungsformen mit der Fahrzeug-ECU 112 und/oder dem Passagierplatznahmedetektionssystem 138 integriert sein. Beispielsweise können der Prozessor 400 und der Speicher 404 der gleiche Prozessor 200 und Speicher 204 sein, die oben mit Bezug auf das Passagierplatznahmeüberwachungssystem 138 besprochen sind, und/oder der Prozessor 400 und der Speicher 404 können der gleiche Prozessor und Speicher wie in der Fahrzeug-ECU 112 sein.
Die Bilddaten 420 sind elektronische Daten, die das Bild oder die Bilder repräsentieren, die durch die Bildsensoren 142, 144 aufgenommen werden. Die Passagierortsdaten 424 repräsentieren, wie nachstehend ausführlich besprochen, einen oder mehrere Punkte, die eine Position des Passagiers und/oder relevanter Körperteile des Passagiers repräsentieren. Die Punkte können beispielsweise als x-y-Koordinaten gespeichert sein, die Pixelorten in dem assoziierten Bild entsprechen.
Die Konfigurationsdaten 428 beinhalten die Abgrenzungen der Sitze aus den Bildsensoransichten, die in einer Ausführungsform auch x-y-Koordinaten sein können, die Pixelorten in dem assoziierten Bild entsprechen. Die Konfigurationsdaten 428 können zum Beispiel eine innere Abgrenzung und eine äußere Abgrenzung für Hüften und/oder Schultern für jeden der Sitze 120-126 beinhalten. Die Abgrenzungen können rechteckig, trapezförmig, kreisförmig, dreieckig, ein anderes Polygon, eine Kombination der obigen Formen oder eine beliebige andere geeignete Form sein. Alternativ können die Sitzabgrenzungen unregelmäßig geformt sein, sodass sie einer gewünschten Kontur des Sitzgebietes folgen. Zusätzlich beinhalten die Konfigurationsdaten 428 vorbestimmte Standardwerte für die Interner-Status-Variable, die Rücksetzzählervariable und die Warnungszählervariable. Die Konfigurationsdaten 428 können in den Speicher 404 vorprogrammiert sein oder können abhängig von der gewünschten Verwendung oder Konfiguration des Fahrzeugs 100 benutzerkonfigurierbar oder entfernt konfigurierbar sein.
Die Warnungslatenzdaten 432 beinhalten die Warnungslatenzvariable, die einem dekrementierenden Timer der Anzahl von Frames oder der Zeitdauer entspricht, für die sich ein Passagier außerhalb seiner jeweiligen Sitzabgrenzung befinden muss, bevor die Warnung erzeugt wird. Die Rücksetzzählerdaten 436 beinhalten die Rücksetztimervariable, die einem dekrementierenden Zähler der Anzahl von Frames oder der Zeitdauer entspricht, für die sich die Passagiere wieder in ihren jeweiligen Sitzabgrenzungen befinden müssen, nachdem eine Warnung erzeugt wurde, bevor der Warnungsstatus zurückgesetzt wird und eine andere Warnung über das Sitzverlassungsereignis erneut erzeugt werden kann.
Die Interner-Status-Daten 440 beinhalten die Interner-Status-Variable, die einer Indikation entspricht, ob ein Sitzverlassungsereignis eines Passagiers zuvor ohne eine Rücksetzung des Warnungsstatus erzeugt wurde. Die Sitzverlassungsereignisdaten 444 sind die Warnungsdaten, die durch das Sitzverlassungsdetektionssystem 140 ausgegeben werden, wenn ein Sitzverlassungsereignis eines Passagiers detektiert wurde, sodass der Fahrzeug-ECU 112 ermöglicht wird, Handlungen zum Mindern potenziell unsicherer Zustände zu implementieren, die entstehen, wenn sich der Passagier außerhalb seines jeweiligen Sitzes befindet.
In manchen Ausführungsformen umfasst das Sitzverlassungsdetektionssystem 140 ferner eine Kommunikationsschnittstellenbaugruppe 412 mit einer oder mehreren Schnittstellen, die dazu ausgelegt sind, das Sitzverlassungsdetektionssystem 140 mit den Bildsensoren 142, 144 und der Fahrzeug-ECU 112 zu koppeln. Die Kommunikationsschnittstellenbaugruppe 412 ist dazu ausgelegt, zu ermöglichen, dass Sensordaten, Steuersignale, Software oder andere Informationen zwischen dem Sitzverlassungsdetektionssystem 140 und den Bildsensoren 142, 144 oder der Fahrzeug-ECU 112 in Form von Signalen transferiert werden, die beispielsweise elektronische, elektromagnetische, optische oder andere Signale sein können, die von der Kommunikationsschnittstellenbaugruppe 412 empfangen oder übertragen werden können. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 412 physische Anschlüsse zum Verbinden mit drahtgebundenen Medien wie etwa einem drahtgebundenen Netzwerk oder einer direkt verdrahteten Kommunikation (z. B. den Kommunikationsbussen 152) enthalten. In weiteren Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 412 ein oder mehrere Modems, eine oder mehrere Bussteuerungen oder dergleichen enthalten, die dazu ausgelegt sind, Kommunikationen mit den Bildsensoren 142, 144 und der Fahrzeug-ECU 112 zu ermöglichen. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 412 einen oder mehrere drahtlose Sendeempfänger enthalten, die dazu ausgelegt sind, eine drahtlose Kommunikation wie etwa akustische, HF-, Infrarot- (IR), WiFi, Bluetooth und andere drahtlose Kommunikationsverfahren zu ermöglichen.
Sitzverlassungsdetektionsprozess
Im Betrieb ist das Sitzverlassungsdetektionssystem 140 dazu ausgelegt, ein durch das Flussdiagramm von 6 veranschaulichtes Verfahren 500 zu implementieren, um zu bestimmen, ob sich ein oder mehrere Passagiere außerhalb ihrer jeweiligen Sitze 120-126 befinden. Bei der Beschreibung des Verfahrens 500 beziehen sich Aussagen, dass ein Verfahren, ein Prozess, ein Modul, ein Prozessor, ein System oder dergleichen irgendeine Aufgabe oder Funktion durchführt, auf eine Steuerung oder einen Prozessor (z. B. den Prozessor 400), die/der programmierte Anweisungen (z. B. die Programmanweisungen 408) ausführt, die in einem nichtflüchtigen computerlesbaren Speichermedium (z. B. dem Speicher 404) gespeichert sind, das funktionsfähig mit der Steuerung oder dem Prozessor verbunden ist, um Daten zu manipulieren oder eine oder mehrere Komponenten im Fahrgastraumüberwachungssystem 108 und/oder im Fahrzeug 100 dahingehend zu betreiben, die Aufgabe oder Funktion durchzuführen. Zusätzlich dazu können die Schritte des Verfahrens in einer beliebigen zweckmäßigen chronologischen Reihenfolge durchgeführt werden, unabhängig von der in den Figuren gezeigten Reihenfolge oder der Reihenfolge, in welcher die Schritte beschrieben werden. Es versteht sich, dass in manchen Ausführungsformen die hierin beschriebenen Operationen des Prozessors 400 durch andere Komponenten des Verarbeitungssystems 150 und/oder des Fahrgastraumüberwachungssystems 108 durchgeführt werden können, wie etwa die Fahrzeug-ECU 112 oder integrierte Bildprozessoren der Sensoren 142, 144 usw., oder die Operationen durch einen oder mehrere Prozessoren durchgeführt werden können, die sich entfernt von dem Fahrzeug (z. B. in der „Cloud“) befinden.
Das Verfahren 500 von 6 beginnt damit, dass die Bildsensoren 142, 144 Bilder der Sitze 120-126 aufnehmen (Block 504). Die Bilder können RGB-Bilder der Sitze 120-126 sein, oder die Bilder können Infrarotbilder, dreidimensionale Radar- oder LIDAR-Bilder oder andere gewünschte Bilder sein. Die Bildsensoren 142, 144 übertragen die Bilder über beispielsweise die Kommunikationsschnittstellenbaugruppe 412 zu dem Prozessor 400 des Sitzverlassungsdetektionssystems 140. Die Bilder können in manchen Ausführungsformen entweder durch die Bildsensoren 142, 144 oder den Prozessor 400 in der Größe geändert und im Speicher 404 als die Bilddaten 420 gespeichert werden. Beispielhafte Bilder 600, 610 sind in den 8a und 9a dargestellt, wobei 8a ein beispielhaftes Bild 600 darstellt, das durch den hinteren Bildsensor 144 aufgenommen wird und einen im Sitz 124 sitzenden Passagier 620 veranschaulicht, während 9a ein beispielhaftes Bild 610 veranschaulicht, das durch den hinteren Bildsensor 144 aufgenommen wird und zwei in den Rücksitzen 124, 126 sitzende Passagiere 624, 626 veranschaulicht.
Erneut mit Bezug auf 6 fährt das Verfahren 500 mit der Verarbeitung der Bilddaten fort, um Schlüsselpunkte der Passagiere im Fahrgastraum 104 zu bestimmen (Block 508). Insbesondere ist der Prozessor 400 dazu ausgelegt, mehrere Schlüsselpunkte in den Bilddaten zu bestimmen, um eine Haltung des Passagiers zu schätzen. Genauer gesagt verarbeitet der Prozessor 400 die Bilddaten, um die Positionen gewisser Gelenke des Passagiers basierend auf den Bilddaten 420 zu approximieren, und gibt die Positionen als x-y-Koordinaten im Bild zurück. Der Prozessor 400 kann dazu ausgelegt sein, eine beliebige geeignete Haltungsschätzungstechnik auf eine allgemein in der Technik bekannten Weise auszuführen.
Die Schlüsselpunkte sind in einer Ausführungsform die Orte der linken und rechten Hüften der Passagiere (z. B. Hüftorte 620a und 620b des Passagiers 620 in 8b und Hüftorte 624a-b und 626a-b der Passagiere 624, 626 in 9a). In einer anderen Ausführungsform können die Schlüsselpunkte die Orte der linken und rechten Schulter der Passagiere sein (z. B. Schulterorte 621a-b des Passagiers 620 in 8b und die Schulterorte 625a-b und 627a-b der Passagiere 624, 626 in 9a). Die Schlüsselpunkte werden in den Passagierortsdaten 424 des Speichers 404 gespeichert.
Falls der Prozessor 400 nicht in der Lage ist, einen oder beide der Schlüsselpunktorte zu bestimmen, liest der Prozessor in einer Ausführungsform den (die) Schlüsselpunktort(e) für das vorherige Bild aus den Passagierortsdaten 424 und verwendet die vorherigen Schlüsselpunktorte erneut. Falls es jedoch keine vorherigen Schlüsselpunktdaten gibt oder die Schlüsselpunktdaten für eine vorbestimmte Anzahl von Frames (z. B. ungefähr 3 Frames, ungefähr 5 Frames, ungefähr 10 Frames oder ungefähr 20 Frames) oder einen vorbestimmten Zeitraum (z. B. ungefähr 1 Sekunde, ungefähr 2 Sekunden, ungefähr 3 Sekunden oder ungefähr 5 Sekunden) nicht zur Verfügung standen, kann der Prozessor 400 stattdessen andere Schlüsselpunkte bestimmen. Beispielsweise kann ein System, in dem der Prozessor dazu ausgelegt ist, Hüftorte als die Schlüsselpunkte zu verwenden, stattdessen die Schulterorte als die Schlüsselpunkte bestimmen, falls die Hüftorte für die vorbestimmte Anzahl von Frames oder den vorbestimmten Zeitraum nicht zur Verfügung stehen. Die vorbestimmte Anzahl von Frames oder der vorbestimmte Zeitraum kann zum Beispiel in den Konfigurationsdaten 428 gespeichert sein.
In manchen Ausführungsformen bestimmt der Prozessor 400 den Ort und die Abgrenzung des Passagiers unter Verwendung generalisierter Objektverfolgungstechniken, anstatt Schätzungstechniken einer menschlichen Haltung. Der Prozessor 400 kann zum Beispiel die Objektverfolgungstechniken verwenden, um einen einzelnen zentralen Punkt des Passagiers basierend auf den Bilddaten 420 auf eine allgemein in der Technik bekannten Weise zu schätzen und die geschätzten Schlüsselpunkte in den Passagierortsdaten 424 zu speichern. Der Prozessor 400 kann auch dazu ausgelegt sein, Objektverfolgungstechniken zu verwenden, um nicht menschliche Objekte im Fahrgastraum 104 zu verfolgen und die nicht menschlichen Objekte von den Passagieren im Fahrgastraum 104 entweder vor oder nach der Bestimmung der Schlüsselpunkte zu unterscheiden.
Von den Schlüsselpunkten fährt das Verfahren 500 mit der Bestimmung eines einzelnen Passagierortspunktes für jeden Passagier fort (Block 512). Insbesondere wandelt der Prozessor 400 die mehreren Schlüsselpunkte jedes Passagiers in einen einzelnen Passagierortspunkt für jeden Passagier um und speichert die Passagierortspunkte in den Passagierortsdaten 424 des Speichers 404. In einer speziellen Ausführungsform entspricht der Passagierortspunkt für jeden Passagier dem Mittelpunkt in die x- und y-Richtung der Schlüsselpunkte.
In der Ausführungsform von 8b ist beispielsweise der Passagierortspunkt 620c der Mittelpunkt zwischen den beiden Hüftorten 620a, 620b. Falls alternativ die Schulterpunkte stattdessen als die Schlüsselpunkte verwendet werden, ist der Passagierortspunkt 621c der Mittelpunkt zwischen den beiden Schulterorten 621a, 621b. Wie in 9a dargestellt, entsprechen die Passagierortspunkte 624c und 626c den Mittelpunkten der Hüftorte 624a-b bzw. 626a-b der Passagiere 624, 626, oder alternativ entsprechen die Passagierortspunkte 625c, 627c den Mittelpunkten der Schulterorte 625a-b und 627a-b der Passagiere 624, 626. Wie in 9b veranschaulicht, können die Passagierortspunkte 624c, 626c als x-y-Koordinaten innerhalb des Bildes gespeichert werden. Beispielsweise sind in 9b die x-y-Koordinaten der Passagierortspunkte 624c und 626c [290, 80] bzw. [140, 85] basierend auf dem Koordinatensystem des in 9b dargestellten Bildes.
Der Prozess 500 fährt mit der Bestimmung fort, ob ein Passagier im Fahrgastraum anwesend ist (Block 520). Insbesondere ist der Prozessor 400 dazu ausgelegt, zu detektieren, dass ein Passagier anwesend ist, falls Passagierschlüsselpunkte und/oder mindestens ein Passagierortspunkt verfügbar ist, oder alternativ, falls die Schlüsselpunkte nicht verfügbar sind, aber die vorbestimmte Anzahl von Frames oder der vorbestimmte Zeitraum, für die/den die vorherigen Schlüsselpunkte verwendet werden können, von der letzten Verfügbarkeit der Schlüsselpunkte nicht abgelaufen ist.
Falls der Prozessor 400 in Block 320 bestimmt, dass kein Passagier anwesend ist (d. h. keine Passagierortspunktdaten verfügbar sind), geht der Prozess 500 dazu über, zu prüfen, ob die Interner-Status-Variable null ist (Block 524). Genauer gesagt ruft der Prozessor 400 die Interner-Status-Variable aus den Interner-Status-Daten 440 im Speicher 404 ab und bestimmt, ob die Variable null oder ungleich null ist (d. h. eins). Wie oben angemerkt, gibt die Interner-Status-Variable an, ob eine vorherige Warnung über ein Sitzverlassungsereignis erzeugt und nicht zurückgesetzt wurde. Falls beispielsweise die Interner-Status-Variable null ist, wurde keine Warnung erzeugt, oder die vorherige Warnung wurde zurückgesetzt. Falls die Interner-Status-Variable eins ist, wurde zuvor eine Warnung erzeugt und nicht zurückgesetzt.
Falls die Interner-Status-Variable bei Block 524 null ist (d. h. keine vorherige Warnung oder die vorherige Warnung wurde zurückgesetzt), wenn kein Passagier anwesend ist, gibt es keine detektierten Passagiere und kein Sitzverlassungsereignis eines Passagiers ist aktiv. Infolgedessen gibt es keinen potenziell unsicheren Zustand, der durch das Sitzverlassungsdetektionssystem 400 detektiert wird. Infolgedessen geht das Verfahren 500 dazu über, die Warnungslatenzvariable zu ihrem Standardwert zurückzusetzen (Block 528). Genauer gesagt ruft der Prozessor 400 den Standardwert der Warnungslatenzvariable aus den Konfigurationsdaten 428 ab und speichert den Standardwert als die Warnungslatenzvariable in den Warnungslatenzdaten 432. Das Verfahren 500 fährt dann mit Block 504 fort.
Falls alternativ die Interner-Status-Variable in Block 524 ungleich null ist (d. h. ein Sitzverlassungsereignis wurde zuvor aktiviert und nicht zurückgesetzt), ist kein Passagier vorhanden, aber es gibt ein aktives Sitzverlassungsereignis, das nicht zurückgesetzt wurde. Infolgedessen fährt das Verfahren 500 mit dem Dekrementieren des Warnungsrücksetztimers fort (Block 532). Genauer gesagt ruft der Prozessor 400 den Standardwert des Warnungsrücksetztimers aus den Konfigurationsdaten 428 ab und speichert den Standardwert als die Warnungsrücksetzvariable in den Rücksetztimerdaten 436 des Speichers 404.
Das Verfahren 500 fährt dann mit der Prüfung fort, ob der Warnungsrücksetzzähler null ist (Block 536). Insbesondere ruft der Prozessor 400 die Warnungsrücksetzvariable aus den Rücksetztimerdaten 436 ab und bestimmt, ob der Rücksetztimer null erreicht hat.
Falls nach dem Dekrementieren des Warnungsrücksetztimers der Warnungsrücksetztimer null ist (Block 536), ist ausreichend Zeit seit der Detektion des Sitzverlassungsereignisses verstrichen, und eine andere Warnung kann nun erzeugt werden, falls es einen anderen unsicheren Zustand gibt. Der Prozess 500 fährt daher mit dem Setzen der Interner-Status-Variable in den Interner-Status-Daten 440 auf null und dem Zurücksetzen der Warnungslatenz- und Warnungsrücksetztimervariablen in den Warnungslatenzdaten 432 bzw. Warnungsrücksetzdaten 436 zu ihren jeweiligen Standardwerten fort (Block 540). Insbesondere setzt der Prozessor 400 die Interner-Status-Variable in den Interner-Status-Daten 440 auf Null, ruft die Standardwerte des Warnungslatenz- und Rücksetztimers aus den Konfigurationsdaten 428 ab und speichert die jeweiligen Standardwerte als die Warnungslatenz- und Rücksetztimervariablen in den Warnungslatenzdaten 432 bzw. Rücksetztimerdaten 436. Das Verfahren 500 kehrt dann zu Block 504 zurück.
Falls alternativ die Rücksetzzählervariable in Block 536 nach ihrer Dekrementierung nicht null ist, ist nicht ausreichend Zeit seit der Detektion des Sitzverlassungsereignisses verstrichen. Der Prozess 500 kehrt daher zu Block 504 zurück, wobei die dekrementierte Rücksetztimervariable in den Warnungsrücksetztimerdaten 436 aktualisiert ist.
Jetzt erneut mit Bezug auf den Block 520 fährt das Verfahren 500, falls der Prozessor 400 bestimmt, dass mindestens ein Passagier anwesend ist, mit der Bestimmung fort, ob sich die Passagiere innerhalb der Sitzabgrenzungen befinden (Block 544). Der Prozessor 400 fragt die Passagierortspunkte aus den Passagierortsdaten 424 und die assoziierten Sitzabgrenzungen aus den Konfigurationsdaten 428 ab und vergleicht die Passagierortpunkte mit den assoziierten Sitzabgrenzungen, um zu bestimmen, ob sich die Passagierortspunkte innerhalb der Sitzabgrenzungen befinden.
In manchen Ausführungsformen hängen die assoziierten Sitzabgrenzungen davon ab, ob die Passagierorte auf den Hüftorten der Passagiere oder den Schulterorten der Passagiere basieren, und ob der interne Status null oder eins ist (d. h. ob ein Sitzverlassungsereignis aktiviert und nicht zurückgesetzt wurde). Beispielsweise befindet sich die Sitzabgrenzung für einen Schultermittelpunkt des Passagiers am Sitz höher als die Sitzabgrenzung für den Hüftmittelpunkt des Passagiers, um widerzuspiegeln, dass sich die Schultern eines Passagiers natürlich höher am Sitz befinden als die Hüften des Passagiers.
Wenn der interne Status null ist, wird zusätzlich eine größere Sitzabgrenzung, als die äußere Sitzabgrenzung bezeichnet (z. B. 640a in 8b), durch den Prozessor 400 verwendet, um zu bestimmen, ob eine Warnung dafür zu erzeugen ist, dass sich ein Passagier außerhalb des Sitzes befindet und potenziell einen unsicheren Zustand verursacht. Wenn der interne Status eins ist, wird alternativ eine kleinere Sitzabgrenzung, als die innere Sitzabgrenzung bezeichnet (z. B. 640b in 8b), durch den Prozessor 400 verwendet, um zu bestimmen, ob der interne Status zurückzusetzen ist, da der Passagier zu seinem Sitz zurückgekehrt ist und daher den potenziell unsicheren Zustand behoben hat. Da ein kleinerer Bereich zum Zurücksetzen des internen Status als zum Aktivieren der Warnung verwendet wird, wird der Prozessor 400 keine wiederholten Warnungen über das Sitzverlassungsereignis in einer Situation erzeugen, in der sich der Passagierort etwas über jede Sitzabgrenzung bewegt. Mit anderen Worten, da sich der Passagier außerhalb der äußeren Sitzabgrenzung 640a befinden muss, damit der Prozessor 400 die Warnung über das Sitzverlassungsereignis auslöst, und sich wieder innerhalb der inneren Sitzabgrenzung 640b befinden muss, damit der Prozessor 400 die Warnung zurücksetzt, wird nur eine wiederholte Bewegung über die äußere Sitzabgrenzung 640a dazu führen, dass der Prozessor 400 nur eine einzige Warnung auslöst, während der Prozessor 400 aufgrund einer wiederholten Bewegung über die innere Sitzabgrenzung 640b keine Warnung erzeugen wird.
Falls der Passagierort in Block 544 durch den Prozessor 400 als innerhalb des erlaubten Bereichs bestimmt wird, geht der Prozess zu Block 524 auf eine ähnliche Weise über, wie oben besprochen, falls kein Passagier anwesend ist. Beispielsweise stellt 8b einen Passagier 620 dar, dessen Passagierortspunkt 620c sich innerhalb sowohl der inneren als auch äußeren Abgrenzung 640b, 640a befindet. Gleichermaßen stellt 9b Passagiere 624, 626 dar, deren jeweiligen Orte 624c, 626c innerhalb der assoziierten Sitzabgrenzung 644, 646 liegen.
Da die Passagiere durch den Prozessor 400 als sich innerhalb ihrer jeweiligen Sitzabgrenzungen befindlich bestimmt werden, fährt der Prozessor 400 damit fort, falls der interne Status durch den Prozessor 400 in Block 524 als null bestimmt wird (d. h. keine Sitzverlassungswarnung wurde seit der letzten Rücksetzung gesendet), die Warnungslatenzdaten 432 zu ihrem Standardwert zurückzusetzen (Block 528), wie oben beschrieben, da kein potenziell unsicherer Zustand gegenwärtig durch den Prozessor 400 detektiert wird. Falls alternativ der interne Status durch den Prozessor 400 in Block 524 als eins bestimmt wird (d. h. der Passagier ist zu seinem Sitz nach einem noch nicht zurückgesetzten Sitzverlassungsereignis zurückgekehrt), dekrementiert der Prozessor 400 die Rücksetztimerdaten 436 (Block 532), wie oben beschrieben, und, falls die Warnungsrücksetzvariable durch den Prozessor 400 als null bestimmt wird (Block 536), setzt der Prozessor 400 alle Variablen zu ihren vorbestimmten Standardwerten zurück (Block 540), sodass ein anderes Sitzverlassungsereignis erzeugt werden kann, falls ein unsicherer Zustand auftritt. Der Prozess 500 kehrt dann zu Block 504 zurück.
Erneut mit Bezug auf Block 544, falls ein oder mehrere Passagierorte durch den Prozessor 400 als sich außerhalb der assoziierten Sitzabgrenzung befindlich bestimmt werden (wie beispielsweise in den 10a und 10b veranschaulicht), fährt das Verfahren 500 mit der Prüfung fort, ob die Interner-Status-Variable eins ist (Block 548). Insbesondere ruft der Prozessor 400 die Interner-Status-Variable der Interner-Status-Daten 440 aus dem Speicher ab und bestimmt, ob die Interner-Status-Variable eins ist.
Falls der interne Status eins ist, dann befindet sich der Passagier weiterhin außerhalb der Sitzabgrenzung, nachdem eine Sitzverlassungswarnung zuvor erzeugt wurde. Demnach fährt das Verfahren 500 fort, indem es den Warnungsrücksetztimer zu seinem Standardwert zurücksetzt, sodass die Sitzverlassungswarnung nicht erzeugt werden kann, bis der Passagier für die vordefinierte Anzahl von Frames oder die Zeitdauer zu seinem Sitz zurückkehrt (Block 552). Insbesondere ruft der Prozessor 400 den vorbestimmten Standardwert des Warnungsrücksetztimers aus den Konfigurationsdaten 428 ab und speichert den Standardwert als die Rücksetztimervariable in den Rücksetztimerdaten 436 des Speichers 404. Der Prozess 500 fährt dann bei Block 504 fort.
Falls der interne Status durch den Prozessor 400 in Block 548 als null bestimmt wird, dann befindet sich der Passagier außerhalb seines jeweiligen Sitzes, aber kein Sitzverlassungsereignis ist gegenwärtig aktiv. Das Verfahren 500 fährt mit dem Dekrementieren des Warnungslatenztimers fort (Block 552). Genauer gesagt ruft der Prozessor 400 die Warnungslatenzvariable aus den Warnungslatenzdaten 432 ab, dekrementiert sie um ein Frame oder um die verstrichene Zeit und speichert die dekrementierte Warnungslatenzvariable in den Warnungslatenzdaten 432.
Das Verfahren 500 fährt mit dem Riskieren fort, ob der Warnungslatenztimer null ist (Block 556). Genauer gesagt bestimmt der Prozessor 400, ob der Warnungslatenztimer null ist. Falls die dekrementierte Warnungslatenz in Block 556 noch nicht null ist, dann ist der Latenzzeitraum nicht abgelaufen. Der Prozessor 400 erzeugt daher nicht die Warnung über das Sitzverlassungsereignis, was dem Passagier Zeit gibt, zu seinem Sitz zurückzukehren, bevor die Warnung erzeugt wird. Zusätzlich reduziert die Warnungslatenzzeit das Vorkommnis von falschpositiven Ergebnissen (d. h. eine Warnung wird erzeugt, wenn sich der Passagier nicht außerhalb seines jeweiligen Sitzes befindet), die durch eine fehlerhafte Bildanalyse, eine versperrte Sicht usw. verursacht werden könnten, da der Passagier außerhalb seines jeweiligen Sitzes für mehrere Frames detektiert werden muss, damit die Warnung erzeugt wird. In einer Ausführungsform kann der standardmäßige Warnungslatenztimerwert zwischen zwei und fünf Sekunden liegen. In einer anderen Ausführungsform kann der standardmäßige Warnungslatenztimerwert ungefähr 3,5 Sekunden betragen.
Falls die Warnungslatenz durch den Prozessor 400 in Block 556 jedoch als null bestimmt wird, wird die Interner-Status-Variable in den Interner-Status-Daten 440 auf eins gesetzt, und die Warnungslatenz- und Warnungsrücksetztimer werden auf ihre Standardwerte gesetzt (Block 560). Insbesondere setzt der Prozessor 400 die Interner-Status-Variable in den Interner-Status-Daten 440 auf Eins, ruft die Standardwerte des Warnungslatenz- und Rücksetztimers aus den Konfigurationsdaten 428 ab und speichert die jeweiligen Standardwerte als die Warnungslatenz- und Rücksetztimervariablen in den Warnungslatenzdaten 432 bzw. Rücksetztimerdaten 436.
Der Prozess 500 erzeugt auch die Warnung über das Sitzverlassungsereignis (Block 564). Der Prozessor 400 speichert Daten, die der Warnung über das Sitzverlassungsereignis entsprechen, in den Sitzverlassungsereignisdaten 444 im Speicher 404 und/oder erzeugt ein elektronisches Signal, das über die Kommunikationsschnittstellenbaugruppe 412 und den Kommunikationsbus 154 zu der Fahrzeug-ECU 112 übertragen wird. Das Verfahren 500 fährt dann mit der Sitzverlassungsdetektionsschleife bei Block 504 fort.
10a veranschaulicht ein Bild 700 eines Passagiers 704, der sich zwischen zwei Sitze 124, 126 des Fahrzeugs 100 bewegt hat. Da sich der Mittelpunkt 720 der Hüftorte des Passagiers außerhalb beider Sitzbereiche 724, 726 bewegt hat (die in 10a veranschaulichten Sitzbereiche entsprechen den oben beschriebenen äußeren Sitzbereichen), wird der den Prozess 500 implementierende Prozessor 400 des Sitzverlassungsdetektionssystems 140 eine Warnung über ein Sitzverlassungsereignis erzeugen, falls der Passagier 704 nicht zu einem der Sitzbereiche 724, 726 zurückkehrt, bevor der Warnungslatenztimer abläuft.
10b veranschaulicht ein Bild 800 von zwei Passagieren 804, 808, von denen sich einer zwischen die Sitze 124, 126 des Fahrzeugs 100 bewegt hat. Da sich der Mittelpunkt 820 der Hüften des Passagiers außerhalb des Sitzbereichs 826 bewegt hat, wird der Prozessor 400 des Sitzverlassungsdetektionssystems 140 eine Warnung über ein Sitzverlassungsereignis für den Passagier 804 erzeugen, falls der Passagier 804 nicht zu dem Sitzbereich 826 zurückkehrt, bevor der Warnungslatenztimer abläuft. Der Passagier 808 sitzt andererseits so, dass sich der Mittelpunkt 822 der Hüften des Passagiers innerhalb des Sitzbereichs 828 befindet. Demnach erzeugt der Prozessor 400 des Sitzverlassungsdetektionssystems 140 keine Warnung über ein Sitzverlassungsereignis für den Passagier 808.
In der obigen Beschreibung wird das Verfahren 500 durch den Prozessor 400 gleichzeitig für alle Sitze 120-126 und Passagiere im Fahrgastraum 104 durchgeführt. In anderen Ausführungsformen kann das Verfahren 500 durch den Prozessor 400 separat für jeden einzelnen Sitz oder für jeden einzelnen Passagier durchgeführt werden. Falls beispielsweise ein Passagier durch den Prozessor 400 in Block 544 als sich außerhalb des linken Vordersitzes 120 bewegend detektiert wird, und durch den Prozessor 400 in einer anschließenden Schleife in Block 544 im rechten Vordersitz 122 detektiert wird, bevor der Prozessor 400 den Warnungslatenzzähler auf null dekrementiert (Blöcke 552-556), erzeugt der Prozessor 400 nicht die Warnung über das Sitzverlassungsereignis (Block 564), da der Passagier als sich in einem Sitz befindlich bestimmt wird und kein unsicherer Zustand vorhanden ist.
Während die veranschaulichte Ausführungsform ein Sitzverlassungsdetektionssystem 140 beinhaltet, das in einer Logikeinheit separat von der Fahrzeug-ECU 112 implementiert wird, sollte der Leser verstehen, dass in manchen Ausführungsformen das Sitzverlassungsdetektionssystem 140 in der Fahrzeug-ECU 112 implementiert werden kann. Beispielsweise kann die Fahrzeug-ECU 112 den Prozessor 400 und den Speicher 404 als separate Komponenten innerhalb der Fahrzeug-ECU 112 beinhalten, oder die Funktionen des Prozessors 400 können durch den Prozessor und/oder die Steuerungen der Fahrzeug-ECU 112 durchgeführt werden, und die Daten 420-444 und die Anweisungen 408 können in dem mit der Fahrzeug-ECU 112 assoziierten Speicher gespeichert sein.
Minderung unsicherer Sitzverlassungszustände
7 veranschaulicht ein Verfahren 580 zum dahingehenden Betreiben des Fahrzeugs 100, den unsicheren Zustand zu mindern, der dadurch verursacht wird, dass sich der Passagier außerhalb seines jeweiligen Sitzes befindet, indem als Reaktion auf das Detektieren, dass sich mindestens ein Passagier außerhalb seines Sitzes befindet, mindestens eine Komponente des Fahrzeugs auf eine vordefinierte Weise betrieben wird. Bei der Beschreibung des Verfahren 580 beziehen sich Aussagen, dass ein Verfahren, ein Prozess, ein Modul, ein Prozessor, ein System oder dergleichen irgendeine Aufgabe oder Funktion durchführt, auf eine Steuerung oder einen Prozessor (z. B. die Fahrzeug-ECU 112), die/der programmierte Anweisungen ausführt, die in einem nichtflüchtigen computerlesbaren Speicherungsmedium gespeichert sind, das funktionsfähig mit der Steuerung oder dem Prozessor verbunden ist, um Daten zu manipulieren oder eine oder mehrere Komponenten im Fahrgastraumüberwachungssystem 108 und/oder im Fahrzeug 100 dahingehend zu betreiben, die Aufgabe oder Funktion durchzuführen. Zusätzlich dazu können die Schritte des Verfahrens in einer beliebigen zweckmäßigen chronologischen Reihenfolge durchgeführt werden, unabhängig von der in den Figuren gezeigten Reihenfolge oder der Reihenfolge, in welcher die Schritte beschrieben werden. Es versteht sich, dass in manchen Ausführungsformen die hierin beschriebenen Operationen der Fahrzeug-ECU 112 durch andere Komponenten des Verarbeitungssystems 150 und/oder des Fahrgastraumüberwachungssystems 108 durchgeführt werden können, und/oder durch einen Prozessor des Verarbeitungssystems 150 durchgeführt werden können, der sich entfernt von dem Fahrzeug 100 (z. B. in der „Cloud“) befindet.
Der Prozess 580 beginnt mit dem Empfang einer Warnung über ein Sitzverlassungsereignis (Block 584). Insbesondere empfängt die Fahrzeug-ECU 112 das elektronische Signal, das der Warnung über das Sitzverlassungsereignis entspricht und durch das Sitzverlassungsdetektionssystem 140 erzeugt wird, beispielsweise über den Kommunikationsbus 154 (Block 584).
Das Verfahren 580 fährt mit dem Betreiben, durch die Fahrzeug-ECU 112, der Leuchten 180, der Lautsprecher 184 und/oder der Anzeige 188 fort, um eine visuelle und/oder auditive Warnung im Fahrgastraum 104 des Fahrzeugs 100 zu erzeugen (Block 588). Die Fahrzeug-ECU 112 kann zum Beispiel die Lautsprecher 184 dahingehend betreiben, einen Alarmton oder eine zuvor aufgezeichnete Nachricht zu emittieren, der/die den Passagier darüber informiert, dass ein oder mehrere Passagiere des Fahrzeugs 100 als außerhalb ihres jeweiligen Sitzes detektiert wurden, wodurch die Passagiere vor einem potenziell unsicheren Zustand gewarnt werden. Zusätzlich oder alternativ kann die Fahrzeug-ECU 112 die Leuchten 180 dahingehend betreiben, zu erleuchten und/oder zu blinken, um die Passagiere vor dem potenziell unsicheren Zustand zu warnen. In manchen Ausführungsformen betreibt die Fahrzeug-ECU 112 die Anzeige 188 dahingehend, zu blinken, eine Textwarnung für die Passagiere anzuzeigen und/oder ein Video oder eine Animation anzuzeigen, das/die den Benutzer auf den potenziell unsicheren Zustand verweist und anweist, wie sie sicher im Fahrzeug 100 sitzen sollen.
Das Verfahren 580 beinhaltet auch Verlangsamen und/oder Anhalten des Fahrzeugs oder Verhindern eines Starts des Fahrzeugs (Block 592). Insbesondere betreibt die Fahrzeug-ECU 112 das Antriebssystem 116 dahingehend, das Fahrzeug zu verlangsamen oder anzuhalten, oder, abhängig von dem aktuellen Fahrzustand des Fahrzeugs 100, das Weiterfahren des Fahrzeugs zu verhindern. Falls das Fahrzeug 100 beispielsweise auf einer Straße fährt, kann die Fahrzeug-ECU 112 den Motor und die Bremsen des Antriebssystems 116 betreiben, um die Geschwindigkeit des Fahrzeugs 100 zu reduzieren, einen sicheren Ort zum Anhalten des Fahrzeugs 100 zu identifizieren und die Lenkung zu betreiben, um das Fahrzeug 100 zu dem identifizierten Ort zu lenken, an dem das Anhalten des Fahrzeugs 100 sicher ist. Sobald das Fahrzeug 100 angehalten hat, oder falls das Fahrzeug 100 schon angehalten hatte, wenn die Warnung über das Sitzverlassungsereignis in Block 584 empfangen wurde, verhindert die Fahrzeug-ECU 112, dass sich das Fahrzeug 100 bewegt, indem die Bremsen aktiviert werden und der Motor deaktiviert wird, bis die Passagiere zu ihren jeweiligen Sitzen zurückkehren und der unsichere Zustand behoben wurde.
In manchen Ausführungsformen kann die Fahrzeug-ECU 112 dazu ausgelegt sein, für einen vorbestimmten Zeitraum, nachdem die Leuchten, die Anzeige und/oder die Lautsprecher in Block 588 betrieben werden, zu zögern, bevor das Fahrzeug in Block 592 verlangsamt oder angehalten wird, um dem Passagier Zeit zu geben, zu seinem Sitz zurückzukehren und dadurch den unsicheren Zustand zu beheben. Der vorbestimmte Zeitraum kann beispielsweise zwischen ungefähr 5 Sekunden und ungefähr 15 Sekunden betragen.
In manchen Ausführungsformen kann die Fahrzeug-ECU 112 dazu ausgelegt sein, ein elektronisches Signal, das dem detektierten Sitzverlassungsereignis entspricht, über den Sendeempfänger 196 zu einem Fernserver zu übertragen. Beispielsweise kann die Fahrzeug-ECU 112 das Sitzverlassungsereignissignal zu einem zentralen Steuerserver übertragen, um einen menschlichen Eingriff zu ermöglichen, beispielsweise einem entfernten Betreiber, der den unsicheren Zustand mindert, indem er die Fernsteuerung des Fahrzeugs übernimmt oder die Passagiere über die Lautsprecher 184 und/oder die Anzeige 188 warnt, um den potenziell unsicheren Zustand zu beheben. In einer anderen Ausführungsform kann das übertragene Signal durch den Fernserver in Verbindung mit dem Benutzerkonto des Passagiers gespeichert werden, um den Passagier als einen potenziell unsicheren Zustand verursachend zu identifizieren. Die gespeicherten Informationen können durch den Fernserver verwendet werden, um dem Konto des Passagiers eine Strafe zu berechnen und/oder das Konto des Benutzers zu suspendieren oder zu deaktivieren.
In einer anderen Ausführungsform kann die Fahrzeug-ECU 112 als Reaktion auf das detektierte Sitzverlassungsereignis dazu ausgelegt sein, die Bilddaten zu analysieren, um zu bestimmen, ob es ein Problem mit dem Sitz gibt, das bewirkte, dass sich der Passagier aus seinem Sitz bewegt. Beispielsweise kann die Fahrzeug-ECU 112 detektieren, dass der Sitz beschädigt ist oder ein Objekt oder eine Abdeckung auf dem Sitz aufweist, das/die den Passagier daran hindert, den Sitz richtig zu verwenden, und kann die Lautsprecher 184, die Anzeige 188 oder den Sendeempfänger 196 basierend auf der Detektion des Problems mit dem Sitz betreiben.
In einer anderen Ausführungsform kann die Fahrzeug-ECU 112 dazu ausgelegt sein, zu bestimmen, ob es eine Notfallsituation im Fahrgastraum 104 des Fahrzeugs 100 gibt, das bewirkte, dass sich der Passagier aus dem Sitz bewegt. Als Reaktion auf das detektierte Sitzverlassungsereignis kann die Fahrzeug-ECU 112 beispielsweise die Bilddaten analysieren, um zu bestimmen, ob der Passagier aufgrund zum Beispiel eines medizinischen Problems oder krimineller Aktivität besorgt ist, das/die bewirkte, dass sich der Passagier aus seinem Sitz bewegt.
Es versteht sich, dass Varianten der oben beschriebenen und anderer Merkmale und Funktionen, oder Alternativen zu diesen, wünschenswerterweise zu vielen anderen unterschiedlichen Systemen, Anwendungen und Verfahren kombiniert werden können. Verschiedene vorliegend unvorhergesehene oder nicht erwartete Alternativen, Modifikationen, Variationen oder Verbesserungen können nachfolgend durch einen Fachmann vorgenommen werden, die auch durch die vorangegangene Offenbarung eingeschlossen werden sollen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15762444 [0001]

Claims

System zum Detektieren und Mindern eines unsicheren Zustands in einem Fahrzeug, umfassend: einen Bildsensor, der dazu ausgelegt ist, Bilddaten eines oder mehrerer Sitze in einem Fahrgastraum des Fahrzeugs zu erzeugen und auszugeben; und ein Verarbeitungssystem, das funktionsfähig mit dem Bildsensor verbunden ist und mindestens einen Prozessor aufweist, wobei das Verarbeitungssystem ausgelegt ist zum: Empfangen der Bilddaten von dem Bildsensor; Verarbeiten der Bilddaten, um einen Ort des mindestens einen Passagiers in dem Fahrgastraum zu bestimmen; Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, basierend auf dem bestimmten Ort des mindestens einen Passagiers in dem Fahrgastraum; und Betreiben mindestens einer Komponente des Fahrzeugs auf eine vordefinierte Weise als Reaktion auf das Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet.
System nach Anspruch 1, wobei das Verarbeitungssystem ferner bei der Verarbeitung der Bilddaten ausgelegt ist zum Schätzen einer Haltung des mindestens einen Passagiers, um einen jeweiligen Passagierortspunkt für jeden Passagier des mindestens einen Passagiers zu bestimmen.
System nach Anspruch 2, wobei das Verarbeitungssystem ferner bei der Schätzung der Haltung ausgelegt ist zum Schätzen von Hüftorten jedes Passagiers und Bestimmen des jeweiligen Passagierortspunktes als einen Mittelpunkt zwischen den geschätzten Hüftorten.
System nach Anspruch 2, wobei das Verarbeitungssystem ferner bei der Schätzung der Haltung ausgelegt ist zum Schätzen von Schulterorten jedes Passagiers und Bestimmen des jeweiligen Passagierortspunktes als einen Mittelpunkt zwischen den geschätzten Schulterorten.
System nach Anspruch 2, wobei das Verarbeitungssystem ferner ausgelegt ist zum Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, als Reaktion darauf, dass sich mindestens einer der jeweiligen Passagierortspunkte für einen vorbestimmten ersten Zeitraum außerhalb einer ersten Sitzabgrenzung des mindestens einen Sitzes befindet.
System nach Anspruch 1, wobei die mindestens eine Komponente ein Antriebssystem des Fahrzeugs beinhaltet, und das Betreiben der mindestens einen Komponente des Fahrzeugs auf die vordefinierte Weise ferner Folgendes umfasst: dahingehendes Betreiben des Antriebssystems des Fahrzeugs, das Fahrzeug zu verlangsamen oder anzuhalten.
System nach Anspruch 1, wobei die mindestens eine Komponente einen Lautsprecher beinhaltet, der dazu ausgelegt ist, Audio in den Fahrgastraum des Fahrzeugs zu projizieren, und das Betreiben der mindestens einen Komponente des Fahrzeugs auf die vordefinierte Weise ferner Folgendes umfasst: dahingehendes Betreiben des Lautsprechers, eine hörbare Warnung zu erzeugen.
System nach Anspruch 1, wobei die mindestens eine Komponente eine Anzeige und/oder eine Leuchte beinhaltet, die in oder angrenzend zu dem Fahrgastraum des Fahrzeugs angeordnet ist, und das Betreiben der mindestens einen Komponente des Fahrzeugs auf die vordefinierte Weise ferner Folgendes umfasst: dahingehendes Betreiben der Anzeige und/oder der Leuchte, eine visuelle Warnung zu erzeugen.
Verfahren zum Detektieren und Mindern eines unsicheren Zustands in einem Fahrzeug, umfassend: Empfangen, mit einem Verarbeitungssystem, von Bilddaten eines oder mehrerer Sitze in einem Fahrgastraum des Fahrzeugs von einem Bildsensor; Verarbeiten, mit dem Verarbeitungssystem, der Bilddaten, um einen Ort des mindestens einen Passagiers in dem Fahrgastraum zu bestimmen; Detektieren, mit dem Verarbeitungssystem, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, basierend auf dem bestimmten Ort des mindestens einen Passagiers in dem Fahrgastraum; und Betreiben mindestens einer Komponente des Fahrzeugs mit dem Verarbeitungssystem auf eine vordefinierte Weise als Reaktion auf das Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet.
Verfahren nach Anspruch 9, wobei die Verarbeitung der Bilddaten ferner Schätzen einer Haltung des Passagiers mit dem Verarbeitungssystem umfasst, um einen Passagierortspunkt für jeden Passagier des mindestens einen Passagiers zu bestimmen.
Verfahren nach Anspruch 10, wobei die Verarbeitung der Bilddaten ferner Schätzen von Hüftorten jedes Passagiers mit dem Verarbeitungssystem und Bestimmen des Passagierortspunktes als einen Mittelpunkt zwischen den geschätzten Hüftorten umfasst.
Verfahren nach Anspruch 10, wobei die Verarbeitung der Bilddaten ferner Schätzen von Schulterorten jedes Passagiers mit dem Verarbeitungssystem und Bestimmen des Passagierortspunktes als einen Mittelpunkt zwischen den geschätzten Schulterorten umfasst.
Verfahren nach Anspruch 10, wobei das Detektieren, dass sich der mindestens eine Passagier außerhalb des einen oder der mehreren Sitze befindet, als Reaktion darauf auftritt, dass mindestens einer der Passagierortspunkte für einen vorbestimmten ersten Zeitraum außerhalb einer ersten Sitzabgrenzung detektiert wird.
Verfahren nach Anspruch 9, wobei das Betreiben mindestens einer Komponente des Fahrzeugs auf die vordefinierte Weise dahingehendes Betreiben eines Antriebssystems des Fahrzeugs mit dem Verarbeitungssystem umfasst, das Fahrzeug zu verlangsamen oder anzuhalten.
Verfahren nach Anspruch 9, wobei das Betreiben mindestens einer Komponente des Fahrzeugs auf die vordefinierte Weise dahingehendes Betreiben eines Lautsprechers mit dem Verarbeitungssystem umfasst, eine hörbare Warnung im Fahrgastraum zu erzeugen.
Verfahren nach Anspruch 9, wobei das Betreiben mindestens einer Komponente des Fahrzeugs auf die vordefinierte Weise dahingehendes Betreiben einer Anzeige und/oder einer Leuchte mit dem Verarbeitungssystem umfasst, eine visuelle Warnung in dem Fahrgastraum zu erzeugen.