-
Die Erfindung betrifft ein Verfahren zur Überwachung eines Innenraums eines Fahrzeugs nach der im Oberbegriff von Anspruch 1 näher definierten Art. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Überwachung eines Innenraums eines Fahrzeugs nach der im Oberbegriff von Anspruch 5 näher definierten Art.
-
Prinzipiell sind Vorrichtungen und Verfahren zur Überwachung von Innenräumen von Fahrzeugen aus dem Stand der Technik bekannt. Im Bereich der Automobilindustrie kann dies unter anderem dafür genutzt werden, um die Auslösung einer Sicherungsfunktion zu generieren. Unter einer Sicherungsfunktion kann beispielsweise ein Airbag oder ein Gurtstraffer verstanden werden, für welche ein Auslösesignal zur Auslösung durch die Überwachung des Innenraums generiert werden kann.
-
So zeigt die
DE 10 2017 212 338 A1 ein Verfahren zur Erzeugung eines Auslösesignals zur Auslösung mindestens einer Sicherheitsfunktion eines Kraftfahrzeugs. Über mindestens einen optischen Sensor werden Änderungen in einer gemessenen Lichtintensität erfasst, wobei der optische Sensor zur Erfassung eines Innenraums im Fahrzeug angeordnet und ausgerichtet ist. Das Auslösesignal wird dabei durch die vom Sensor empfangenen Daten korrigiert, wodurch Insasseneigenschaften sowie Gesten der Insassen berücksichtigt werden können. Die Änderung der Lichtintensität wird mit einer Vielzahl von Pixeln, vorzugsweise allen Pixeln des optischen Sensors, asynchronen erfasst.
-
Mit den bekannten Verfahren bzw. Vorrichtungen kann beispielsweise der Innenraum mittels klassischen GRB-CMOS-Sensoren (Complementary Metal-Oxide Semiconductor-Sensoren) überwacht werden. Aus den mit diesen Sensoren erhaltenen Daten kann ein Zustand zumindest eines Insassen erkannt und dementsprechend eine Sicherheitsfunktion ausgelöst werden. Die bekannten Verfahren bzw. Vorrichtungen benötigen zur Innenraumüberwachung jedoch eine hohe Rechenleistung, da beispielsweise alle Pixel des optischen Sensors aktiviert sowie ausgewertet werden müssen. Des Weiteren ist eine Innenraumüberwachung bei schlechten Lichtverhältnissen nur schwer durchführbar und/oder fehlerhaft.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, eine Vorrichtung bzw. ein Verfahren zur Überwachung eines Innenraums eines Fahrzeugs zu schaffen, welche bzw. welches die zuvor genannten Nachteile überwindet.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 sowie eine Vorrichtung mit den Merkmalen im Anspruch 5, und hier insbesondere im kennzeichnenden Teil der Ansprüche 1 und 5 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Im Kern des erfindungsgemäßen Verfahrens erfolgt bei Erkennung einer Unregelmäßigkeit die Führung des Fahrzeugs ferngesteuert. Bevorzugt kommt dabei eine EBI (Event Based Innenüberwachung) zum Einsatz, mit welcher die Innenraumüberwachung der Insassen auch bei schlechten Lichtverhältnissen möglich ist. Es können beispielsweise EBS-Sensoren (Event Based Sensoren) oder DVS-Sensoren (Dynamic Vision Sensoren) eingesetzt werden. Vorteile sind eine Reduzierung der Daten auf das Wesentliche, wobei auch die Bestimmungen des Datenschutzes eingehalten werden können. EBS-Sensoren sowie DVS-Sensoren erzeugen nur dann Signale pro Pixel, wenn an diesem Pixel ein Intensitäts-Gradient anliegt. Derartige Daten enthalten daher Daten der „Bewegung“, mit anderen Worten Daten der Lichtveränderung bzw. Bewegungs-Daten. Pixel ohne Bewegungs-Daten geben hingegen bevorzugt kein Signal aus, wodurch eine Reduktion der anfallenden Daten erfolgen kann.
-
Das Verfahren zur Überwachung eines Innenraums eines Fahrzeugs eignet sich besonders für autonom fahrende Fahrzeuge, wie beispielsweise Robo-Taxis.
-
Bevorzugt kann bei Erkennung einer Unregelmäßigkeit über ein Backend ein Operator zugeschaltet werden, der auf eine bildliche Darstellung umschaltet, wodurch die Art der Unregelmäßigkeit, bzw. die Anormalität des Insassenverhaltens, besser bewertet werden kann. Bevorzugt wird ein VCC-Operator (Vehicle Control Center) nur dann getriggert, wenn eine Diskrepanz zwischen ermittelten Daten und den Daten eines Sitzsensors besteht.
-
Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es sich bei der Unregelmäßigkeit um eine Änderung von Lichtverhältnissen handelt, wodurch auf eine Bewegung bzw. eine nicht vorhandene Bewegung der Insassen ausgeschlossen werden kann.
-
Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass die Einstufung bzw. Erkennung der Unregelmäßigkeit über ein neuronales Netz erfolgt. Dabei kann es sich beispielsweise um ein Convolutional Neuronal Network oder ein neuronales Netz mit neumorphem Chip handeln. Die EBS-Daten können das neuronale Netz trainieren, um normales Insassenverhalten zu erlernen. Bei Unregelmäßigkeiten im Verhalten der Insassen kann ein Trigger an das Backend gesendet werden.
-
Vorteilhafterweise kann das Verfahren nur aktiviert werden, wenn das Fahrzeug fährt. Vorteilhafterweise ist dadurch die durch die EBS-Kamera bzw. DVS-Kamera detektierte Bewegung genau zuordenbar. Beispielsweise kann das Verfahren nur aktiviert sein, wenn der Fahrersitz bzw. ein sonstiger Sitzplatz im Fahrzeug belegt ist. Dadurch kann ebenso Energie eingespart werden.
-
Im Kern der erfindungsgemäßen Vorrichtung ist zumindest ein EBS-Sensor oder ein DVS-Sensor zur Erfassung eines Innenraums im Fahrzeug angeordnet und auf zumindest einen Insassen des Fahrzeugs ausgerichtet. Gegenüber einer Innenraumüberwachung mithilfe gewöhnlicher Bildsensoren ist die Innenraumüberwachung mit EBS-Sensoren energieeffizienter, erzeugt weniger Daten, hält den Datenschutz ein und kann anhand weniger Rechenleistung lokal analysiert sowie ausgewertet werden. Besonders vorteilhaft sind das erfindungsgemäße Verfahren sowie die erfindungsgemäße Vorrichtung auch bei schlechten Lichtverhältnissen einsetzbar.
-
In einer bevorzugten Ausführungsform können weitere Sensoren angeordnet sein, die zur Plausibilitätsprüfung der erkannten Unregelmäßigkeit dienen. Besitzt der EBS-Sensor beispielsweise ein Weitwinkelobjektiv, kann besonders vorteilhaft die Bewegung von Insassen im Fahrzeuginnenraum erfasst werden. Vorteilhafterweise detektiert ein EBS-Sensor gekoppelt mit einem IMU-Sensor (Inertialsensor) den Innenraum an sich nicht, d. h. die Sitze etc., wofür folglich kein Signal und damit keine Daten anfallen. Des Weiteren können Sitzbelegungssensoren angeordnet sowie abgefragt werden. Das Fahrzeug kann weiterhin über eine eigene ECU (Electronic Control Unit) verfügen, wobei über eine Software ein Matching zwischen Sitzsignal und EBS-Daten erfolgen kann. Bei Vorliegen einer Diskrepanz, beispielsweise bei einem ohnmächtigen Insassen, der keinerlei Bewegung zeigt, kann ein Trigger an einen Operator geleitet werden. Bevorzugt schaltet sich dieser Trigger dabei nur auf das jeweilige Fahrzeug mit dem entsprechenden EBS-Sensor.
-
Weitere Vorteile des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung ergeben sich ferner aus den restlichen abhängigen Unteransprüchen und werden anhand der Ausführungsbeispiele deutlich, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine mögliche Ausführungsform des Verfahrens bzw. der Vorrichtung;
- 2 eine weitere mögliche Ausführungsform des Verfahrens bzw. der Vorrichtung.
-
In der Darstellung der 1 ist eine mögliche Ausführungsform des Verfahrens 1 zur Überwachung eines Innenraums eines Fahrzeugs 2 dargestellt. Im Fahrzeug 2 ist beispielhaft ein Insasse 8 dargestellt. Dieser befindet sich auf einem Sitz mit einem Sitzsensor 10. Im oberen Bereich des Innenraums des Fahrzeugs 2 ist ein optischer Sensor 3 angeordnet. Mittels Telematik dieses Sensors 3 kann der Innenraum des Fahrzeugs 2 überwacht werden. Werden Unregelmäßigkeiten in der Bewegung des Insassen 8 festgestellt, wird mithilfe des erfindungsgemäßen Verfahrens 1 die Fahrzeugführung ferngesteuert übernommen. Dazu kann der Sensor 3 beispielsweise als EBS-Sensor 6 oder DVS-Sensor 7 ausgebildet sein. Mithilfe derartiger Sensoren 3, 5, 6 werden nur Signale an den Pixeln 9 erzeugt, wenn an diesen Pixeln 9 ein Intensitäts-Gradient anliegt. Die Pixel 9 werden daher erst bei Detektion einer Bewegung aktiviert, wodurch eine Reduzierung der anfallenden Daten ermöglicht wird. Bei Erkennung von Unregelmäßigkeiten kann über ein Backend 4 ein Operator 5 zugeschaltet werden, welche auf eine bildliche Darstellung umschaltet und die Führung des Fahrzeugs 2 übernimmt. Bei dem Operator 5 kann es sich beispielsweise um einen VCC-Operator handeln, der die übermittelten Informationen überprüft und den jeweiligen anschließenden Prozess einleitet. Mit dem erfindungsgemäßen Verfahren 1 kann folglich kontinuierlich sowie eventbasiert der Innenraum des Fahrzeugs 2 überwacht werden. Unregelmäßigkeiten werden direkt an den Operator 5 weitergeleitet.
-
Eine mögliche weitere Ausführungsform der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren 1 in Form eines Ablaufdiagramms ist in 2 zu erkennen. Der Sensor 3, beispielsweise ein EBS-Sensor 6, kann über die Ermittlung eines vorhandenen Lichtgradienten eine Bewegung erkennen. Ist ein Lichtgradient vorhanden, kann beispielsweise direkt eine Überprüfung der Daten des Sitzsensors 10 erfolgen. Ebenso kann zunächst über einen IMU-Sensor 11 eine Fahrzeugbewegung, und damit eine Eigenbewegung ermittelt werden. Ist nach einer Subtraktion der Eigenbewegung weiterhin ein Lichtgradient vorhanden, liegt eine Bewegung im Innenraum des Fahrzeugs 2 vor. Es ist daher auch möglich, erst danach das Signal des Sitzsensors 10 zu überprüfen. Wird vom Sitzsensor 10 keine Sitzbelegung ermittelt, wird beispielsweise ein Fehlercode ausgesendet. Ebenso kann dadurch beispielsweise erkannt werden, dass sich das Fahrzeug 2 nicht bewegt. Wird vom Sitzsensor 10 eine Sitzbelegung ermittelt, kann anschließend das Insassenverhalten überprüft werden. Beispielsweise über ein neuronales Netz kann ein „normales“ Verhalten von einem „unnormalen“ Verhalten unterschieden werden. Bei Erkennung eines „unnormalen“ verhalten, beispielsweise einer ohnmächtigen Person, kann ein Trigger an das Backend 4 gesendet und ein Operator 5 aktiviert werden. Über diesen kann eine visuelle Innenraumüberwachung, beispielsweise ein RGB-Sensor 12 im Fahrzeug 2, aktiviert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017212338 A1 [0003]
