-
Die vorliegende Erfindung betrifft ein Kraftfahrzeug mit einem Fahrzeuginnenraum und einer steuerbaren Komponente. Aufgrund von dreidimensional erfassten Ereignissen im Fahrzeuginnenraum soll die Komponente gesteuert werden. Darüber hinaus betrifft die vorliegende Erfindung auch ein entsprechendes Verfahren zum Betreiben eines Kraftfahrzeugs.
-
Bekannte 3D-Messsysteme im Fahrzeuginnenraum basieren beispielsweise auf einem klassischen TOF-System (Time Of Flight) zur Lichtlaufzeitmessung bzw. zur Ermittlung der 3D-Informationen. Hierbei wird beispielsweise ein TOF-Imager in Verbindung mit einer homogenen Beleuchtung eingesetzt. Ein solches bekanntes 3D-Messsystem ist beispielsweise im Dachbereich vorne mittig angebracht und erfasst den Bereich vor einem Zentraldisplay.
-
Aus der Druckschrift
DE 10 2013 000 072 A1 ist eine Bedienschnittstelle für eine handschriftliche Zeicheneingabe in ein Gerät bekannt. Damit soll beispielweise das Eingeben eines Navigationsziels in ein Navigationsgerät eines Kraftfahrzeugs ermöglicht werden. Eine TOF-Kamera beobachtet hierzu den zeichnenden Finger des Benutzers.
-
Darüber hinaus offenbart die Druckschrift
WO 2014/195020 A1 ein Sensorsystem mit aktiver Beleuchtung. Bei einer dreidimensionalen Erfassung kann Störlicht dadurch reduziert werden, dass Aufnahmen mit unterschiedlichen Lichtquellen durchgeführt werden. So können beispielsweise die Pupillen eines Fahrers und damit seine Augenbewegungen im Hinblick auf Ermüdungen überwacht werden. Gegebenenfalls wird auch strukturiertes Licht und ein TOF-Sensor eingesetzt.
-
Nachteilig an den bekannten 3D-Messsystemen ist, dass aufgrund der Randbedingungen im Automotivumfeld (Temperaturbereich, Fremdlicht, Entwärmung etc.) der klassische TOF-Ansatz nur für kleine Sichtwinkel (kleiner 60°) und kurze Reichweiten (kleiner 60 cm) im Fahrzeuginnenraum eingesetzt werden kann. Darüber hinaus muss die für den klassischen TOF-Ansatz benötigte Beleuchtungsleistung zur Lichtlaufzeitmessung deutlich über der Leistung des Fremdlichts (Sonnenlicht) liegen. Außerdem erweist es sich als nachteilig, dass größere Sichtwinkel und/oder höhere Reichweiten bei gleicher Beleuchtungsleistung das Rauschen der Messdaten derart vergrößern, dass im Automotivumfeld keine zuverlässige Auswertung der Daten in Echtzeit mehr erfolgen kann. Ferner führt eine Erhöhung der Beleuchtungsleistung zu einer deutlichen Erhöhung der thermischen Verlustleistung. Die thermische Verlustleistung steigt quadratisch zur Erhöhung der Reichweite bei gleichem Sichtwinkel an. Bedingt durch die höhere thermische Verlustleistung steigt die Temperatur im Messsystem an und führt ihrerseits zu deutlich höherem Rauschen der Messdaten und deutlichen Einschränkungen im Betriebstemperaturbereich.
-
Aufgrund der bei üblichen TOF-Systemen nur kurzen Reichweite und des kleinen Sichtwinkels lassen sich nur wenige und einfache Hand- und Fingergesten erfassen und auswerten. Folglich ist nur die Bedienung weniger und einfacher Funktionen möglich (z. B. Anruf annehmen, Anruf ablehnen, Favoritenfunktion, Umschalten der Darstellung im Zentraldisplay bei Annäherung der Hand usw.). Unterschiedliche Gesten verschiedener Hersteller für ein und dieselbe Funktion erschweren die Bedienung bei Fahrzeugwechsel (z. B. ein und dieselbe Geste hat bei einem Fahrzeughersteller eine andere Bedeutung als bei einem anderen Fahrzeughersteller). Somit ist das Erlernen fahrzeug- und herstellerspezifischer Gesten für den Nutzer nötig.
-
Die Aufgabe der vorliegenden Erfindung besteht somit darin, in einem Kraftfahrzeug die Steuerung von Komponenten komfortabler zu gestalten.
-
Erfindungsgemäß wird diese Aufgabe durch ein Kraftfahrzeug nach Anspruch 1 sowie ein Verfahren nach Anspruch 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Gemäß der vorliegenden Erfindung ist demnach vorgesehen ein Kraftfahrzeug mit
- – einen Fahrzeuginnenraum und
- – einer steuerbaren Komponente,
sowie umfassend
- – eine erste Lichtquelle zum Aussenden strukturierten Lichts in einen vorbestimmten Bereich des Fahrzeuginnenraums während einer Lichteinschaltzeit, der sich eine Lichtausschaltzeit anschließt,
- – eine erste Sensoreinrichtung einschließlich einer ersten und zweiten Speichereinrichtung zum Detektieren reflektierter Anteile des strukturierten Lichts während der Lichteinschaltzeit und Speichern entsprechender Einschaltwerte in der ersten Speichereinrichtung sowie zum Detektieren einfallenden Störlichts während der Lichtausschaltzeit und Speichern entsprechender Ausschaltwerte in der zweiten Speichereinrichtung,
- – eine Auswerteeinrichtung zum Reduzieren von Einflüssen des Störlichts durch Subtrahieren der Ausschaltwerte von den Einschaltwerten, wodurch entstörte Detektionswerte bereitgestellt werden, sowie zum dreidimensionalen Erfassen des vorbestimmten Bereichs des Fahrzeuginnenraums auf der Basis eines Vergleichs der entstörten Detektionswerte mit einem Referenzmuster und
- – eine Steuereinrichtung zum Steuern der steuerbaren Komponente des Kraftfahrzeugs in Abhängigkeit von einem Ergebnis des dreidimensionalen Erfassens.
-
Darüber hinaus ist erfindungsgemäß vorgesehen ein Verfahren zum Betreiben eines Kraftfahrzeugs, das einen Fahrzeuginnenraum und eine steuerbare Komponente aufweist, durch
- – Aussenden strukturierten Lichts in einen vorbestimmten Bereich des Fahrzeuginnenraums während einer Lichteinschaltzeit, der sich eine Lichtausschaltzeit anschließt,
- – Detektieren reflektierter Anteile des strukturierten Lichts während der Lichteinschaltzeit und Speichern entsprechender Einschaltwerte in einer ersten Speichereinrichtung,
- – Detektieren einfallenden Störlichts während der Lichtausschaltzeit und Speichern entsprechender Ausschaltwerte in einer zweiten Speichereinrichtung,
- – Reduzieren von Einflüssen des Störlichts durch Subtrahieren der Ausschaltwerte von den Einschaltwerten, wodurch entstörte Detektionswerte bereitgestellt werden,
- – dreidimensionales Erfassen des vorbestimmten Bereichs des Fahrzeuginnenraums durch Vergleich der entstörten Detektionswerte mit einem Referenzmuster und
- – Steuern der steuerbaren Komponente des Kraftfahrzeugs in Abhängigkeit von einem Ergebnis des dreidimensionalen Erfassens.
-
In vorteilhafter Weise wird somit ein strukturiertes Licht (z. B. Beleuchtung mit ausschließlich Lichtpunkten) dazu verwendet, um den vorbestimmten Bereich des Fahrzeuginnenraums dreidimensional zu erfassen und gleichzeitig wird das Licht dieser Lichtquelle zeitlich moduliert, um Aufnahmen in den verschiedenen Modulationsphasen zu gewinnen, so dass Störlichteinflüsse in den Aufnahmen reduziert werden können. Ergebnisse, die aufgrund dieser verbesserten 3D-Aufnahmen gewonnen werden können, lassen sich zum Steuern von Fahrzeugkomponenten verwenden (z. B. Gestenerkennung, Insassenerkennung und dergleichen).
-
Vorzugsweise besitzt die erste Lichtquelle eine Mikrostruktur oder Lichtleitfasern, mit denen das strukturierte Licht erzeugbar ist. Dabei besitzt die Erzeugung mittels Lichtleitfasern den Vorteil, dass nahezu die komplette Lichtleistung für die Beleuchtung verwendet wird und nicht große Anteile durch Absorption verloren gehen.
-
Von besonderem Vorteil ist außerdem, wenn die erste Sensoreinrichtung eine TOF-Bilderfassungseinrichtung, z. B. eine TOF-Kamera, umfasst. Die Sensorelemente einer derartigen TOF-Bilderfassungseinrichtung sind üblicherweise so ausgebildet, dass über einen Schalter zwei Speicherelemente ansteuerbar sind, so dass das einfallende Licht zu unterschiedlichen Zeitpunkten abwechselnd detektiert werden kann. Diese Struktur lässt sich vorteilhaft nutzen, um den Störlichteinfluss durch die zeitliche Modulation der Lichtquelle zu reduzieren. Des Weiteren kann die erste Sensoreinrichtung und die Auswerteeinrichtung dazu ausgelegt sein, anhand von aufeinanderfolgenden Aufnahmen der reflektierten Anteile des strukturierten Lichts eine Objektbewegung zu ermitteln. Damit lassen sich nicht nur statische Objekte dreidimensional erfassen, sondern auch beispielsweise Gesten registrieren.
-
Die erste Sensoreinrichtung kann mittig im Dachbereich des Kraftfahrzeugs zwischen Fahrerseite und Beifahrerseite angeordnet sein. Dadurch lässt sich beispielsweise der gesamte vordere Bereich im Fahrzeuginnenraum dreidimensional überwachen.
-
Gemäß einer weiteren Ausgestaltung ist in dem Fahrzeuginnenraum eine zweite Lichtquelle zur Beleuchtung des gesamten vorbestimmten Bereichs mit unstrukturiertem Licht angeordnet. Die Sensoreinrichtung wird also nicht nur zur Erzeugung von 3D-Abbildungen, sondern mit Hilfe des unstrukturierten bzw. homogenen Lichts auch zur Erzeugung von 2D-Aufnahmen eingesetzt. Solche 2D-Aufnahmen lassen sich beispielsweise zur optischen Überwachung des Fahrzeuginnenraums nutzen. Die Aufnahme von 2D oder 3D Abbildungen durch die Sensoreinrichtung wird durch ein Steuergerät koordiniert.
-
Ferner kann die erste Sensoreinrichtung einen ersten und einen zweiten Sensor aufweisen, wobei der erste Sensor den vorbestimmten Bereich des Fahrzeuginnenraums erfasst und der zweite Sensor zumindest einen angrenzenden oder überlappenden weiteren vorbestimmten Bereich des Fahrzeuginnenraums. Der weitere vorbestimmte Bereich grenzt damit an den vom ersten Sensor erfassten Bereich an oder weist mit diesem einen Überlappungsbereich auf. Es liegt damit ein Zwillingssensor vor, dessen Einzelsensoren unterschiedliche Bereiche des Fahrzeuginnenraums erfassen. Eine Überlappung der Erfassungsbereiche gewährleistet, dass Objektbewegungen über mehrere Erfassungsbereiche hinweg sicher erfasst und ausgewertet werden können. Beispielsweise kann der Fahrerbereich und der Beifahrerbereich jeweils von einem Einzelsensor eines derartigen Zwillingssensors überwacht werden.
-
Darüber hinaus kann die erste Sensoreinrichtung in dem vorbestimmten Bereich Vordersitze bzw. den Rücksitzbereich des Kraftfahrzeugs erfassen, während eine zweite Sensoreinrichtung in dem Fahrzeuginnenraum, die die gleiche Bauart wie die erste Sensoreinrichtung besitzt, die Rücksitze bzw. den Rücksitzbereich erfasst. Der Vorder- und Rücksitzbereich umfasst neben den Sitzbereichen selbst auch zugehörige Fußraumbereiche, zugehörige Bedienelemente wie Armaturenbrett, Schalter, Sicherheitsgurte- und schlösser im Umfeld. Mit diesen beiden Sensoreinrichtungen lässt sich somit der gesamte Fahrzeuginnenraum dreidimensional überwachen.
-
Die erfindungsgemäße Sensorik lässt sich im Fahrzeug für eine Vielzahl an Anwendungen nutzen. So kann beispielsweise auf der Basis des dreidimensionalen Erfassens eine Geste, ein Typ, eine Gestalt, eine Position oder ein Zustand mindestens eines Insassen des Kraftfahrzeugs detektiert oder ein vorbestimmtes Objekt im Fahrzeuginnenraum identifiziert werden. Konkret kann dadurch beispielsweise eine Steuerung durch Zeigebewegung, eine automatische Gurtbringerfunktion durch Gestenerkennung, eine Fahrerüberwachung, eine Kindersitzerkennung, eine Überwachung einer Sitzverstellung zur Einklemmverhinderung und dergleichen, durchgeführt werden.
-
Die oben geschilderten Vorrichtungsmerkmale können funktionell auch für das erfindungsgemäße Verfahren benutzt werden. Umgekehrt lassen sich die Verfahrensmerkmale auch durch entsprechende Mittel in Vorrichtungsmerkmale umsetzen.
-
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
-
1 eine Fahrzeugdraufsicht mit quer ausgerichtetem Sensorbereich;
-
2 eine Innenraumansicht des Sensors von 1;
-
3 eine Fahrzeugdraufsicht mit längs ausgerichtetem Sensorbereich;
-
4 die Darstellung eines Innenraums mit einem Zwillingssensor;
-
5 die Darstellung des vorderen und hinteren Fahrzeuginnenraums mittels zwei Zwillingssensoren;
-
6 ein Prinzipschaltbild eines sogenannten „Bodytracker”; und
-
7 ein Ablaufdiagramm für ein erfindungsgemäßes Verfahren.
-
Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Dabei ist zu beachten, dass die einzelnen Merkmale nicht nur in den geschilderten Kombinationen, sondern auch in anderen, technisch sinnvollen Kombinationen sowie in Alleinstellung realisierbar sind.
-
In einem Ausführungsbeispiel soll eine ganzheitliche Erfassung des Fahrzeuginnenraums bzw. der Insassen erfolgen. Alternativ können auch nur Teile des Fahrzeuginnenraums erfasst werden. Ein solches System weist einen Sensor mit einem entsprechend großen Erfassungsbereich auf. Dabei sollte die Reichweite größer als 70 cm und der Erfassungswinkel mindestens 90° betragen. Auch können mehrere Sensoren zu einem Sensorsystem kombiniert werden, um einen solchen Erfassungsbereich zu gewährleisten. Vorzugsweise erfolgt nicht nur eine ganzheitliche Erfassung, sondern auch eine Auswertung von Gesten. Solche Gesten sollten nicht speziell erlernt werden müssen, sondern es sollte eine Auswertung und Unterstützung von Bewegungen, die von den Passagieren intuitiv durchgeführt werden, z. B. die Anschnallbewegung und das automatische Ausfahren des Gurtbringers, anhand der Gesten automatisch erfolgen. Durch die ganzheitliche Erfassung des Innenraums ist es möglich, erhebliche Beiträge zur passiven Sicherheit und zum autonomen Fahren zu leisten sowie die Komfortfunktionalitäten deutlich zu erhöhen.
-
Entsprechend dem Beispiel von 1 kann im vorderen Sitzbereich eines Kraftfahrzeugs 1 in der Mitte ein Sensor angeordnet sein, der den gesamten vorderen Sitzbereich erfasst. Es kann sich dabei um einen Einzelsensor handeln. Der Sensor kann beispielsweise innen am Dach befestigt sein und einen Erfassungswinkel von 120° × 90° aufweisen. Damit ergäbe sich ein Erfassungsbereich 2 wie er symbolisch in 1 eingezeichnet ist. In dem Beispiel erstreckt sich die Längsseite des Erfassungsbereichs 2 in Y-Richtung, d. h. in Fahrzeugquerrichtung. Die Breitseite des Erfassungsbereichs 2 erstreckt sich entlang der X-Richtung, d. h. der Fahrzeuglängsachse.
-
Mit dem Sensor lässt sich der vordere Innenbereich des Kraftfahrzeugs 1 dreidimensional erfassen, was 2 zeigt. Dort ist ein Fahrer 3 auf der Fahrerseite und ein leerer Beifahrersitz 4 auf der Beifahrerseite und zugehörigem Fußraum zu erkennen. Der Fahrer macht mit seiner rechten Hand 5 eine Zeigebewegung, die von der Sensoreinrichtung erfasst wird und von einer Auswerteeinrichtung als Geste zur Ansteuerung beispielsweise einer Lüftung interpretiert wird.
-
Durch die große Reichweite und Ausdehnung des Erfassungsbereichs 2 sind eine Reihe von Funktionen möglich. So kann beispielsweise die Funktion „Point and Control” realisiert werden, bei der auf ein Gerät gezeigt wird, das bedient werden soll. Durch Zeigen auf das Gerät wird dieses für die Gestenbedienung aktiviert. Beispielsweise zeigt der Fahrer auf die Luftdüse rechts auf der Beifahrerseite. Die Bedienung der Luftdüse z. B. per Gestensteuerung wird aktiviert und z. B. an der ausgewählten Luftdüse angezeigt. Nach der Aktivierung kann z. B. der Luftstrom, die Temperatur usw. durch einfache Gesten verändert werden.
-
Als weitere Funktion könnte eine interaktive Bedienungsanleitung aktiviert werden, bei der auf das Gerät bzw. Element gezeigt wird, das erklärt werden soll. Oft steht man nämlich vor dem Problem, nicht genau zu wissen, wie das Gerät oder das Bedienelement heißt, das man erklärt haben möchte, oder die Bedienungsanleitung ist nicht zur Hand etc. Durch beispielsweise Aktivierung der interaktiven Bedienungsanleitung per Spracheingabe kann anschließend auf das Gerät oder das Bedienelement gezeigt werden, das erklärt werden soll.
-
Durch das erfindungsgemäße 3D-Sensorsystem kann außerdem eine Erkennung eines Kindersitzes oder einer Babyschale erfolgen. Dabei kann erkannt werden, ob sich auf dem Beifahrersitz eine Babyschale oder ein Kindersitz befindet. Hierdurch kann eine Kindersitzerkennung mit separater Sensorik entfallen. In der Kombination mit einem weiteren Sensorsystem im Fond (Fußraumüberwachung) kann der Sitz automatisch in eine sichere Position gefahren werden. Bei einer automatischen Einstellung der Sitze wird der Fußraum vorne und hinten überwacht, um ein Einklemmen von Gegenständen durch einen sich bewegenden Fahrer- oder Beifahrersitz oder auch eine verstellbare Rücksitzbank zu vermeiden. Für eine sichere Einstellung eines Kindersitzes im Fond wird eine Fußraum der Fondsitzraum überwacht. Des Weiteren wäre es möglich, den Beifahrerairbag automatisch zu aktivieren oder zu deaktivieren, je nachdem ob sich ein Kindersitz bzw. eine Babyschale auf dem Beifahrersitz befindet.
-
Weiterhin kann eine Benutzerunterscheidung mit Hilfe des Sensorsystems erfolgen. Dadurch, dass nicht nur die Hand sondern auch noch der Arm eines Insassen erfasst werden kann, kann unterschieden werden, wer (Beifahrer oder Fahrer) eine Funktion bedient. Damit ist es möglich, Funktionen, die vom Fahrer während der Fahrt nicht bediente werden dürfen, für den Beifahrer freizugeben.
-
Die Ausrichtung des Sensorbereichs 2 kann auch in Längsrichtung des Fahrzeugs 1 gedreht werden, wie 3 zeigt. In diesem Fall befindet sich die lange Seite des Erfassungsbereichs 2 in X-Richtung und die Breitseite in Y-Richtung.
-
Damit der Innenraum in seiner gesamten Breite erfasst werden kann, ist es hier günstig, zwei derartige Sensoren bzw. einen Zwillingssensor einzusetzen. Einer dieser Sensoren erfasst die Fahrerseite und der andere Sensor die Beifahrerseite. 4 zeigt ein entsprechendes Bildpaar, das durch einen Zwillingssensor gewonnen werden kann. Das obere Teilbild zeigt hier den Fahrerbereich mit dem Fahrer 3 und das untere Teilbild den Beifahrerbereich mit dem Beifahrersitz 4. Die beiden Teilbilder besitzen einen Überlappungsbereich 6, der von beiden Sensoren erfasst wird. Dieser entspricht auf jedem Teilbild einem Streifen in X-Richtung.
-
Durch die Vergrößerung des Erfassungsbereichs auf den gesamten Frontinnenbereich ist es möglich, die Passagiere ganzheitlich zu erfassen und ein Skelettmodell für die entsprechenden Passagiere zu berechnen. Anhand des Skelettmodells können auch unbewusste Gesten und weitere Funktionsumfänge realisiert werden. So kann beispielsweise der Gurtbringer bzw. das Gurtschloss automatisch ausgefahren werden. Die Anschnallbewegung (Hand zum Gurt führen) ist eine Bewegung, die unbewusst ausgeführt wird und keine explizite Geste, die erlernt werden muss. Erkennt das System die Anschnallbewegung, kann der Gurtbringer und das Gurtschloss automatisch ausgefahren werden. Nach Abschluss des Anschnallvorgangs wird der Gurtbringer und das Gurtschloss wieder eingefahren.
-
Als weitere Funktionen können automatische Einstellungen von Fahrzeugkomponenten erfolgen. Anhand des berechneten Skelettmodells können beispielsweise Sitze, Kopfstützen, Innenspiegel, Außenspiegel usw. eingestellt werden.
-
Ferner kann eine sogenannte „Out of Position”-Erkennung erfolgen. Diese Funktion erkennt, ob sich Körperteile der Insassen (Kopf, Beine auf der Instrumententafel) im Entfaltungsbereich der Airbags befinden.
-
Darüber hinaus kann eine Insassenklassifizierung erfolgen. Diese klassifiziert die Insassen anhand des berechneten Skelettmodells, z. B. 5% Frau, 95% Mann, Kind usw.
-
Auch ein Innenlicht kann mit einem solchen Sensorsystem gesteuert werden. Diese Funktion leitet z. B. aus den Bewegungen des Skelettmodells situationsbedingt Anforderungen für das Innenlicht ab, nämlich beispielsweise:
- • Beim Eingriff in die Kartentasche wird die Kartentasche beleuchtet.
- • Beim Griff zum Handschuhfach wird das Handschuhfach beleuchtet.
- • Wird ein Buch erkannt, dass der Passagier ein Buch lesen möchte, wird dieses angeleuchtet.
- • Wird erkannt, dass der Passagier einen „Tablet-PC” benutzt, wird nur das Umfeld beleuchtet, aber das Display nicht. Dadurch werden Blendungen minimiert oder gar ganz vermieden.
- • Usw.
-
Darüber hinaus kann durch das Sensorsystem eine Fahrüberwachung für autonomes Fahren erfolgen. Diese Funktion sensiert den Fahrer, um zu erkennen, ob der Fahrer noch „aktiv” ist (sich bewegt) oder regungslos im Sitz sitzt (Herzinfarkt, eingeschlafen, etc.) und die Funktion erkennt auch, ob sich der Fahrer noch auf dem Fahrersitz befindet (Aussteigen bei langsamer Fahrt stellt einen typischen Missbrauch dar).
-
Darüber hinaus kann eine Überwachung erfolgen, ob Fahrer und Beifahrer angeschnallt sind. Durch die Erbringung eines Markers z. B. eines Infrarotmarkers in das Gurtband kann erkannt werden, dass das Gurtband über den Fahrer/Beifahrer verläuft. Damit kann erkannt werden, ob nur etwas im Gurtschloss steckt, der Gurt hinter dem Fahrer verläuft oder der Gurt tatsächlich über den Fahrer verläuft. Ein Überlisten des Gurtwarners und damit ein Missbrauch kann damit verhindert werden.
-
Durch eine Erweiterung um einen weiteren Zwillingskopf (Zwillingssensor einschließlich Beleuchtung) im Fond kann der gesamte Innenraum ganzheitlich erfasst werden, was 5 andeutet. Ein Zwillingskopf 7 vorne erfasst die Fahrer- und Beifahrerseite. Ein Zwillingskopf 8 erfasst hinten alle drei Sitzplätze im Fond. Die Teilbilder 9 und 10 zeigen den Erfassungsbereich beispielsweise bei einem Erfassungswinkel von 120° × 90° (lange Seite in X-Richtung) durch den Zwillingssensor 7 vorne und die Teilbilder 11 und 12 zeigen den Erfassungsbereich des Zwillingssensors 8 im Fond. In einer alternativen Ausführungsform werden anstatt dem Zwillingskopf zwei einzelne Singleköpfe mit zugehöriger Beleuchtung an der Seitenwand im Fond eingesetzt.
-
Durch eine Erweiterung des Sensorkopfs vorne (Zwillingskopf) um einen Sensorkopf im Fond (Zwillingskopf) können die Funktionsumfänge von vorne ebenfalls im Fond zur Verfügung gestellt werden. Zusätzlich sind noch folgende Funktionen möglich. Beispielsweise kann eine Unterstützung für Notrufe (E-Call) erfolgen. Der Bodytracker kennt die Anzahl der Passagiere im Fahrzeug und die grobe Klassifizierung. Diese Information kann mit dem Notruf mitgesendet werden, so dass die Rettungskräfte die Anzahl der verunglückten Personen und die grobe Art der Personen kennen, z. B. zwei Erwachsene und ein Baby. Des Weiteren kann ein Intensitätsbild (normales 2D-Bild) vom Innenraum erstellt werden und an den Notruf angehängt werden, damit die Rettungskräfte einen ersten Eindruck vom Innenraum des Fahrzeugs erhalten.
-
Darüber hinaus kann eine automatische Chauffeurstellung mit Hilfe des Sensorsystems realisiert werden. Erkennt das System, dass hinten rechts eine Person einsteigt, kann der Beifahrersitz, wenn Beifahrersitz und Beifahrerfußraum frei sind, automatisch in die Chauffeurstellung gefahren werden.
-
Weiterhin können vergessene Kinder im Fahrzeug detektiert werden. Wenn beispielsweise das Fahrzeug verriegelt ist und sich noch Personen bzw. Kinder im Fahrzeug befinden, können automatisch in definierten Zyklen Nachrichten an den Fahrer, z. B. auf das Handy, geschickt werden. Weiterhin kann eine Verhinderung bzw. Einschränkung von Missbräuchen erfolgen. Durch die ganzheitliche Erfassung des Innenraums und der Klassifizierung der Insassen können viele Missbrauchsfälle durch Kinder verhindert werden
- • Ein Kind greift während der Fahrt von hinten nach vorne durch und versucht etwas zu bedienen. Eine Sperrung der Funktion lässt sich für diesen Fall realisieren.
- • Verhinderung eines Motorstarts durch Kinder, die im geparkten Fahrzeug zurückgelassen werden.
- • Verhinderung des Öffnens der elektrischen Feststellbremse.
- • Usw.
-
Weiterhin kann ein Babyphone bzw. Videophone realisiert werden. Hierzu kann eine Übertragung eines Intensitätsbilds (2D-Bild) an die Haupteinheit (HU) erfolgen. Damit kann der Fahrer oder Beifahrer das Baby im Fond sehen. Alternativ kann eine Übertragung des Intensitätsbildes (2D-Bild) auf das Handy erfolgen. Damit können z. B. schlafende Babys/Kinder, die sich im Fahrzeug befinden, überwacht werden, entweder als Livestream oder nur, wenn sich das Baby/Kind bewegt.
-
Zudem kann eine Überwachung erfolgen, ob alle Passagiere angeschnallt sind. Durch die Einbringung eines Markers, z. B. eines Infrarotmarkers, in das Gurtband kann erkannt werden, dass das Gurtband über die Passagiere verläuft. Damit kann erkannt werden, ob nur etwas im Gurtschloss steckt, der Gurt hinter dem Fahrer verläuft oder der Gurt tatsächlich über den Fahrer verläuft. Ein Überlisten des Gurtwarners kann damit verhindert werden.
-
Eine weitere Anwendung wäre beispielsweise für „Skype” im Fahrzeug möglich. Durch die Eigenschaft der Sensoren, auch 2D-Bilder liefern zu können, können Anwendungen wie Skype ebenfalls im Fahrzeug umgesetzt werden. In Kombination mit den Tiefeninformationen kann der Hintergrund des Passagiers ausgeschnitten werden, so dass nur ein Bild der eigentlichen Person übertragen werden kann.
-
Um den Innenraum und die Passagiere ganzheitlich erfassen und auswerten zu können (Umsetzung voller/maximaler Funktionsumfang), müssen die Sensordaten der einzelnen Sensoren zu einem Sensordatensatz „Gesamtbild” fusioniert werden. Für die ganzheitliche Erfassung sind außerdem die Verbauungsorte und Ausrichtungen der Sensoren von Bedeutung. Vorzugsweise werden die Sensoren im Dachbereich angeordnet. Weitere mögliche Verbauungsorte sind in 5 dargestellt. So lassen sich beispielsweise Singlesensoren an den A-Säulen oder B-Säulen vorzugsweise im Dachbereich anbringen. Weiterhin kann ein Sensor bzw. Zwillingssensor auch hinten mittig über der Sitzbanklehne angeordnet sein.
-
Um die Passagiere und den Innenraum vollständig zu erfassen, müssen die Sensoren so ausgerichtet werden, dass möglichst viele der nachfolgenden Bedingungen erfüllt werden. Bezüglich einer Fußraumverdeckung sollte bei den drei Extremstellungen der Vordersitze (angepasst an großen Mann, Durchschnittsfahrer und kleine Frau) die Erkennung des Fußraums (Teppichansatz) sichergestellt sein. Hinsichtlich der Personenmerkmale und des Greifraums sollte bei einem großen Mann mindestens eine Schulter und der Kopf mit seinen markanten Merkmalen (Augen, Nase, Ohren) möglichst vollständig erfasst werden.
-
Die Architektur eines Sensors bzw. eines Sensorsystems ist in 6 symbolisch wiedergegeben. Insbesondere ist dort der Grundaufbau eines Singlekopfes 13 dargestellt. Der Singlekopf 13 und ein Steuergerät 14 können sich in einem Gehäuse 15 befinden und so einen vollständigen „Bodytracker” bilden. Der Singlekopf 13 besitzt einen Tiefensensor 16, der beispielsweise durch eine TOF-Kamera realisiert wird. Außerdem besitzt der Einzel- bzw. Singlesensorkopf 13 eine erste Lichtquelle 17 zur Beleuchtung für das Tiefenbild. Optional kann der Singlesensorkopf 13 auch eine zweite Lichtquelle 18 als Beleuchtung für ein Intensitätsbild aufweisen. Während die erste Lichtquelle 17 strukturiertes Licht liefert, liefert die zweite Lichtquelle unstrukturiertes bzw. homogenes Licht jeweils für den vorbestimmten Erfassungsbereich 2 (vgl. 1 und 3). Das Steuergerät 14 des Bodytracker weist eine Auswerteeinrichtung bzw. Recheneinheit 19 auf. Zwischen dem Singlesensorkopf 13 und dem Steuergerät 14 bzw. zwischen dem Tiefensensor 16 und der Recheneinheit 19 besteht eine Datenverbindung 20 zur Steuerung bzw. zum Datenaustausch. Von dem Steuergerät 14 besteht eine Fahrzeuganbindung 21, über die der Bodytracker Daten mit anderen (steuerbaren) Komponenten des Fahrzeugs austauschen kann. Eine solche Anbindung kann beispielsweise über CAN, Ethernet, Felxray und dergleichen erfolgen.
-
Die Kombination von einem Singlekopf und einem Steuergerät in einem Gehäuse kann beliebig oft im Fahrzeug verbaut werden. Darüber hinaus können auch zwei Singleköpfe in einem Gehäuse zu einem Zwillingskopf kombiniert werden. Das Steuergerät kann sich im Gehäuse des Zwillingskopfes befinden oder räumlich getrennt in einem separaten Gehäuse und ebenfalls beliebig oft im Fahrzeug verbaut werden.
-
Mehr als zwei Singleköpfe können in einem Gehäuse zu einem Multisensorkopf kombiniert werden. Das Steuergerät kann sich im Gehäuse des Multisensorkopfes befinden oder räumlich getrennt in einem separaten Gehäuse und ebenfalls beliebig oft im Fahrzeug verbaut werden. Darüber hinaus können an ein Steuergerät mehrere Sensorköpfe angeschlossen und ausgewertet werden, unabhängig davon, in welcher Technologie die Sensorköpfe ausgeführt sind und um welchen Typ (Singlesensorkopf, Zwillingssensorkopf, Multisensorkopf) es sich handelt. Ebenfalls unabhängig davon ist der Verbauort des Steuergeräts (in einem Sensorkopf integriert oder in separatem Gehäuse ausgeführt).
-
Erfindungsgemäß wird also ein Sensorsystem zur dreidimensionalen Erfassung des Fahrzeuginnenraums bzw. der Fahrzeuginsassen bereitgestellt. Das Sensorsystem umfasst einen Sensorkopf bzw. eine Sensoreinrichtung für die Messdatenerfassung und mindestens eine Auswerteeinrichtung bzw. Recheneinheit für die Messdatenverarbeitung. Es kann aus mehreren Sensorköpfen und mehreren Recheneinheiten aufgebaut sein. Mindestens ein Sensorkopf kann mit mindestens einer Recheneinheit zu einer Sensorkomponente zusammengefasst werden. Das Sensorsystem kann aus mehreren solchen Sensorkomponenten bestehen. Ein Sensorkopf und eine Recheneinheit können aber auch als getrennte Komponenten ausgeführt werden, die über eine Datenleitung miteinander verbunden sind. Die Datenleitung kann unidirektional für die Übertragung von Sensordaten vom Sensorkopf zur Recheneinheit ausgeführt sein. Alternativ kann sie bidirektional ausgeführt sein und zusätzlich Steuerbefehle von der Recheneinheit zum Sensorkopf übertragen. Außerdem können über die Datenleitung Kalibrierdaten vom Sensorkopf zur Recheneinheit übertragen werden.
-
Die Sensorkomponenten können über mindestens eine Datenleitung miteinander verbunden werden. Auch hier kann die Datenleitung sowohl unidirektional als auch bidirektional ausgeführt werden. Über die Datenleitung können z. B. Steuerdaten, Synchronisierungsinformationen, Messdaten, Auszüge von Messdaten, Informationen aus der Messdatenauswertung usw. übertragen werden.
-
Eine Sensoreinrichtung bzw. ein Sensorkopf enthält mindestens einen Tiefensensor. Ein Tiefensensor besteht aus mindestens einem Sensor, aus dessen Messdaten direkt oder indirekt die Entfernungsdaten berechnet werden können. Ein Tiefensensor kann auf einem TOF-Imager (3D) mit homogener Lichtquelle, einer Stereo-Kamera (2D) mit oder ohne Lichtquelle, einem Standard-Imager (2D) mit strukturierter Lichtquelle, strukturiertem Licht in Kombination mit TOF-Imager, Radar, Ultraschall, Laserscanner oder anderen Systemen, die geeignet sind, Entfernungen direkt oder indirekt zu messen, basieren.
-
Ein optischer Tiefensensor beinhaltet mindestens eine strukturiertes Licht erzeugende Lichtquelle zur Messung der Tiefendaten. Für die Erfassung eines Intensitätsbildes kann mindestens eine weitere Lichtquelle hinzugefügt werden. Diese zweite Lichtquelle liefert eine homogene Ausleuchtung der Umgebung zur Erzeugung eines 2D-Bildes.
-
In einem Sensorkopf können Tiefensensoren mit gleichen oder unterschiedlichen Technologien kombiniert werden.
-
Die Positionierung der Sensorköpfe kann oberhalb der Instrumententafel/im Dachbereich erfolgen. Insbesondere können die Sensorköpfe in eine Dachbedieneinheit, einen Dachspiegel, einen hinteren Dachbereich, Seitenholme oder eine A-Säule integriert werden.
-
Es kann eine Zwillingskonfiguration für die Erfassung der linken und rechten Fahrzeughälfte mit entsprechender Orientierung vorgesehen sein. Außerdem kann ein Tiefensensor pro Sitzplatz vorgesehen werden.
-
Der Erfassungsbereich für jeden Tiefensensor sollte dadurch gegeben sein, dass der Tiefensensor mindestens einen Erfassungswinkel von 90° und mindestens eine Reichweite von 1 m besitzt. Die Erfassungsbereiche können sich gegebenenfalls überlappen.
-
Hinsichtlich der Datenauswertung sollte bei mehreren Sensoren eine Fusion der Sensordaten erfolgen. Eine solche Fusion könnte eine Zusammenfügung der Sensordaten von links und rechts oder vorne und hinten oder von allen zusammen darstellen.
-
Vorzugsweise erfolgt ein Ausschluss gegenseitiger Beeinflussung durch Synchronisation oder durch unterschiedliche Modulationsfrequenzen. Dabei ist auf Kompatibilitäten, Modulationsfrequenzen und Synchronisationsmechanismen zu achten.
-
Günstigerweise werden die Sensoren in Designflächen integriert. Dabei ist jedoch auf Schattenwürfe zu achten, die beispielsweise Fahrzeuginsassen auf sich selbst oder auf andere Objekte ausüben. Die Lichtquellen sind so zu platzieren, dass die Schatten möglichst klein sind.
-
In einer konkreten Ausgestaltung umfasst das System eine TOF-Kamera umfassend eine Beleuchtungseinheit, einen Bildsensor mit entsprechender Optik und eine Auswerteeinheit. Aus der Laufzeit des von der Beleuchtungseinheit bzw. der Lichtquelle und dem Bildsensor (Sensoreinrichtung) empfangenen am Objekt reflektierten Lichts bestimmt die Auswerteeinrichtung über Tiefenbilder eine Bewegung des Objekts.
-
Die Lichtquelle (z. B. LED oder Infrarotlampe mit optischen Elementen) sendet gemäß 7 Schritt S1 strukturiertes Licht, d. h. ein Muster auf das zu erfassende Objekt. Bei den optischen Elementen handelt es sich beispielsweise um Lichtleiter (Glasfasern). Der Bildsensor der TOF-Kamera ermöglicht eine Ausfilterung des Hintergrundlichts. Hierzu werden vereinfacht gesprochen ein Bild mit angeschalteter Lichtquelle aufgenommen (Schritt S2) und in einem ersten Speicherelement abgelegt und ein weiteres Bild mit abgeschalteter Lichtquelle aufgenommen (Schritt S3) und in einem zweiten Speicher abgelegt. Die Differenz (Schritt S4) des ersten und zweiten Speicherinhalts liefert das vom Objekt reflektierte Licht ohne störendes Hintergrundlicht. Die Auswerteeinrichtung errechnet (Schritt S5) anhand des von dem Objekt reflektierten und empfangenen Musters durch Vergleich mit einem hinterlegten Referenzmuster den Abstand zum Objekt. Durch häufig aufeinanderfolgende Aufnahmen der reflektierten Muster ist eine Objektbewegung ermittelbar. Schließlich kann in Abhängigkeit von dem dreidimensional Erfassten eine Komponente des Fahrzeugs gesteuert werden (Schritt S6).
-
Das System zur Nutzersensierung ist in einer Ausführungsform mittig im Dachbereich zwischen Fahrer- und Beifahrerseite angeordnet. Der große Erfassungsbereich ermöglicht neben Gestenerfassung die Funktion bisheriger Systeme zu übernehmen, beispielsweise Sitzbelegungserkennung, Anschnallwarnung etc.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Erfassungsbereich
- 3
- Fahrer
- 4
- Beifahrersitz
- 5
- Hand
- 6
- Überlappungsbereich
- 7
- Zwillingskopf
- 8
- Zwillingskopf
- 9
- Teilbild
- 10
- Teilbild
- 11
- Teilbild
- 12
- Teilbild
- 13
- Singlekopf
- 14
- Steuergerät
- 15
- Gehäuse
- 16
- Tiefensensor
- 17
- Lichtquelle
- 18
- Lichtquelle
- 19
- Recheneinheit
- 20
- Datenverbindung
- 21
- Fahrzeuganbindung
- S1–S6
- Schritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013000072 A1 [0003]
- WO 2014/195020 A1 [0004]
