-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Ein Fahrzeug kann mit einem Gurtwarnsystem, auch Seat-Belt-Reminder genannt, ausgestattet sein. Dabei können beispielsweise Sitzmatten zur Messung einer Sitzbelegung verwendet werden, da in der Regel nur ein belegter Sitz für eine Gurtwarnung relevant ist. Die Sitzmatten können beispielsweise zwischen verschiedenen Personengruppen unterscheiden, wie etwa zwischen einem Baby in einer Babyschale, einem Kind oder einem Erwachsenen. Neben Sitzmatten sind auch Gurtschlosssensoren zur Erfassung eines geöffneten oder geschlossenen Zustands eines Gurtschlosses bekannt. Ferner sind Kamerasysteme zur Fahrzeuginnenraumüberwachung bekannt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen eines Objekts in einem Fahrzeug, eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Es wird ein Verfahren zum Erkennen eines Objekts in einem Fahrzeug vorgestellt, wobei das Fahrzeug eine Beleuchtungseinrichtung zum Beleuchten des Objekts mit unterschiedlichen Beleuchtungseinstellungen und eine Bildaufnahmeeinrichtung zum Aufnehmen von Bildern des Objekts aufweist, wobei das Verfahren folgende Schritte umfasst:
Einlesen eines ersten Bildes, das einen beim Beleuchten des Objekts mit einer ersten Beleuchtungseinstellung erzeugten ersten Schattenwurf auf dem Objekt repräsentiert, und eines zweiten Bildes, das einen beim Beleuchten des Objekts mit einer zweiten Beleuchtungseinstellung erzeugten zweiten Schattenwurf auf dem Objekt repräsentiert; und
Verarbeiten des ersten Bildes und des zweiten Bildes, um anhand des ersten Schattenwurfs und des zweiten Schattenwurfs eine Oberflächenstruktur und/oder Position des Objekts zu erkennen.
-
Unter einem Objekt kann etwa ein Fahrzeuginsasse, insbesondere ein Gesicht des Fahrzeuginsassen, oder auch ein Kindersitz oder eine Babyschale verstanden werden. Unter einer Beleuchtungseinrichtung kann beispielsweise eine herkömmliche Innenraumbeleuchtung zum Beleuchten des Objekts mit sichtbarem Licht und/oder mit Infrarot-Licht verstanden werden. Die Beleuchtungseinrichtung kann beispielsweise eine Mehrzahl von an unterschiedlichen Stellen im Innenraum positionierten Beleuchtungseinheiten umfassen, um das Objekt aus unterschiedlichen Richtungen beleuchten zu können. Unter einer Bildaufnahmeeinrichtung kann etwa eine Kamera zur Überwachung des Fahrzeuginnenraums verstanden werden. Die erste und die zweite Beleuchtungseinstellung können sich beispielsweise hinsichtlich einer durch die Beleuchtungseinrichtung erzeugten Lichtverteilung im Fahrzeuginnenraum voneinander unterscheiden. Unter einem Schattenwurf kann sowohl ein kontinuierlicher Helligkeitsverlauf als auch ein Schlagschatten verstanden werden. Ein kontinuierlicher Helligkeitsverlauf bei gleichbleibendem Reflexionsgrad kann beispielsweise durch die Änderung des Einfallwinkels auf die Oberfläche bzw. durch Änderung des Objektwinkels relativ zur Beleuchtungseinheit erfolgen. Eine Änderung des Objektwinkels und damit auch der Helligkeit erfolgt bei einer kugelförmigen Fläche kontinuierlich. Dies kann auch als Kosinusabhängigkeit bezeichnet werden. Der Schattenwurf kann gemäß dem hier vorliegenden Verständnis von der einfallenden Lichtintensität, dem richtungsabhängigen Reflexionsgrad, sowie dem Einfallswinkel abhängen.
-
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass eine Innenraumsensierung in einem Kraftfahrzeug bei Dunkelheit durch eine synchronisiert wechselnde Beleuchtung des Innenraums verbessert werden kann. Durch eine individuelle Ansteuerung einer Innenraumbeleuchtung mit Synchronisation einer Bildauswertung wird eine Auswertung der Innenraumsituation über unterschiedlich beleuchtete und damit unterschiedlich schattierte Bilder ermöglicht. Vorteilhafterweise kann dabei eine Infrarotausleuchtung des Innenraums bei Dunkelheit entfallen, wenn die klassische Innenraumbeleuchtung derart angesteuert wird, dass verschiedene Beleuchtungssituationen geschaffen werden, die eine Unterscheidung zwischen flachen 2D-Objekten und erhabenen 3D-Objekten ermöglichen. Beispielsweise kann die Beleuchtungseinrichtung auch einer Sensitivität einer Kamera angepasst werden. Durch die Nutzung einer vorhandenen Innenraumbeleuchtung zur Innenraumsensierung kann beispielsweise auf eine zusätzliche Hilfsbeleuchtung verzichtet werden. Durch Nutzung des hier vorgestellten Ansatzes mit Infrarotlicht kann durch die unterschiedliche Ausleuchtung eine Unterscheidung zwischen flachen 2D-Objekten und erhabenen 3D-Objekten ermöglicht werden und/oder eine für die Auswertung verbesserte Ausleuchtung der Innenraumszene erreicht werden.
-
Durch Kenntnis der Position der Lichtquellen kann ferner aus dem Schattenwurf nicht nur die Oberflächenstruktur ermittelt werden, sondern gleichzeitig auch die Position des Objekts abgeschätzt werden. Dies wird vor allem bei punktförmigen Lichtquellen (z.B. einer LED-Lichtquelle) und nahem Abstand des Kopfes zur Lichtquelle möglich. Eine geringe Positionsänderung wirkt sich dann stark auch den Schattenwurf aus. Es kann somit in einem ersten Schritt eine Bestätigung erfolgen, dass es sich bei dem Objekt um ein dreidimensionales Objekt handelt, wobei dann in einem nachfolgenden zweiten Schritt eine Abschätzung der Position dieses Objekts ermittelt werden kann. Dieser zweite Schritt ist jedoch nicht zwingend nötig, da auch einfach mit der Annahme eines 3D-Objekts ohne Bestätigung die Position geschätzt werden könnte.
-
Gemäß einer Ausführungsform kann im Schritt des Verarbeitens ein dreidimensionales Modell des Objekts erzeugt werden, um die Oberflächenstruktur anhand des dreidimensionalen Modells zu erkennen. Das dreidimensionale Modell kann beispielsweise pixelweise durch Ermitteln eines jeweiligen Abstands von dem Objekt zugeordneten Bildpunkten zur Bildaufnahmeeinrichtung erzeugt werden. Durch diese Ausführungsform wird eine präzise und zuverlässige Erkennung der Oberflächenstruktur des Objekts ermöglicht. Zusätzlich oder alternativ kann die Position des Objekts gemessen werden. Eine solche Position kann beispielsweise dann besonders gut ermittelt werden, wenn der Abstand jedes Pixels zu einem benachbarten Pixel bekannt ist, was für andere Anwendungsfälle im Bereich der passiven Sicherheit vorteilhaft ist. In diesem Fall kann besonders vorteilhaft Infrarotlicht zur Beleuchtung verwendet werden.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Verarbeitens zumindest ein Helligkeitsschwellenwert verwendet werden, um einen den ersten Schattenwurf repräsentierenden ersten Helligkeitsverlauf oder, zusätzlich oder alternativ, einen den zweiten Schattenwurf repräsentierenden zweiten Helligkeitsverlauf zu ermitteln. Dabei kann die Oberflächenstruktur anhand zumindest einer der beiden Helligkeitsverläufe erkannt werden. Durch diese Ausführungsform kann ein Rechenaufwand beim Erkennen der Oberflächenstruktur reduziert werden. Somit kann die Effizienz des Verfahrens erhöht werden.
-
Es ist vorteilhaft, wenn im Schritt des Verarbeitens ein Abstand zwischen dem Objekt und der Beleuchtungseinrichtung pixelweise ermittelt wird, um die Oberflächenstruktur zu erkennen. Dadurch kann die Oberflächenstruktur mit möglichst hoher Auflösung erkannt werden.
-
Das Verfahren kann zudem einen Schritt des Auswertens der Oberflächenstruktur umfassen, um einen Fahrzeuginsassen oder einen Kindersitz als das Objekt zu erkennen. Beispielsweise kann das Objekt mittels einer geeigneten Klassifizierung als der Fahrzeuginsasse oder der Kindersitz erkannt werden. Dadurch kann beim Erkennen des Objekts zwischen Fahrzeuginsassen und Kindersitzen unterschieden werden.
-
Zudem kann das erste Bild oder das zweite Bild ein beim Beleuchten des Objekts mit sichtbarem Licht aufgenommenes Bild des Objekts repräsentieren. Alternativ können beide Bilder je ein beim Beleuchten des Objekts mit sichtbarem Licht aufgenommenes Bild des Objekts repräsentieren. Dadurch kann die Oberflächenstruktur unter Verwendung einer herkömmlichen Innenraumbeleuchtung erkannt werden. Somit kann auf eine zusätzliche Beleuchtungseinrichtung zur Erkennung der Oberflächenstruktur verzichtet werden.
-
Des Weiteren kann das Verfahren einen Schritt des Ansteuerns der Beleuchtungseinrichtung oder, zusätzlich oder alternativ, der Bildaufnahmeeinrichtung abhängig von einer Stellung zumindest einer Tür des Fahrzeugs umfassen. Dadurch kann die Effizienz der Objekterkennung erhöht werden.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens zumindest ein drittes Bild eingelesen werden. Das dritte Bild kann einen beim Beleuchten des Objekts mit einer dritten Beleuchtungseinstellung erzeugten dritten Schattenwurf auf dem Objekt repräsentieren. Dementsprechend kann im Schritt des Verarbeitens das dritte Bild verarbeitet werden, um die Oberflächenstruktur zu erkennen. Dadurch kann die Oberflächenstruktur anhand einer Mehrzahl unterschiedlicher Schattenwürfe auf dem Objekt erkannt werden. Somit kann die Zuverlässigkeit des Verfahrens weiter erhöht werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung des Fahrzeugs. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie Beschleunigungs-, Druck-, Lenkwinkel- oder Umfeldsensorsignale zugreifen. Die Ansteuerung erfolgt über Aktoren wie Brems- oder Lenkaktoren oder ein Motorsteuergerät des Fahrzeugs.
-
In einer weiteren vorteilhaften Ausgestaltung erfolgt die Anpassung von Schutzmitteln des Fahrzeugs, beispielsweise die Auslösebedingung von Airbags oder Gurtstraffern. In einer weiteren vorteilhaften Ausgestaltung erfolgt die Anpassung von Informations-/ Warnfunktionen, beispielsweise einer Gurtwarnfunktion oder eines Airbagabschaltinformation bei Nutzung einer Babyschale auf dem Sitz.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
- 3 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel;
- 4 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel;
- 5 eine schematische Darstellung eines Gesichts bei verschiedenen Beleuchtungsverhältnissen in einem Fahrzeug; und
- 6 eine schematische Darstellung eines flachen, inhomogenen Objekts mit Schwellen gleicher Helligkeit.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 gemäß einem Ausführungsbeispiel. Die Vorrichtung 102 ist mit einer Beleuchtungseinrichtung 104 zum Beleuchten eines Innenraums des Fahrzeugs 100, etwa einer herkömmlichen Innenraumbeleuchtung zum Beleuchten des Innenraums mit sichtbarem Licht, sowie einer Bildaufnahmeeinrichtung 106, beispielsweise einer Innenraumüberwachungskamera, zum Aufnehmen von Bildern des Innenraums verbunden. Alternativ ist die Beleuchtungseinrichtung 104 ausgebildet, um den Innenraum mit Licht im nicht sichtbaren Wellenlängenbereich zu beleuchten. In dem Fahrzeug 100 befindet sich ein Fahrzeuginsasse 108, der durch die Beleuchtungseinrichtung 104 mit unterschiedlichen Beleuchtungseinstellungen beleuchtet wird. Die Beleuchtungseinstellungen unterscheiden sich beispielsweise darin voneinander, dass die Beleuchtungseinrichtung 104 ein zu beleuchtendes Objekt, hier beispielhaft den Fahrzeuginsassen 108, je nach Beleuchtungseinstellung aus unterschiedlichen Richtungen beleuchtet, sodass sich auf einer Oberflächenstruktur des Objekts, die in 1 durch das Gesicht des Fahrzeuginsassen 108 charakterisiert ist, unterschiedliche Schattenwürfe (d. h., die hier als unterschiedlichen Lichtintensitäten bzw. Anzahl von Photonen pro Flächeneinheit verstanden werden können) ausbilden. Je nach Ausführungsbeispiel unterscheiden sich die Beleuchtungseinstellungen zusätzlich oder alternativ in einer Leuchtintensität voneinander. Beispielsweise ist die Vorrichtung 102 ausgebildet, um die Beleuchtungseinrichtung 104 durch Ausgeben eines entsprechenden Steuersignals 110 derart anzusteuern, dass der Fahrzeuginsasse 108 nacheinander mit einer ersten Beleuchtungseinstellung und einer von der ersten Beleuchtungseinstellung abweichenden zweiten Beleuchtungseinstellung beleuchtet wird, sodass sich auf dem Gesicht des Fahrzeuginsassen 108 beim Beleuchten mit der ersten Beleuchtungseinstellung ein erster Schattenwurf und beim Beleuchten mit der zweiten Beleuchtungseinstellung ein zweiter Schattenwurf ausbildet. Die Bildaufnahmeeinrichtung 106 ist ausgebildet, um beim Beleuchten des Fahrzeuginsassen 108 mit der ersten Beleuchtungseinstellung zumindest ein erstes Bild 112 aufzunehmen und beim Beleuchten des Fahrzeuginsassen 108 mit der zweiten Beleuchtungseinstellung zumindest ein zweites Bild 114 aufzunehmen und die beiden Bilder 112, 114 an die Vorrichtung 102 zu übermitteln. Die Vorrichtung 102 verarbeitet die beiden Bilder 112, 114, um beispielsweise die das Gesicht des Fahrzeuginsassen 108 oder die ein Objekt repräsentierende Oberflächenstruktur anhand des im ersten Bild 112 abgebildeten ersten Schattenwurfs und des im zweiten Bild 114 abgebildeten zweiten Schattenwurfs in geeigneter Weise zu rekonstruieren („Structure from Shading“). Beispielsweise ist die Vorrichtung 102 ausgebildet, um anhand der beiden Schattenwürfe eine Objektklassifizierung bzw. persönliche/individuelle Identifizierung durchzuführen, durch die das in den beiden Bildern 112, 114 durch die Schattenwürfe repräsentierte Objekt eindeutig als Gesicht erkannt werden kann. Speziell bei einer persönlichen bzw. individuellen Identifizierung kann beispielsweise ein Rückhaltemittel ideal angepasst oder eingestellt werden.
-
Gemäß einem Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um die Beleuchtungseinrichtung 104 so anzusteuern, dass der Fahrzeuginsasse 108 zusätzlich mit zumindest einer von der ersten und zweiten Beleuchtungseinstellung abweichenden dritten Beleuchtungseinstellung beleuchtet wird, sodass sich auf dem Gesicht des Fahrzeuginsassen 108 ein entsprechender dritter Schattenwurf ausbildet. Dementsprechend nimmt die Bildaufnahmeeinrichtung 106 beim Beleuchten des Fahrzeuginsassen 108 mit der dritten Beleuchtungseinstellung ein entsprechendes drittes Bild 116 des Fahrzeuginsassen 108 auf, auf dem demzufolge der dritte Schattenwurf abgebildet ist. Das dritte Bild 116 wird dann von der Vorrichtung 102 zusätzlich zu den beiden Bildern 112, 114 zur Erkennung des Fahrzeuginsassen 108 verwendet.
-
2 zeigt eine schematische Darstellung einer Vorrichtung 102 gemäß einem Ausführungsbeispiel, etwa einer Vorrichtung, wie sie vorangehend anhand von 1 beschrieben ist. Die Vorrichtung 102 umfasst eine Einleseeinheit 210 zum Einlesen des ersten Bildes 112 und des zweiten Bildes 114 über eine Schnittstelle zu der auf den Fahrzeuginsassen ausgerichteten Bildaufnahmeeinrichtung. Die Einleseeinheit 210 ist ausgebildet, um die beiden Bilder 112, 114 an eine Verarbeitungseinheit 220 der Vorrichtung 102 zu senden, die ausgebildet ist, um die beiden Bilder 112, 114 derart zu verarbeiten, dass die Oberflächenstruktur des Gesichts des Fahrzeuginsassen anhand der auf den beiden Bildern 112, 114 abgebildeten Schattenwürfe eindeutig erkannt wird. Als Ergebnis des Verarbeitens gibt die Verarbeitungseinheit 220 eine entsprechende Erkennungsinformation 222 aus, die beispielsweise das Ergebnis einer Zuordnung des durch die Beleuchtungseinrichtung beleuchteten Objekts zu einer Klasse „Fahrzeuginsasse“, eine persönliche bzw. individuelle Identifizierung eines konkreten Fahrzeuginsassen beispielsweise zur Einstellung von Parametern von Rückhaltemitteln oder einer Klasse „Kindersitz“ repräsentiert. Die Erkennungsinformation 222 kann beispielsweise von einem Steuergerät des Fahrzeugs weiterverarbeitet werden, um Rückhaltemittel im Fall einer bevorstehenden Kollision gezielt, d. h. beispielsweise insassenabhängig, auslösen zu können.
-
Gemäß einem Ausführungsbeispiel umfasst die Vorrichtung 102 eine Ansteuereinheit 230 zum Ansteuern der Beleuchtungseinrichtung des Fahrzeugs durch Ausgeben des Steuersignals 110. Dabei liest die Einleseeinheit 210 die beiden Bilder 112, 114 etwa ansprechend auf das Ausgeben des Steuersignals 110 ein, was in 2 durch einen Pfeil zwischen den beiden Einheiten 210, 230 angedeutet ist.
-
Insbesondere ist die Ansteuereinheit 230 ausgebildet, um die Beleuchtungseinrichtung in Abhängigkeit von einer Stellung zumindest einer Tür des Fahrzeugs, beispielsweise in Abhängigkeit von einem geschlossenen oder geöffneten Zustand der zumindest einen Tür, anzusteuern.
-
Optional ist die Ansteuereinheit 230 ausgebildet, um zusätzlich die Bildaufnahmeeinrichtung des Fahrzeugs in geeigneter Weise anzusteuern.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 gemäß einem Ausführungsbeispiel. Das Verfahren 300 zum Erkennen eines Objekts in einem Fahrzeug kann beispielsweise unter Verwendung einer Vorrichtung, wie sie vorangehend anhand der 1 und 2 beschrieben ist, durchgeführt werden. Dabei werden in einem Schritt 310 das erste Bild und das zweite Bild eingelesen. In einem Schritt 320 erfolgt die Verarbeitung der beiden Bilder, um die Oberflächenstruktur des im Fahrzeug beleuchteten Objekts anhand der durch die beiden Bilder repräsentierten Schattenwürfe zu erkennen.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 300 gemäß einem Ausführungsbeispiel, etwa eines vorangehend anhand von 3 beschriebenen Verfahrens. Gemäß diesem Ausführungsbeispiel wird das Verfahren 300 mit einem Schritt 400 gestartet. In einem weiteren Schritt 402 wird überprüft, ob alle Türen des Fahrzeugs geschlossen sind. Ergibt sich dabei, dass die Türen nicht geschlossen sind, so wird in einem Schritt 404 eine Vorabmessung durchgeführt, bei der das zu erkennende Objekt im Innenraum des Fahrzeugs bereits bei geöffneter Tür mit unterschiedlichen Beleuchtungseinstellungen mithilfe der Beleuchtungseinrichtung beleuchtet wird. Ergibt sich im Schritt 402 hingegen, dass die Türen geschlossen sind, so wird in einem Schritt 406 mittels der Beleuchtungseinrichtung eine bestimmte Lichtverteilung im Innenraum eingestellt, etwa indem die erste oder zweite Beleuchtungseinstellung der Beleuchtungseinrichtung aktiviert wird. In einem Schritt 408 erfolgt die Aufnahme entsprechender Bilder, etwa des ersten Bildes und des zweiten Bildes. In einem Schritt 410 werden die beiden Bilder miteinander verrechnet, etwa um die Oberflächenstruktur des beleuchteten Objekts durch Erzeugen eines entsprechenden 3D-Modells rechnerisch nachzubilden. Optional erfolgt in einem Schritt 412 die Ermittlung einer Anwesenheit oder eines Typs von Personen anhand des im Schritt 410 erzeugten 3D-Modells. Die beiden Schritte 410, 412 können beispielsweise Teilschritte des vorangehend anhand von 3 beschriebenen Verarbeitungsschrittes 320 sein.
-
Die beiden Schritte 406, 408 werden beispielsweise für alle einzustellenden Lichtverteilungen wiederholt, was in 4 durch einen entsprechenden Pfeil angedeutet ist.
-
Mit einem Schritt 414 wird das Verfahren 300 beendet.
-
Gemäß einem Ausführungsbeispiel startet die Auswertung, sobald die Türen des Fahrzeugs geschlossen sind. Dadurch ist sichergestellt, dass keine weiteren Personen hinzukommen. Nachdem die Türen geschlossen wurden, werden verschiedene Lichtverteilungen angefahren. Neben einem harten Ein- und Ausschalten von Lichtverteilungen ist ebenfalls ein Dimmen möglich, um die Insassen wenig zu stören. Da die Bildaufnahme in der Regel nur wenige Millisekunden in Anspruch nimmt, kann das Umschalten der Lichtverteilungen nahezu unbemerkt geschehen. Die Insassen bekommen dann von der Messung wenig mit. Durch die Wahl einer geschickten Reihenfolge beim Abschalten der Innenraumbeleuchtung kann die Messung noch unauffälliger gestaltet werden. Wenn alle Lichtverteilungen gemessen wurden, gegebenenfalls mit Wiederholungen, falls eine Messung nicht eindeutig war, werden die Lichtverteilungen miteinander verrechnet. Aus den beispielsweise zu einer dreidimensionalen Darstellung verrechneten Bildern wird dann die Anwesenheit einer Person auf einem Sitz abgeleitet.
-
Zusätzlich ist eine Klassifizierung möglich, beispielsweise in Kind, Babyschale oder Erwachsener. Solange die Türen noch geöffnet sind, wird beispielsweise eine Vorabmessung durchgeführt. Diese kann die gleichen Schritte wie nach dem Schließen der Türen umfassen. Vorteilhaft ist hierbei die lange Zeitdauer, die bei geöffneten Türen zur Verfügung steht. Die Person, die die Türe schließt, bewegt sich beim Schließen der Tür, wodurch die jeweilige Pose oder Mimik der Person mittels eines entsprechenden Bewegungsklassifikators erkannt werden kann. Durch die mögliche große Zeitdauer in der Vorabmessung ist eine Detektion gut möglich. Nach dem Schließen der Türe sollte lediglich gemessen werden, ob sich an der vorher aufgenommenen Szene etwas geändert hat.
-
5 zeigt eine schematische Darstellung eines Gesichts 500 bei verschiedenen Beleuchtungsverhältnissen in einem Fahrzeug. Bei dem Gesicht 500 handelt es sich beispielsweise um das Gesicht des Fahrzeuginsassen aus 1. Gezeigt sind insgesamt zwölf Darstellungen des Gesichts, die in vier Spalten 502, 504, 506, 508 und drei Zeilen 510, 512, 514 angeordnet sind. Beispielsweise handelt es sich dabei um Aufnahmen einer Person, die in der Mitte einer hinteren Sitzreihe des Fahrzeugs sitzt. Die nachfolgend verwendeten Begriffe „vorne“, „hinten“, „links“ und „rechts“ sind in Fahrtrichtung zu verstehen (vorne links sitzt der Fahrer).
-
Bei den Aufnahmen in der ersten Spalte 502 ist eine linke hintere Innenraumbeleuchtung eingeschaltet, wodurch das Gesicht 500 von links oben beleuchtet wird. Die zweite Spalte 504 repräsentiert eine Beleuchtungssituation, in der eine rechte hintere Innenraumbeleuchtung aktiviert ist, wodurch das Gesicht 500 von rechts oben beleuchtet wird. In der dritten Spalte 506 ist sowohl die linke hintere Beleuchtung als auch die rechte hintere Beleuchtung aktiv, sodass das Gesicht 500 beidseitig von oben beleuchtet wird. In der vierten Spalte 508 ist eine vordere Beleuchtung aktiv, womit das Gesicht 500 von vorne beleuchtet wird.
-
Die sich je nach Beleuchtungssituation ausbildenden unterschiedlichen Schattenwürfe auf dem Gesicht 500 sind in den verschiedenen Aufnahmen des Gesichts 500 durch entsprechende Schattierungen schematisch angedeutet.
-
In der ersten Zeile 510 ist das Gesicht 500 so dargestellt, wie es beispielsweise von der Bildaufnahmeeinrichtung erfasst wird. Der Hell-dunkel-Übergang ist dabei weich und kontinuierlich. Zur Veranschaulichung der Beleuchtung wurde in der zweiten Zeile 512 eine Art Binarisierung des Grauwertverlaufs vorgenommen. In der Bildauswertung erfolgt dies etwa durch Schwellenwertbildung eines Helligkeitswertes. Zusätzlich ist in der zweiten Zeile 512 ein Schattenwurf einer Nase des Fahrzeuginsassen eingezeichnet, um die Möglichkeiten einer dreidimensionalen Auswertung der Aufnahmen zu verdeutlichen.
-
In der dritten Zeile 514 sind Linien gleicher Helligkeit eingezeichnet, wie sie bei einem kugelförmigen Objekt wie etwa einem Gesicht gemessen werden können. Statt einer Binarisierung sind auch mehrere Schwellenwerte zur Ermittlung der jeweiligen Schattenwürfe in Form entsprechender Helligkeitsverläufe möglich. Die Helligkeitsverläufe sind durch unterschiedliche Linien angedeutet.
-
6 zeigt eine schematische Darstellung eines flachen, inhomogenen Objekts mit Schwellen gleicher Helligkeit. Gezeigt ist die dritte Zeile 514 aus 5. Im Unterschied zu 5 handelt es sich bei dem aufgenommenen Objekt jedoch nicht um ein Gesicht, sondern um ein flaches Objekt 600. Das Objekt 600 weist zwar einen Farb- und Grauwertverlauf auf, durch den Linien unterschiedlicher Helligkeit gefunden werden können, doch ergibt sich aufgrund der zweidimensionalen Oberfläche des Objekts 600 auch bei unterschiedlichen Beleuchtungsverhältnissen keine nennenswerte Änderung dieser Linien.
-
Nachfolgend werden verschiedene Ausführungsbeispiele des hier vorgestellten Ansatzes nochmals mit anderen Worten beschrieben.
-
Eine passive Beleuchtung des Fahrzeuginnenraums durch das Scheinwerferlicht anderer Fahrzeuge oder eine Straßenbeleuchtung reicht zur kontinuierlichen Auswertung in der Regel nicht aus, da die Anwesenheit des externen Lichts nicht ständig gegeben ist. Daher nutzt der hier vorgestellte Ansatz, etwa als Ergänzung für die kontinuierliche Auswertung, die Innenraumbeleuchtung des Fahrzeugs, insbesondere beispielsweise bei Stillstand oder kurz vor dem Starten des Fahrzeugs.
-
Gemäß einem Ausführungsbeispiel wird mithilfe der Beleuchtungseinrichtung eine Beleuchtungssituation im Fahrzeug variiert, wobei von jeder Beleuchtungssituation mindestens ein Bild aufgenommen wird. Durch die variierende Beleuchtungssituation ist der Schattenwurf immer ein wenig anders. Dies hat zum einen den Vorteil, dass für die Gesichtserkennung ein optimal belichtetes Bild ausgewählt und genutzt werden kann. Zum anderen wird eine genaue Rekonstruktion einer dreidimensionale Szene aus den Schattenwürfen ermöglicht.
-
Das Variieren der Helligkeit im Fahrzeuginnenraum erfolgt beispielsweise nach dem Einsteigen ins Fahrzeug, da man hier bereits gewohnt ist, dass die Innenraumbeleuchtung aktiviert wird.
-
Manche Gesichter werden von der Bildverarbeitung nur schwer als Gesicht erkannt. Dies ist insbesondere dann der Fall, wenn es sich um ein Einzelbild handelt oder nur sehr wenige Bilder bei gleicher Beleuchtung aufgenommen wurden. Durch Verändern der Beleuchtungssituation erhöht sich die Wahrscheinlichkeit, eine passende Kombination aus individuellem Gesicht, Pose und Mimik und Beleuchtung zu finden, da zwar Beleuchtungsparameter variiert werden, Gesicht und Pose des Fahrzeuginsassen aber im Wesentlichen unverändert bleiben. Ohne eine derartige Variation der Beleuchtung wären die Detektionsmöglichkeiten eingeschränkt. Falls bei einer Detektion die Erkennung unsicher war, etwa weil nur in einer von mehreren Beleuchtungssituationen ein Gesicht erkannt wurde, wird beispielsweise gezielt für die betreffende Sitzposition eine längere Beleuchtungsserie gestartet, wodurch die Wahrscheinlichkeit steigt, dass sich der Fahrzeuginsasse bewegt und seine Mimik oder Pose ändert.
-
Neben einer erhöhten Detektionsrate bei der Gesichtserkennung kann die unterschiedliche Beleuchtung auch bei der individuellen Identifikation einer Person im Kontext der individuellen Insassensicherheit, auch Individual Occupant Safety oder kurz IOS genannt, behilflich sein. So können durch die unterschiedliche Beleuchtung unterschiedliche Aspekte noch zuverlässiger ausgewertet werden, etwa eine Nase-Augen-Partie, was die Wahrscheinlichkeit einer korrekten Identifikation auch bei Dunkelheit ohne zusätzliche Infrarotbeleuchtung ermöglicht.
-
Bei der Rekonstruktion der 3D-Struktur aus dem Schattenwurf wird die Tatsache ausgenutzt, dass sich bei der Beleuchtung eines dreidimensionalen Objekts ein Schatten an der lichtabgewandten Seite bildet. Eine statische Beleuchtung hat den Nachteil, dass ein Schatten (geringe Reflexion durch wenig Lichteintrag) von einer dunklen Stelle (geringe Reflexion durch starke Lichtabsorption) nicht unterschieden werden kann. Daher könnte beispielsweise eine Fotografie für einen Menschen gehalten werden, da die dunkle Farbe des Schattens auf der Fotografie (erhöhte Absorption) nicht von einem realen Schatten (geringe Reflexion) unterschieden werden kann.
-
Da durch die Ansteuerung der Beleuchtungseinrichtung die Beleuchtungssituation bekannt ist, kann durch Variation der Beleuchtungsseite herausgefunden werden, was durch den Schattenwurf und was durch die Reflexion (Helligkeit) des Materials verursacht wurde.
-
Durch Variation der Beleuchtungsverhältnisse wird beispielsweise aus den (im kritischsten Fall sogar unbewegten) 2D-Aufnahmen ein 3D-Modell geschätzt und so das beleuchtete Objekt zuverlässig als Mensch oder auch als Babyschale o. Ä. erkannt.
-
Gemäß einem Ausführungsbeispiel wird durch Kenntnis einer Lichtverteilung der Innenraumbeleuchtung durch Vergleich der Isolux-Kurven ein Reflexionsgrad oder ein Abstand ermittelt, etwa als gemeinsame Kennziffer, beispielsweise als Leuchtdichte. Durch die Messung und Kenntnis einer zweiten Lichtverteilung werden Reflexionsgrad und Abstand voneinander getrennt. Der Abstand von der Beleuchtungseinrichtung wird dann zu jedem Pixel genau ermittelt, wodurch eine dreidimensionale Repräsentation des Objekts erzeugt wird. Unter einem Abstand kann sowohl ein longitudinaler Abstand zwischen Beleuchtungseinrichtung und Objekt verstanden werden, als auch ein Abstand von einer Bezugsachse, beispielsweise der Hauptabstrahlrichtung. Dies kann beispielsweise als eine Position im Raum als Polarkoordinaten dargestellt werden. Der Abstand kann hierbei als ein wichtiges Merkmal betrachtet werden, das auch von anderen Funktionen genutzt werden kann, beispielsweise zur Initialisierung von Objektverfolgungsmessung. Mit einer Kamera kann einfach eine Relativbewegung gemessen werden. Zur Einstellung von Airbagzündzeiten etc. ist die Kenntnis der absoluten Position wichtig, d.h., durch die Abstandsmessung kann mit dem hier vorgestellten Ansatz ein Initialwert für ein Personenschutzmitel ermittelt werden. Anschließend kann durch die Messung einer Relativbewegung die absolute Position ermittelt und die Ansteuerung des Personenschutzmitels angepasst werden.
-
Die dreidimensionale Repräsentation wird dann mit möglichen Positionen und einer möglichen Größe der zu erkennenden Personen verglichen, um eine Sitzbelegung im Fahrzeug zu ermitteln. Die Gurterkennung im Fahrzeug erfolgt beispielsweise mit klassischen Mitteln, etwa durch die Auswertung von 2D-Bildinformationen, kann jedoch zusätzlich durch die 3D-Messinformation gestützt werden, etwa bei der Auswahl möglicher Messbereiche.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
