DE102022113271A1

DE102022113271A1 - Verfahren zum Betreiben eines Fahrzeuginnenraumüberwachungssystems, Steuereinrichtung, Fahrzeuginnenraumüberwachungssystem und Fahrzeug

Info

Publication number: DE102022113271A1
Application number: DE102022113271.4A
Authority: DE
Inventors: Octavian Tirla
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-05-25
Filing date: 2022-05-25
Publication date: 2023-11-30
Anticipated expiration: 2042-05-26
Also published as: US20230388626A1; DE102022113271B4; CN117124988A

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeuginnenraumüberwachungssystems (2), umfassend zumindest eine Kameraeinheit (3). Durch eine Steuereinrichtung (5) wird ein anpassbarer Kameraparameter (7) der Kameraeinheit (3) mittels zumindest eines kameraspezifischen Steuerbefehls (8) in der Kameraeinheit (3) eingestellt und zumindest ein durch die Kameraeinheit (3) aufgenommenes Bild (13) empfangen und ausgewertet, wobei ein Ergebnis der Auswertung als kameraspezifisches Ergebnisdatum (14) ausgegeben wird. Es ist vorgesehen, dass durch die Steuereinrichtung (5) zumindest ein allgemeiner Steuerbefehl (15) zur Einstellung des anpassbaren Kameraparameters (7) der Kameraeinheit (3) generiert wird, der allgemeine Steuerbefehl (15) in Abhängigkeit von einer in der Steuereinrichtung (5) gespeicherten Kamerakonfiguration (18) der Kameraeinheit (3) in den kameraspezifischen Steuerbefehl (8) konvertiert wird, das kameraspezifische Ergebnisdatum (14) in Abhängigkeit von der in der Steuereinrichtung (5) gespeicherten Kamerakonfiguration (18) der Kameraeinheit (3) in ein allgemeines Ergebnisdatum (14, 21) konvertiert wird, und das allgemeine Ergebnisdatum (21) der Kameraeinheit (3) einer Datenfusionierungseinrichtung (22) bereitgestellt wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeuginnenraumüberwachungssystems, eine Steuereinrichtung, ein Fahrzeuginnenraumüberwachungssystem sowie ein Fahrzeug.
Fahrzeuge weisen Fahrzeuginnenraumüberwachungssysteme auf, welche dazu eingerichtet sind, einen Fahrzeuginnenraum und die in dem Fahrzeuginnenraum anwesenden Personen zu überwachen. Durch die Überwachung ist es möglich, eine Anwesenheit und/oder eine Position eines Insassen zu ermitteln. Durch Fahrzeuginnenraumüberwachungssysteme können beispielsweise eine Blickrichtung eines Fahrers oder Gesten eines Insassen erfasst werden. Fahrzeuginnenraumüberwachungssysteme nach dem derzeitigen Stand der Technik weisen gewöhnlicherweise zwei Kameraeinheiten auf, welche jeweilige Erfassungsbereiche des Fahrzeuginnenraums überwachen. Die Kameraeinheiten nehmen einzelne oder mehrere aufeinanderfolgende Bilder des jeweiligen Erfassungsbereichs auf und stellen diese einer Steuereinrichtung zur Auswertung zur Verfügung, welche die gewünschten Auswertungen der Bilder durchführen.
Die Auswertung der erfassten Bilder sowie die Ansteuerung der jeweiligen Kameraeinheiten durch die Fahrzeuginnenraumüberwachungssysteme ist dabei an die jeweiligen Kameraeinheiten anzupassen. Dabei ist es erforderlich, die Steuereinrichtung des Fahrzeuginnenraumüberwachungssystems so zu programmieren, dass sie die jeweiligen Kameraeinheiten ansteuern kann, um Kameraparameter zu optimieren und somit eine Aufnahme von Bildern, welche Bildvorgaben eines jeweiligen Auswertealgorithmus erfüllen, sicherstellen zu können. Da sich die Kameraeinheiten und/oder ihre Kameratreiber voneinander unterscheiden können, muss die entsprechenden Algorithmen an die jeweiligen Kameraeinheiten und/oder ihre Kameratreiber angepasst werden. Das führt dazu, dass mit einer Anzahl der Arten der verwendeten Kameraeinheiten ein zugehöriger Entwicklungsaufwand steigt, da keine einheitliche und universelle Ansteuerung der Kameraeinheiten besteht.
Die Auswertealgorithmen, welche verwendet werden, um die durch die Kameraeinheiten bereitgestellten Bilder auszuwerten, müssen ebenso auf die Kameraparameter der Kameraeinheit, wie beispielsweise eine Auflösung oder ein Verbauort der Kameraeinheit in dem Fahrzeuginnenraum angepasst werden. Bei einer Zusammenführung von Messdaten, welche auf Bildern jeweiliger Kameraeinheiten beruhen, müssen die individuellen Eigenschaften der Kameraeinheiten berücksichtigt werden.
Aufgrund einer zu erwartenden Zunahme an Kameraeinheiten in Fahrzeuginnenraumüberwachungssystemen und einer Zunahme an Varianten der Kameraeinheiten und Anordnungen der Kameraeinheiten in den Fahrzeuginnenräumen ergibt sich die Problematik, dass umfangreiche Anpassungen in der Software erforderlich sind, um einen Betrieb eines Fahrzeuginnenraumüberwachungssystems sicherzustellen.
Die WO 2020/161610 A2 beschreibt eine Überwachung einer Fahrzeugkabine mit einer einzigen 2D-Kamera und einer angepassten Anwendung von Überwachungsalgorithmen. Es ist vorgesehen, einen Überwachungsalgorithmus aus einer Liste von Überwachungsalgorithmen basiert auf einem Zustand eines Insassen, der auf Grundlage eines ersten Satzes von Bildern einer Bildsequenz der Fahrzeugkabine bestimmt wird auszuwählen. Der Überwachungsalgorithmus wird auf einen zweiten Satz von Bildern der Bildsequenz angewandt, wobei der zweite Satz von Bildern Bilder umfasst, die auf den ersten Satz von Bildern folgen, um eine Überwachung des Fahrzeugs zu ermöglichen. Die US 2020/0143560 A1 beschreibt ein Fahrerüberwachungssystem das eine Beleuchtungsquelle, die nicht sichtbares Licht aussendet, das mindestens einen Teil des Fahrers des Fahrzeugs beleuchtet, einen Reflektor, der am Fahrzeug und innerhalb einer Sichtlinie des beleuchteten Teils des Fahrers angeordnet ist, eine Kamera, die im Fahrzeug angeordnet ist und ein Sichtfeld hat, das den Reflektor umfasst, und eine Steuerung mit einem Bildprozessor, der von der Kamera erfasste Bilddaten verarbeitet.
Es ist eine Aufgabe der Erfindung, eine Lösung bereitzustellen, welche es ermöglicht, einen Aufwand zur Anpassung einer Fahrzeuginnenraumüberwachung an verschiedene Systeme zu reduzieren.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Merkmale der abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeuginnenraumüberwachungssystems. Das Fahrzeuginnenraumüberwachungssystem umfasst zumindest eine Kameraeinheit, welche zur Überwachung eines jeweiligen Überwachungsbereiches in dem Fahrzeuginnenraum vorgesehen ist. Das Verfahren wird durch eine Steuereinrichtung der Fahrzeuginnenraumüberwachung durchgeführt.
In einem ersten Schritt des Verfahrens wird durch die Steuereinrichtung ein anpassbarer Kameraparameter der Kameraeinheit mittels zumindest eines kameraspezifischen Steuerbefehls in der Kameraeinheit eingestellt, um eine Bildaufnahme zur Aufnahme zumindest eines Bildes durch die Kameraeinheit gemäß einer Bildvorgabe eines gewählten Auswertealgorithmus anzupassen. Die Aufnahme des zumindest einen Bildes kann auch eine Aufnahme einer Folge von Bildern betreffen. Mit anderen Worten wird durch die Steuereinrichtung die zumindest eine Kameraeinheit angesteuert. Durch die Ansteuerung der Kameraeinheit wird der zumindest eine anpassbare Kameraparameter der Kameraeinheit angepasst. Der zumindest eine anpassbare Kameraparameter kann beispielsweise eine einstellbare Belichtungszeit bei einer Aufnahme des Bildes, einen bei der Aufnahme des Bildes aufzunehmender Bildbereich oder eine Farbeinstellung betreffen. Die Einstellung des zumindest einen anpassbaren Kameraparameters erfolgt mittels des zumindest einen kameraspezifischen Steuerbefehls. Der kameraspezifische Steuerbefehl kann insbesondere durch die jeweilige Kameraeinheit zur Anpassung des zumindest einen anpassbaren Kameraparameters vorgegeben sein. Der kameraspezifische Steuerbefehl kann von einem Gerätetyp der Kameraeinheit und/oder einem Kameratreiber zum Betreiben der Kameraeinheit abhängen. Der zumindest eine anpassbare Kameraparameter wird durch die Steuereinrichtung derart angepasst, dass das Bild, welches durch die Kameraeinheit bei der Bildaufnahme aufgenommen wird, die Bildvorgabe an das Bild erfüllt. Die Bildvorgabe kann beispielsweise eine erforderliche Helligkeit, einen erforderlichen Kontrastwert oder einen bestimmten Bildbereich vorgeben. Die Bildvorgabe hängt dabei von einem gewählten Auswertealgorithmus ab. Der gewählte Auswertealgorithmus kann beispielsweise ein Auswertealgorithmus zur Erfassung einer Bewegung und/oder einer Blickrichtung eines Fahrers sein. Durch die Anpassung des zumindest einen anpassbaren Kameraparameters durch die Steuereinrichtung wird sichergestellt, dass das zumindest eine durch die Kameraeinheit aufgenommene Bild die Bildvorgabe erfüllt, welche durch den gewählten Auswertealgorithmus vorgegeben ist.
In einem zweiten Schritt wird das zumindest eine durch die Kameraeinheit aufgenommene Bild durch die Steuereinrichtung empfangen. Das Bild wird durch die Steuereinrichtung nach dem gewählten Auswertealgorithmus ausgewertet, wobei ein Ergebnis der Auswertung als kameraspezifisches Ergebnisdatum ausgegeben wird. Mit anderen Worten erfolgt die Auswertung des Bildes durch die Steuereinrichtung, wie es durch den gewählten Auswertealgorithmus vorgegeben ist. Der Auswertealgorithmus kann ein Verfahren computerbasierten Sehens umfassen. Dabei kann beispielsweise eine Blickrichtung eines Fahrers in dem zumindest einem aufgenommenen Bild ermittelt werden oder Bildpunkte erfasst werden. Das Ergebnis der Auswertung wird als kameraspezifisches Ergebnisdatum ausgegeben. Das Ergebnisdatum kann von der jeweiligen Kameraeinheit abhängen. Es kann beispielsweise vorgesehen sein, dass erfasste Bildpunkte in Bildkoordinaten ausgegeben werden, welche von einer Ausrichtung der Kameraeinheit in der Fahrzeuginnenraumüberwachung abhängen können.
Es ist vorgesehen, dass durch die Steuereinrichtung ein allgemeiner Steuerbefehl zur Einstellung des anpassbaren Kameraparameters der Kameraeinheit gemäß der Bildvorgabe des gewählten Auswertealgorithmus nach einem vorbestimmten Anpassungsalgorithmus generiert wird. Der allgemeine Steuerbefehl unterscheidet sich von dem kameraspezifischen Steuerbefehl dadurch, dass er kameraunspezifisch ist. Der allgemeine Steuerbefehl kann insbesondere auf ein für den Anpassungsalgorithmus bereitgestelltes Referenzsystem bezogen sein und lediglich zur internen Weiteverarbeitung durch die Steuereinrichtung vorgesehen sein. Mit anderen Worten ist es vorgesehen, dass durch die Steuereinrichtung der allgemeine Steuerbefehl generiert wird, um den anpassbaren Kameraparameter der Kameraeinheit derart einzustellen, dass die Bildvorgabe des gewählten Auswertealgorithmus erfüllt wird. Die Generierung des allgemeinen Steuerbefehls kann durch die Steuereinrichtung nach dem vorbestimmten Anpassungsalgorithmus erfolgen. Der vorbestimmte Anpassungsalgorithmus kann beispielsweise basierend auf allgemeinen Kameradaten oder basierend auf einem durch die Kameraeinheit vorab aufgenommenen Bild den allgemeinen Steuerbefehl ermitteln.. Es kann beispielsweise vorgesehen sein, dass die Bildvorgabe des gewählten Auswertealgorithmus einen bestimmten Kontrastwert vorgibt. Der Auswertealgorithmus kann beispielsweise basierend auf einem bereits aufgenommenen Bild ermitteln, welche Belichtungszeit als anpassbarer Kameraparameter die Kameraeinheit zur Erfüllung der Bildvorgabe eingestellt werden muss. Der allgemeine Steuerbefehl kann eine Anpassung des anpassbaren Kameraparameters in einem allgemeinen System beschreiben. Das allgemeine System kann vorbestimmte Stufenzahlen umfassen. Der allgemeine Steuerbefehl ist zur Anpassung des anpassbaren Kameraparameters gemäß dem Referenzsystem beschrieben. Dadurch, dass der allgemeine Steuerbefehl nicht von der anzusteuernden Kameraeinheit abhängt, ergibt sich der Vorteil, dass der Anpassungsalgorithmus nicht an die Fähigkeiten und die kameraspezifischen Steuerbefehle der jeweiligen Kameraeinheiten angepasst werden muss.
In einem weiteren Schritt ist es vorgesehen, dass durch die Steuereinrichtung der allgemeine Steuerbefehl in Abhängigkeit von einer in der Steuereinrichtung gespeicherten Kamerakonfiguration der jeweiligen Kameraeinheit nach einem vorbestimmten Konvertierungsverfahren in den kameraspezifischen Steuerbefehl konvertiert wird. Mit anderen Worten ist der allgemeine Steuerbefehl nicht zur direkten Ansteuerung der jeweiligen Kameraeinheit durch die Steuereinrichtung vorgesehen.
Um die Anpassung der anpassbaren Kameraparameter in den jeweiligen Kameraeinheiten zu ermöglichen, ist es deshalb erforderlich, den allgemeinen Steuerbefehl in den kameraspezifischen Steuerbefehl zu konvertieren. Um die Konvertierung zu ermöglichen, ist in der Steuereinrichtung für jede der Kameraeinheiten eine jeweilige Kamerakonfiguration gespeichert. Diese kann beispielsweise ein Wörterbuch zur Übersetzung von allgemeinen Steuerbefehlen in kameraspezifische Steuerbefehlen umfassen. Die jeweilige Kamerakonfiguration kann auch Vorgaben zur Umwandlung von Werten oder zulässige Wertebereiche, welche bei der Kameraeinheit eingestellt werden können, umfassen. Die Kamerakonfiguration der jeweiligen Kameraeinheit wird in dem vorbestimmten Konvertierungsverfahren ausgelesen, um den allgemeinen Steuerbefehl in den kameraspezifischen Steuerbefehl umzuwandeln.
In einem weiteren Schritt ist es vorgesehen, dass kameraspezifische Ergebnisdatum in Abhängigkeit von der in der Steuereinrichtung gespeicherten Kamerakonfiguration der Kameraeinheit nach einem vorbestimmten Verallgemeinerungsverfahren in ein allgemeines Ergebnisdatum zu konvertieren. Mit anderen Worten wird das kameraspezifische Ergebnisdatum durch die Kameraeinheit ausgegeben, wobei dieses von der Kameraeinheit selbst abhängt. Es kann beispielsweise eine erfasste Bewegung auf die Kameraeinheit referenziert sein. Damit das Ergebnisdatum jedoch weiter ausgewertet werden kann und beispielsweise mit den Daten anderer Kameraeinheiten fusioniert werden kann, ist es erforderlich, dieses in ein allgemeines Ergebnisdatum zu konvertieren, welches von der jeweiligen Kameraeinheit unabhängig ist. Es kann beispielsweise vorgesehen sein, dass erfasste Bewegungen von Koordinaten, welche auf die Kameraeinheit bezogen sind, in Koordinaten umgewandelt werden, welche auf einen Referenzpunkt in dem Fahrzeuginnenraum bezogen ist.
Das allgemeine Ergebnisdatum der Kameraeinheit wird anschließend durch die Steuereinrichtung einer Datenfusionierungseinrichtung bereitgestellt. Die Datenfusionierungseinrichtung kann dazu eingerichtet sein, die allgemeinen Ergebnisdaten aus verschiedenen Kameraeinheiten zusammen zu fügen.
Eine Weiterbildung der Erfindung sieht vor, dass das Fahrzeuginnenraumüberwachungssystem zumindest zwei Kameraeinheiten umfasst. Mit anderen Worten ist es vorgesehen, dass das Verfahren durch die Steuereinrichtung an einem Fahrzeuginnenraumüberwachungssystem ausgeführt wird, welches zumindest zwei Kameraeinheiten zur Überwachung jeweiliger Überwachungsbereiche in dem Fahrzeuginnenraum umfasst. Durch die Weiterbildung ergibt sich der Vorteil, dass allgemeine Ergebnisdaten aus zumindest zwei Kameraeinheiten der Datenfusionierungseinrichtung bereitgestellt werden können.
Eine Weiterbildung der Erfindung sieht vor, dass der gewählte Auswertealgorithmus in Abhängigkeit von der Kamerakonfiguration ausgewählt wird. Mit anderen Worten wird aus mehreren Auswertealgorithmen in Abhängigkeit von der Kamerakonfiguration der jeweiligen Kameraeinheit der gewählte Auswertealgorithmus ausgewählt. Es kann beispielsweise vorgesehen sein, dass eine bestimmte Auswertung durch verschiedene der Auswertealgorithmen ausgeführt werden kann. Es kann sein, dass sich die Auswertealgorithmen voneinander unterscheiden, wobei die Auswertealgorithmen für jeweilige Kameraparameter optimiert sein können. Es kann beispielsweise vorgesehen sein, dass die Auswertealgorithmen für unterschiedliche Kontrastwerte und/oder Auflösungen optimiert sein können. Die Steuereinrichtung kann den Auswertealgorithmus auswählen, welcher für die in der Kamerakonfiguration gespeicherten Parameter am besten geeignet ist. Dadurch ergibt sich der Vorteil, dass ein durchzuführender Auswertealgorithmus durch die Steuereinrichtung anhand der Kamerakonfiguration ermittelt werden kann.
Eine Weiterbildung der Erfindung sieht vor, dass die jeweiligen allgemeinen Ergebnisdaten der zumindest zwei Kameraeinheiten durch die Datenfusionierungseinrichtung nach einem vorbestimmten Datenfusionierungsverfahren zu einem Fusionsdatum zusammengefasst werden. Mit anderen Worten werden die allgemeinen Ergebnisdaten, welche aus den zumindest zwei Kameraeinheiten stammen, durch die Datenfusionierungseinrichtung nach dem vorbestimmte Datenfusionsverfahren fusioniert, um ein Fusionsdatum zu generieren. Es kann beispielsweise vorgesehen sein, dass die jeweiligen allgemeinen Ergebnisdaten durch die jeweiligen Kameraeinheiten erfasste Bewegungen umfassen und die durch die jeweiligen Kameraeinheiten erfassten Bewegungen durch die Datenfusionierungseinrichtung zur Generierung eines Fusionsdatums, welches eine dreidimensionale Bewegung beschreibt, fusioniert werden.
Eine Weiterbildung der Erfindung sieht vor, dass zumindest ein Kameraparameter der Kameraeinheit durch die Steuereinrichtung aus der Kameraeinheit abgerufen und in der Kamerakonfiguration gespeichert wird. Mit anderen Worten ist es vorgesehen, dass durch die Steuereinrichtung der zumindest eine Konfigurationsparameter aus der Kameraeinheit ausgelesen wird. Der Konfigurationsparameter kann beispielsweise eine Auflösung der Kameraeinheit beschreiben. Die Steuereinrichtung speichert den zumindest einen ausgelesenen Konfigurationsparameter in der Kamerakonfiguration. Dadurch ergibt sich der Vorteil, dass der zumindest eine Konfigurationsparameter der Kameraeinheit nicht manuell in der Steuereinrichtung hinterlegt werden muss. Eine Weiterbildung der Erfindung sieht vor, dass die Kamerakonfiguration eine Lage der jeweiligen Kameraeinheit in dem Fahrzeuginnenraum umfasst. Mit anderen Worten ist die Lage der jeweiligen Kameraeinheiten als Konfigurationsparameter der jeweiligen Kameraeinheit in der jeweiligen Kamerakonfiguration gespeichert.
Eine Weiterbildung der Erfindung sieht vor, dass den jeweiligen allgemeinen Ergebnisdaten der zumindest zwei Kameraeinheiten in Abhängigkeit von den jeweiligen Kamerakonfigurationen durch die Steuereinrichtung jeweilige Gewichtungswerte zugewiesen werden. Die Gewichtungswerte werden durch die Steuereinrichtung zusammen mit den allgemeinen Ergebnisdaten der Datenfusionierungseinrichtung bereitgestellt. Die allgemeinen Ergebnisdaten werden in Abhängigkeit von den jeweiligen Gewichtungswerten nach dem vorbestimmten Datenfusionsverfahren zu dem Fusionsdatum zusammengefasst.
Mit anderen Worten ist es vorgesehen, dass die Fusionierung der allgemeinen Ergebnisdaten durch die Datenfusionierungseinrichtung erfolgt, wobei die allgemeinen Ergebnisdaten der jeweiligen Kameraeinheiten unterschiedlich gewichtet werden, wobei die Gewichtung der allgemeinen Ergebnisdaten der jeweiligen Kameraeinheiten in Abhängigkeit von den jeweiligen Gewichtungswerten erfolgt. Die jeweiligen Gewichtungswerte werden dabei durch die Steuereinrichtung den jeweiligen Kameraeinheiten in Abhängigkeit von den jeweiligen Kamerakonfigurationen zugeteilt und zusammen mit den allgemeinen Ergebnisdaten der Datenfusionierungseinrichtung an die Datenfusionierungseinrichtung übermittelt. Die Gewichtungswerte können beispielsweise eine Genauigkeit oder Zuverlässigkeit der aus den Bildern der jeweiligen Kameraeinheiten erstellten allgemeinen Ergebnisdaten beschreiben. Es kann beispielsweise vorgesehen sein, dass einer Kameraeinheit, welche eine höhere Auflösung aufweist als eine andere der Kameraeinheiten, höhere Gewichtungswerte zugewiesen sind als der Kameraeinheit der geringeren Auflösung. Bei einer Fusionierung der allgemeinen Ergebnisdaten der jeweiligen Kameraeinheiten kann die Gewichtung durch die Datenfusionierungseinrichtung verwendet werden, um beispielsweise bei abweichenden Ergebnisdaten die Ergebnisdaten der zuverlässigeren Kameraeinheit stärker zu berücksichtigen.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Ein zweiter Aspekt der Erfindung betrifft eine Steuereinrichtung für ein Fahrzeuginnenraumüberwachungssystem. Die Steuereinrichtung ist dazu eingerichtet, einen anpassbaren Kameraparameter zumindest einer Kameraeinheit des Fahrzeuginnenraumüberwachungssystems mittels zumindest eines kameraspezifischen Steuerbefehls in der Kameraeinheit einzustellen, um eine Bildaufnahme zur Aufnahme zumindest eines Bildes durch die Kameraeinheit gemäß einer Bildvorgabe eines gewählten Auswertealgorithmus anzupassen. Die Steuereinrichtung ist dazu eingerichtet, das zumindest eine durch die Kameraeinheit aufgenommene Bild zu empfangen und nach dem gewählten Auswertealgorithmus auszuwerten. Die Steuereinrichtung ist dazu eingerichtet, das Ergebnis der Auswertung als kameraspezifisches Ergebnisdatum auszugeben. Es ist vorgesehen, dass die Steuereinrichtung dazu eingerichtet ist, zumindest einen allgemeinen Steuerbefehl zur Einstellung des anpassbaren Kameraparameters der Kameraeinheit gemäß der Bildvorgabe des gewählten Auswertealgorithmus nach einem vorbestimmten Anpassungsalgorithmus zu generieren. Die Steuereinrichtung ist dazu eingerichtet, den allgemeinen Steuerbefehl in Abhängigkeit von einer in der Steuereinrichtung gespeicherten Kamerakonfiguration der Kameraeinheit nach einem vorbestimmten Konvertierungsverfahren in den kameraspezifischen Steuerbefehl zu konvertieren. Die Steuereinrichtung ist dazu eingerichtet, das kameraspezifische Ergebnisdatum in Abhängigkeit von der in der Steuereinrichtung gespeicherten Kamerakonfiguration der Kameraeinheit nach einem vorbestimmten Verallgemeinerungsverfahren in ein allgemeines Ergebnisdatum zu konvertieren. Die Steuereinrichtung ist dazu eingerichtet, das allgemeine Ergebnisdatum der Kameraeinheit einer Datenfusionierungseinrichtung bereitzustellen.
Die Steuereinrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
Ein dritter Aspekt der Erfindung betrifft ein Fahrzeuginnenraumüberwachungssystem, das die Steuereinrichtung gemäß dem zweiten Aspekt der Erfindung aufweist. Das Fahrzeuginnenraumüberwachungssystem weist zumindest eine Kameraeinheit auf, die dazu eingerichtet ist, einen jeweiligen Überwachungsbereich in dem Fahrzeuginnenraum zu überwachen.
Ein vierter Aspekt der Erfindung betrifft ein Fahrzeug, das das Fahrzeuginnenraumüberwachungssystem gemäß dem dritten Aspekt der Erfindung aufweist
Das erfindungsgemäße Fahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Steuereinrichtung, des erfindungsgemäßen Fahrzeuginnenraumüberwachungssystems und des erfindungsgemäßen Fahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Steuereinrichtung, des erfindungsgemäßen Fahrzeuginnenraumüberwachungssystems und des erfindungsgemäßen Fahrzeugs hier nicht noch einmal beschrieben.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) ausgestaltet sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Die Befehle können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines Fahrzeugs mit einem Fahrzeuginnenraumüberwachungssystem;
2 eine weitere schematische Darstellung eines Fahrzeugs mit einem Fahrzeuginnenraumüberwachungssystem;
3 eine schematische Darstellung unterschiedlicher Ebenen zur Durchführung des Verfahrens durch die Steuereinrichtung; und
4 eine schematische Darstellung eines Ablaufs eines Verfahrens zum Betreiben eines Fahrzeuginnenraumüberwachungssystems.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt eine schematische Darstellung eines Fahrzeugs mit einem Fahrzeuginnenraumüberwachungssystem.
Das Fahrzeuginnenraumüberwachungssystem 2 kann mehrere Kameraeinheiten 3 aufweisen, welche dazu eingerichtet sein können, jeweilige Überwachungsbereiche 4 innerhalb einer Fahrzeugkabine zu überwachen. Eine Kameraeinheit 3 kann einen jeweiligen Überwachungsbereich 4 aufweisen. Das Fahrzeuginnenraumüberwachungssystem 2 kann eine Steuereinrichtung 5 aufweisen, welche dazu eingerichtet sein kann, die jeweiligen Kameraeinheiten 3 anzusteuern. Eine jeweilige Kameraeinheit 3 kann einen jeweiligen Kameratreiber 6 aufweisen und Kameraparameter 7, 25 aufweisen, welche fest vorgegeben oder einstellbar sein können. Die Steuereinrichtung 5 kann kameraspezifische Steuerbefehle 8 an die jeweiligen Kameraeinheiten 3 übermitteln, um einstellbare Kameraparameter 7 derart anzupassen, dass ein aufgenommenes Bild 13 vorbestimmte Bildvorgaben 9, 10 erfüllt. Die jeweiligen Bildvorgaben 9, 10 können von einem gewählten Auswertealgorithmus 12 unter mehreren möglichen Auswertealgorithmen abhängen. Die Bildvorgabe 9, 10 kann beispielsweise vorbestimmte Helligkeitswerte oder Kontrastwerte vorgeben. Dadurch kann sichergestellt sein, dass das aufgenommene Bild 13 die Bildvorgaben 9, 10 erfüllt, um eine Auswertung des Bildes 13 nach dem gewählten Auswertealgorithmus 12 zu ermöglichen. Der gewählte Auswertealgorithmus 12 kann beispielsweise ein Algorithmus zur Erkennung einer Bewegung oder einer Blickrichtung in dem aufgenommenen Bild 13 sein. Der gewählte Auswertealgorithmus 12 kann das Ergebnis als kameraspezifisches Ergebnisdatum 14 ausgeben. Die Steuereinrichtung 5 ist so gestaltet, dass sie Unterschiede zwischen Kameraeinheiten 3, welche beispielsweise auf verschiedene Kameratreiber 6 zurückzuführen sind, ausgleichen kann. Es kann beispielsweise möglich sein, dass durch die Steuereinrichtung 5 der kameraspezifische Steuerbefehl 8 aus einem allgemeinen Steuerbefehl 15 generiert wird, wobei der allgemeine Steuerbefehl 15 ein vorbestimmter Anpassungsalgorithmus 16, 17 aus mehreren Anpassungsalgorithmen sein kann. Der allgemeine Steuerbefehl 15 kann kameraunspezifisch sein und einen vorgegebenen Anpassungswert an die jeweilige Kameraeinheit 3 vorgeben. Der Anpassungsalgorithmus 16, 17 kann dabei den allgemeinen Steuerbefehl 15 unabhängig von den Eigenschaften der jeweiligen Kameraeinheit 3 ausgeben. Es ist somit nicht erforderlich, die Auswertealgorithmen an die jeweiligen Kameraeinheiten 3 oder die jeweiligen Kameratreiber 6 anzupassen. Die Anpassung des allgemeinen Steuerbefehls 15 in einen kameraspezifischen Steuerbefehl 8 kann in Abhängigkeit von einer jeweiligen gespeicherten Kamerakonfiguration 18 mittels eines vorbestimmten Konvertierungsverfahrens 19 durchgeführt werden. Das Konvertierungsverfahren 19 kann beispielsweise Tabellen aufweisen, welche allgemeine Steuerbefehle 15 dem jeweiligen kameraspezifischen Steuerbefehl 8 zuweisen können. Um eine Anpassung der jeweiligen Auswertealgorithmen an die jeweiligen Kameraeinheiten 3 zu vermeiden, ist die Steuereinrichtung 5 zur Durchführung vorbestimmter Verallgemeinerungsverfahren 20 eingerichtet. Das vorbestimmte Verallgemeinerungsverfahren 20 kann dazu eingerichtet sein, die jeweiligen kameraspezifischen Ergebnisdaten 14, welche beispielsweise Koordinaten einer erfassten Bewegung in Bezug auf die Lage 26 der Kameraeinheit 3 beschreiben können, in das allgemeine Ergebnisdatum 21 zu konvertieren, welches unabhängig von der jeweiligen Kameraeinheit 3 ist. Vorteilhaft kann das allgemeine Ergebnisdatum 14, 21 einer Datenfusionierungseinrichtung 22 zugeführt werden, welches die allgemeinen Ergebnisdaten 14, 21 nach einem vorbestimmten Datenfusionsverfahren 23 in ein Fusionsdatum 24 konvertieren kann. Es kann möglich sein, dass sich die Kameraeinheiten 3 in ihrer Genauigkeit voneinander unterscheiden können. Um dies bei der Fusion der jeweiligen allgemeinen Ergebnisdaten, 21 berücksichtigen zu können, kann es vorgesehen sein, dass den jeweiligen allgemeinen Ergebnisdaten, 21 in Abhängigkeit von den jeweiligen Kamerakonfigurationen 18 ein jeweiliger Gewichtungswert 27 zugeordnet wird. Der Gewichtungswert 27 kann durch die Datenfusionierungseinrichtung 22 bei der Durchführung des vorbestimmten Datenfusionsverfahrens 23 berücksichtigt werden.
2 zeigt eine weitere schematische Darstellung eines Fahrzeugs 1 mit einem Fahrzeuginnenraumüberwachungssystem 2.
3 zeigt eine schematische Darstellung unterschiedlicher Ebenen zur Durchführung des Verfahrens durch die Steuereinrichtung 5.
Eine Kameratreiberschicht L0 an einem Ende mehrerer Schichten kann die jeweiligen Kameratreiber 6 umfassen, welche die Kameraeinheiten 3 betreiben können. Die jeweiligen Kameraeinheiten 3 und ihre Kameratreiber 6 können sich voneinander unterscheiden, so dass es erforderlich sein kann, jeweilige kameraspezifische Steuerbefehle 8 an die jeweiligen Kameratreiber 6 zu übermitteln, um die jeweiligen Kameraeinheiten 3 ansteuern zu können. Zudem können sich feste Kameraparameter 25 und variable Kameraparameter 7, der jeweiligen Kameraeinheiten 3 voneinander unterscheiden. Damit eine Anpassung der jeweiligen Auswertealgorithmen 11, 12 und der jeweiligen Anpassungsalgorithmen 16, 17 an die jeweiligen Kameraeinheiten 3 entfallen kann, kann es vorgesehen, sein vorbestimmte Schichten bereitzustellen, welche die Anpassung an die jeweiligen Kameraeinheiten 3 übernehmen können.
Es kann beispielsweise vorgesehen sein, dass zwischen einer Anpassungsschicht L2, welche die Anpassungsalgorithmen 16 umfasst und der Kameratreiberschicht L0 eine Kameraabstraktionsschicht L1 angeordnet sein kann. Die Kameraabstraktionsschicht L1 kann dazu vorgesehen sein, die allgemeinen Steuerbefehle 15 in die kameraspezifischen Steuerbefehle 8 umzuwandeln. Mit anderen Worten nimmt die Kameraabstraktionsschicht L1 unabhängig von der Art der einzelnen Kameraeinheit 3 die allgemeinen Steuerbefehle 15 entgegen und konvertiert die für die jeweiligen Kameraeinheiten 3 bestimmten allgemeinen Steuerbefehle 15 ) nach einem vorbestimmten Konvertierungsverfahren 19 in die kameraspezifischen Steuerbefehle 8. Dadurch ergibt sich der Vorteil, dass die jeweiligen Anpassungsalgorithmen 16 allgemeine Steuerbefehle 15 ausgeben können, die unabhängig von der Art der jeweiligen Kameraeinheit 3 sein können.
Die Anpassungsschicht L2 kann verschiedene Anpassungsalgorithmen 16 umfassen, welche jeweilige Anpassungen der aufgenommenen Bilder 13 an jeweilige Bildvorgaben 9, 10 ausführen können. Der jeweilige Anpassungsalgorithmus 17 kann von der Kameraeinheit 3 und/oder von dem gewählten Auswertealgorithmus 12 abhängen.
Der gewählte Auswertealgorithmus 11 kann aus mehreren Auswertealgorithmen 13 einer Auswerteschicht L3 gewählt sein und beispielsweise dazu vorgesehen sein, in aufgenommenen Bildern 13 eine Kopfposition oder eine Bewegung zu erfassen. Auch bei der Auswertung kann es möglich sein, dass kameraspezifische Ergebnisdaten 14 abhängen von der jeweiligen Kameraeinheit 3 sind. Es kann vorgesehen sein, dass die kameraspezifischen Ergebnisdaten 14 in einem vorbestimmten Format al allgemeine Ergebnisdaten 21 an die Datenfusionierungseinrichtung 22 übertragen werden müssen. Damit eine Anpassung nicht in den einzelnen Auswertealgorithmen 12 erfolgen muss, kann zwischen der Auswerteschicht L3 der Auswertealgorithmen 12 und einer Datenfusionierungsschicht L5 der Datenfusionierungseinrichtung 22 eine Verallgemeinerungsschicht L4 angeordnet sein, welche dazu eingerichtet sein kann, die kameraspezifischen Ergebnisdaten 14 nach den vorbestimmten Verallgemeinerungsverfahren 20 in allgemeine Ergebnisdaten 21 zu konvertieren und der Datenfusionierungseinrichtung 22 bereitzustellen.
Es kann vorgesehen sein, dass die allgemeinen Ergebnisdaten 21 in der Datenfusionierungsschicht L5 an eine Datenfusionierungseinrichtung 22 zur Durchführung des vorbestimmten Datenfusionsverfahrens 23 weitergegeben werden.
Die Steuereinrichtung 5 des Fahrzeuginnenraumüberwachungssystems 2 im Fahrzeug 1 kann sich per Softwarekonfiguration an die Kameraeinheiten 3 anpassen, die im Fahrzeuginnenraum angeordnet sind. Dazu meldet jede der Kameraeinheiten 3 der Steuereinrichtung 5 die Kameraparameter 7, 25 die für die Auswertung der Bilder 13 der jeweiligen Kameraeinheit 3 zur Erzeugung kameraspezifischer Ergebnisdaten 14 relevant sind. Die Kameraparameter 7, 25 können technisch unabänderbare Kameraparameter 7 wie ein jeweiliges vertikales und horizontales Sichtfeld, eine Auflösung, eine Anzahl der gelieferten Bilder 13 pro Sekunde, eine Lage im Fahrzeuginnenraum, RGB/IR-Fähigkeit umfassen. Die Kameraparameter 7, 25 können auch anpassbare Kameraparameter 7 wie eine Anzahl der Beleuchtungsstufen, einen einstellbaren Bildausschnitt umfassen.
Das Fahrzeuginnenraumüberwachungssystem 2 verfügt über Kamerakonfigurationen 18 der verfügbaren Kameraeinheiten 3. Die Kameraeinheiten 3 können eine auf einen Fahrer gerichtete Kameraeinheit 3, eine zentral ausgerichtete Kameraeinheit 3 sowie weitere Kameraeinheiten 3 umfassen. Die Kamerakonfigurationen 18 beschreiben die Fähigkeiten und Eigenschaften der jeweiligen Kameraeinheiten 3. Dadurch ist die Steuereinrichtung 5 dazu eingerichtet, basierend auf den Kamerakonfigurationen 18 zu entscheiden, welche Auswertungsalgorithmen 12 für die von den jeweiligen Kameraeinheiten 3 stammenden Bilder 13 angewandt werden. Durch die Kamerakonfigurationen 18 kann vorgegeben sein, welche Gewichtungswerte 27 den allgemeinen Ergebnisdaten 21 der jeweiligen Kameraeinheiten 3 bei einer Datenfusion zugewiesen sein soll. Die Kamerakonfigurationen 18 können vorgeben wie die kameraspezifischen Ergebnisdaten 14 in allgemeine Ergebnisdaten 21 übersetzt werden.
Durch das Fahrzeuginnenraumüberwachungssystem 2 wird eine Softwarearchitektur bereitgestellt, welche Anpassungsschichten zwischen den Kameraeinheiten 3 und der Datenfusionierungseinrichtung 22 umfasst. Die Kamera-Hardware-Abstraktionsschicht ist eine Schnittstelle zwischen den Softwaremodulen für die Anpassungsalgorithmen und den jeweiligen Kameratreibern 6. Ihre Aufgabe besteht darin, die von den Softwaremodulen für die Anpassungsalgorithmen 16, 17 bereitgestellten allgemeinen Steuerungsbefehle 15 in die durch die Kameratreiber 6 geforderten kameraspezifischen Steuerungsbefehle 8 gemäß der Kamerakonfiguration 18 der jeweiligen Kameraeinheit 3 nach einem vorbestimmten Konvertierungsverfahren 19 zu konvertieren.
Die Anpassungsschicht enthält die Softwaremodule der Anpassungsalgorithmen, welche die Aufgabe haben, die anpassbaren Kameraparameter 7 der jeweiligen Kameraeinheiten 3 mittels der allgemeinen Steuerbefehle 15 anzupassen, um das Bild 13 für die Computerbildverarbeitung gemäß der Bildvorgabe 9, 10 des gewählten Auswertealgorithmus 12 zu optimieren. Die Implementierung der Softwaremodule der Anpassungsalgorithmen 16, 17 zur Ausgabe der allgemeinen Steuerbefehle 15, welche unabhängig von den jeweiligen Kameraeinheiten 3 und den Kameratreibern 6 sind, ermöglicht ein standardisiertes Maß an Kontrolle über die verschiedenen von unterschiedlichen Kameratreibern 6 bereitgestellten Optionen. Dadurch, dass die allgemeinen Steuerbefehle 15 unabhängig von den jeweiligen Kameraeinheiten 3 und den Kameratreibern 6 sind, ist es nicht erforderlich, die Anpassungsalgorithmen 16, 17 an die jeweiligen Kameraeinheiten 3 und den Kameratreiber 6 anzupassen. Die anpassbaren Kameraparameter 7 können beispielsweise durch die allgemeinen Steuerbefehle 15 zur Beleuchtungsanpassung oder zur Kalibrierung geändert werden. Dies ermöglicht es, die Kameraeinheit 3 und/oder den Kameratreibern 6 zu ändern, während die Fähigkeit der Anpassungsalgorithmen 16, 17 zur Anpassung der anpassbaren Kameraparameter 7 der jeweiligen Kameraeinheiten 3 erhalten bleibt Die Abstimmung an die jeweiligen Kameraeinheiten 3 und den Kameratreibern 6 erfolgt durch die Konvertierungsalgorithmen der Kamera-Hardware-Abstraktionsschicht, welche die allgemeinen Steuerbefehle 15 gemäß der jeweiligen Kamerakonfiguration 18 in die jeweiligen kameraspezifischen Steuerbefehle 8 konvertieren.
Die Auswertealgorithmen 11, 12 werten das von den Kameraeinheiten 3 empfangene Bild 13 aus und geben als kameraspezifische Ergebnisdaten 14 beispielsweise eine Kopfposition eines Fahrers oder einen Augenöffnungszustand des Fahrers aus. Abhängig von den festgelegten technischen Kameraparametern 7, 25 der Kameraeinheiten 3 entscheidet das Wahrnehmungssystem, welcher der Auswertealgorithmen 11, 12 als ausgewählter Auswertealgorithmus 11 zur Auswertung der jeweiligen Bild 13 verwendet werden soll und welcher Gewichtungswert 27 den allgemeinen Ergebnisdaten 21 der jeweiligen Kameraeinheit 3 für das durch die Datenfusionierungseinrichtung 22 durchgeführte Datenfusionsverfahren 23 zugeteilt werden soll.
Die Anpassungsschicht ist eine Schnittstelle zwischen der Auswerteschicht und der Fusionierungsschicht. Ihre Aufgabe ist es, die kameraspezifischen Ergebnisdaten 14 in den allgemeine Ergebnisdaten 21 zu übersetzen, um eine Interpretation des Ergebnisses des Auswertealgorithmus 11 zu ermöglichen, welches nicht von den Kameraparametern 7, 25 der jeweiligen Kameraeinheit 3 abhängen.
4 zeigt eine schematische Darstellung eines Ablaufs eines Verfahrens zum Betreiben eines Fahrzeuginnenraumüberwachungssystems 2.
Durch die Steuereinrichtung 5 kann der zumindest eine allgemeine Steuerbefehl 15 zur Einstellung des anpassbaren Kameraparameters 7 der Kameraeinheit 3 gemäß der Bildvorgabe 9, 10 des gewählten Auswertealgorithmus 12 nach dem vorbestimmten Anpassungsalgorithmus 16, 17 generiert werden S1. Der allgemeine Steuerbefehl 15 kann in Abhängigkeit von der in der Steuereinrichtung 5 gespeicherten Kamerakonfiguration 18 der Kameraeinheit 3 nach dem vorbestimmten Konvertierungsverfahren 19 in den kameraspezifischen Steuerbefehl 8, 15 konvertiert werden S2.
Durch die Steuereinrichtung 5 kann der anpassbare Kameraparameter 7 der Kameraeinheit 3 mittels des zumindest einen kameraspezifischen Steuerbefehls 8 in der Kameraeinheit 3 eingestellt werden, um eine Bildaufnahme zur Aufnahme zumindest eines Bildes 13 durch die Kameraeinheit 3 gemäß einer Bildvorgabe 9, 10 eines gewählten Auswertealgorithmus 12 anzupassen S3.
Durch die Kameraeinheit 3 kann das zumindest eine Bild 13 gemäß des zumindest einen eingestellten anpassbaren Kameraparameters 7 aufgenommen und an die Steuereinrichtung 5 gesandt werden S4.
Durch die Steuereinrichtung 5 kann das zumindest eine durch die Kameraeinheit 3 aufgenommene Bild 13 empfangen und nach dem gewählten Auswertealgorithmus 12 ausgewertet werden, wobei ein Ergebnis der Auswertung als kameraspezifisches Ergebnisdatum 14 ausgegeben werden kann S5.
Durch die Steuereinrichtung 5 kann das kameraspezifische Ergebnisdatum 14 in Abhängigkeit von der in der Steuereinrichtung 5 gespeicherten Kamerakonfiguration 18 der Kameraeinheit 3 nach dem vorbestimmten Verallgemeinerungsverfahren 20 in das allgemeine Ergebnisdatum 21 konvertiert werden. Durch die Steuereinrichtung 5 kann das allgemeine Ergebnisdatum 21 der Kameraeinheit 3 einer Datenfusionierungseinrichtung 22 bereitgestellt werden S6.
Abhängig vom verfügbaren Platz im Fahrzeugcockpit, dem Preissegment, in dem das Fahrzeugmodell konkurriert, den gesetzlichen Vorschriften und Normen für verschiedene geografische Märkte, den Designprinzipien, denen eine bestimmte Marke folgt, der Tatsache, dass in den nächsten 10-15 Jahren neue Fahrzeugmodelle entwickelt werden, die der gleichen Architektur folgen, obwohl sich die optischen und computergestützten Technologien weiterentwickeln, und weiteren Einflussfaktoren muss sich der Kamerasensorsatz ständig ändern. Die Lösung für die wachsende Sensorvariabilität besteht darin, eine visuelle Wahrnehmung zu entwickeln, die sich an die verfügbaren Sensoren anpassen kann und die technischen Grenzen für die Sensoren beschreibt, um mit der Architektur kompatibel zu bleiben
Insgesamt zeigen die Beispiele, wie eine Lösung für eine wachsende Sensorvariabilität bereitgestellt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2020161610 A2 [0006]
US 20200143560 A1 [0006]

Claims

Verfahren zum Betreiben eines Fahrzeuginnenraumüberwachungssystems (2), umfassend zumindest eine Kameraeinheit (3), wobei durch eine Steuereinrichtung (5) - ein anpassbarer Kameraparameter (7) der Kameraeinheit (3) mittels zumindest eines kameraspezifischen Steuerbefehls (8) in der Kameraeinheit (3) eingestellt wird, um eine Bildaufnahme zur Aufnahme zumindest eines Bildes (13) durch die Kameraeinheit (3) gemäß einer Bildvorgabe (9, 10) eines Auswertealgorithmus (12) anzupassen, - das zumindest eine durch die Kameraeinheit (3) aufgenommene Bild (13) empfangen und nach dem Auswertealgorithmus (12) ausgewertet wird, wobei ein Ergebnis der Auswertung als kameraspezifisches Ergebnisdatum (14) ausgegeben wird, dadurch gekennzeichnet, dass durch die Steuereinrichtung (5) - zumindest ein allgemeiner Steuerbefehl (15) zur Einstellung des anpassbaren Kameraparameters (7) der Kameraeinheit (3) gemäß der Bildvorgabe (9, 10) des gewählten Auswertealgorithmus (12) nach einem vorbestimmten Anpassungsalgorithmus (16, 17) generiert wird, - der allgemeine Steuerbefehl (15) in Abhängigkeit von einer in der Steuereinrichtung (5) gespeicherten Kamerakonfiguration (18) der Kameraeinheit (3) nach einem vorbestimmten Konvertierungsverfahren (19) in den kameraspezifischen Steuerbefehl (8) konvertiert wird, - das kameraspezifische Ergebnisdatum (14) in Abhängigkeit von der in der Steuereinrichtung (5) gespeicherten Kamerakonfiguration (18) der Kameraeinheit (3) nach einem vorbestimmten Verallgemeinerungsverfahren (20) in ein allgemeines Ergebnisdatum (14, 21) konvertiert wird, und - das allgemeine Ergebnisdatum (21) der Kameraeinheit (3) einer Datenfusionierungseinrichtung (22) bereitgestellt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Fahrzeuginnenraumüberwachungssystem (2) zumindest zwei Kameraeinheiten (3) umfasst.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der gewählte Auswertealgorithmus (12) in Abhängigkeit von der Kamerakonfiguration (18) ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweiligen allgemeinen Ergebnisdaten (21) der zumindest zwei Kameraeinheiten (3) durch die Datenfusionierungseinrichtung (22) nach einem vorbestimmten Datenfusionsverfahren (23) zu einem Fusionsdatum (24) zusammengefasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Kameraparameter (7, 25) der Kameraeinheit (3) durch die Steuereinrichtung (5) aus der Kameraeinheit (3) abgerufen und in der Kamerakonfiguration (18) gespeichert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerakonfiguration (18) eine Lage (26) der jeweiligen Kameraeinheit (3) in dem Fahrzeuginnenraum umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den jeweiligen allgemeinen Ergebnisdaten (21) der zumindest zwei Kameraeinheiten (3) in Abhängigkeit von den jeweiligen Kamerakonfigurationen (18) durch die Steuereinrichtung (5) jeweilige Gewichtungswerte (27) zugewiesen werden. - die Gewichtungswerte (27) zusammen mit den allgemeinen Ergebnisdaten (21) der Datenfusionierungseinrichtung (22) durch die Steuereinrichtung (5) bereitgestellt werden, - die allgemeinen Ergebnisdaten (21) in Abhängigkeit von den jeweiligen Gewichtungswerten (27) durch die Datenfusionierungseinrichtung (22) nach dem vorbestimmten Datenfusionsverfahren (23) zu dem Fusionsdatum (24) zusammengefasst werden.
Steuereinrichtung (5) für ein Fahrzeuginnenraumüberwachungssystem (2), wobei die Steuereinrichtung (5) dazu eingerichtet ist, - einen anpassbaren Kameraparameter (7) zumindest einer Kameraeinheit (3) des Fahrzeuginnenraumüberwachungssystems (2) mittels zumindest eines kameraspezifischen Steuerbefehls (8) in der Kameraeinheit (3) einzustellen, um eine Bildaufnahme zur Aufnahme zumindest eines Bildes (13) durch die Kameraeinheit (3) gemäß einer Bildvorgabe (9, 10) eines gewählten Auswertealgorithmus (12) anzupassen, - das zumindest eine durch die Kameraeinheit (3) aufgenommene Bild (13) zu empfangen und nach dem gewählten Auswertealgorithmus (12) auszuwerten, und ein Ergebnis der Auswertung als kameraspezifisches Ergebnisdatum (14) auszugeben, dadurch gekennzeichnet, dass die Steuereinrichtung (5) dazu eingerichtet ist, - zumindest einen allgemeinen Steuerbefehl (15) zur Einstellung des anpassbaren Kameraparameters (7) der Kameraeinheit (3) gemäß der Bildvorgabe (9, 10) des gewählten Auswertealgorithmus (12) nach einem vorbestimmten Anpassungsalgorithmus (16, 17) zu generieren, - den allgemeinen Steuerbefehl (15) in Abhängigkeit von einer in der Steuereinrichtung (5) gespeicherten Kamerakonfiguration (18) der Kameraeinheit (3) nach einem vorbestimmten Konvertierungsverfahren (19) in den kameraspezifischen Steuerbefehl (8) zu konvertieren, - das kameraspezifische Ergebnisdatum (14) in Abhängigkeit von der in der Steuereinrichtung (5) gespeicherten Kamerakonfiguration (18) der Kameraeinheit (3) nach einem vorbestimmten Verallgemeinerungsverfahren (20) in ein allgemeines Ergebnisdatum (21) zu konvertieren, und - das allgemeine Ergebnisdatum (21) der Kameraeinheit (3) einer Datenfusionierungseinrichtung (22) bereitzustellen.
Fahrzeuginnenraumüberwachungssystem (2), umfassend eine Steuereinrichtung (5) nach Anspruch 8.
Fahrzeug (1) umfassend ein Fahrzeuginnenraumüberwachungssystem (2) nach Anspruch 9.