DE102020209613A1

DE102020209613A1 - Verfahren und Vorrichtung zum Bestimmen einer Lageänderung einer an einem verstellbaren Element eines Fahrzeugs befestigten Bilderfassungseinrichtung und System

Info

Publication number: DE102020209613A1
Application number: DE102020209613.9A
Authority: DE
Inventors: Hoang Trinh
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2022-02-03

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Lageänderung einer an einem verstellbaren Element (102) eines Fahrzeugs (100) befestigten Bilderfassungseinrichtung (104) in Bezug zu einem Fahrzeugkoordinatensystem. Das Verfahren umfasst ein Einlesen eines Zustandssignals, das einen Zustand des verstellbaren Elements (102) anzeigt und ein Bestimmen eines Änderungssignals (118) zum Ändern eines bestehenden Lagewerts, der eine bestehende Lage der Bilderfassungseinrichtung (104) in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert, in einen aktuellen Lagewert, der eine aktuelle Lage der Bilderfassungseinrichtung (104) in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert, unter Verwendung des Zustandssignals.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus.
Bilderfassungseinrichtungen werden in Fahrzeugen beispielsweise zur Beobachtung des Fahrers eingesetzt.
Die DE 10 2015 107 678 A1 beschreibt ein Verfahren zum Korrigieren der Kalibrierung einer Mehrzahl von Kameras auf einer mobilen Plattform, wie beispielsweise in einem Surround-View-Kamerasystem an einem Fahrzeug.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren und eine Vorrichtung zum Bestimmen einer Lageänderung einer an einem verstellbaren Element eines Fahrzeugs befestigten Bilderfassungseinrichtung und ein System gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Eine Verstellung des verstellbaren Elements, an dem die Bilderfassungseinrichtung befestigt ist, bewirkt eine Verstellung zwischen einem Koordinatensystem der Bilderfassungseinrichtung und einem Koordinatensystem des Fahrzeugs. Wenn die Verstellung des verstellbaren Elements erkannt wird oder bekannt ist, lässt sich beispielsweise eine Transformationsvorschrift zum Transformieren zwischen den Koordinatensystemen der Bilderfassungseinrichtung und des Fahrzeugs anpassen.
Ein Verfahren zum Bestimmen einer Lageänderung einer an einem verstellbaren Element eines Fahrzeugs befestigten Bilderfassungseinrichtung in Bezug zu einem Fahrzeugkoordinatensystem umfasst die folgenden Schritte:

Einlesen eines Zustandssignals, das einen Zustand des verstellbaren Elements anzeigt; und

Bestimmen eines Änderungssignals zum Ändern eines bestehenden Lagewerts, der eine bestehende Lage der Bilderfassungseinrichtung in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert, in einen aktuellen Lagewert, der eine aktuelle Lage der Bilderfassungseinrichtung in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert, unter Verwendung des Zustandssignals.
Bei der Bilderfassungseinrichtung kann es sich um eine Innenraumkamera des Fahrzeugs handeln. Beispielsweise kann die Bilderfassungseinrichtung ausgebildet sein, um Licht im sichtbaren Bereich oder im Infrarotbereich zu erfassen. Bei dem Fahrzeug kann es sich um einen Personenkraftwagen oder ein Fahrzeug zur Personenbeförderung handeln. Das verstellbare Element kann in einem Innenraum des Fahrzeugs angeordnet sein. Das verstellbare Element kann gegenüber einer Karosserie des Fahrzeugs verstellbar sein. Das Zustandssignal kann beispielsweise eine aktuell erfolgende oder eine erfolgte Verstellung des verstellbaren Elements oder eine aktuelle Stellung des verstellbaren Elements anzeigen. Die Lage der Bilderfassungseinrichtung kann eine Ausrichtung des Koordinatensystems der Bilderfassungseinrichtung in Bezug zu dem Fahrzeugkoordinatensystem definieren. Das Koordinatensystem der Bilderfassungseinrichtung kann beispielsweise an einer optischen Achse der Bilderfassungseinrichtung ausgerichtet sein. Die bestehende Lage der Bilderfassungseinrichtung kann sich durch eine Verstellung des verstellbaren Elements in die aktuelle Lage verändern. Der Lagewert kann geeignet sein, um eine Transformation zwischen den Koordinatensystemen der Bilderfassungseinrichtung und des Fahrzeugs durchzuführen oder es kann eine entsprechende Transformationsvorschrift unter Verwendung des Lagewerts bestimmt werden. Der Lagewert kann zumindest einen Parameter einer entsprechenden Transformationsvorschrift repräsentieren. Das Zustandssignal kann anzeigen, dass eine Änderung des Lagewerts erforderlich ist, beispielsweise eine Verstellung des verstellbaren Elements angezeigt oder erkannt wurde. Das Änderungssignal kann eine entsprechende Änderung des Lagewerts bewirken. Dabei kann das Zustandssignal verwendet werden, um die Bestimmung des Änderungssignals anzustoßen oder es kann eine von dem Zustandssignal übertragene Information zur Bestimmung des Änderungssignals verwendet werden. Der aktuelle Lagewert kann in einem Schritt des Transformierens verwendet werden, um ein von der Bilderfassungseinrichtung in einem Koordinatensystem der Bilderfassungseinrichtung erfasstes Bild in ein auf das Fahrzeugkoordinatensystem bezogenes Bild zu transformieren, das beispielsweise von einem Assistenzsystem des Fahrzeugs weiterverwendet werden kann.
Beispielsweise kann das Zustandssignal den Zustand des verstellbaren Elements in Form einer Lenksäule des Fahrzeugs anzeigen. Die Lenksäule eignet sich, das der Fahrer ausgehend von der Lenksäule von vorne abgebildet werden kann. Alternativ kann es sich bei dem verstellbaren Element um ein anderes bewegliches Teil handeln, das beispielsweise im Innenraum eines Fahrzeugs angeordnet ist oder anordenbar ist. Beispielsweise kann es sich bei dem verstellbaren Element auch um eine bewegliche Sonnenschutzblende oder ein Rückspiegel handeln.
Gemäß einer Ausführungsform kann das Zustandssignal eine Verstellung des verstellbaren Elements anzeigen. Dabei kann es sich um eine aktuell erfolgende oder bereits erfolgte Verstellung handeln. Somit kann das Zustandssignal anzeigen, dass sich die Lage der Bilderfassungseinrichtung aufgrund der Verstellung des verstellbaren Elements verändert hat.
Das Verfahren kann einen Schritt des Detektierens der Verstellung des verstellbaren Elements umfassen. Das Detektieren kann beispielsweise unter Verwendung einer geeigneten Sensorik oder durch Auswerten zumindest eines Bilds der Bilderfassungseinrichtung erfolgen. Ferner kann das Verfahren einen Schritt des Anforderns einer Eingabe des Zustandssignals über eine Benutzerschnittstelle durch einen Benutzer umfassen. Bei dem Benutzer kann es sich um den Fahrer des Fahrzeugs handeln. Dadurch kann beispielsweise das Detektieren der Verstellung verifiziert werden oder eine Information über nach der Verstellung vorliegende aktuelle Stellung des verstellbaren Elements eingelesen werden.
In einem Schritt des Erfassens kann ein Verstellwert erfasst werden, der eine Größe der Verstellung repräsentieren kann. Die Größe kann beispielsweise eine Strecke einer linearen Verstellung und/oder ein Winkel einer Drehung des verstellbaren Elements repräsentieren. Das Änderungssignal kann unter Verwendung des Verstellwerts bestimmt werden. Auf diese Weise kann die Änderung der Lage der Bilderfassungseinrichtung sehr genau bestimmt werden.
Das Verfahren kann einen Schritt des Einlesens eines Sensorsignals umfassen. Das Sensorsignal kann beispielsweise ein Signal einer in der Bilderfassungseinrichtung integrierten Inertialsensorik oder ein Signal eines mit dem verstellbaren Element gekoppelten Wegsensor repräsentieren. Vorteilhafterweise können das Zustandssignal und zusätzlich oder alternativ das Änderungssignals unter Verwendung des Sensorsignals sehr genau bestimmt werden. Gemäß einer Ausführungsform stellt das Sensorsignal bereits das Zustandssignal dar.
Das Verfahren kann einen Schritt des Ausgebens eines Sperrsignals zum Sperren einer Verstellung des verstellbaren Elements umfassen. Das Sperrsignal kann ansprechend auf ein Fahrsignal ausgegeben werden, das einen Fahrzustand des Fahrzeugs anzeigt. Dadurch kann eine Verstellung des verstellbaren Elements während einer Fahrt des Fahrzeugs verhindert werden, da eine Verstellung des verstellbaren Elements während eines Stillstand des Fahrzeugs sicherer erkannt werden kann.
Das Änderungssignal kann unter Verwendung eines Stellungssignals bestimmt werden, das eine Stellung des verstellbaren Elements repräsentiert. Unter Kenntnis der Stellung kann die aktuelle Lage der Bilderfassungseinrichtung sehr genau bestimmt werden, da sich mit der Zeit aufsummierende Nachführungsfehler vermieden werden.
Das Verfahren kann einen Schritt des Auslesens des Stellungssignals aus einer Speichereinrichtung umfassen. Auf diese Weise kann auf vorbestimmte Daten zurückgegriffen werden. Beispielsweise kann das Stellungssignal für eine bestimmte Stellung des verstellbaren Elements Daten bezüglich einer dieser Stellung zugeordneten Lage der Bilderfassungseinrichtung umfassen. Beispielsweise kann das Stellungssignal Daten umfassen, aus denen der dieser Stellung zugeordnete Lagewert bestimmt werden kann oder das Stellungssignal kann den entsprechenden Lagewert anzeigen.
Beispielsweise kann das Stellungssignal unter Verwendung eines Identifikationssignals ausgelesen werden, das eine Identifikation eines Fahrers des Fahrzeugs repräsentiert. Dies ist beispielsweise sinnvoll, wenn für unterschiedliche Fahrer unterschiedliche bevorzugte Stellungen des verstellbaren Elements gespeichert sind. Beispielsweise kann zumindest ein Bilds der Bilderfassungseinrichtung ausgewertet werden, um das Identifikationssignal zu ermitteln. Auf diese Weise kann der Fahrer sicher identifiziert werden.
Zusätzlich oder alternativ kann das Stellungssignal unter Verwendung eines Kalibriersignals ausgelesen werden, das eine Kalibrierung der Bilderfassungseinrichtung repräsentiert. Dies ist beispielsweise vorteilhaft, wenn bei der Kalibrierung das verstellbare Element bei der Kalibrierung in eine vorbestimmte Stellung gebracht wird.
Gemäß einer Ausführungsform kann das Kalibriersignal über eine Benutzerschnittstelle eingelesen werden. Dadurch kann der Benutzer eine angestoßene oder erfolgte Kalibrierung anzeigen.
Dabei kann das Verfahren einen Schritt des Startens eines Zählers ansprechend auf das Kalibriersignal umfassen. Ferner kann eine erneute Kalibrierung ansprechend auf ein Erreichen eines vorbestimmten Zählerwerts des Zählers angefordert werden. Dadurch kann der Benutzer beispielsweise in vorbestimmten Zeitabständen an eine erforderliche Kalibrierung erinnert werden.
Gemäß einer Ausführungsform kann das Zustandssignal eine Änderung einer Kopfpose des Fahrers berücksichtigen. Beispielsweise kann das Zustandssignal unter Verwendung eines Kopfposensignals bestimmt werden, das eine Änderung einer Kopfpose des Fahrers repräsentiert. Vorteilhafterweise kann aus der Änderung der Kopfpose auf eine Verstellung des verstellbaren Elements geschlossen werden, sodass auf eine separate Sensorik zum Erfassen der Verstellung verzichtet werden kann.
Im Schritt des Bestimmens kann das Änderungssignal unter Verwendung eines eine Neigung des Fahrzeugs anzeigenden Neigungssignals und zusätzlich oder alternativ eines eine Kurvenfahrt des Fahrzeugs anzeigenden Kurvensignals bestimmt werden. Auf diese Weise kann eine Änderung des Sichtbereichs des Fahrers bei der Bestimmung des aktuellen Lagewerts berücksichtigt werden.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Ein System für ein Fahrzeug weist die folgenden Merkmale auf:

ein verstellbares Element, beispielsweise eine verstellbare Lenksäule;
eine Bilderfassungseinrichtung die an dem verstellbaren Element angeordnet ist; und
eine genannte Vorrichtung zum Bestimmen einer Lageänderung der an dem verstellbaren Element angeordneten Bilderfassungseinrichtung in Bezug zu einem Fahrzeugkoordinatensystem.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Systems für ein Fahrzeug gemäß einem Ausführungsbeispiel;
2 eine Darstellung eines verstellbaren Elements gemäß einem Ausführungsbeispiel;
3 eine Darstellung einer Bilderfassungseinrichtung gemäß einem Ausführungsbeispiel;
4 eine Darstellung einer Transformation zwischen Koordinatensystemen gemäß einem Ausführungsbeispiel;
5 eine Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel;
6 eine Darstellung von Blickfeldern eines Fahrers eines Fahrzeugs gemäß einem Ausführungsbeispiel;
7 eine Darstellung von Blickfeldern eines Fahrers bei einer ansteigenden Straße gemäß einem Ausführungsbeispiel;
8 eine Darstellung von Blickfeldern eines Fahrers bei einer abfallenden Straße gemäß einem Ausführungsbeispiel;
9 eine Darstellung von Blickfeldern eines Fahrers bei einer Rechtskurve gemäß einem Ausführungsbeispiel;
10 eine Darstellung von Blickfeldern eines Fahrers bei einer Linkskurve gemäß einem Ausführungsbeispiel;
11 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel; und
12 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Systems für ein Fahrzeug 100 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 weist ein verstellbares Element 102, hier beispielhaft eine verstellbare Lenksäule auf. An dem verstellbaren Element 102 ist eine Bilderfassungseinrichtung 104 befestigt. Eine Vorrichtung 106 ist vorgesehen, um eine Lage der an dem verstellbaren Element 102 befestigten Bilderfassungseinrichtung 104 in Bezug zu einem Fahrzeugkoordinatensystem zu bestimmen. Beispielhaft sind das verstellbare Element 102, die Bilderfassungseinrichtung 104 und die Vorrichtung 106 Teil des Systems. Bei der Bilderfassungseinrichtung 104 kann es sich um eine Kamera handeln, wie sie beispielsweise in Fahrzeugen bereits eingesetzt wird.
Optional ist in die Bilderfassungseinrichtung 104 eine Inertialsensorik 108 integriert mit den Beschleunigungen und somit Bewegungen der Bilderfassungseinrichtung 104 erfasst werden können. Ebenfalls optional ist ein Wegsensor 110 vorgesehen, der ausgebildet ist, um eine Relativbewegung zwischen dem verstellbaren Element 102 und einem ortsfesten Element 112 des Fahrzeugs 100 erfassen zu können.
Gemäß einem Ausführungsbeispiel umfasst das System eine Bildverarbeitungseinrichtung 114, die ausgebildet ist, um ein Bildsignal 116 der Bildverarbeitungseinrichtung 114 zu verarbeiten. Beispielsweise ist die Bildverarbeitungseinrichtung 114 ausgebildet, um über das Bildsignal 116 übermittelte Bilddaten unter Verwendung einer Transformationsvorschrift in ein Fahrzeugkoordinatensystem des Fahrzeugs 100 zu transformieren.
Bei einer Verstellung des verstellbaren Elements 102 ist eine Änderung der Transformationsvorschrift erforderlich. Gemäß einem Ausführungsbeispiel ist die Vorrichtung 106 ausgebildet, um ein dazu geeignetes Änderungssignal 118 bereitzustellen. Das Änderungssignal 118 ist geeignet, um einen bestehenden Lagewert, der eine bestehende Lage der Bilderfassungseinrichtung 104 in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert, in einen aktuellen Lagewert zu ändern, der eine aktuelle Lage der Bilderfassungseinrichtung 104 in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert. Beispielsweise repräsentiert der Lagewert einen Parameter der Transformationsvorschrift.
Die Vorrichtung 106 und zusätzlich oder alternativ die Bildverarbeitungseinrichtung 114 können separat zu der Bilderfassungseinrichtung 104 ausgeführt sein oder in die Bilderfassungseinrichtung 104 integriert sein.
Die Bildverarbeitungseinrichtung 114 kann beispielsweise im Zusammenhang mit Kombiinstrumenten für Fahrerbeobachtungsysteme verwendet werden.
Der beschriebene Ansatz umfasst gemäß einem Ausführungsbeispiel eine Vorrichtung und ein Verfahren zur Bestimmung der variablen Lage/Pose (Position und Orientierung) der Bildverarbeitungseinrichtung 114 in Form einer Innenraumkamera (DMC Driver Monitoring Camera) relativ zum Fahrzeugkoordinatensystem.
2 zeigt eine Darstellung eines verstellbaren Elements 102 in einem Fahrzeug 100 gemäß einem Ausführungsbeispiel. Bei dem verstellbaren Element 102 handelt es sich um eine verstellbare Lenksäule die ein Lenkrad 202 trägt.
Mit einem doppelseitigen Längspfeil ist eine mögliche Verstellung des verstellbaren Elements 102 entlang einer Längsachse angedeutet. Mit einem doppelseitigen gebogenen Pfeil ist eine mögliche Verstellung des verstellbaren Elements 102 entlang einer Kippachse angedeutet. Durch die Pfeile ist somit ein Bewegungsfreiheitsgrad vom Lenkrad 202 in axialer und tangentialer Richtung dargestellt.
Wenn eine Bilderfassungseinrichtung an dem verstellbaren Element 102 angeordnet ist, beispielsweise auf einer Oberseite des verstellbaren Elements 102 zwischen dem Lenkrad 202 und einem Armaturenbrett des Fahrzeugs 100, verändert sich durch die angedeuteten Verstellungen eine Lage der Bilderfassungseinrichtung im Fahrzeug 100. Dabei kann sich sowohl eine Position als auch eine Ausrichtung der Bilderfassungseinrichtung ändern.
3 zeigt eine Darstellung einer Bilderfassungseinrichtung 104 gemäß einem Ausführungsbeispiel. Beispielhaft ist die Bilderfassungseinrichtung 104 an einer Lenksäule befestigt. Die Bilderfassungseinrichtung 104 weist einen Erfassungsbereich auf, der durch das Lenkrad 202 hindurch auf den Fahrer des Fahrzeugs gerichtet ist.
Dargestellt ist ein dreiachsiges Koordinatensystem 304 der Bilderfassungseinrichtung 104. Je nach Verstellung des verstellbaren Elements verändert sich sowohl ein Ursprung als auch eine Ausrichtung der Achsen des Koordinatensystems 304.
Ferner ist ein trapezförmiger Einstellungsbereich zur Verstellung des Lenkrads 202 durch vier Eckpunkte X1, X2, X3, X4 dargestellt. Ferner ist eine EinbauSolllage X0 des Lenkrads 202 gezeigt, die eine Softwareposition für eine Kameralage repräsentiert.
Die Bilderfassungseinrichtung 104 ist beispielsweise teil eines Fahrerbeobachtungskamerasystems (typischerweise mit Ein- oder Zwei- bzw. Multikamerasysteme), bestehend aus Kameramodulen und aktiver Nah-Infrarotbeleuchtung (IR-Module) und einer Rechnereinheit DMC ECU.
4 zeigt eine Darstellung einer Transformation 400 zwischen dem Koordinatensystem 304 der Bilderfassungseinrichtung 104 und einem Fahrzeugkoordinatensystem 404 gemäß einem Ausführungsbeispiel. Das Koordinatensystem 304 der Bilderfassungseinrichtung 104 wird auch als Kamerakoordinatensystem CCS und das Fahrzeugkoordinatensystem 404 als VCS bezeichnet. Die Transformation 400 wird auch als $[R | t] \begin{matrix} V C S \\ c a m \end{matrix}$
beschrieben.
Gemäß einem Ausführungsbeispiel ist ein Einstellweg bzw. Einstellbereich des Lenkrads ausgehend von einer Einbausolllage X0 und nach Verstellung in eine neue Lage, auch Pose genannt (Position+Orientierung) X1. Eine mit Hilfe der Signale der Inertialsensorik, auch als Inertial Measurement Unit IMU bezeichnet, zu bestimmende Transformationsmatrix [R,t] wird benutzt die von der Bilderfassungseinrichtung 104 ermittelten Trackingsignale auf das Fahrzeugkoordinatensystem 404 zu bringen. Dabei wird eine neue Lage der Bilderfassungseinrichtung 104 beispielsweise basierend auf einer bekannten kinematischen Verkettung sowie Konstruktionsdaten bestimmt.
Die Bilderfassungseinrichtung 104 wird beispielsweise inklusive einer IR-Beleuchtung als dediziertes oder abgesetztes Modul, optional sogar mit dedizierter Rechnereinheit, mechanisch unmittelbar vor dem Kombiinstrument oder als eigenständige Baugruppe im Bereich der Instrumententafel bzw. der A-Säule oder auf der beweglichen Lenksäule hinter dem Lenkrad integriert. Bei der Anordnung auf der der beweglichen Lenksäule verändert sich die relative Kameralage gegenüber einem Fahrzeug-Referenzpunkt bzw. dem Fahrzeugkoordinatensystem (z.B. hintere mittlere Fahrzeugachse) bei Verstellung der Lenksäule.
Da die Trackingsignale (Kopfpose, Augenposition) auf Basis des Kameravideobildes durch Bildverarbeitungsalgorithmen im Kamerakoordinatensystem 304 berechnet oder geschätzt werden, müssen diese dann durch eine zuvor z.B. aus einem Kalibriervorgang berechnete Transformationsmatrix (Rotationsmatrix und Translationsvektor) in das Fahrzeugkoordinatensystem 404 überführt werden. Aufgrund der Lenkradverstellung würde die Transformationsmatrix nicht mehr stimmen und würde falsche Trackingergebnisse (z.B. Kopfpose, Augenzustand, Lidöffnung, Blickrichtung) an beispielsweise eine Fahrfunktion weiterreichen. Um dies zu vermeiden, wird die Veränderung der absoluten Lage der Bilderfassungseinrichtung 104 zum Fahrzeug gemäß einem Ausführungsbeispiel entsprechend sensiert und korrigiert bzw. nachgeführt.
Hierzu wird gemäß einem Ausführungsbeispiel eine Inertialsensorik (IMU Inertial Measurement Unit) verwendet, die in die Bilderfassungseinrichtung 104 integriert ist um die Lage der Bilderfassungseinrichtung 104 zu bestimmen. Beispielsweise umfasst die Inertialsensorik Inertialsensoren in Form von Beschleunigungssensoren und Gyro-MEMS basierenden Sensoren. Die Inertialsensorik zeichnet sich durch eine Anwendungsfall-orientierte Auswertung aus um eine robuste Performance und hohe Verfügbarkeit zu erreichen.
Des Weiteren wird gemäß einem Ausführungsbeispiel ein kombiniertes Verfahren mit Inertialsensorikkalibrierung und einer Online Kamerakalibrierung (OCAL - Online Camera Calibration) verwendet, welches vor allem die Performance des Systems erhöhen kann, sofern im Kamerasichtfeld eine fahrzeug-ortsfeste Struktur z.B. B-Säule, Türhebel usw. sichtbar ist oder wird, woraus sich eine Relativlage zum Fahrzeug-Ursprung oder Koordinatensystem 404 mittels Bildverarbeitung ermitteln lässt.
Die OCAL Bildverarbeitung kann im einfachsten Fall durch Vergleich z.B. extrahierte Merkmale der B-Säule (2 Linienpaare, die nicht koplanar zur Kameraebene liegen) mit einem zuvor gespeicherten Bild oder CAD-Daten durchgeführt werden, oder es kann ein Bild herangezogen werden, das unmittelbar gespeichert wird, bevor der Fahrer einsteigt und sich hinsetzt. Je nach Situation wird eine regelbasierte Fusion von IMU und OCAL durchgeführt um stets eine absolute Kamerakalibrierung zu erreichen. Die Wichtigkeit von IMU wird besonders bei Kabrios unterstrichen, wo z.B. die B-Säule nicht vorhanden ist und andere Fahrzeugstrukturen aufgrund Verdeckung durch den Fahrerkopf nicht sichtbar sind.
Die Sensierung über die Inertialsensorik ermöglicht eine Bestimmung der Kamerapose also der 3D Position und zwei Rotationen, wenn die Lenkradverstellung (elektro-)mechanisch verstellt wird. Die Lenkradverstellung erlaubt eine Einstellung in eine axiale Richtung und eine Rotation der Lenksäule also Rotation zur Fahrzeug-Lateralen (Querrichtung), womit 2 Freiheitsgrade DOF (Degree of Freedom) vorliegen und sich ein Ebenenproblem darstellt, das durch eine 5 DOF Sensierung komplett abgedeckt werden kann.
Des Weiteren wird gemäß einem Ausführungsbeispiel ein kombiniertes Verfahren mit IMU- und einer Online Kamerakalibrierung (OCAL - Online Camera Calibration) verwendet, welches vor allem die Performance des Systems erhöhen kann, sofern im Kamerasichtfeld fahrzeug-ortfeste Strukturen z.B. B-Säule, Türhebel usw. sichtbar sind, woraus sich eine Relativlage zum Fahrzeugursprung oder Koordinatensystem 404 mittels Bildverarbeitung ermitteln lässt. Wenn im Fahrzeug keine markanten Strukturen vorhanden sind, so kann eine Integration von mehreren IR-Marker erfolgen. Somit lässt sich das Kabrioscenario abdecken. Die OCAL Bildverarbeitung kann im einfachsten Fall eine Änderung der Lage der Bilderfassungseinrichtung 104 durch einen Vergleich bestimmen, in dem z.B. extrahierter Merkmale der B-Säule (2 Linienpaare, die nicht koplanar zur Kameraebene liegen) mit einem zuvor gespeicherten Bild oder mit 3D/2D CAD-Daten oder mit einem Bild verglichen werden, das unmittelbar gespeichert wurde, bevor der Fahrer einsteigt und sich hinsetzt.
Je nach Situation wird eine regelbasierte Fusion durch klare Unterscheidung von Modi „Fahrzeug steht“ gegenüber „Fahrzeug bewegt“ von IMU und OCAL durchgeführt um stets eine absolute Kamerakalibrierung zu erreichen.
Im „Fahrzeug steht“ Modus, also bei einem Stillstand des Fahrzeugs wird eine mögliche Lenkradverstellung detektiert um ausgehend von einer vorher bekannten Kamerapose X0 (z.B. Soll-Einbaulage bzw. Konstruktionslage) auf die neue Pose X1 zu ändern. Dies geschieht gemäß einem Ausführungsbeispiel durch eine Bestimmung einer Transformationsmatrix [Rotationsmatrix R und Translationsvektor t], z.B. durch zweifache Integration von Rohsignalen der Inertialsensorik:
NewCameraPose = TransformationMatrix.Reference/LastCameraPose $X 1' = T * X 0 [R,t] * X 0, mit R = f (x,z, φ)$
$\iint a_{x} dt dt = x, \iint a_{z} dt dt = z, \int ω dt = φ$
Dabei repräsentiert „NewCameraPose“ die aktuelle Lage der Bilderfassungseinrichtung 104 nach einer Durchgeführten Verstellung und „LastCameraPose“ die bestehende Lage der Bilderfassungseinrichtung vor der Verstellung 104.
Ein Verfahren zur Nachführung mittels Signalen der Inertialsensorik bei Lenkradverstellung wird gemäß einem Ausführungsbeispiel folgendermaßen durchgeführt:

Zum Zeitpunkt t0 ist X=X0 gleich der Einbaulage z.B. typischerweise in der Produktion. Danach wird nach Detektion einer Verstellung die Relativlage bestimmt um die neue Lage nachzuführen, d.h. das Kamerakoordinatensystem 304 ändert sich bzgl. des Fahrzeugkoordinatensystems 404.

t 0 : X = X 0

\begin{array}{l} t 1 : X 1' = T 1 * X 0 \\ t2 : X2' = T2 * X1' \\ \dots \\ Xn' = T (tn) * T (tn - 1) * \dots * T (t 1) * X 0 \end{array}

Dabei ist zu berücksichtigen, dass sich durch die inkrementellen Nachführung der Lage einzelne Fehler sukzessiv mit jeder Änderung aufaddieren. Über die Zeit kann eine akzeptable Schwelle überschritten werden und somit eine Korrektur erforderlich werden. D.h. die nachgeführte Lage Xn' wird sich bei jeder Lenkradverstellung zunehmend vom wahren Wert Xn entfernen Xn' <> Xn. Daher ist es notwendig nach dieser Zeitschwelle die Inertialsensorik wieder auszunullen oder zu kalibrieren.
Eine personalisierte Lenkradverstellung wird gemäß einem Ausführungsbeispiel folgendermaßen durchgeführt:

Im Falle einer Fahreridentifikation, z.B. mittels der Bilderfassungseinrichtung 104 und einer videobasierten Personenerkennung, kann eine vom Fahrer zuvor eingestellte Lenkradposition abgerufen, beispielsweise aus einer Speichereinrichtung ausgelesen, werden und die Lenkradposition kann automatisch eingestellt werden um dann anschließend die Kamerapose X0(fahrerspezifisch) zu aktualisieren um die Trackingsignale an den Fahrzeug-Bus rauszuschicken.

Ein Verfahren zur Kalibrierung bzw. Ausnullen der Inertialsensorik wird gemäß einem Ausführungsbeispiel folgendermaßen durchgeführt:

Während der Produktion wird X0 in der Linie eingestellt oder als Wert in der Rechnereinheit ECU oder der Bilderfassungseinrichtung 104 gespeichert. Dies kann ebenfalls durch Einstellen von fahrzeugspezifischen entsprechenden CAD-Daten automatisch erfolgen.

Während des Betriebs wird die Abweichung Xn' <> Xn nach einer zuvor ermittelten maximalen Zeitschwelle als groß signalisiert. Beispielsweise wird nach Überschreiten dieser Zeitschwelle das die Bilderfassungseinrichtung 104 umfassende System den Fahrer auffordern, eine Kalibrierung durchzuführen. Dies geschieht in dem der Fahrer die Anweisung einer Benutzerschnittstelle (HMI) befolgt und die X0 Lenkradposition, z.B. Lenkrad ganz oben einstellt. Nach einer Bestätigung über die Benutzerschnittstelle wird Xn' -> X0 wieder auf X0 gesetzt und die Funktion der Nachführung kann wieder von neuen starten.
Gemäß einem Ausführungsbeispiel ist eine optionale Benutzerschnittstelle für eine Bestätigung einer Änderung der Verstellung des Lenkrads vorgesehen:

Dabei kann eine optionale Meldung der Benutzerschnittstelle den Fahrer auffordern im Falle einer Detektion eine Änderung des Lenkrads zu bestätigen. Dies kann auch so gestaltet werden, dass für eine nicht ganz eindeutige Detektion diese Aufforderung erfolgt, ansonsten aber für die Fälle ausbleibt, in denen die Detektion mit einer entsprechenden Güte erfolgt ist.

Gemäß einem Ausführungsbeispiel wird ein Verstellen des Lenkrads während der Fahrt festgestellt und nachgeführt bzw. vermieden:

Dabei ist ein generelles Verbieten des manuellen Verstellens des Lenkrads durch den Fahrer schwer möglich. Daher wird beispielsweise eine mechanische oder elektrische oder elektromechanische Verriegelung der Lenkradverstellung vorgesehen, wenn sich das Fahrzeug, beispielsweise ein Auto, bewegt. Die Verriegelung wird erst im Stillstand wieder freigegeben. Somit wird sichergestellt, dass die Bilderfassungseinrichtung 104 nur im Stillstand des Fahrzeugs bewegt wird und somit durch die integrierte Inertialsensorik die Bewegung der Lenkradverstellung sicher erfasst und das Kamerakoordinatensystem 304 zum Fahrzeugkoordinatensystem 404 korrekt aktualisiert wird. Bei einer elektrischen Verstellung kann dies ggfs. in der Software-Ansteuerung durch Modifikation bestehender Module geschehen.

Eine andere Möglichkeit besteht darin sogenannte IMU2-Signale einer weiteren Inertialsensorik IMU2, z.B. integriert in einem ESP-Steuergerät zur Bestimmung der Fahrzeug-Dynamik, zu benutzen, um die überlagerten Bewegung aus Fahrzeug und Lenkradverstellung, die von den IMU-Signalen der Bilderfassungseinrichtung 104 erfasst werden, herausgefiltert werden. Die Filterung kann im einfachsten Fall von einer Subtraktion bis hin zu einer komplexen Filterung mittels Kalman-Filter erfolgen. Dies setzt aber voraus, dass eine solche weitere Inertialsensorik im Fahrzeug auch vorhanden ist. Vor allem ist dies in vielen Fällen sinnvoll, in denen sich das Fahrzeug auf einem nicht ebenen Fahrgrund befindet, wodurch die Schwerkraft bzw. die Normalkraft der schrägen Ebene mit im Sensorsignal miterfasst wird. Mittels der weiteren Inertialsensorik IMU2 kann dieser Einfluss entsprechend herausgerechnet werden und nur der bei Lenkradverstellung auftretende Bewegung sensiert werden.
Eine Plausibilisierung der IMU-Signale der Inertialsensorik kann über andere Zusatz-Sensoriken erfolgen, z.B. IMU2 von Airbag-ECU oder Fahrdynamik/ESP-ECU oder durch eine Frontkamera bzw. Umgebungssensorik, die die Fahrzeug-Dynamik erfasst bzw. den Fahrbahngrund erfasst. Weitere Vorteile ergeben sich gemäß einem Ausführungsbeispiel aus einer Fusionierung der Signale der Inertialsensorik der Bilderfassungseinrichtung 104 und der weiteren Inertialsensorik, z.B. lassen sich damit auch die IMU-Signale der Inertialsensorik der Bilderfassungseinrichtung 104 hinsichtlich zeitlicher Drift kompensieren. Damit lässt sich über den genannten Sensoriken eine „Rauschen-Filterung bzw. Offset-Filterung“ anstellen, so dass nur Lenkradbewegung von der Inertialsensorik der Bilderfassungseinrichtung 104 erfasst werden und die Fahrzeugbewegung ausgeblendet wird.
Optional kann eine elektrische Verstellung des Lenkrads über integrierte Wegsensoren in der Lenksäule an die Bilderfassungseinrichtung 104, z.B. über einen Fahrzeug-Bus wie eine CAN-Schnittstelle, signalisiert oder mitgeteilt werden, um die Nachführung zu bestimmen.
Um eine manuelle Lenkradverstellung zu detektieren, liegt ein Ansatz gemäß einem Ausführungsbeispiel darin, die Kinematik der Lenkradbewegung in Bezug auf mögliche Kopfposenänderungen (3D Trajektorie, Dynamik: Geschwindigkeit und Beschleunigung) des Fahrers zu korrelieren. D.h. es wird zwischen einer realen Kopfbewegung und/oder einer Lenkradverstellung unterschieden und in der Kinematik die Kameraposenänderung von dem Zeitpunkt tx auf den nächsten Zeitpunkt ty zurückgeschlossen. Da aber das Lenkrad in einer axialen Richtung und in Querrichtung verstellen lässt (2 Freiheitsgrade) und der Kopf sich theoretisch in sechs Freiheitsgraden bewegen kann, werden gemäß einem Ausführungsbeispiel über einen Ansatz des maschinellen Lernens, beispielsweise einer Deep Learning Methode, mögliche Bewegungsmuster angelernt um eine Lenkradverstellung zu detektieren. Dies kann unter brute-force Methoden geschehen d.h. möglichst viele Fahrer würden die für sie typische Einstellung im Stillstand bzw. während der Fahrt vornehmen und als Trainingsdaten für z.B. ein Convolution Neural Network CNN anlernen.
Nach erfolgreichem Lernen kann die Software automatisch Bewegungsmuster zuordnen. Die zu einer Änderung der Kopfpose führende Kopfbewegung kann unter Verwendung einer geeigneten Sensorik oder Bildauswertung erfasst und durch ein Kopfposensignal abgebildet werden. Gemäß einem Ausführungsbeispiel wird das Zustandssignal unter Verwendung einer geeigneten Zuordnungsvorschrift, die beispielsweise die genannten angelernten Bewegungsmuster berücksichtigt, aus dem Kopfposensignal bestimmt werden.
5 zeigt eine Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel. Neben dem Lenkrad 202 und der Bilderfassungseinrichtung 104 sind fixe Fahrzeugstrukturen, wie beispielsweise die B-Säule 520, der Dachhimmel 522 und die Rückscheibenkontur 534 dargestellt, die als videobasierte Merkmale zur Bestimmung der absoluten bzw. extrinsischen Kamerakalibrierung relativ zum Fahrzeugkoordinatensystem, z.B. hintere, mittlere Fahrzeugachse herangezogen werden. Je nach Freiheitsgrad der beweglichen Bilderfassungseinrichtung 104, z.B. drei Freiheitsgrade, müssen hinreichend viele Punkte oder Linien, z.B. > 3, im Kamerabild der Bilderfassungseinrichtung 104 sichtbar und detektiert werden.
6 zeigt eine Darstellung von Blickfeldern 600 eines Fahrers eines Fahrzeugs gemäß einem Ausführungsbeispiel. Die Blickfelder 600 werden auch als Blicksektoren, Blickzonen oder Sichtziele bezeichnet, und stellen eine Annäherung eines dreidimensionalen Fahrzeugmodells dar. Beispielsweise umfassen die Blickfelder 600 eine linke Hälfte der Frontscheibe, ein Kombiinstrument, ein Innenspiegel, usw. um das Blickverhalten des Fahrers zu bestimmen und z.B. auf visuelle Ablenkung zu schließen.
Gemäß einem Ausführungsbeispiel erfolgt eine Adaptierung einer sogenannten „Viewing Targets“ Funktion der Bilderfassungseinrichtung 104, bei der Ziele betrachtet werden bei bergab und bergauf Fahrt.
Im „Fahrzeug bewegt“ Modus, der z.B. durch eine Geschwindigkeitsschwelle > 0 km/h gekennzeichnet ist, werden gemäß einem Ausführungsbeispiel IMU Signale der Inertialsensorik verwendet um im manuellen Fahrmodus als Trigger das geänderte Blickverhalten des Fahrers anzupassen. So schaut der Fahrer höher bei bergauf und niedriger bei bergab Fahrt. Entsprechend „bergauf“ bzw. „bergab“ ist die Bilderfassungseinrichtung 104 ausgebildet, die Funktionen bezüglich einer Achtungszone, einer sogenannten „Attention Zone“, Betrachtungszonen, sogenannten „Gaze Zones“ sowie Zielblicken, sogenannten „Viewing Targets“ zu konditionieren bzw. zu parametrieren. D.h. bei „bergauf“ wird die „Gaze Zone“ für den frontalen Sichtbereich linker Hälfte der Frontscheibe, welche im Wesentliche eine Klassifikation „Eyes-on-road“ modelliert, entsprechend der Schräge bzw. Bergkuppe angepasst also nach oben verschoben um eine fehlerhafte Zuordnung als „Eyes-off-road“ Klassifikation vorzubeugen, wie es in 7 dargestellt ist. Umgekehrt ist das „Eyes-onroad“ nach unten anzupassen, wenn das Fahrzeug einen Berghang herunterfährt, wie es in 8 dargestellt ist. Ebenfalls lässt sich z.B. „Eyes-on-road“ z.B. in Kurven entweder nach links bei Linkskurve bzw. nach rechts bei Rechtskurven anpassen, wie es in den 9 und 10 dargestellt ist.
7 zeigt eine Darstellung von Blickfeldern eines Fahrers bei einer ansteigenden Straße gemäß einem Ausführungsbeispiel. Im Unterschied zu der Darstellung in 6 sind zwei Blickfelder 700 nach oben verschoben.
8 zeigt eine Darstellung von Blickfeldern eines Fahrers bei einer abfallenden Straße gemäß einem Ausführungsbeispiel. Im Unterschied zu der Darstellung in 6 sind zwei Blickfelder 800 nach unten verschoben.
9 zeigt eine Darstellung von Blickfeldern eines Fahrers bei einer Rechtskurve gemäß einem Ausführungsbeispiel. Im Unterschied zu der Darstellung in 6 sind zwei Blickfelder 900 nach rechts verschoben.
10 zeigt eine Darstellung von Blickfeldern eines Fahrers bei einer Linkskurve gemäß einem Ausführungsbeispiel. Im Unterschied zu der Darstellung in 6 sind zwei Blickfelder 1000 nach links verschoben.
11 zeigt ein Blockschaltbild einer Vorrichtung 106 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die anhand von 1 beschriebene Vorrichtung handeln.
Die Vorrichtung 106 umfasst eine Bestimmungseinrichtung 1101, die ausgebildet ist, um unter Verwendung eines Zustandssignals 1103 ein Änderungssignal 118 zu bestimmen. Das Änderungssignal 118 ist geeignet, um einen bestehenden Lagewert, der eine bestehende Lage der Bilderfassungseinrichtung 104 in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert, in einen aktuellen Lagewert zu ändern, der eine aktuelle Lage der Bilderfassungseinrichtung 104 in Bezug zu dem Fahrzeugkoordinatensystem repräsentiert. Dazu wird das Zustandssignal 1103 über eine geeignete Schnittstelle eingelesen. Das Zustandssignal 1103 zeigt beispielsweise einen aktuellen Zustand wie eine aktuelle Positionierung des verstellbaren Elements oder eine aktuelle Verstellung des verstellbaren Elements an, an dem die Bilderfassungseinrichtung 104 befestigt ist.
Gemäß unterschiedlichen Ausführungsbeispielen wird das Zustandssignal 1103 beispielsweise von einer Benutzerschnittstelle 1105, der Bildverarbeitungseinrichtung 114 oder einer Sensorik, wie der Inertialsensorik 108 oder dem Wegsensor 110 eingelesen. Die Bildverarbeitungseinrichtung 114 ist ausgebildet, um ein Bildsignal 116 der Bilderfassungseinrichtung 104 auszuwerten. Optional ist die In 11 ist eine Eingabe des Zustandssignals 1103 durch einen Benutzer, beispielsweise dem Fahrer des Fahrzeugs, über die Benutzerschnittstelle 1105 dargestellt. Beispielsweise ist die Vorrichtung 106 ausgebildet, um eine Verstellung des verstellbaren Elements unter Verwendung der Inertialsensorik 108 oder des Wegsensors 110 zu detektieren oder angezeigt zu bekommen und ausgebildet, um das die Eingabe des Zustandssignals 1103 über die Benutzerschnittstelle 1105 anzufordern.
Optional wird das Zustandssignal 1103 zunächst unter Verwendung eines Sensorsignals, beispielsweise der Inertialsensorik 108 oder des Wegsensors 110, bestimmt. Eine entsprechende Bestimmung des Zustandssignals 1103 kann von der Bestimmungseinrichtung 1101 durchgeführt werden.
Gemäß einem Ausführungsbeispiel repräsentiert das Zustandssignal 1103 eine Änderung einer Kopfpose des Fahrers. Eine solche Änderung kann beispielsweise unter Verwendung der Bildverarbeitungseinrichtung 114 erfasst werden, und ein die Änderung repräsentierender Wert kann über ein von der Bildverarbeitungseinrichtung 114 ausgegebenes Zustandssignal 1103 an die Bestimmungseinrichtung 1101 bereitgestellt und zur Bestimmung des Änderungssignals 118 verwendet werden.
Gemäß einem Ausführungsbeispiel sind beispielsweise die Inertialsensorik 108 oder der Wegsensor 110 ausgebildet, um eine Größe, beispielsweise einen Strecke und/oder einen Winkel, der Verstellung des verstellbaren Elements zu erfassen und einen die Verstellung repräsentierenden Verstellwert 1107 bereitzustellen. Beispielhaft wird der Verstellwert 1107 von dem Wegsensor 110 bereitgestellt. Die Bestimmungseinrichtung 1101 ist ausgebildet, das Änderungssignal 118 unter Verwendung des Verstellwerts 1107 zu bestimmen. Optional ist die Bildverarbeitungseinrichtung 114 ausgebildet, um einen entsprechenden Verstellwert 1107 zu ermitteln.
Gemäß einem Ausführungsbeispiel weist die Vorrichtung 106 eine Sperreinrichtung 1109 auf, die ausgebildet ist, um ansprechend auf ein Fahrsignal 1111 ein Sperrsignal 1113 auszugeben. Das Sperrsignal 1113 ist ausgebildet, um eine Verstellung des verstellbaren Elements zu sperren. Das Fahrsignal 1111 zeigt dabei an, dass sich das Fahrzeug bewegt. Dadurch kann verhindert werden, dass der Fahrer das verstellbare Element während der Fahrt des Fahrzeugs verstellt. Das Fahrsignal 1111 wird beispielsweise von einer Steuereinrichtung 1115 bereitgestellt. Gemäß einem Ausführungsbeispiel ist die Steuereinrichtung 1115 ausgebildet, um ein Neigungssignal 1117 auszugeben, das eine Neigung des Fahrzeugs anzeigt und/oder ein Kurvensignal 1119 auszugeben, das eine Kurvenfahrt des Fahrzeugs, beispielsweise eine Rechtskurve oder eine Linkskurve, anzeigt. Das Neigungssignal 1117 und/oder das Kurvensignal 1119 werden optional von der Bestimmungseinrichtung 1101 verwendet, um das Änderungssignal 118 zu bestimmen.
Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 1101 ausgebildet, um das Änderungssignal 118 unter Verwendung eines Stellungssignals 1121 zu bestimmen, das eine Stellung des verstellbaren Elements repräsentiert. Das Stellungssignal 1121 wird beispielsweise von der Benutzerschnittstelle 1105 eingelesen. Dadurch kann der Benutzer unter Verwendung des Stellungssignals 1121 anzeigen, dass sich das verstellbare Element aktuell in einer bestimmten Stellung befindet. Gemäß dem gezeigten Ausführungsbeispiel ist die Bestimmungseinrichtung 1101 ausgebildet, um das Stellungssignal 1121 aus einer Speichereinrichtung 1123 auszulesen. Beispielsweise ist die Bestimmungseinrichtung 1101 ausgebildet, das Stellungssignal 1121 unter Verwendung eines Identifikationssignals 1125 auszulesen, das eine Identifikation des Fahrers repräsentiert. Somit kann eine einem speziellen Fahrer zugeordnete und gespeicherte Stellung des verstellbaren Elements ausgelesen und zur Bestimmung des Änderungssignals 118 verwendet werden. Beispielhaft wird das Identifikationssignal 1125 von der Bildverarbeitungseinrichtung 114 bereitgestellt.
Zusätzlich oder alternativ ist die Bestimmungseinrichtung 1101 ausgebildet, das Stellungssignal 1121 unter Verwendung eines Kalibriersignals 1127 auszulesen, das eine Kalibrierung der Bilderfassungseinrichtung 104 repräsentiert. Somit kann eine der Kalibrierung zugeordnete gespeicherte Stellung des verstellbaren Elements ausgelesen und zur Bestimmung des Änderungssignals 118 verwendet werden. Beispielhaft wird das Kalibriersignal 1127 von der Bildverarbeitungseinrichtung 114 bereitgestellt.
Optional wird ansprechend auf eine durchgeführte Kalibrierung, beispielsweise ansprechend auf das Kalibriersignal 1127 ein Zähler 1129 gestartet. Wenn der Zähler 1129 einen vorbestimmten Zählerwert erreicht, der beispielsweise einer vorbestimmten Betriebszeit der Bilderfassungseinrichtung 104 zugeordnet ist, wird beispielsweise eine erneute Kalibrierung angefordert, beispielsweise über eine entsprechende Ausgabe über die Benutzerschnittstelle 1105ansprechend auf ein Erreichen eines vorbestimmten Zählerwerts des Zählers.
12 zeigt ein Ablaufdiagramm eines Verfahrens zum Bestimmen einer Lageänderung einer an einem verstellbaren Element eines Fahrzeugs befestigten Bilderfassungseinrichtung gemäß einem Ausführungsbeispiel. Das Verfahren kann beispielsweise unter Verwendung von Einrichtungen der anhand von 11 beschriebenen Vorrichtung ausgeführt werden.
In einem Schritt 1201 wird ein Zustandssignal eingelesen, das einen Zustand des verstellbaren Elements anzeigt. Unter Verwendung des Zustandssignals wird in einem Schritt 1203 ein Änderungssignal bestimmt, durch das ein bestehender Lagewert, der eine bestehende, also vorangegangene Lage der Bilderfassungseinrichtung, definiert, in einen aktuellen Lagewert geändert werden kann, der eine aktuelle Lage der Bilderfassungseinrichtung definiert.
Optional wird zunächst in einem Schritt 1205 die Verstellung des verstellbaren Elements detektiert. Anschließend wird optional in einem Schritt 1207 eine Eingabe des Zustandssignals über eine Benutzerschnittstelle angefordert.
Gemäß einem Ausführungsbeispiel wird in einem Schritt 1209 ein Verstellwert erfasst, der eine Größe der Verstellung repräsentiert. Der Verstellwert kann im Schritt 1203 zum Bestimmen des Änderungssignals verwendet werden.
Zusätzlich oder alternativ wird in einem Schritt 1211 ein Sensorsignal eingelesen, das ein Signal einer in der Bilderfassungseinrichtung integrierten Inertialsensorik oder ein Signal eines mit dem verstellbaren Element gekoppelten Wegsensor repräsentiert. Das Sensorsignal kann im Schritt 1203 zum Bestimmen des Änderungssignals verwendet werden. Auch kann das Zustandssignal unter Verwendung des Sensorsignals bestimmt werden.
Optional umfasst das Verfahren einen Schritt 1213 in dem ein Sperrsignal zum Sperren einer Verstellung des verstellbaren Elements ansprechend auf ein Fahrsignal ausgegeben wird.
Gemäß einem Ausführungsbeispiel wird im Schritt 1203 das Änderungssignal unter Verwendung eines Stellungssignals bestimmt, das beispielsweise in einem Schritt 1215 aus einer Speichereinrichtung unter Verwendung eines Identifikationssignals oder eines Kalibriersignals ausgelesen wird. Optional wird in einem Schritt 1217 ein Bild der Bilderfassungseinrichtung ausgewertet, um das Identifikationssignal zu bestimmen, das eine Identifikation des Fahrers repräsentiert oder es wird in einem Schritt 1219 das Kalibriersignal über eine Benutzerschnittstelle eingelesen. Optional wird ansprechend auf das Kalibriersignal in einem Schritt 1221 ein Zähler gestartet und einem Schritt 1223 eine erneute Kalibrierung angefordert, wenn der Zähler einen vorbestimmten Zählerwert erreicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015107678 A1 [0003]

Claims

Verfahren zum Bestimmen einer Lageänderung einer an einem verstellbaren Element (102) eines Fahrzeugs (100) befestigten Bilderfassungseinrichtung (104) in Bezug zu einem Fahrzeugkoordinatensystem (404), wobei das Verfahren die folgenden Schritte umfasst: Einlesen (1201) eines Zustandssignals (1103), das einen Zustand des verstellbaren Elements (102) anzeigt; und Bestimmen (1203) eines Änderungssignals (118) zum Ändern eines bestehenden Lagewerts, der eine bestehende Lage der Bilderfassungseinrichtung (104) in Bezug zu dem Fahrzeugkoordinatensystem (404) repräsentiert, in einen aktuellen Lagewert, der eine aktuelle Lage der Bilderfassungseinrichtung (104) in Bezug zu dem Fahrzeugkoordinatensystem (404) repräsentiert, unter Verwendung des Zustandssignals (1103).
Verfahren gemäß Anspruch 1, bei dem das Zustandssignal (1103) den Zustand des verstellbaren Elements (102) in Form einer Lenksäule des Fahrzeugs (100) anzeigt.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem das Zustandssignal (1103) eine Verstellung des verstellbaren Elements (102) anzeigt.
Verfahren gemäß Anspruch 3, mit einem Schritt (1205) des Detektierens der Verstellung und einem Schritt (1207) des Anforderns einer Eingabe des Zustandssignals (1103) über eine Benutzerschnittstelle (1105) durch einen Benutzer.
Verfahren gemäß Anspruch 3 oder 4, mit einem Schritt (1209) des Erfassens eines eine Größe der Verstellung repräsentierenden Verstellwerts (1107), wobei im Schritt des Bestimmens das Änderungssignal (118) unter Verwendung des Verstellwerts (1107) bestimmt wird.
Verfahren gemäß einem der Ansprüche 3 bis 5, mit einem Schritt (1211) des Einlesens eines Sensorsignals, das ein Signal einer in der Bilderfassungseinrichtung (104) integrierten Inertialsensorik (108) oder ein Signal eines mit dem verstellbaren Element (102) gekoppelten Wegsensors (110) repräsentiert, wobei das Zustandssignals (1103) oder das Änderungssignals (118) unter Verwendung des Sensorsignals bestimmt werden.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (1213) des Ausgebens eines Sperrsignals (1113) zum Sperren einer Verstellung des verstellbaren Elements (102) ansprechend auf ein Fahrsignal (1111), das einen Fahrzustand des Fahrzeugs (100) anzeigt.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (1203) des Bestimmens das Änderungssignal (118) unter Verwendung eines Stellungssignals (1121) bestimmt wird, das eine Stellung des verstellbaren Elements (102) repräsentiert.
Verfahren gemäß Anspruch 8, mit einem Schritt (1215) des Auslesens des Stellungssignals (1121) aus einer Speichereinrichtung (1123) unter Verwendung eines Identifikationssignals (1125), das eine Identifikation eines Fahrers des Fahrzeugs (100) repräsentiert oder eines Kalibriersignals (1127), das eine Kalibrierung der Bilderfassungseinrichtung (104) repräsentiert.
Verfahren gemäß Anspruch 9, mit einem Schritt (1217) des Auswertens eines Bilds der Bilderfassungseinrichtung (104), um das Identifikationssignal (1125) zu ermitteln.
Verfahren gemäß Anspruch 9 oder 10, bei dem das Kalibriersignal (1127) über eine Benutzerschnittstelle (1105) eingelesen wird, und mit einem Schritt (1221) des Startens eines Zählers (1129) ansprechend auf das Kalibriersignal (1127) und einem Schritt (1223) des Anforderns einer erneuten Kalibrierung ansprechend auf ein Erreichen eines vorbestimmten Zählerwerts des Zählers (1129).
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem das Zustandssignal (1103) eine Änderung einer Kopfpose des Fahrers berücksichtigt.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (1203) des Bestimmens das Änderungssignal (118) unter Verwendung eines eine Neigung des Fahrzeugs (100) anzeigenden Neigungssignals (1117) und/oder eines eine Kurvenfahrt des Fahrzeugs (100) anzeigenden Kurvensignals (1119) bestimmt wird.
Vorrichtung (106) zum Bestimmen einer Lageänderung einer an einem verstellbaren Element (102) eines Fahrzeugs (100) befestigten Bilderfassungseinrichtung (104) in Bezug zu einem Fahrzeugkoordinatensystem (404), wobei die Vorrichtung (106) eingerichtet ist, um die Schritte des Verfahrens gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen und/oder anzusteuern.
System für ein Fahrzeug, wobei das System die folgenden Merkmale aufweist: ein verstellbares Element (102), beispielsweise in Form einer verstellbaren Lenksäule; eine Bilderfassungseinrichtung (104) die an dem verstellbaren Element (102) angeordnet ist; und eine Vorrichtung (106) gemäß Anspruch 14 zum Bestimmen einer Lageänderung der an dem verstellbaren Element (102) angeordneten Bilderfassungseinrichtung (104) in Bezug zu einem Fahrzeugkoordinatensystem (404).