DE102022106797B3 - Method for automatically adjusting at least one rear-view mirror of a motor vehicle - Google Patents

Method for automatically adjusting at least one rear-view mirror of a motor vehicle Download PDF

Info

Publication number
DE102022106797B3
DE102022106797B3 DE102022106797.1A DE102022106797A DE102022106797B3 DE 102022106797 B3 DE102022106797 B3 DE 102022106797B3 DE 102022106797 A DE102022106797 A DE 102022106797A DE 102022106797 B3 DE102022106797 B3 DE 102022106797B3
Authority
DE
Germany
Prior art keywords
mirror
motor vehicle
driver
reference point
view mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102022106797.1A
Other languages
German (de)
Inventor
Satiyabooshan Murugaboopathy
David Bethge
Philipp Wolters
Philipp Hallgarten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102022106797.1A priority Critical patent/DE102022106797B3/en
Application granted granted Critical
Publication of DE102022106797B3 publication Critical patent/DE102022106797B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs, umfassend die Schritte- Erfassen von Blickdaten der Augen eines Fahrers des Kraftfahrzeugs mittels einer Kameraeinrichtung,- Erfassen der Sitzposition des Fahrers auf dem Fahrersitz des Kraftfahrzeugs,- Abschätzen der Augenpositionen des Fahrers mithilfe eines maschinellen Lernmodells, welches auf einen Zusammenhang zwischen Blickdaten, Sitzpositionen und Augenpositionen trainiert ist und die erfassten Blickdaten sowie die erfasste Sitzposition als Eingangsgrößen erhält und daraus die abgeschätzten Augenpositionen als Ausgangsgrößen berechnet,- Berechnen eines ersten Referenzpunktes aus den mittels des maschinellen Lernmodells abgeschätzten Augenpositionen,- Bestimmen eines zweiten Referenzpunktes für die optimale Ausrichtung des Rückspiegels,- Berechnen der Winkeländerungen des Rückspiegels mit dem ersten Referenzpunkt und dem zweiten Referenzpunkt als Eingangsvariablen und- Erzeugen von Stellgrößen, die mit den berechneten Winkeländerungen korrespondieren und zu einer elektromechanischen Verstelleinrichtung des Rückspiegels übertragen werden, mittels derer der Rückspiegel eingestellt wird.The invention relates to a method for automatically adjusting at least one rear-view mirror of a motor vehicle, comprising the steps of detecting eye data from the eyes of a driver of the motor vehicle using a camera device, detecting the driver's seating position on the driver's seat of the motor vehicle, estimating the driver's eye positions using a machine learning model, which is trained on a connection between gaze data, seat positions and eye positions and receives the recorded gaze data and the recorded seat position as input variables and uses them to calculate the estimated eye positions as output variables,- calculating a first reference point from the eye positions estimated using the machine learning model, - determining a second reference point for the optimal alignment of the rear-view mirror, - calculating the changes in angle of the rear-view mirror using the first reference point and the second reference point as input variables, and - generating manipulated variables which correspond to the calculated changes in angle and are transmitted to an electromechanical adjusting device of the rear-view mirror, by means of which the rear-view mirror is adjusted.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs.The present invention relates to a method for automatically adjusting at least one rear-view mirror of a motor vehicle.

Ein Kraftfahrzeug ist typischerweise mit mehreren Rückspiegeln ausgestattet, um dem Fahrer während des Fahrbetriebs eine gute Sicht nach hinten sowie seitlich nach hinten zu ermöglichen. Bei diesen Rückspiegeln handelt es sich einerseits um einen Innenspiegel, der im Fahrzeuginnenraum angeordnet ist und im Gebrauch üblicherweise in Richtung einer Heckscheibe des Kraftfahrzeugs ausgerichtet wird, sowie andererseits um einen oder mehrere Außenspiegel (Seitenspiegel), die im Außenbereich des Kraftfahrzeugs angeordnet sind. Häufig sind Kraftfahrzeuge mit zwei Außenspiegeln ausgestattet, wobei einer dieser beiden Außenspiegel auf einer linken Fahrzeugseite und der andere der beiden Außenspiegel auf einer rechten Fahrzeugseite angeordnet ist. Idealerweise werden die Rückspiegel so eingestellt, dass sich für den Fahrer eine zumindest nahezu lückenlose Sicht nach hinten sowie seitlich nach hinten ergibt.A motor vehicle is typically equipped with a plurality of rear-view mirrors in order to enable the driver to have a good view to the rear and to the side while driving. These rear-view mirrors are, on the one hand, an interior mirror that is arranged in the vehicle interior and is usually aligned in the direction of a rear window of the motor vehicle during use, and, on the other hand, one or more exterior mirrors (side mirrors) that are arranged on the outside of the motor vehicle. Motor vehicles are often equipped with two outside mirrors, one of these two outside mirrors being arranged on a left-hand side of the vehicle and the other of the two outside mirrors being arranged on a right-hand side of the vehicle. Ideally, the rear-view mirrors are adjusted in such a way that the driver has at least an almost uninterrupted view to the rear and to the side to the rear.

In der Praxis stellt sich das Problem, dass die Positionen der einzelnen Rückspiegel des Kraftfahrzeugs fahrerindividuell, insbesondere in Abhängigkeit von der Körpergröße und der Sitzposition des Fahrers, eingestellt werden müssen, um dem Fahrer eine möglichst optimale Sicht nach hinten sowie seitlich nach hinten zu ermöglichen. Die Einstellung des Innenspiegels erfolgt dabei in der Regel manuell, wohingegen für die Verstellung der Außenspiegel häufig elektromechanische Verstelleinrichtungen verwendet werden. Da die Rückspiegel des Kraftfahrzeugs in der Regel um eine horizontale und um eine vertikale Achse schwenkbar sind, ergeben sich mehrere Verstellfreiheitsgrade, um die Winkelpositionen zu verändern. Daher ist die Einstellung der Rückspiegel häufig relativ aufwändig und zeitintensiv und kann zudem den Fahrer während der Fahrt vom eigentlichen Fahrgeschehen ablenken.In practice, the problem arises that the positions of the individual rearview mirrors of the motor vehicle have to be adjusted individually for the driver, in particular depending on the body size and the seating position of the driver, in order to enable the driver to have the best possible view to the rear and to the side to the rear. The interior mirror is usually adjusted manually, whereas electromechanical adjustment devices are often used to adjust the exterior mirrors. Since the rear-view mirrors of the motor vehicle can generally be pivoted about a horizontal and a vertical axis, there are several degrees of freedom of adjustment in order to change the angular positions. Adjusting the rear-view mirror is therefore often relatively complex and time-consuming and can also distract the driver from what is actually happening on the road while driving.

Aus dem Stand der Technik sind daher bereits einige technische Ansätze bekannt, mittels derer die Einstellung der Rückspiegel eines Kraftfahrzeugs automatisiert vorgenommen werden kann. Die US 2021/0229601 A1 offenbart ein Kraftfahrzeug mit einem automatisch einstellbaren Außenspiegel beziehungsweise Innenspiegel, wobei der betreffende Spiegel in Abhängigkeit von einem Sichtfeld des Fahrers eingestellt wird.A number of technical approaches are therefore already known from the prior art, by means of which the rear-view mirror of a motor vehicle can be adjusted automatically. The US 2021/0229601 A1 discloses a motor vehicle with an automatically adjustable exterior mirror or interior mirror, the relevant mirror being adjusted as a function of the driver's field of vision.

Die DE 10 2019 132 460 A1 offenbart ein Kraftfahrzeug mit automatisch einstellbarem Außen- und Innenspiegel, wobei diese Spiegel in Abhängigkeit von der Augenposition des Fahrers verstellt werden. Dabei dienen für den Innenspiegel die gesamte Heckscheibe und für den Außenspiegel das Hinterrad des Kraftfahrzeugs als Referenz.The DE 10 2019 132 460 A1 discloses a motor vehicle with automatically adjustable exterior and interior mirrors, these mirrors being adjusted as a function of the driver's eye position. The entire rear window serves as a reference for the interior mirror and the rear wheel of the motor vehicle for the exterior mirror.

Aus der US 2010 / 0 080 416 A1 ist ein Verfahren bekannt, welches die Augenposition eines Fahrers mittels Kamera und abhängig hiervon eine Winkeländerung eines Außenspiegels berechnet.A method is known from US 2010/0 080 416 A1, which uses a camera to calculate the eye position of a driver and, depending on this, a change in the angle of an exterior mirror.

Die DE 10 2015 119 871 A1 beschreibt ein Verfahren zum Berteiben eines Kamerasystems zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mittels einer Kamera und einer Anzeigeeinheit. Hierbei erfasst die Kamera mit einem Objektdetektionsverfahren einen Türgriff.The DE 10 2015 119 871 A1 describes a method for operating a camera system for capturing an area surrounding a motor vehicle using a camera and a display unit. The camera uses an object detection method to capture a door handle.

Die Erfindung macht es sich zur Aufgabe, ein Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs mit weiter verbesserten Eigenschaften zur Verfügung zu stellen.The object of the invention is to provide a method for automatically adjusting at least one rear-view mirror of a motor vehicle with further improved properties.

Diese Aufgabe wird durch ein Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1 gelöst. Die Unteransprüche betreffen vorteilhafte Weiterbildungen der Erfindung.This object is achieved by a method for automatically adjusting at least one rear-view mirror of a motor vehicle with the features of claim 1. The dependent claims relate to advantageous developments of the invention.

Ein erfindungsgemäßes Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs umfasst die Schritte

  • - Erfassen von Blickdaten der Augen eines Fahrers des Kraftfahrzeugs mittels einer Kameraeinrichtung,
  • - Erfassen der Sitzposition des Fahrers auf dem Fahrersitz des Kraftfahrzeugs,
  • - Abschätzen der Augenpositionen des Fahrers mithilfe eines maschinellen Lernmodells, welches auf einen Zusammenhang zwischen Blickdaten, Sitzpositionen und Augenpositionen trainiert ist und die erfassten Blickdaten sowie die erfasste Sitzposition als Eingangsgrößen erhält und daraus die abgeschätzten Augenpositionen als Ausgangsgrößen berechnet,
  • - Berechnen eines ersten Referenzpunktes aus den mittels des maschinellen Lernmodells abgeschätzten Augenpositionen,
  • - Bestimmen eines zweiten Referenzpunktes für die optimale Ausrichtung des Rückspiegels,
  • - Berechnen der Winkeländerungen des Rückspiegels mit dem ersten Referenzpunkt und dem zweiten Referenzpunkt als Eingangsvariablen und
  • - Erzeugen von Stellgrößen, die mit den berechneten Winkeländerungen korrespondieren und zu einer elektromechanischen Verstelleinrichtung des Rückspiegels übertragen werden, mittels derer der Rückspiegel eingestellt wird, wobei mittels des Verfahrens zumindest ein Außenspiegel des Kraftfahrzeugs eingestellt wird und der zweite Referenzpunkt für die optimale Ausrichtung des zumindest einen Außenspiegels derart gesetzt wird, dass für den Fahrer nach der Einstellung des Außenspiegels in einer inneren, unteren Ecke des Außenspiegels der hinterste Türgriff auf der betreffenden Fahrzeugseite, an der der Außenspiegel angeordnet ist, sichtbar ist und die Position des hintersten Türgriffs als 2D-Position mittels eines Objektdetektionsmodells bestimmt wird, das als Computer-Vision-Verfahren implementiert ist.
A method according to the invention for automatically adjusting at least one rear-view mirror of a motor vehicle comprises the steps
  • - Acquisition of gaze data of the eyes of a driver of the motor vehicle by means of a camera device,
  • - detecting the seating position of the driver in the driver's seat of the motor vehicle,
  • - Estimation of the driver's eye positions using a machine learning model, which is trained on a connection between gaze data, seat positions and eye positions and receives the recorded gaze data and the recorded seat position as input variables and uses them to calculate the estimated eye positions as output variables,
  • - Calculation of a first reference point from the eye positions estimated by means of the machine learning model,
  • - Determination of a second reference point for the optimal alignment of the rear-view mirror,
  • - Calculate the angular changes of the rearview mirror with the first reference point and the second reference point as input variables and
  • - Generation of manipulated variables that correspond to the calculated changes in angle and are transmitted to an electromechanical adjusting device of the rear-view mirror, by means of which the rear-view mirror is adjusted, At least one exterior mirror of the motor vehicle is adjusted by means of the method and the second reference point for the optimal alignment of the at least one exterior mirror is set in such a way that, after the exterior mirror has been adjusted, the rearmost door handle for the driver is in an inner, lower corner of the exterior mirror Vehicle side, on which the exterior mirror is arranged, is visible and the position of the rearmost door handle is determined as a 2D position using an object detection model that is implemented as a computer vision method.

Das erfindungsgemäße Verfahren ermöglicht eine automatische, gegenüber dem Stand der Technik weiter verbesserte Einstellung des zumindest einen Rückspiegels eines Kraftfahrzeugs in Abhängigkeit von den Augenpositionen des Fahrers durch Verwendung einer Methode des maschinellen Lernens. Dabei werden die Augenpositionen des Fahrers aus dem mittels der Kameraeinrichtung erfassten Blickverlauf sowie aus der Sitzposition des Fahrers durch die Verwendung des trainierten maschinellen Lernmodells abgeschätzt und in der anspruchsgemäßen Weise weiterverarbeitet, indem aus den abgeschätzten Augenpositionen der erste Referenzpunkt berechnet wird, der zusammen mit dem zweiten Referenzpunkt die Eingangsvariablen für die Berechnung der Winkeländerungen des betreffenden Rückspiegels bildet. Vorzugsweise ist der mittels des erfindungsgemäßen Verfahrens einstellbare Rückspiegel so ausgebildet, dass er um eine horizontale und um eine vertikale Schwenkachse verschwenkt werden kann. Diese Schwenkbewegungen werden mittels der elektromechanischen Verstelleinrichtung gesteuert.The method according to the invention enables automatic adjustment of the at least one rear-view mirror of a motor vehicle, which is further improved compared to the prior art, as a function of the driver's eye positions by using a machine learning method. The eye positions of the driver are estimated from the gaze track recorded by the camera device and from the driver's seat position by using the trained machine learning model and further processed in the manner claimed by the first reference point being calculated from the estimated eye positions, which together with the second Reference point forms the input variables for the calculation of the angle changes of the relevant rear-view mirror. The rearview mirror that can be adjusted by means of the method according to the invention is preferably designed in such a way that it can be pivoted about a horizontal and a vertical pivot axis. These pivoting movements are controlled by the electromechanical adjustment device.

Vorzugsweise wird als erster Referenzpunkt der Mittelpunkt zwischen den abgeschätzten Augenpositionen berechnet.The center point between the estimated eye positions is preferably calculated as the first reference point.

Mit dem Verfahren wird zumindest ein Außenspiegel des Kraftfahrzeugs eingestellt, wobei der zweite Referenzpunkt für die optimale Ausrichtung des zumindest einen Außenspiegels vorzugsweise derart gesetzt wird, dass für den Fahrer nach der Einstellung des Außenspiegels in einer inneren, unteren Ecke des Außenspiegels der hinterste Türgriff auf der betreffenden Fahrzeugseite, an der der Außenspiegel angeordnet ist, sichtbar ist. Der Außenspiegel kann auf der linken Seite oder auf der rechten Seite des Kraftfahrzeugs angeordnet sein. Wenn das Kraftfahrzeug mit zwei Außenspiegeln ausgestattet ist, können beide Außenspiegel mittels des hier vorgestellten Verfahrens eingestellt werden.The method is used to adjust at least one exterior mirror of the motor vehicle, with the second reference point for optimal alignment of the at least one exterior mirror preferably being set in such a way that, after the exterior mirror has been adjusted, the rearmost door handle for the driver is in an inner, lower corner of the exterior mirror relevant side of the vehicle on which the exterior mirror is arranged is visible. The outside mirror can be arranged on the left-hand side or on the right-hand side of the motor vehicle. If the motor vehicle is equipped with two exterior mirrors, both exterior mirrors can be adjusted using the method presented here.

Hierbei wird vorgeschlagen, dass die Position des hintersten Türgriffs als 2D-Position mittels eines Objektdetektionsmodells bestimmt wird, das als Computer-Vision-Verfahren implementiert ist.Here it is proposed that the position of the rearmost door handle is determined as a 2D position using an object detection model that is implemented as a computer vision method.

In einer bevorzugten Ausführungsform wird mittels des Verfahrens ein Innenspiegel des Kraftfahrzeugs eingestellt, wobei der zweite Referenzpunkt für die optimale Ausrichtung des Innenspiegels vorzugsweise derart gesetzt wird, dass nach der Einstellung des Rückspiegels der Flächenschwerpunkt einer Heckscheibe des Kraftfahrzeugs dem Flächenschwerpunkt des Sichtfelds des Innenspiegels entspricht.In a preferred embodiment, an interior mirror of the motor vehicle is adjusted using the method, with the second reference point for the optimal alignment of the interior mirror preferably being set in such a way that after the adjustment of the rear-view mirror, the centroid of a rear window of the motor vehicle corresponds to the centroid of the field of vision of the interior mirror.

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden deutlich anhand der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die beiliegende 1, die den grundlegenden Ablauf eines Verfahrens zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs veranschaulicht.Further features and advantages of the present invention will become clear from the following description of a preferred exemplary embodiment with reference to the attached 1 , which illustrates the basic sequence of a method for automatically adjusting at least one rear-view mirror of a motor vehicle.

In einem Schritt 100 wird zunächst eine Benutzeranforderung zum Start der automatischen Einstellung des zumindest eines Rückspiegels eines Kraftfahrzeugs, mittels des hier vorgestellten Verfahrens erfasst. Diese Benutzeranforderung kann durch einen Benutzer selbst, insbesondere durch Betätigen eines Bedienelements oder eine Spracheingabe, oder automatisch, insbesondere durch eine Belegungserkennung des Fahrersitzes oder eine optische Erfassung des Fahrers, erfolgen. Es ist auch möglich, dass das Verfahren zeitgesteuert in bestimmten voreingestellten oder voreinstellbaren Zeitintervallen ausgeführt wird, insbesondere, sofern in geeigneter Weise erfasst worden ist, dass sich ein Fahrer auf dem Fahrersitz befindet.In a step 100, a user request to start the automatic adjustment of the at least one rear-view mirror of a motor vehicle is first recorded using the method presented here. This user request can be made by a user himself, in particular by actuating an operating element or a voice input, or automatically, in particular by detecting occupancy of the driver's seat or optically detecting the driver. It is also possible for the method to be executed in a time-controlled manner at specific preset or presettable time intervals, in particular if it has been detected in a suitable manner that a driver is in the driver's seat.

In einem Schritt 101 werden Blickdaten des Fahrers des Kraftfahrzeugs mittels einer Kameraeinrichtung erfasst. In einem Schritt 102 wird die Sitzposition des Fahrers auf dem Fahrersitz des Kraftfahrzeugs erfasst. Diese beiden vorstehend genannten Schritte 101, 102 können in einer beliebigen Reihenfolge oder auch gleichzeitig ausgeführt werden.In a step 101, gaze data of the driver of the motor vehicle are recorded using a camera device. In a step 102 the seating position of the driver on the driver's seat of the motor vehicle is detected. These two steps 101, 102 mentioned above can be carried out in any order or simultaneously.

Die in den Schritten 101, 102 erhaltenen Daten - also die Blickdaten der Augen des Fahrers und die Informationen über die Sitzposition des Fahrers - bilden Eingangsdaten für ein maschinelles Lernmodell, welches im Verfahrensschritt 103 ausgeführt wird. Das maschinelle Lernmodell ist zuvor mithilfe entsprechender Trainingsdaten angelernt worden und dabei auf einen Zusammenhang zwischen Blickdaten, Sitzpositionen und Augenpositionen trainiert worden und ermöglicht es, die Augenpositionen beider Augen des Fahrers abzuschätzen.The data obtained in steps 101, 102—that is, the gaze data from the driver's eyes and the information about the driver's seat position—form input data for a machine learning model, which is executed in method step 103. The machine learning model has previously been taught with the help of corresponding training data and has been trained on a connection between gaze data, seat positions and eye positions and makes it possible to estimate the eye positions of both eyes of the driver.

Das maschinelle Lernmodell, das insbesondere als künstliches neuronales Netz implementiert sein kann, erhält im Produktivbetrieb als Eingangsdaten die mittels der Kameraeinrichtung erfassten Blickdaten der Augen des Fahrers sowie Daten, welche die Sitzposition des Fahrers auf dem Fahrersitz repräsentieren. Das maschinelle Lernmodell berechnet daraus Schätzwerte für die Augenpositionen der beiden Augen des Fahrers, welche die Ausgangsgrößen des maschinellen Lernmodells bilden und im Verfahrensschritt 104 weiterverarbeitet werden.The machine learning model implemented in particular as an artificial neural network can be, in productive operation receives as input data the gaze data of the driver's eyes captured by the camera device, as well as data which represent the driver's seating position on the driver's seat. From this, the machine learning model calculates estimated values for the eye positions of the driver's two eyes, which form the output variables of the machine learning model and are processed further in method step 104 .

Aus dem Schätzwert der Augenpositionen wird in diesem Schritt 104 ein erster Referenzpunkt berechnet, der vorzugsweise ein dreidimensionaler Mittelpunkt zwischen den mittels des maschinellen Lernmodells abgeschätzten Augenpositionen beider Augen des Fahrers ist. Dieser dreidimensionale Mittelpunkt zwischen den abgeschätzten Augenpositionen und ein zweiter Referenzpunkt für die optimale Position des Rückspiegels, der im Verfahrensschritt 105 bestimmt wird, bilden Eingangsvariablen für die Berechnung der notwendigen Winkeländerungen des Rückspiegels, die im Verfahrensschritt 106 ausgeführt wird.In this step 104, a first reference point is calculated from the estimated value of the eye positions, which is preferably a three-dimensional center point between the eye positions of both eyes of the driver estimated by means of the machine learning model. This three-dimensional center point between the estimated eye positions and a second reference point for the optimal position of the rearview mirror, which is determined in step 105, form input variables for the calculation of the necessary angular changes of the rearview mirror, which is carried out in step 106.

Anschließend werden im Verfahrensschritt 107 entsprechende Stellgrößen erzeugt, die mit den vorzunehmenden Winkeländerungen des Rückspiegels korrespondieren und zu einer elektromechanischen Verstelleinrichtung des Rückspiegels übertragen werden, mittels derer der Rückspiegel entsprechend eingestellt wird. Vorzugsweise ist der mittels des erfindungsgemäßen Verfahrens einstellbare Rückspiegel so ausgebildet, dass er um eine horizontale und um eine vertikale Schwenkachse verschwenkt werden kann.Then, in method step 107, appropriate manipulated variables are generated, which correspond to the changes in the angle of the rear-view mirror to be made and are transmitted to an electromechanical adjusting device of the rear-view mirror, by means of which the rear-view mirror is adjusted accordingly. The rearview mirror that can be adjusted by means of the method according to the invention is preferably designed in such a way that it can be pivoted about a horizontal and a vertical pivot axis.

Bei dem Rückspiegel, der mittels des hier vorgestellten Verfahrens automatisch einstellbar ist, handelt es sich um einen Außenspiegel (Seitenspiegel) des Kraftfahrzeugs, der auf einer linken oder rechten Fahrzeugseite angeordnet ist, oder um einen Innenspiegel, der in einem Innenraum des Kraftfahrzeugs angeordnet ist, handeln. Wenn das Fahrzeug mit mehreren Rückspiegeln, insbesondere mit einem Außenspiegel auf der linken Fahrzeugseite, einem Außenspiegel auf der rechten Fahrzeugseite und mit einem Innenspiegel im Fahrzeuginnenraum ausgestattet ist, können vorzugsweise alle diese Spiegel automatisch mittels des hier vorgestellten Verfahrens eingestellt werden.The rear-view mirror, which can be adjusted automatically using the method presented here, is an outside mirror (side mirror) of the motor vehicle, which is arranged on a left or right side of the vehicle, or an inside mirror, which is arranged in an interior of the motor vehicle. act. If the vehicle is equipped with several rear-view mirrors, in particular with an outside mirror on the left-hand side of the vehicle, an outside mirror on the right-hand side of the vehicle and an inside mirror in the vehicle interior, all of these mirrors can preferably be adjusted automatically using the method presented here.

In Abhängigkeit davon, welcher Rückspiegel mittels des Verfahrens einstellbar ist, werden unterschiedliche Methoden eingesetzt, um im Verfahrensschritt 105 den Referenzpunkt für die optimale Position des Rückspiegels zu bestimmen.Depending on which rearview mirror can be adjusted using the method, different methods are used to determine the reference point for the optimal position of the rearview mirror in method step 105 .

Der zweite Referenzpunkt für die optimale Ausrichtung der Außenspiegel auf der linken beziehungsweise rechten Fahrzeugseite wird so gesetzt, dass nach der Einstellung des Außenspiegels in der inneren, unteren Ecke jedes Außenspiegels der hinterste Türgriff des Kraftfahrzeugs auf der linken beziehungsweise rechten Fahrzeugseite für den Fahrer sichtbar ist. Die Position des betreffenden Türgriffs als 2D-Position wird vorzugsweise mittels eines Objektdetektionsmodells bestimmt, das nach einem Computer-Vision-Verfahren arbeitet.The second reference point for the optimal alignment of the exterior mirrors on the left or right side of the vehicle is set in such a way that after the exterior mirror has been adjusted, the driver can see the rearmost door handle of the vehicle on the left or right side of the vehicle in the inner, lower corner of each exterior mirror. The position of the relevant door handle as a 2D position is preferably determined using an object detection model that works according to a computer vision method.

Der zweite Referenzpunkt für die optimale Ausrichtung des Innenspiegels wird derart gesetzt, dass nach der Einstellung des Rückspiegels der Flächenschwerpunkt einer Heckscheibe dem Flächenschwerpunkt des Rückspiegelsichtfelds entspricht.The second reference point for the optimal alignment of the interior mirror is set in such a way that, after the rear-view mirror has been adjusted, the centroid of a rear window corresponds to the centroid of the rear-view mirror's field of vision.

Mittels dieser Eingangsvariablen (3D-Augenmittelpunkt, 2D-Türgriffposition beziehungsweise Flächenschwerpunkt der Heckscheibe) wird die notwendige Winkeländerung der Außenspiegel und des Innenspiegels berechnet.Using these input variables (3D center of the eye, 2D door handle position or center of gravity of the rear window), the necessary change in angle of the exterior and interior mirrors is calculated.

Claims (3)

Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs, umfassend die Schritte - Erfassen von Blickdaten der Augen eines Fahrers des Kraftfahrzeugs mittels einer Kameraeinrichtung, - Erfassen der Sitzposition des Fahrers auf dem Fahrersitz des Kraftfahrzeugs, - Abschätzen der Augenpositionen des Fahrers mithilfe eines maschinellen Lernmodells, welches auf einen Zusammenhang zwischen Blickdaten, Sitzpositionen und Augenpositionen trainiert ist und die erfassten Blickdaten sowie die erfasste Sitzposition als Eingangsgrößen erhält und daraus die abgeschätzten Augenpositionen als Ausgangsgrößen berechnet, - Berechnen eines ersten Referenzpunktes aus den mittels des maschinellen Lernmodells abgeschätzten Augenpositionen, - Bestimmen eines zweiten Referenzpunktes für die optimale Ausrichtung des Rückspiegels, - Berechnen der Winkeländerungen des Rückspiegels mit dem ersten Referenzpunkt und dem zweiten Referenzpunkt als Eingangsvariablen und - Erzeugen von Stellgrößen, die mit den berechneten Winkeländerungen korrespondieren und zu einer elektromechanischen Verstelleinrichtung des Rückspiegels übertragen werden, mittels derer der Rückspiegel eingestellt wird, wobei mittels des Verfahrens zumindest ein Außenspiegel des Kraftfahrzeugs eingestellt wird und der zweite Referenzpunkt für die optimale Ausrichtung des zumindest einen Außenspiegels derart gesetzt wird, dass für den Fahrer nach der Einstellung des Außenspiegels in einer inneren, unteren Ecke des Außenspiegels der hinterste Türgriff auf der betreffenden Fahrzeugseite, an der der Außenspiegel angeordnet ist, sichtbar ist und die Position des hintersten Türgriffs als 2D-Position mittels eines Objektdetektionsmodells bestimmt wird, das als Computer-Vision-Verfahren implementiert ist. Method for the automatic adjustment of at least one rear-view mirror of a motor vehicle, comprising the steps of - detecting gaze data from the eyes of a driver of the motor vehicle using a camera device, - detecting the driver's seating position on the driver's seat of the motor vehicle, - estimating the driver's eye positions using a machine learning model, which is trained on a relationship between gaze data, seat positions and eye positions and receives the recorded gaze data and the recorded seat position as input variables and uses them to calculate the estimated eye positions as output variables, - calculating a first reference point from the eye positions estimated using the machine learning model, - determining a second reference point for the optimal alignment of the rear-view mirror, - calculating the changes in angle of the rear-view mirror using the first reference point and the second reference point as input variables, and - generating manipulated variables which correspond to the calculated changes in angle and are transmitted to an electromechanical adjustment device of the rear-view mirror, by means of which the rear-view mirror is adjusted, at least one exterior mirror of the motor vehicle being adjusted by means of the method and the second reference point for the optimal alignment of the at least one exterior mirror being set in such a way that the rearmost door handle for the driver after the adjustment of the exterior mirror is in an inner, lower corner of the exterior mirror is visible on the relevant side of the vehicle on which the exterior mirror is located and the position of the rearmost door handle as 2D position is determined using an object detection model implemented as a computer vision method. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als erster Referenzpunkt der Mittelpunkt zwischen den abgeschätzten Augenpositionen berechnet wird.procedure after claim 1 , characterized in that the center point between the estimated eye positions is calculated as the first reference point. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels des Verfahrens ein Innenspiegel des Kraftfahrzeugs eingestellt wird, wobei der zweite Referenzpunkt für die optimale Ausrichtung des Innenspiegels derart gesetzt wird, dass nach der Einstellung des Rückspiegels der Flächenschwerpunkt einer Heckscheibe des Kraftfahrzeugs dem Flächenschwerpunkt des Sichtfelds des Innenspiegels entspricht.Method according to one of the preceding claims, characterized in that an interior mirror of the motor vehicle is adjusted by means of the method, the second reference point for the optimal alignment of the interior mirror being set in such a way that after the adjustment of the rear-view mirror the centroid of a rear window of the motor vehicle corresponds to the centroid of the Field of view of the interior mirror corresponds.
DE102022106797.1A 2022-03-23 2022-03-23 Method for automatically adjusting at least one rear-view mirror of a motor vehicle Active DE102022106797B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022106797.1A DE102022106797B3 (en) 2022-03-23 2022-03-23 Method for automatically adjusting at least one rear-view mirror of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022106797.1A DE102022106797B3 (en) 2022-03-23 2022-03-23 Method for automatically adjusting at least one rear-view mirror of a motor vehicle

Publications (1)

Publication Number Publication Date
DE102022106797B3 true DE102022106797B3 (en) 2023-04-27

Family

ID=85795986

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022106797.1A Active DE102022106797B3 (en) 2022-03-23 2022-03-23 Method for automatically adjusting at least one rear-view mirror of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102022106797B3 (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19753014A1 (en) 1997-12-01 1999-06-17 Bosch Gmbh Robert Method of setting angular position of two or more motor vehicle elements, especially internal and external mirrors
US20100080416A1 (en) 2008-10-01 2010-04-01 Gm Global Technology Operations, Inc. Eye detection system using a single camera
DE102016106255A1 (en) 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior camera systems and methods
DE102015119871A1 (en) 2015-11-17 2017-05-18 Connaught Electronics Ltd. Method for operating a camera system with a plurality of image sensor elements and motor vehicle
EP3699814A1 (en) 2019-01-31 2020-08-26 StradVision, Inc. Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status
CN111873911A (en) 2020-08-04 2020-11-03 深圳地平线机器人科技有限公司 Method, device, medium, and electronic apparatus for adjusting rearview mirror
US20210012128A1 (en) 2019-03-18 2021-01-14 Beijing Sensetime Technology Development Co., Ltd. Driver attention monitoring method and apparatus and electronic device
DE102019132460A1 (en) 2019-11-29 2021-06-02 Bayerische Motoren Werke Aktiengesellschaft Adjusting a rearview mirror on a vehicle
US20210229601A1 (en) 2020-01-27 2021-07-29 Nvidia Corporation Automatically-adjusting mirror for use in vehicles
CN114103807A (en) 2021-12-21 2022-03-01 北京乐驾科技有限公司 Method for adjusting angle of vehicle exterior mirror and computer-readable storage medium
DE102020211339A1 (en) 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Method and system for automatically aligning a rear view mirror assembly

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19753014A1 (en) 1997-12-01 1999-06-17 Bosch Gmbh Robert Method of setting angular position of two or more motor vehicle elements, especially internal and external mirrors
US20100080416A1 (en) 2008-10-01 2010-04-01 Gm Global Technology Operations, Inc. Eye detection system using a single camera
DE102016106255A1 (en) 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior camera systems and methods
DE102015119871A1 (en) 2015-11-17 2017-05-18 Connaught Electronics Ltd. Method for operating a camera system with a plurality of image sensor elements and motor vehicle
EP3699814A1 (en) 2019-01-31 2020-08-26 StradVision, Inc. Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status
US20210012128A1 (en) 2019-03-18 2021-01-14 Beijing Sensetime Technology Development Co., Ltd. Driver attention monitoring method and apparatus and electronic device
DE102019132460A1 (en) 2019-11-29 2021-06-02 Bayerische Motoren Werke Aktiengesellschaft Adjusting a rearview mirror on a vehicle
US20210229601A1 (en) 2020-01-27 2021-07-29 Nvidia Corporation Automatically-adjusting mirror for use in vehicles
CN111873911A (en) 2020-08-04 2020-11-03 深圳地平线机器人科技有限公司 Method, device, medium, and electronic apparatus for adjusting rearview mirror
DE102020211339A1 (en) 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Method and system for automatically aligning a rear view mirror assembly
CN114103807A (en) 2021-12-21 2022-03-01 北京乐驾科技有限公司 Method for adjusting angle of vehicle exterior mirror and computer-readable storage medium

Similar Documents

Publication Publication Date Title
EP2852860B1 (en) Method for calibrating a head-up display
DE102012018742B3 (en) Method and device for adjusting a mirror for a motor vehicle
EP3108334B1 (en) System having an adjustment device and method for automatically adjusting/switching said adjustment device for a head-up display device
DE102014012723A1 (en) display system
EP0287993A2 (en) Method and device for determining the position of the eyes and/or head of a vehicle user
DE102015204745A1 (en) Apparatus and method for rendering data in an augmented reality
DE102012203795A1 (en) Device for adjusting and/or readjusting of mirror in motor car, has acoustic echo sensor that is integrated in headrest of seat of driver so as to collect data regarding head position of driver relative to headrest
DE102016215297A1 (en) Method for identifying a driver change in a motor vehicle
DE102022106797B3 (en) Method for automatically adjusting at least one rear-view mirror of a motor vehicle
EP4083681A1 (en) Aperture for adjusting the position of a virtual image projected onto a windscreen of a vehicle by means of a head-up display
DE102016214047A1 (en) Vehicle with adjustable head-up display
DE102020104082B4 (en) Method and system for customizing display content
DE102020211339A1 (en) Method and system for automatically aligning a rear view mirror assembly
DE102018217183A1 (en) Learn a light distribution for a headlight
EP3271774B1 (en) Device and method for reproducing data in an augmented reality
DE2014696A1 (en) Ruckblickvornchtung testify for motor vehicles
DE102019132460A1 (en) Adjusting a rearview mirror on a vehicle
EP3298347A1 (en) System and method for carrying out adjustment operations on a motor vehicle
DE102011080198A1 (en) Method for aligning rear-view mirror on motor vehicle, involves determining current position parameters of driver by using interior sensor system, where head and eye position of driver in ideal position is arbitrarily overridden by driver
DE102016011016A1 (en) Method for operating an assistance system
DE10126238A1 (en) Device for adjustment of at least one rear-view mirror has transformation unit which calculates signals for rear-view mirror from guidance signals indicating angular position indirectly from guidance rear-view mirror
DE102014018033A1 (en) Automatic adjustment of an operating function of a motor vehicle
DE102018208833A1 (en) System and method for controlling the map navigation of a vehicle
DE102015104834A1 (en) A method of adjusting a relative position between a head-up display and an eye-position, head-up display and motor vehicle
DE102023103365B3 (en) Method for displaying a section of the environment of a vehicle and display system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final